JPWO2021049018A1 - Information processing system, information processing device, server device, program, or method - Google Patents
Information processing system, information processing device, server device, program, or method Download PDFInfo
- Publication number
- JPWO2021049018A1 JPWO2021049018A1 JP2019551413A JP2019551413A JPWO2021049018A1 JP WO2021049018 A1 JPWO2021049018 A1 JP WO2021049018A1 JP 2019551413 A JP2019551413 A JP 2019551413A JP 2019551413 A JP2019551413 A JP 2019551413A JP WO2021049018 A1 JPWO2021049018 A1 JP WO2021049018A1
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- person
- processing device
- area
- notification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims description 379
- 238000000034 method Methods 0.000 title description 26
- 238000003384 imaging method Methods 0.000 claims abstract description 186
- 238000010586 diagram Methods 0.000 abstract description 12
- 230000008901 benefit Effects 0.000 description 90
- 238000010276 construction Methods 0.000 description 76
- 230000006870 function Effects 0.000 description 62
- 238000012545 processing Methods 0.000 description 31
- 230000008569 process Effects 0.000 description 15
- 210000002683 foot Anatomy 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000002265 prevention Effects 0.000 description 8
- 210000005069 ears Anatomy 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 229920001690 polydopamine Polymers 0.000 description 3
- 241000288673 Chiroptera Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 210000004705 lumbosacral region Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000001364 upper extremity Anatomy 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 239000004927 clay Substances 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Alarm Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】本発明の一例のシステムは、より画像データを利用できる。【解決手段】撮像部と、前記撮像部によって撮像された画像を表示可能な表示部と、前記表示部内に、領域を設定可能な領域部と、前記撮像部によって撮像された画像内の人が、前記領域内であるか、前記領域外であるか、を判定可能な判定部と、を備えるシステム。前記領域部によって設定された領域は、前記表示部内の位置と関係付けられている、システム。前記領域部によって設定された領域は、前記撮像部によって撮像された画像内の対象と関係付けられていない、システム。前記判定部は、前記人が前記領域内であると判定した場合において、前記人が所定のアイテムを着用しているか着用していないか、を判定する、システム。【選択図】 図１PROBLEM TO BE SOLVED: To use more image data in the system of an example of the present invention. An imaging unit, a display unit capable of displaying an image captured by the imaging unit, a region unit in which an area can be set in the display unit, and a person in the image captured by the imaging unit A system including a determination unit capable of determining whether the image is inside the region or outside the region. A system in which an area set by the area unit is associated with a position within the display unit. A system in which the region set by the region unit is not associated with an object in the image captured by the imaging unit. The determination unit is a system that determines whether or not the person is wearing a predetermined item when the person is determined to be in the area. [Selection diagram] Fig. 1
Description
本出願において開示された技術は、情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法に関する。 The technology disclosed in this application relates to an information processing system, an information processing device, a server device, a program, or a method.
撮像装置によって撮像された画像は、客観的な情報を提供できる。 The image captured by the imaging device can provide objective information.
特許文献１に係る発明は、画像内を変移する重機や作業員に基づいて、ターゲットエリアが設定されているにとどまる。また、特許文献２に係る発明は、進入禁止領域が、作業車両の位置及び向きに応じて、決定されているにとどまる。また、特許文献３に係る発明は、作業者のステータスを取得するにとどまる。そのため、いずれも、撮像された画像内の情報を適切に利用できていない。そこで、本発明の様々な実施形態は、上記の課題を解決するために、情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法を提供する。
In the invention according to Patent Document 1, the target area is only set based on the heavy machinery and the worker who shift in the image. Further, in the invention according to
本願に係るシステムの第１実施例は、
撮像部と、
前記撮像部によって撮像された画像を表示可能な表示部と、
前記表示部内に、領域を設定可能な領域部と、
前記撮像部によって撮像された画像内の人が、前記領域内であるか、前記領域外であるか、を判定可能な判定部と、
を備えるシステム。
本願に係るシステムの第２実施例は、
前記領域部によって設定された領域は、前記表示部内の位置と関係付けられている、
第１実施例のシステム。
本願に係るシステムの第３実施例は、
前記領域部によって設定された領域は、前記撮像部によって撮像された画像内の対象と関係付けられていない、
第１又は２実施例のシステム。
本願に係るシステムの第４実施例は、
前記判定部は、前記人が前記領域内であると判定した場合において、前記人が所定のアイテムを着用しているか着用していないか、を判定する、
第１乃至３実施例のいずれかのシステム。
本願に係るシステムの第５実施例は、
前記所定のアイテムは、墜落制止用器具、又はヘルメット、安全ゴーグル、手袋、安全ブーツ、スマートフォン、刀剣類、及び／又は、暴行用途アイテムを含む、
第４実施例のシステム。
本願に係るシステムの第６実施例は、
前記領域部は、第１領域と第２領域とを設定可能であり、
前記領域部は、
前記撮像部によって撮像された画像内の人が、前記第１領域内である、
又は、
前記撮像部によって撮像された画像内の人が、前記第２領域内であり、かつ、前記人が所定のアイテムを着用していない、
と前記判定部が判定した場合、通知するよう設定可能である
第１乃至５実施例のいずれかのシステム。
本願に係るシステムの第７実施例は、
前記撮像部と、前記表示部と、を一体化して有する携帯可能な情報処理装置である、
第１乃至６実施例のいずれかのシステム。
本願に係るシステムの第８実施例は、
前記撮像部と、前記表示部と、を一体化して有する携帯可能な情報処理装置を含む、
第１乃至７実施例のいずれかのシステム。
本願に係るシステムの第９実施例は、
前記判定部は、人が前記領域内であるかどうか、及び、人が前記所定のアイテムの着用の有無、のみを判定する機械学習済み機能を有する、
第１乃至８実施例のいずれかのシステム。
本願に係るシステムの第１０実施例は、
前記判定部は、人が前記領域内であるかどうか、及び、人が前記所定のアイテムの着用の有無、を判定する機械学習済み機能によって判定され、通知状況であるかどうかの情報を取得する、
第１乃至９実施例のいずれかのシステム。
本願に係るシステムの第１１実施例は、
表示画面内に、領域が設定可能であり、
前記領域内に人がいると判定した場合に、他の情報処理装置に通知する、
携帯可能な情報処理装置であって、
前記情報処理装置は、撮像部と表示部とを一体化した備える情報処理装置であり、
前記領域は、前記情報処理装置の使用が予定される位置において、設定される、
情報処理装置。
本願に係る情報処理装置の第１２実施例は、
表示画面内に、領域が設定可能であり、
前記領域内に人がいると判定した場合に、音、光、又は振動を生じさせる、
携帯可能な情報処理装置であって、
前記情報処理装置は、撮像部と表示部とを一体化した備える情報処理装置であり、
前記領域は、前記情報処理装置の使用が予定される位置において、設定される、
情報処理装置。
本願に係るプログラムの第１３実施例は、
コンピュータを、
撮像手段によって撮像された画像を表示する表示手段、
前記表示内に、領域を設定する手段、
撮像手段によって撮像された画像内の人が、前記領域内であるか、前記領域外であるか、を判定する判定手段、
として機能させるためのプログラム。
本願に係る方法の第１４実施例は、
コンピュータが、
撮像手段によって撮像された画像を表示するステップ、
前記表示内に、領域を設定するステップ、
撮像手段によって撮像された画像内の人が、前記領域内であるか、前記領域外であるか、を判定するステップ、
を実行する方法。
本願に係るプログラムの第１５実施例は、
コンピュータを、第１乃至１０実施例のいずれかのシステム又は第１１若しくは１２実施例の情報処理装置として機能させるためのプログラム。The first embodiment of the system according to the present application is
Imaging unit and
A display unit capable of displaying an image captured by the imaging unit, and a display unit capable of displaying the image.
In the display unit, an area unit in which an area can be set and an area unit
A determination unit capable of determining whether the person in the image captured by the imaging unit is within the region or outside the region.
System with.
A second embodiment of the system according to the present application is
The area set by the area unit is related to the position in the display unit.
The system of the first embodiment.
A third embodiment of the system according to the present application is
The region set by the region unit is not related to the object in the image captured by the imaging unit.
The system of the first or second embodiment.
A fourth embodiment of the system according to the present application is
When the determination unit determines that the person is in the area, the determination unit determines whether or not the person is wearing a predetermined item.
The system according to any one of the first to third embodiments.
A fifth embodiment of the system according to the present application is
The predetermined items include fall arrest devices or helmets, safety goggles, gloves, safety boots, smartphones, swords, and / or assault items.
The system of the fourth embodiment.
A sixth embodiment of the system according to the present application is
A first region and a second region can be set in the region portion.
The area portion
The person in the image captured by the imaging unit is in the first region.
Or
The person in the image captured by the imaging unit is in the second region, and the person is not wearing the predetermined item.
The system according to any one of the first to fifth embodiments, which can be set to notify when the determination unit determines.
A seventh embodiment of the system according to the present application is
A portable information processing device having the imaging unit and the display unit integrated.
The system according to any one of the first to sixth embodiments.
The eighth embodiment of the system according to the present application is
A portable information processing device including the imaging unit and the display unit in an integrated manner.
The system according to any one of the first to seventh embodiments.
A ninth embodiment of the system according to the present application is
The determination unit has a machine-learned function that determines only whether or not a person is in the area and whether or not the person wears the predetermined item.
The system according to any one of the first to eighth embodiments.
A tenth embodiment of the system according to the present application is
The determination unit is determined by a machine-learned function that determines whether or not the person is in the area and whether or not the person is wearing the predetermined item, and acquires information on whether or not the notification status is reached. ,
The system according to any one of the first to ninth embodiments.
The eleventh embodiment of the system according to the present application is
The area can be set in the display screen,
When it is determined that there is a person in the area, another information processing device is notified.
A portable information processing device
The information processing device is an information processing device in which an imaging unit and a display unit are integrated.
The area is set at a position where the information processing apparatus is scheduled to be used.
Information processing device.
The twelfth embodiment of the information processing apparatus according to the present application is
The area can be set in the display screen,
When it is determined that there is a person in the area, sound, light, or vibration is generated.
A portable information processing device
The information processing device is an information processing device in which an imaging unit and a display unit are integrated.
The area is set at a position where the information processing apparatus is scheduled to be used.
Information processing device.
The thirteenth embodiment of the program according to the present application is
Computer,
A display means for displaying an image captured by the image pickup means,
Means for setting an area in the display,
A determining means for determining whether a person in an image captured by an imaging means is within the region or outside the region.
A program to function as.
The 14th embodiment of the method according to the present application is
The computer
A step of displaying an image captured by an imaging means,
Steps to set the area in the display,
A step of determining whether a person in an image captured by an imaging means is within or outside the region.
How to do.
The fifteenth embodiment of the program according to the present application is
A program for causing a computer to function as a system according to any one of the first to tenth embodiments or an information processing apparatus according to the eleventh or twelfth embodiment.
本発明の一実施形態により、より適切に画像を活用できる。 According to one embodiment of the present invention, the image can be utilized more appropriately.
１．本願発明に係るシステムの機能
本願発明に係るシステムにおける機能の一例について、図１を参照して説明する。図１は、本例のシステムに係る機能の具体例を示すブロック図である。なお、本願発明に係るシステムは、以下で説明する全ての機能を備えてもよいし、単独又は組み合わせで所定の技術的意義を有する以下の機能の一部の機能のみを有してもよい。 1. 1. Functions of the system according to the present invention An example of the functions in the system according to the present invention will be described with reference to FIG. FIG. 1 is a block diagram showing a specific example of the function related to the system of this example. The system according to the present invention may have all the functions described below, or may have only a part of the following functions having a predetermined technical significance alone or in combination.
１．１．取得部
取得部は、情報を取得する機能を有する。取得部は、画像を取得してよい。取得部は、動画を取得してもよいし、静止画を取得してもよい。なお、画像は、本願書類において、動画像と静止画像の上位概念として扱う。 1.1. Acquisition unit The acquisition unit has a function of acquiring information. The acquisition unit may acquire an image. The acquisition unit may acquire a moving image or a still image. Images are treated as superordinate concepts of moving images and still images in the documents of the present application.
また、取得部は、画像に係る情報を取得してよい。画像に係る情報は、画像を撮像した撮像装置に係る情報、画像が撮像された位置に係る情報、画像が撮像された時間に係る情報、を含んでよい。 In addition, the acquisition unit may acquire information related to the image. The information related to the image may include information related to the image pickup device that captured the image, information related to the position where the image was captured, and information related to the time when the image was captured.
撮像装置に係る情報は、撮像装置のＩＤ、撮像装置の所属情報、撮像装置の名称など、撮像装置を特定する情報であってよいし、撮像装置の種類を示す情報、撮像装置の機能を示す情報、などであってよい。 The information related to the image pickup device may be information that identifies the image pickup device, such as the ID of the image pickup device, the affiliation information of the image pickup device, and the name of the image pickup device, information indicating the type of the image pickup device, and the function of the image pickup device. It may be information, etc.
画像が撮像された位置に係る情報は、画像が撮像された地理的な位置、画像が撮像された方向、などであってよい。地理的な位置は、ＧＰＳで測定された情報、基地局に基づく情報、などであってよい。画像が撮像された方向は、ジャイロスコープによって測定された情報、などであってよい。 The information related to the position where the image is captured may be the geographical position where the image was captured, the direction in which the image was captured, and the like. The geographical location may be GPS-measured information, base station-based information, and the like. The direction in which the image is captured may be information measured by a gyroscope, or the like.
画像が撮像された時間に係る情報は、画像が撮像された時刻に係る情報、画像が撮像された継続時間、であってよい。画像が撮像された時刻に係る情報は、撮像が開始された時刻、撮像が終了した時刻、通知状況と判定された時刻、などであってよい。 The information related to the time when the image was captured may be the information related to the time when the image was captured and the duration during which the image was captured. The information related to the time when the image is captured may be the time when the imaging is started, the time when the imaging is finished, the time when the notification status is determined, and the like.
取得部は、画像と、前記画像に係る情報を、関連付けて記憶してよい。例えば、取得部は、画像と、前記画像を撮像した撮像装置に係る情報、前記画像が撮像された位置に係る情報、前記画像が撮像された時間に係る情報、とを関連付けて記憶してよい。図２は、取得部が取得した、画像と前記画像に係る情報と、を関連付けて記憶した一例である。 The acquisition unit may store the image and the information related to the image in association with each other. For example, the acquisition unit may store the image in association with information related to the image pickup device that captured the image, information related to the position where the image was captured, and information related to the time when the image was captured. .. FIG. 2 is an example of associating and storing an image and information related to the image acquired by the acquisition unit.
取得部は、画像を取得するための撮像部を備えてよい。撮像部によって撮像された対象は、記録部に記録されてよい。記録部は、リングバッファを備え、撮像された画像を、リングバッファに記録してよい。リングバッファに記憶することにより、記録部を有する情報処理装置の記録量を一定の範囲で抑えられる利点がある。 The acquisition unit may include an imaging unit for acquiring an image. The object imaged by the imaging unit may be recorded in the recording unit. The recording unit includes a ring buffer, and the captured image may be recorded in the ring buffer. By storing in the ring buffer, there is an advantage that the recording amount of the information processing apparatus having a recording unit can be suppressed within a certain range.
リングバッファの記憶量は、所定の量に設定できてよい。所定の量の設定は、マニュアルで設定されてもよいし、予め設定されてもよい。また、リングバッファの記憶量は、撮像される動画の時間、及び／又は、撮像される画像の品質に係る情報、に基づいて、算出されることで、設定されてよい。 The storage amount of the ring buffer may be set to a predetermined amount. The predetermined amount of setting may be set manually or may be set in advance. Further, the storage amount of the ring buffer may be set by being calculated based on the time of the captured moving image and / or the information related to the quality of the captured image.
撮像される動画の時間としては、例えば、３分の動画を撮影できる設定、５分の動画を設定できる設定、１０分の動画を撮影できる設定、などのように設定される動画の所定の時間に応じて、リングバッファの記憶量が設定されてよい。 The time of the video to be captured is, for example, a setting for shooting a 3-minute video, a setting for setting a 5-minute video, a setting for shooting a 10-minute video, and the like. The storage amount of the ring buffer may be set according to the above.
撮像される画像の品質に係る情報は、例えば、画像の解像度、フレームレート、及び／又は、ビットレート、などであってよく、これらの情報に基づいて、リングバッファの記憶量が設定されてよい。 The information relating to the quality of the captured image may be, for example, the resolution, frame rate, and / or bit rate of the image, and the storage amount of the ring buffer may be set based on this information. ..
撮像される動画の時間、及び／又は、撮像される画像の品質に係る情報、は情報処理装置によって入力され、設定されてよい。例えば、図３は、タッチパネル形式で入力可能な表示画面の一例である。本図においては、録画時間３０１、画像解像度３０２、フレームレート３０３、ビットレート３０４、を各々入力可能な例を示している。これらは、複数の候補を示すリストから、選択されたものが設定できるようされてもよい。
The time of the captured moving image and / or the information relating to the quality of the captured image may be input and set by the information processing apparatus. For example, FIG. 3 is an example of a display screen that can be input in a touch panel format. In this figure, an example in which the
なお、録画に関する設定画面において、後述する通知状況に至るまでの状況を録画する観点で、通知状況時点より前の動画を録画する場合における録画期間（以下、「通知状況事前録画期間」ということもある）、が入力され、設定され、記憶してよい。取得部は、かかる通知状況事前録画期間を取得した場合、記憶してよい。 In addition, on the setting screen for recording, from the viewpoint of recording the situation up to the notification status described later, the recording period when recording the video before the notification status time (hereinafter, also referred to as "notification status pre-recording period"). Yes), may be entered, set, and remembered. When the acquisition unit acquires the notification status pre-recording period, it may store it.
なお、撮像部によって撮像される画像を記憶する記憶機能としては、上述のリングバッファが利用されてよいが、通知状況であると判定され、通知情報が生成された場合において、撮像情報処理装置は、通知情報の一部又は全部について、リングバッファに記憶されてもよいし、リングバッファとは異なる記憶形式で記憶されてもよい。ここで、撮像情報処理装置は、通知情報を通知した後に、通知情報の一部又は全部について、リングバッファに記憶されてもよいし、リングバッファとは異なる記憶形式で記憶してよい。通知情報を通知した後であっても記憶することにより、後から通知状況を理解できる利点がある。 The above-mentioned ring buffer may be used as a storage function for storing the image captured by the imaging unit, but when the notification status is determined and the notification information is generated, the imaging information processing apparatus , A part or all of the notification information may be stored in the ring buffer, or may be stored in a storage format different from that of the ring buffer. Here, after notifying the notification information, the imaging information processing apparatus may store a part or all of the notification information in the ring buffer, or may store it in a storage format different from that of the ring buffer. By storing the notification information even after it has been notified, there is an advantage that the notification status can be understood later.
前者においては、一実施形態に係るシステムは、撮像部によって撮像された画像を記憶する第１の記憶部と、通知状況と判定され通知情報の一部又は全部を記憶する第２の記憶部を備えてよい。第１の記憶部と第２の記憶部は、同一の記憶形式であってもよいし、異なる記憶形式であってもよい。第２の記憶部は、第１の記憶部よりも、記憶容量が多く設定されてよい。この場合、複数の通知状況に関する通知情報を記憶することが可能となり、過去の通知状況を保存できる利点がある。また、第１の記憶部が、第１リングバッファであり、第２の記憶部が第２リングバッファであってよい。第２の記憶部がリングバッファであることにより、過去の古い記憶を自動的に削除可能とし、第２の記憶部の記憶量が減った場合においても、最新の通知情報を記憶できる利点がある。また、この場合、第１リングバッファと第２リングバッファの記憶容量は異なってよい。また、第２リングバッファの記憶容量は、第１リングバッファの記憶量より多くてよい。この場合、通知状況と判定された情報を、複数記憶できる利点がある。 In the former, the system according to one embodiment has a first storage unit for storing an image captured by the imaging unit and a second storage unit for storing a part or all of the notification information determined to be the notification status. You may be prepared. The first storage unit and the second storage unit may have the same storage format or may have different storage formats. The second storage unit may have a larger storage capacity than the first storage unit. In this case, it is possible to store notification information regarding a plurality of notification statuses, and there is an advantage that past notification statuses can be saved. Further, the first storage unit may be the first ring buffer, and the second storage unit may be the second ring buffer. Since the second storage unit is a ring buffer, the old memory in the past can be automatically deleted, and there is an advantage that the latest notification information can be stored even when the storage amount of the second storage unit is reduced. .. Further, in this case, the storage capacities of the first ring buffer and the second ring buffer may be different. Further, the storage capacity of the second ring buffer may be larger than the storage capacity of the first ring buffer. In this case, there is an advantage that a plurality of information determined to be the notification status can be stored.
また、通知情報は、通知先情報処理装置、管理情報処理装置に通知されることから、通知先情報処理装置、及び／又は、管理情報処理装置においても、上述と同様の記憶機能を有してよい。 Further, since the notification information is notified to the notification destination information processing device and the management information processing device, the notification destination information processing device and / or the management information processing device also has the same storage function as described above. good.
但し、記憶容量が一定以上の大きさである場合など、撮像情報処理装置、通知先情報処理装置、管理情報処理装置において記憶される情報の記憶形式は、リングバッファに限られず、他の記憶形式であってもよい。 However, the storage format of the information stored in the imaging information processing device, the notification destination information processing device, and the management information processing device is not limited to the ring buffer, such as when the storage capacity is larger than a certain size, and other storage formats. It may be.
３．２．判定部
判定部は、取得部が取得した画像を判定する機能を有し、判定結果を生成する機能を有する。画像は、動画であっても、静止画であってもよい。 3.2. Judgment unit The determination unit has a function of determining an image acquired by the acquisition unit and has a function of generating a determination result. The image may be a moving image or a still image.
判定部は、一又は複数の対象と、所定の領域と、の関係（本願書類において、「対象領域関係」ということがある）を判定する機能を有してよい。判定部は、一又は複数の対象が、所定の領域の範囲内であるか、所定の領域の範囲外であるか、を判定してよい。 The determination unit may have a function of determining the relationship between one or more objects and a predetermined area (sometimes referred to as "target area relationship" in the documents of the present application). The determination unit may determine whether one or more objects are within the range of the predetermined area or outside the range of the predetermined area.
対象は、人、ペット、家畜、等の生物であってよいし、二輪車、四輪車などの車両、であってよい。また、対象は、人、ペット、家畜、等の生物の一部対象であってもよいし、所定のアイテムであってもよい。所定のアイテムの例としては、ヘルメット、墜落制止用器具（本願書類において、いわゆる、安全帯、命綱付きベルト、ハーネスなどをまとめて、「墜落制止用器具」と称することがある。）、銃砲刀剣類所持等取締法で規定する刀剣類、スマートフォン、安全ゴーグル、手袋、及び／又は、安全ブーツなどが挙げられるが、これらに限られない。また、安全ゴーグルは、防塵用、溶接用時の目の保護用であってよい。 The target may be a living thing such as a person, a pet, a domestic animal, or a vehicle such as a two-wheeled vehicle or a four-wheeled vehicle. In addition, the target may be a part of a living thing such as a person, a pet, a domestic animal, or a predetermined item. Examples of predetermined items include helmets, fall-prevention devices (in the documents of the present application, so-called safety belts, belts with lifelines, harnesses, etc. may be collectively referred to as "fall-prevention devices"), gun swords. Examples include, but are not limited to, swords, smartphones, safety goggles, gloves, and / or safety boots specified by the Possession Control Law. In addition, the safety goggles may be dustproof and eye protection during welding.
対象が人である場合において、判定部は、撮像された画像内において推定される人の位置を特定し、前記人の位置が、前記撮像された画像内における所定の領域内であるか、所定の領域外であるか、を判定部が判定してもよい。人の位置は、人がいる場所を特定できる情報であればよい。人の位置は、例えば、足首を含む、人の両足の中心であってよい。また、人の位置は、人の腰の中心、人の両肩の中心、人の鼻の位置、人ののどの位置、人の首の位置、が用いられて推定されてもよい。推定は例えば、平均的な人における人の腰の中心から人の両足の中心までの距離、平均的な人における人の両肩の中心から人の両足の中心までの距離、平均的な人における人の鼻の位置から人の両足の中心までの距離、平均的な人における人ののどの位置から人の両足の中心までの距離、平均的な人における人の首の位置から人の両足の中心までの距離、を各々用いて対象となる人の両足の中心の位置を特定してよい。これは、撮像装置の位置や方向により、必ずしも、対象となる人の足が撮像された画像内に入っていない場合であっても、人の足以外の、腰、肩、首、のど、鼻、などが撮像された画像内に入っている場合には、これらを用いて、人の両足の中心を推定できる利点がある。 When the target is a person, the determination unit identifies an estimated position of the person in the captured image, and whether the position of the person is within a predetermined area in the captured image or a predetermined position. The determination unit may determine whether or not it is outside the region of. The position of the person may be any information that can identify the place where the person is. The position of the person may be the center of both feet of the person, including, for example, the ankle. Further, the position of the person may be estimated using the center of the person's waist, the center of both shoulders of the person, the position of the nose of the person, the position of the throat of the person, and the position of the neck of the person. Estimates are, for example, the distance from the center of a person's waist to the center of a person's feet in an average person, the distance from the center of a person's shoulders to the center of a person's feet in an average person, in the average person. The distance from the position of a person's nose to the center of a person's feet, the distance from the position of a person's throat to the center of a person's feet in an average person, the position of a person's neck in an average person to the position of both feet of a person The distance to the center may be used to specify the position of the center of both feet of the target person. This is because, depending on the position and orientation of the image pickup device, the waist, shoulders, neck, throat, and nose other than the human feet are not necessarily included in the captured image, even if the target person's feet are not included in the captured image. , Etc. are included in the captured image, and there is an advantage that the centers of both feet of a person can be estimated by using these.
また、判定部は、撮像された画像内の人の位置について、人の腰の中心、人の両肩の中心、人の鼻の位置、人ののどの位置、人の首の位置、のうちの２点の距離を用いて、推定してもよい。例えば、人ののどの位置と人の鼻の位置との距離、を用いて、かかる距離の定数倍の位置として、撮像された画像内の人の位置を推定してもよい。定数倍は、人の平均的な距離を用いて、決定されてよい。 In addition, the determination unit determines the position of the person in the captured image among the center of the person's waist, the center of both shoulders of the person, the position of the nose of the person, the position of the throat of the person, and the position of the neck of the person. It may be estimated using the distance between the two points. For example, the distance between the position of the person's throat and the position of the person's nose may be used to estimate the position of the person in the captured image as a position that is a constant multiple of the distance. The constant multiple may be determined using the average distance of the person.
所定の領域は、撮像された画像内において、少なくともその領域の一部について、座標又は関数などで指定されることによって、指定されてもよい。例えば、所定の領域は、撮像された画像内において、少なくともその一部が複数のデカルト座標の各点を頂点で結ぶことで境界が特定されるものであってもよいし、一又は複数の関数で指定される直線又は曲線で境界が特定されるものであってもよいし、撮像された画像の縁によって境界が特定されるものであってもよいし、又は、これらの組み合わせによって境界が特定されるものであってもよい。 A predetermined region may be designated by designating at least a part of the region in the captured image by coordinates, functions, or the like. For example, a predetermined region may be defined by at least a part of it connecting points of a plurality of Cartesian coordinates with vertices in the captured image, or a function of one or more. The boundary may be specified by the straight line or curve specified by, the boundary may be specified by the edge of the captured image, or the boundary may be specified by a combination thereof. It may be what is done.
判定部は、画像が動画である場合において、動画を構成する特定の一又は複数の静止画を決定し、かかる特定の一又は複数の静止画を用いて、対象領域関係を判定してよい。また、判定部は、特定の一又は複数の静止画を決定した後に、対象領域関係を判定してよい。 When the image is a moving image, the determination unit may determine a specific one or a plurality of still images constituting the moving image, and determine the target area relationship using the specific one or a plurality of the still images. Further, the determination unit may determine the target area relationship after determining a specific one or a plurality of still images.
判定部は、動画に係る全ての静止画について、対象領域関係を判定してよい。この場合、動画を構成する静止画において、対象が、所定の領域と、最初に、関係を有した段階において、かかる関係を判定できる利点がある。なお、全ての静止画に関する判定処理の負担がある。 The determination unit may determine the target area relationship for all the still images related to the moving image. In this case, in the still image constituting the moving image, there is an advantage that the relationship can be determined at the stage where the target first has a relationship with the predetermined area. It should be noted that there is a burden of determination processing for all still images.
また、判定部は、動画に係る静止画のうち、所定のインターバル毎の静止画について、対象領域関係を判定してよい。この場合、動画に係る全ての静止画について判定処理を行う必要がないため、処理負担が減少する利点がある。 In addition, the determination unit may determine the target area relationship for the still images at predetermined intervals among the still images related to the moving image. In this case, since it is not necessary to perform the determination process for all the still images related to the moving image, there is an advantage that the processing load is reduced.
この場合の判定部の処理の流れの一例は、図４のように、まず、動画を構成する複数の静止画のうち、動画の時系列に沿って所定のインターバル毎に、静止画を決定する（ステップ１）。次に、静止画について、対象領域関係を判定する（ステップ２）。対象領域関係を判定して、人が領域内にいると判定した場合、通知状況であるとして、通知を行う（ステップ３Ａ）。対象領域関係を判定して人が領域内にいないと判定した場合、通知を行わずに、ステップ１に戻る（ステップ３Ｂ）。 As an example of the processing flow of the determination unit in this case, as shown in FIG. 4, first, among a plurality of still images constituting the moving image, the still images are determined at predetermined intervals along the time series of the moving image. (Step 1). Next, the target area relationship is determined for the still image (step 2). When the target area relationship is determined and it is determined that a person is in the area, the notification status is determined and notification is performed (step 3A). When the target area relationship is determined and it is determined that the person is not in the area, the process returns to step 1 without notifying (step 3B).
また、判定部は、複数の対象についての、所定の関係（本願書類において、「複数対象関係」ということがある）を判定する機能を有してよい。 In addition, the determination unit may have a function of determining a predetermined relationship (sometimes referred to as "plurality object relationship" in the documents of the present application) with respect to a plurality of objects.
例えば、第１対象である人の頭部に、第２対象であり所定のアイテムであるヘルメットが、着用されているか、又は、着用されていないか、という関係を判定する機能を有してよい。 For example, it may have a function of determining the relationship between the head of a person who is the first target and whether or not the helmet, which is the second target and is a predetermined item, is worn or not. ..
また、第１対象である人の胸部に、第２対象であり所定のアイテムである墜落制止用器具が、着用されているか、又は、着用されていないか、という関係を判定する機能を有してよい。 In addition, it has a function of determining the relationship between the chest of the person who is the first target and whether or not the fall prevention device, which is the second target and is a predetermined item, is worn or not. You can do it.
また、第１対象である人の頭部に、第２対象であり所定のアイテムである安全ゴーグルが、着用されているか、又は、着用されていないか、という関係を判定する機能を有してよい。 In addition, it has a function of determining the relationship between the head of the person who is the first target and whether or not the safety goggles, which is the second target and a predetermined item, are worn or not. good.
また、第１対象である人の上肢又は手に、第２対象であり所定のアイテムである手袋が、着用されているか、又は、着用されていないか、という関係を判定する機能を有してよい。 In addition, it has a function of determining the relationship between the upper limbs or hands of the first target person and whether or not the gloves, which are the second target and the predetermined item, are worn or not. good.
また、第１対象である人の脚部に、第２対象であり所定のアイテムである安全ブーツが、着用されているか、又は、着用されていないか、という関係を判定する機能を有してよい。 In addition, it has a function of determining whether or not the safety boot, which is the second target and a predetermined item, is worn or not worn on the leg of the person who is the first target. good.
また、第１対象である人の手が、第２対象であり所定のアイテムである銃砲刀剣類所持等取締法で規定する刀剣類、野球バット、所定の長さ以上の棒、などの暴行用途アイテムを、保持しているか、又は、保持していないか、という関係を判定する機能を有してよい。ここで、暴行用途アイテムは、撮像装置が撮像される場所において、通常使用される物ではなく、暴力行為に使用されたときに、かかる撮像される場にいる人が危険を感じるアイテムを指す。なお、銃砲刀剣類所持等取締法で規定する刀剣類、野球バット、所定の長さ以上の棒、は暴行用途アイテムの例である。 In addition, the first target person's hand is the second target and is a predetermined item, such as swords, baseball bats, sticks longer than the specified length, etc. specified by the Control Law for Possession of Guns, Swords and Swords, etc. It may have a function of determining the relationship of whether or not the item is held. Here, the assault use item refers to an item that is not normally used in the place where the image pickup device is imaged, but an item that the person in the place where the image pickup is imaged feels dangerous when used for violent acts. The swords, baseball bats, and sticks longer than the specified length specified by the Firearms and Swords Possession Control Law are examples of assault items.
また、第１対象である人の腰部に、第２対象であり所定のアイテムである拳銃を、着装しているか、又は、着装していないか、という関係を判定する機能を有してよい。前記腰部は、人の右腰であってよい。 In addition, it may have a function of determining the relationship between wearing or not wearing a pistol, which is a second target and a predetermined item, on the waist of a person who is the first target. The waist may be the right waist of a person.
また、第１対象である人の腰部に、第２対象であり所定のアイテムである警棒を、着装しているか、又は、着装していないか、という関係を判定する機能を有してよい。 In addition, it may have a function of determining the relationship between wearing or not wearing a baton, which is a second target and a predetermined item, on the lumbar region of a person who is the first target.
また、第１対象である人の手が、第２対象であり所定のアイテムであるスマートフォンを、保持しているか、又は、保持していないか、という関係を判定する機能を有してよい。 Further, it may have a function of determining the relationship between whether the hand of the person who is the first target holds or does not hold the smartphone which is the second target and is a predetermined item.
判定部は、画像が動画である場合において、動画を構成する特定の一又は複数の静止画を決定し、かかる特定の一又は複数の静止画を用いて、複数対象関係を判定してよい。判定部は、特定の一又は複数の静止画を決定した後に、複数対象関係を判定してよい。 When the image is a moving image, the determination unit may determine a specific one or a plurality of still images constituting the moving image, and may determine a plurality of object relations using the specific one or a plurality of still images. The determination unit may determine a plurality of object relations after determining a specific one or a plurality of still images.
判定部は、動画に係る全ての静止画について、複数対象関係を判定してよい。この場合、動画を構成する静止画において、複数の対象が所定の関係を最初に有した段階において、かかる関係を判定できる利点がある。但し、全ての静止画について、判定処理を行う必要があるため、処理負担が増加する。 The determination unit may determine a plurality of object relations for all the still images related to the moving image. In this case, in the still image constituting the moving image, there is an advantage that the relationship can be determined at the stage when the plurality of objects first have a predetermined relationship. However, since it is necessary to perform determination processing for all still images, the processing load increases.
また、判定部は、動画に係る静止画のうち、所定のインターバル毎の静止画について、複数対象関係を判定してよい。この場合、動画に係る全ての静止画について判定処理を行う必要がないため、処理負担が減少する利点がある。 In addition, the determination unit may determine a plurality of object relations for the still images at predetermined intervals among the still images related to the moving image. In this case, since it is not necessary to perform the determination process for all the still images related to the moving image, there is an advantage that the processing load is reduced.
この場合の判定部の処理の流れの一例は、図５のように、まず、動画を構成する複数の静止画の中で、動画の時系列に沿って所定のインターバル毎に、静止画を決定する（ステップ１）。次に、静止画について、複数対象関係の判定を行う（ステップ２）。複数対象関係の判定で、複数の対象に所定の関係があると判定した場合、通知状況であるとして、通知を行う（ステップ３Ａ）。複数対象関係の判定で、複数の対象に所定の関係がないと判定した場合、通知を行わずに、ステップ１に戻る（ステップ３Ｂ）。なお、複数の対象に対する所定の関係が、複数必要であるような場合（例えば、ヘルメットの着用と、墜落制止用器具の着用など）、ステップ３Ａにおいて、それらの必要な複数の所定の関係について、複数対象関係の判定を行ってよい。 As an example of the processing flow of the determination unit in this case, as shown in FIG. 5, first, among a plurality of still images constituting the moving image, the still images are determined at predetermined intervals along the time series of the moving image. (Step 1). Next, the multiple object relations are determined for the still image (step 2). When it is determined that the plurality of targets have a predetermined relationship in the determination of the multiple object relations, the notification status is determined and notification is performed (step 3A). If it is determined that the plurality of targets do not have a predetermined relationship in the determination of the plurality of target relationships, the process returns to step 1 without notifying (step 3B). When a plurality of predetermined relationships with respect to a plurality of objects are required (for example, wearing a helmet and wearing a fall prevention device), in step 3A, regarding the plurality of required predetermined relationships. A plurality of object relations may be determined.
また、判定部は、対象領域関係を判定した後に、複数対象関係を判定してよい。例えば、判定部は、対象領域関係を判定し、対象領域関係があると判定された静止画について、複数対象関係を判定してよい。例えば、人が所定の領域にいることを前提としたうえで、人が所定のアイテムを着用するかどうかを判定してよい。この場合、複数対象関係を判定する対象となる静止画は、対象領域関係があると判定された静止画であるため、通知状況が、対象が所定の領域にいること、かつ、複数の対象が所定の関係を有すること、である場合には、効率的に処理ができる利点がある。また、判定部は、対象領域関係を判定した後、自動的に、複数対象関係を判定してよい。 Further, the determination unit may determine the plurality of target relationships after determining the target area relationships. For example, the determination unit may determine the target area relationship and determine a plurality of target areas for the still image determined to have the target area relationship. For example, it may be determined whether or not a person wears a predetermined item on the assumption that the person is in a predetermined area. In this case, since the still image to be determined to have a plurality of target relationships is a still image determined to have a target area relationship, the notification status is that the target is in a predetermined area and the plurality of targets are present. Having a predetermined relationship has the advantage of being able to process efficiently. Further, the determination unit may automatically determine a plurality of target relationships after determining the target area relationship.
判定部は、動画に係る動画に係る全ての静止画について、対象領域関係を判定し、所定の関係を有する静止画について、複数対象関係を判定してよい。この場合、対象領域関係がある静止画について、早期に複数対象関係を判定できる利点がある。 The determination unit may determine the target area relationship for all the still images related to the moving image related to the moving image, and determine the plurality of target relationships for the still images having a predetermined relationship. In this case, there is an advantage that a plurality of target relationships can be determined at an early stage for still images having a target area relationship.
また、判定部は、動画に係る静止画のうち、所定のインターバル毎の静止画について、対象領域関係を判定し、所定の関係を有する静止画について、複数対象関係を判定してよい。この場合、動画に係る全ての静止画について判定処理を行う必要がないため、処理負担が減少する利点がある。 In addition, the determination unit may determine the target area relationship for the still images at predetermined intervals among the still images related to the moving image, and determine the plurality of target relationships for the still images having the predetermined relationship. In this case, since it is not necessary to perform the determination process for all the still images related to the moving image, there is an advantage that the processing load is reduced.
この場合の判定部の処理の流れの一例は、図６のように、まず、動画を構成する複数の静止画の中で、動画の時系列に沿って所定のインターバル毎に、静止画を決定する（ステップ１）。次に、静止画について、対象領域関係を判定する（ステップ２）。対象領域関係を判定して、対象が所定の領域にいると判定した場合、複数対象関係を判定する（ステップ３Ａ）。対象領域関係を判定して、対象が所定の領域にいないと判定した場合、通知を行わずに、ステップ１に戻る（ステップ３Ｂ）。複数対象関係を判定して、複数の対象が所定の関係にあると判定した場合、通知状況として、通知を行う（ステップ４Ａ）。複数対象関係を判定して、複数の対象が所定の関係にないと判定した場合、通知を行わずに、ステップ１に戻る（ステップ４Ｂ）。 As an example of the processing flow of the determination unit in this case, as shown in FIG. 6, first, among a plurality of still images constituting the moving image, the still images are determined at predetermined intervals along the time series of the moving image. (Step 1). Next, the target area relationship is determined for the still image (step 2). When the target area relationship is determined and it is determined that the target is in a predetermined area, a plurality of target area relationships are determined (step 3A). When the target area relationship is determined and it is determined that the target is not in the predetermined area, the process returns to step 1 without notifying (step 3B). When the plurality of target relationships are determined and it is determined that the plurality of targets have a predetermined relationship, notification is performed as the notification status (step 4A). When the plurality of target relationships are determined and it is determined that the plurality of targets do not have a predetermined relationship, the process returns to step 1 without notifying (step 4B).
なお、上述のとおり、複数の対象に対する所定の関係が、複数設定されているような場合（例えば、ヘルメットの着用と、墜落制止用器具の着用など）、ステップ４Ａにおいて、それらの複数の所定の関係の、各々について、複数対象関係の判定を行ってよい。 As described above, when a plurality of predetermined relationships for a plurality of objects are set (for example, wearing a helmet and wearing a fall prevention device), in step 4A, the plurality of predetermined relationships are set. For each of the relationships, a plurality of object relations may be determined.
なお、上述の複数対象領域の判定においては、複数の対象の関係の成否を判定するのに適した画像がありうる。例えば、現実には人がヘルメットを着用しているにもかかわらず、画像の角度や位置によってヘルメットの着用の可否を判定できない場合がある。このような場合において、通知状況として、人がヘルメットを着用しているかいないこと、が設定されている場合、本来は現実に人がヘルメットを着用しているため通知すべきではないが、システム的には人がヘルメットを着用していると判定できないため、通知しうる状況となる。 In the above-mentioned determination of the plurality of target areas, there may be an image suitable for determining the success or failure of the relationship between the plurality of objects. For example, even though a person actually wears a helmet, it may not be possible to determine whether or not the helmet can be worn depending on the angle and position of the image. In such a case, if the notification status is set to indicate that the person is wearing a helmet or not, it should not be notified because the person is actually wearing a helmet, but it is systematic. Since it cannot be determined that a person is wearing a helmet, it is possible to notify the situation.
そこで、このようなケースを想定して、判定部は、通知状況であると判定するための前提としての複数対象関係の判定について、複数対象関係を判定するための前提として、後述の追加的条件について判定した上で複数対象関係を判定してもよいし、又は、判定部は、所定の時間又は所定の静止画枚数について、複数回、複数対象関係を判定して、一度でも通知状況でないとする複数対象関係の判定結果が出るかどうか、を判定してもよい。 Therefore, assuming such a case, the determination unit determines the multiple object relations as a premise for determining the notification status, and additionally conditions described later as a premise for determining the multiple object relations. The multiple object relations may be determined after determining the above, or the determination unit determines the multiple object relations a plurality of times for a predetermined time or a predetermined number of still images, and the notification status is not even once. It may be determined whether or not a determination result of a plurality of object relations is obtained.
前者における追加的条件は、この場合、より適切な画像に基づいて、複数対象関係を判定し、複数対象関係の判定の精度を向上できる利点がある。 In this case, the additional condition in the former has an advantage that the plurality of object relations can be determined based on a more appropriate image and the accuracy of the determination of the plurality of object relations can be improved.
後者については、例えば、上述のとおり、人領域関係を設定することにより、人が領域内にいると判定された時点から、所定の時間以内に、複数対象領域の判定において通知状況でないと判定できない場合に、通知してよい。また、人が領域内にいると判定された時点から、所定の静止画枚数内に、複数対象領域の判定において通知状況でないと判定できない場合に、通知してよい。 Regarding the latter, for example, as described above, by setting the human area relationship, it cannot be determined that the multiple target areas are not in the notification status within a predetermined time from the time when the person is determined to be in the area. In case, you may notify. Further, from the time when it is determined that the person is in the area, if it cannot be determined that the notification status is not obtained in the determination of the plurality of target areas within a predetermined number of still images, the notification may be made.
なお、このような、追加的条件、所定の時間、所定の静止画枚数、などは、判定条件をどの程度厳しくするのかという程度に係るものであり、危険予測を重視するのであれば、通知条件を厳しくして、少しでも条件が満たされない場合には通知状況としてもよいし、頻繁に通知される状況が煩わしいのであれば条件を緩和して、所定の時間や所定の静止画枚数など、一定程度の猶予を経た上で、通知状況ではないと判定できない場合に、通知するというように設定されてもよい。このような観点で、上述の所定の時間、所定の静止画枚数、追加的条件などは、システムの利用者によって入力され、設定されてよいし、又は、システムの管理者によって内部情報として設定されてもよい。 It should be noted that such additional conditions, a predetermined time, a predetermined number of still images, etc. are related to the degree of strictness of the judgment condition, and if the risk prediction is important, the notification condition. If the conditions are not met even a little, you can set the notification status, or if the situation of frequent notifications is troublesome, relax the conditions and keep the fixed time, the number of still images, etc. After a certain amount of grace, it may be set to notify when it cannot be determined that the status is not the notification status. From this point of view, the above-mentioned predetermined time, predetermined number of still images, additional conditions, etc. may be input and set by the system user, or may be set as internal information by the system administrator. You may.
また、上述のとおり、判定部は、一又は複数の人と、所定の領域と、の関係（本願書類において、「人領域関係」ということがある）を判定してよい。そして、画像が動画であり、通知状況が複数対象関係のみに関わり、通知状況が人領域関係に関わらない場合においても、判定部は、人領域関係があると判定した静止画について、複数対象関係を判定するよう構成されてよい。判定部が人領域関係を判定することにより、複数対象関係を判定する対象となる静止画を少なくすることができ、処理量を減少できる利点がある。以下、この点を詳述する。この場合のために、一実施形態のシステムは、通知状況の条件ではない領域を設定可能であってよい。 Further, as described above, the determination unit may determine the relationship between one or more persons and a predetermined area (sometimes referred to as "human area relationship" in the documents of the present application). Then, even when the image is a moving image, the notification status is related only to the plurality of object relations, and the notification status is not related to the human domain relationship, the determination unit determines that the still image has the human domain relationship. May be configured to determine. By determining the human area relationship by the determination unit, it is possible to reduce the number of still images to be determined for the plurality of object relationships, and there is an advantage that the processing amount can be reduced. This point will be described in detail below. For this case, the system of one embodiment may be able to set an area that is not a condition of the notification status.
例えば、撮像カメラの設定される位置や方向によっては、多数の人を撮像範囲に収める場合がある。例えば、図７は、施設入口の内側に備えられた撮像装置によって、どのような人が撮像視野範囲に含まれるかを示した一例である。施設００１の入口００４に撮像範囲を向けて、施設００１内に備えられた情報処理装置００２は、撮像範囲００３によって、種々の人００５乃至０１０が撮像範囲に入る可能性がある。人００５及び００６は、施設００１内の人として撮像範囲００３に含まれている。他方、人００７乃至００９は、撮像範囲００３には含まれているものの、施設００１内ではない。人０１０は、撮像範囲００３の範囲外となっている。これは、撮像装置００２が、地面と平行の角度で備えられておらず、所定の俯角で設置されていることから、人０１０が撮像範囲外となっている例である。距離０１１は、撮像装置００２から入口００４までの撮像方向と平行な方向の距離を示している。また、撮像装置で撮像された画像における所定の領域に対応する現実の領域（本願書類において、撮像装置で撮像された画像内の所定の領域に対応する現実の領域を、「現実領域」ということがある）は、斜線部分０１３によって、その範囲を図示している。ここで、距離０１１は、撮像方向に沿った方向において、撮像装置００２から施設００１内の距離として設定されているが、他の例としては、距離０１１は、撮像装置００２から施設００１の入口００４の入口の両端の一方までの距離であってもよい。
For example, depending on the position and direction of the imaging camera, a large number of people may be included in the imaging range. For example, FIG. 7 is an example showing what kind of person is included in the imaging field of view by the imaging device provided inside the facility entrance. The
判定部は、人領域関係として、一又は複数の人が、所定の領域内であるか、所定の領域外であるかを、判定してよい。また、判定部は、一又は複数の人が、所定の範囲内であるか、所定の範囲外であるか、を前記一又は複数の人の、人の位置を用いて、判定してよい。 The determination unit may determine whether one or more people are within the predetermined area or outside the predetermined area as a human area relationship. In addition, the determination unit may determine whether one or more people are within a predetermined range or outside the predetermined range by using the positions of the one or more people.
このように、所定の領域と、施設内外の境界と、が所定の関係を有するよう設定される場合、施設外の情報を遮断できる利点がある。すなわち、施設内の情報を収集することを主目的に備えられた撮像装置であっても、施設の内部から外部方向に設置された場合、施設の外部の情報はむやみに収集しないことが好ましいところ、画像の撮像範囲内に領域を設定し、施設の外に対応する部分の情報を取得しないよう構成することで、プライバシーをむやみに収集しないよう構成できる利点がある。所定の領域は、例えば、前記所定の領域の境界の少なくとも一部と、施設内外の境界の一部と、が一定の距離を有するよう設定されたり、前記所定の領域の境界の少なくとも一部とが、施設内外の境界の一部と、が接するよう設定されてよい。 As described above, when the predetermined area and the boundary inside and outside the facility are set to have a predetermined relationship, there is an advantage that the information outside the facility can be blocked. That is, even if the imaging device is provided mainly for collecting information inside the facility, it is preferable not to collect information outside the facility unnecessarily when it is installed from the inside of the facility to the outside. , There is an advantage that privacy can be configured not to be collected unnecessarily by setting an area within the imaging range of the image and configuring so that the information of the corresponding part outside the facility is not acquired. The predetermined area is set so that, for example, at least a part of the boundary of the predetermined area and a part of the boundary inside and outside the facility have a certain distance, or at least a part of the boundary of the predetermined area. However, it may be set so that it touches a part of the boundary inside and outside the facility.
図８は、撮像装置が、所定の俯角で設置されている例である。なお、俯角は、撮像装置の撮像方向と、地面の水平方向と、の角度であってよい。撮像方向は、画角の中心の方向であってよい。 FIG. 8 shows an example in which the imaging device is installed at a predetermined depression angle. The depression angle may be an angle between the imaging direction of the imaging device and the horizontal direction of the ground. The imaging direction may be the direction of the center of the angle of view.
本図において、撮像装置００１は、所定の俯角で、天井００２に備えられ、天井００２と地面００３の間の一部について、撮像範囲００４としている。判定部は、人００５乃至００８のうち、人００６が所定の領域００９内であると判定し、人００５、００７、００８を所定の領域００９外であると判定してよい。なお、人００５は、顔部分は撮像範囲であるが、人００５の位置は、第１所定の領域に対応する現実領域００９外であることから、第１所定の領域外と判定してよい。なお、第２所定の領域に対応する現実領域が０１０と設定されている場合は、人００５も含めて、第２所定の領域内と判定してよい。なお、本図において、撮像装置００１の画角は狭いものであるが、これは一例であり、いわゆるスマートフォンのように画角が広いものであっても、このように天井に所定の俯角で撮像可能に設置されてもよい。
In this figure, the
また、図９は、撮像装置００１が、器具００９に備えられている例である。また、本図は、撮像装置００１の撮像方向が、地面に対して、略平行に設置されている例である。この場合、撮像装置００１は、その撮像方向において、壁や柱などの障害物に到達するまで、天井００３と地面００４の間にいる人を撮像することになり、人々の重なりによって撮像装置から見て奥側の人は撮像されないものの、多数の人を撮像する可能性がある。そのような場合において、上述のようなプライバシーの問題がない場合においても、撮像範囲に入った人々を全て処理する場合、処理量が増大しうる。そこで、撮像された画像内の人のうち、処理対象となる人を限定する目的で、判定部は、撮像された画像内の人が、所定の領域内であるか、所定の領域外であるか、を判定してよい。
Further, FIG. 9 shows an example in which the
また、判定部は、一又は複数の人が、所定の領域であるかどうかを、画像内の人の一部の長さを用いて、判定してよい。例えば、判定部は、人の腰内の両太ももの付け根の位置、人の両肩の位置、人の両耳の位置、人の鼻の位置、人ののどの位置、などの人の一部における２点間の距離や３点間の距離（本願書類において、「人一部距離」ということがある）を用いて、所定の領域内であるか、所定の領域外であるか、を判定してよい。例えば、人ののどの位置と人の鼻の位置との距離、を用いて、人が、所定の領域内であるか、所定の領域外であるか、を判定してよい。また、例えば、人一部距離が所定の距離以上の場合、判定部は所定の領域内と判定し、人一部距離が所定の長さ未満の場合、判定部は所定の領域内ではないと判定してよい。 In addition, the determination unit may determine whether or not one or more people are in a predetermined area by using the length of a part of the people in the image. For example, the judgment part is a part of a person such as the position of the base of both thighs in the waist of the person, the position of both shoulders of the person, the position of both ears of the person, the position of the nose of the person, the position of the throat of the person, etc. Whether it is within a predetermined area or outside a predetermined area is determined by using the distance between two points or the distance between three points (sometimes referred to as "partial human distance" in the documents of the present application). You can do it. For example, the distance between the position of the person's throat and the position of the person's nose may be used to determine whether the person is within or outside the predetermined area. Further, for example, when the partial human distance is equal to or greater than a predetermined distance, the determination unit determines that the distance is within the predetermined area, and when the partial distance between the humans is less than the predetermined length, the determination unit is not within the predetermined area. You may judge.
例えば、人ののどの位置と人の鼻の位置の距離が、所定の解像度の画像内において、５ピクセル以上１０ピクセル未満までの場合は所定の領域内とし、５ピクセル未満や１０ピクセル以上の場合は所定の領域内ではないとしている場合において、得られた画像内の人ののどの位置と人の鼻の位置の距離を用いて、判定部は、所定の領域内であるか、所定の領域内ではないか、を判定してよい。 For example, if the distance between the position of the person's throat and the position of the person's nose is within a predetermined area if it is 5 pixels or more and less than 10 pixels in an image with a predetermined resolution, it is considered as within a predetermined area, and if it is less than 5 pixels or 10 pixels or more. Is not within a predetermined area, and the determination unit is within a predetermined area or a predetermined area by using the distance between the position of the person's throat and the position of the person's nose in the obtained image. It may be determined whether or not it is inside.
この場合、画角や歪みによって多少の誤差はあり得るが、判定部は、予め定められたパラメータを用いて、人の位置又は撮像装置と人の間の距離を設定してもよい。例えば、判定部は、画角、歪み及び／又は解像度に係るパラメータを予め有してよく、かかるパラメータとカメラ・レンズの種別との関係を用いて、設定されるよう構成されてもよい。すなわち、一例のシステムに係る判定部は、カメラ・レンズと、画角、歪み及び／又は解像度に係るパラメータと、の関係を示すルールを有し、判定部は、撮像する撮像装置に係るカメラ・レンズの種別に対応した、画角、歪み及び／又は解像度に係るパラメータ、を用いて人の位置又は撮像装置と人の間の距離を測定してよい。 In this case, although there may be some error depending on the angle of view and distortion, the determination unit may set the position of a person or the distance between the image pickup device and the person using a predetermined parameter. For example, the determination unit may have parameters related to the angle of view, distortion, and / or resolution in advance, and may be configured to be set by using the relationship between such parameters and the type of camera lens. That is, the determination unit according to the system of one example has a rule indicating the relationship between the camera lens and the parameters related to the angle of view, distortion and / or resolution, and the determination unit has a rule indicating the relationship between the camera lens and the camera related to the imaging device for imaging. The position of a person or the distance between an imager and a person may be measured using parameters related to the angle of view, distortion and / or resolution corresponding to the type of lens.
また、判定部は、画角及び解像度、を手動によって設定してもよい。この場合、判定部は、設定された画角及び解像度を用いて、画像内のピクセルあたりの画角を計算し、人一部距離に対応する角度を計算することで、対応する標準的な人一部距離を用いて、距離を逆算してよい。画角は、縦○○度、横○○度などでよい。また、この場合の人一部距離は、顔の大きさであってもよいが、他の距離であってもよい。 Further, the determination unit may manually set the angle of view and the resolution. In this case, the determination unit calculates the angle of view per pixel in the image using the set angle of view and resolution, and calculates the angle corresponding to the partial distance of the person to correspond to the standard person. The distance may be calculated back using a partial distance. The angle of view may be vertical XX degrees, horizontal XX degrees, or the like. Further, the partial distance of the person in this case may be the size of a face, but may be another distance.
このように、判定部が、画像内の人の位置について、所定の領域内であるか、所定の領域内でないか、を判定した後、所定の領域内と判定した人のみを対象として、その後の処理をすることにより、処理量を減少できる利点がある。特に、撮像装置の俯角が所定の角度以下の場合、撮像装置が地面と平行に撮像可能となり、遮蔽物がない環境においては多数の人が画像内に現れる可能性が高くなり処理量が増加することから、かかる所定の領域内と判定した人のみを対象として処理することで処理量を減少できる利点がある。所定の角度としては、１０度、１５度、２０度、２５度、３０度などが挙げられるが、これらに限られない。 In this way, after the determination unit determines whether the position of the person in the image is within the predetermined area or not within the predetermined area, only the person who is determined to be within the predetermined area is targeted. There is an advantage that the processing amount can be reduced by performing the processing of. In particular, when the depression angle of the image pickup device is equal to or less than a predetermined angle, the image pickup device can take an image in parallel with the ground, and in an environment without an obstruction, a large number of people are likely to appear in the image and the processing amount increases. Therefore, there is an advantage that the processing amount can be reduced by processing only the person who is determined to be within the predetermined area. Predetermined angles include, but are not limited to, 10 degrees, 15 degrees, 20 degrees, 25 degrees, 30 degrees, and the like.
なお、後述する領域の設定において、表示画面内において、領域画面内におけるどのような大きさの人を領域内として判定し、どのような大きさの人を領域外とするか、の参考となるような仮想的な人を、表示部が表示してもよい。これは、地面を撮像しない方向で撮像装置が設定される場合等において、どのような人を領域内と判定させ、どのような人を領域外と判定させるかについて、参考となる情報を提供するものであってよい。この場合、領域を設定する機能は、あってもなくともよい。領域を設定する機能がないとしても、閲覧者は、どのような人が領域内と判定され、どのような人が領域外と判定されるかの参考となる情報を得ることができる。例えば、図１０は、撮像された対象を表示する表示部００１において、現実には撮像されていない仮想的な人の顔の大きさ００２が表示されている。ここで、顔の大きさ００２の表示は、この人の大きさ以上近づくと、人領域関係の判定において、人が領域内であると判定される対象になる、又は、複数対象関係を判定する対象になる、ことを示している。また、本例では、一の人の顔のみを示したが、例えば、複数の人の顔を写し、その複数の人の顔のなかで、どのような大きさの人の顔が、上述の判定の対象になるかを示してもよい。例えば、図１２のように、人の顔の大きさ００２乃至００５が表示され、この中でどの大きさからが領域の対象となるかを表示してもよい。例えば、人の顔００４及び００５は、人の顔００２及び００３と異なる態様で表示されてもよい。なお、これら図においては、人の顔のみを示したが、顔でなく、人の体全体であってもよいし、上半身であってもよい。要するに、人の大きさを人が理解できるようなものであればよい。
In addition, in the setting of the area described later, it is a reference for what size of person in the area screen is determined to be in the area and what size of person is out of the area in the display screen. The display unit may display such a virtual person. This provides reference information on what kind of person is judged to be in the area and what kind of person is judged to be out of the area when the imaging device is set in a direction that does not image the ground. It may be a thing. In this case, the function of setting the area may or may not be provided. Even if there is no function for setting the area, the viewer can obtain information that can be used as a reference for what kind of person is determined to be in the area and what kind of person is determined to be outside the area. For example, in FIG. 10, the
また、表示部は、かかる仮想的な人を表示させ、領域を設定する補助機能を有してもよい。この場合は、対象となる人の大きさを閲覧者自身が設定できる利点である。例えば、上述の図１１において、人の顔の大きさが変更可能となっており、対象となる人の大きさを設定可能であってよい。また、上述の図１２において、人の顔の大きさが異なるものが、複数、表示されている画面において、対象としたいと考える人の大きさを選択するようなものであってもよい。 Further, the display unit may have an auxiliary function of displaying such a virtual person and setting an area. In this case, it is an advantage that the viewer himself can set the size of the target person. For example, in FIG. 11 described above, the size of the human face can be changed, and the size of the target person may be set. Further, in FIG. 12 described above, a plurality of people having different face sizes may be displayed, such as selecting the size of the person to be targeted.
上述のように、仮想的な人を用いて領域が設定された場合、判定部は、上述の人一部距離と、領域の設定に使用された上述の仮想的な人における対応する人一部距離と、を対比して用いて、撮像された画像内の人が、所定の領域内であるか、所定の領域外であるか、を判定してよい。 As described above, when the area is set using a virtual person, the determination unit determines the above-mentioned person part distance and the corresponding person part in the above-mentioned virtual person used for setting the area. The distance may be used in comparison to determine whether the person in the captured image is within or outside a predetermined area.
撮像装置００１が備えられる器具００９は、種々のものであってよく、例えば、売り場、棚、看板、壁、であってよい。また、撮像装置００１は、施設の壁や柱など施設の一部に直接備えられてもよい。また、撮像装置００１は、器具００９や施設の一部に、着脱可能に設置されてよい。
The
また、撮像装置００１は、器具００９と一体化されていてもよい。例えば、器具００９がデジタルサイネージである場合、デジタルサイネージの一部として撮像装置００１が備えられていてよい。デジタルサイネージによって情報物が表示される場合、撮像装置００１は、広告を閲覧した人の画像も取得することができてよい。この場合、本実施形態のシステムに係る統計処理部は、画像内の人について、後述する、人が所定のアイテムの有無、及び、画像内の人に係る統計情報、の両方の情報を取得してよい。この場合、画像内の人に係る統計情報は、人の数、人の属性、広告に興味を有した人の数、広告に興味を有した人の数、などであってよい。これらは、所定期間の合計数、平均数、などであってよい。
Further, the
判定部は、人領域関係があると判定した全ての静止画について、複数対象関係を判定してもよいし、人領域関係があると判定した静止画の一部の静止画について、複数対象関係を判定してもよい。前者は、いわば、人領域関係があるという判定が、複数対象関係を判定するための条件となっているものであるが、後者は、人領域関係があるという判定に加えて、更に追加的条件が成立している場合に、複数対象関係を判定するものである。 The determination unit may determine a plurality of object relationships for all the still images determined to have a human domain relationship, or may determine a plurality of object relationships for some of the still images determined to have a human domain relationship. May be determined. In the former, so to speak, the determination that there is a human domain relationship is a condition for determining a plurality of object relations, while in the latter, in addition to the determination that there is a human domain relationship, an additional condition is added. When is satisfied, the multiple object relations are determined.
後者における追加的条件としては、例えば、撮像装置と人との関係があってよい。より具体的には、例えば、撮像装置と人との距離、撮像装置と人との方向性、及び／又は、撮像装置と人との相対的移動速度、などが挙げられる。 An additional condition in the latter may be, for example, a relationship between the imaging device and a person. More specifically, for example, the distance between the image pickup device and a person, the directionality between the image pickup device and a person, and / or the relative moving speed between the image pickup device and a person, and the like can be mentioned.
例えば、撮像装置と人との距離を用いて、動画に係る静止画のうち、所定の距離より短い距離に係る静止画や、最も短い距離に係る静止画を用いてよい。この場合、撮像装置と人との距離が短いものは、大きく撮像されるため、より正確に判定できる利点がある。また、撮像装置と人の方向性を用いて、撮像装置と人との距離が同じ静止画であっても、より撮像装置に対して人が正対する静止画の方が、より正確に判定できる利点がある。また、撮像装置と人との相対的移動速度を用いて、所定の速度より小さい相対的移動速度に係る静止画や、最も相対的相対速度が小さいものに係る静止画を用いてよい。この場合、よりブレのない静止画となるため、より正確に判定できる利点がある。 For example, using the distance between the image pickup device and a person, among the still images related to moving images, a still image related to a distance shorter than a predetermined distance or a still image related to the shortest distance may be used. In this case, if the distance between the image pickup device and the person is short, a large image is taken, so that there is an advantage that the determination can be made more accurately. Further, by using the directionality of the image pickup device and the person, even if the distance between the image pickup device and the person is the same, the still image in which the person faces the image pickup device can be determined more accurately. There are advantages. Further, by using the relative moving speed between the image pickup device and the person, a still image having a relative moving speed smaller than a predetermined speed or a still image having the smallest relative relative speed may be used. In this case, since the still image is more stable, there is an advantage that the determination can be made more accurately.
撮像装置と人との距離は、撮像装置と人との距離を推定できるものであってもよいし、撮像装置と人との距離を相対的に示すものでもよい。例えば、撮像装置によって撮像された画像内の人に係る大きさは、撮像装置と人との距離を比例的に示すものの一例である。人に係る大きさは、人の身長、人の撮像された面積、人の肩幅の長さ、人の身長、人の顔面の大きさ、人の顔面の面積、人の鼻とのどの距離、人の両耳の距離、などであってよい。また、これらの一又は複数のものを用いてよい。 The distance between the image pickup device and the person may be one that can estimate the distance between the image pickup device and the person, or may be a relative indicator of the distance between the image pickup device and the person. For example, the size of a person in an image captured by an image pickup device is an example of a device that proportionally indicates the distance between the image pickup device and the person. The size of a person is the height of the person, the imaged area of the person, the length of the shoulder width of the person, the height of the person, the size of the face of the person, the area of the face of the person, the distance from the nose of the person, It may be the distance between a person's ears, and so on. Moreover, one or more of these may be used.
人が上を向いていたり、下を向いている場合においても、両耳の位置は基本的には変更がないため、人の両耳の距離は、人が顔を上下に振っている場合においても、距離を測定できる可能性が高くなる利点がある。 Even when a person is facing up or down, the positions of both ears are basically unchanged, so the distance between the two ears of a person is when the person is shaking his face up and down. However, there is an advantage that the possibility of measuring the distance is increased.
また、人の鼻とのどの距離は、人が撮像装置に対し側面に位置する場合のように一方の耳が撮像されていない状況であっても、入口から侵入する者を撮像する位置に設置される撮像装置において、鼻は撮像される可能性が高く、距離を測定できる可能性が高くなる利点がある。 In addition, the distance to the nose of a person is set at a position where a person who invades from the entrance is imaged even when one ear is not imaged as in the case where the person is located on the side surface of the image pickup device. There is an advantage that the nose is more likely to be imaged and the distance can be measured in the image pickup device.
撮像装置と人との方向性は、例えば、人の両肩の幅の長さを用いてよい。例えば、動画に係る人の両肩の幅が所定の値よりも長く撮像されている静止画や、動画に係る人の両肩の幅が最も長い静止画を、用いてよい。 As the directionality between the image pickup device and the person, for example, the length of the width of both shoulders of the person may be used. For example, a still image in which the width of both shoulders of the person related to the moving image is longer than a predetermined value, or a still image in which the width of both shoulders of the person related to the moving image is the longest may be used.
また、撮像装置と人の相対的移動速度は、例えば、ブレの程度が低い静止画を用いてよい。 Further, as the relative moving speed of the image pickup device and the person, for example, a still image having a low degree of blurring may be used.
なお、判定部は、これらの情報を明示的に使用する必要はなく、これらの情報を意図した他の情報を用いてもよい。 It is not necessary for the determination unit to explicitly use this information, and other information intended for this information may be used.
判定部は、判定結果を生成してよい。判定結果は、一又は複数の対象が、所定の領域内である、又は、所定の領域外である、という情報であってよい。また、判定結果は、一又は複数の対象が所定の関係にある、という情報であってよい。所定の関係は、上述の装着、着装、保持、有する、などの関係であってよい。また、判定結果は、一又は複数の、上述のものであってよい。例えば、人が所定の領域にいること、かつ、人がヘルメットを着用していること、かつ、人が墜落制止用器具を着用していないこと、などであってよい。 The determination unit may generate a determination result. The determination result may be information that one or more objects are within the predetermined area or outside the predetermined area. Further, the determination result may be information that one or more objects have a predetermined relationship. The predetermined relationship may be the above-mentioned relationship such as wearing, wearing, holding, and holding. Further, the determination result may be one or more of the above. For example, the person may be in a predetermined area, the person may be wearing a helmet, and the person may not be wearing a fall arrest device.
図１２は、判定結果の一例である。本判定結果は、特定の静止画に対し、人１、人２、人３、の各々について結果が表示されている。また、領域は、禁止領域Ａと、領域Ｂとが設定されており、人１と人２は、禁止領域Ａにいると判定され、人３は、領域Ｂにいると判定されている。また、領域Ｂには、ヘルメットと墜落制止用器具の着用が条件として設定されており、人３は、ヘルメットは着用しているが、墜落制止用器具は着用していない、という結果が出ている。
FIG. 12 is an example of the determination result. As for this determination result, the result is displayed for each of person 1,
なお、判定部に係る撮像装置は、例えば、図１３のように、天井に設置されているものであってもよい。この場合も、セキュリティカメラなどを利用できる利点があり、一のカメラによって広い部分を対象に判定できる利点がある。 The imaging device related to the determination unit may be installed on the ceiling as shown in FIG. 13, for example. In this case as well, there is an advantage that a security camera or the like can be used, and there is an advantage that a wide area can be judged by one camera.
また、判定部は、予め通知するよう設定された状況（本願書類においては、「通知状況」ということがある。）であるかどうかを、判定してよい。通知状況は、判定結果が、予め定められたものである場合に、通知するよう設定されているものであってよい。判定部は、通知状況であるかどうかを、後述する通知部に伝達してよい。 In addition, the determination unit may determine whether or not the situation is set to notify in advance (in the documents of the present application, it may be referred to as "notification status"). The notification status may be set to notify when the determination result is a predetermined one. The determination unit may notify the notification unit, which will be described later, whether or not it is in the notification status.
また、判定部は、リアルタイムに通知状況であるかどうかを判定し、リアルタイムに、通知部に、通知状況であるかどうかを伝達してよい。 Further, the determination unit may determine in real time whether or not the notification status is present, and may transmit to the notification unit in real time whether or not the notification status is present.
判定部は、機械学習済みの識別装置を用いて、上述の対象を特定してよい。機械学習は、ニューラルネットワークを用いたものであってよい。また、ニューラルネットワークは、ディープラーニングを用いたものであってよい。 The determination unit may identify the above-mentioned target by using a machine-learned identification device. Machine learning may be using a neural network. Further, the neural network may be one using deep learning.
機械学習済みの識別機能を有する識別部は、本願発明に係るシステムの一構成要素であってよい。この場合、識別部は撮像部と同一の情報処理装置内で動作してもよいし、識別部は表示部と同一の情報処理装置内で動作してもよいし、識別部は撮像部又は表示部と異なる情報処理装置内で動作してもよい。識別部が撮像部と同一の情報処理装置内で動作する場合、撮像された画像を他の情報処理装置にネットワークを介して伝達する必要がなく、リアルタイムに撮像された画像を識別できる利点がある。また、識別部が表示部と同一の情報処理装置内で動作する場合、識別した画像を他の情報処理装置にネットワークを介して伝達する必要がなく、リアルタイムに識別して表示できる利点がある。また、識別部が撮像部又は表示部と異なる情報処理装置内で動作する場合、ネットワークを介して接続可能なサーバ装置やクラウド等の情報処理装置内に識別部が含まれてよく、撮像された画像がネットワークを介して通信される必要があるものの、サーバ装置やクラウド装置等、撮像部や表示部とは異なる大規模な機械学習済みの識別機能を用いて識別できる利点がある。この場合、撮像された全ての画像を通信するのではなく、所定のインターバルを経た時点の画像の一部を送る場合、通信量を削減できる利点がある。 The identification unit having a machine-learned identification function may be a component of the system according to the present invention. In this case, the identification unit may operate in the same information processing device as the imaging unit, the identification unit may operate in the same information processing device as the display unit, and the identification unit may operate in the imaging unit or the display. It may operate in an information processing device different from the unit. When the identification unit operates in the same information processing device as the image pickup unit, it is not necessary to transmit the captured image to another information processing device via the network, and there is an advantage that the captured image can be identified in real time. .. Further, when the identification unit operates in the same information processing device as the display unit, it is not necessary to transmit the identified image to another information processing device via the network, and there is an advantage that the identified image can be identified and displayed in real time. Further, when the identification unit operates in an information processing device different from the imaging unit or the display unit, the identification unit may be included in an information processing device such as a server device or a cloud that can be connected via a network, and the image is captured. Although images need to be communicated via a network, they have the advantage of being able to be identified using a large-scale machine-learned identification function that is different from the imaging unit and display unit, such as server equipment and cloud equipment. In this case, there is an advantage that the amount of communication can be reduced when a part of the images after a predetermined interval is sent instead of communicating all the captured images.
また、識別部は、機械学習済みで識別可能な対象が、予め定められたものに限られてよい。例えば、人、ヘルメット、墜落制止用器具、安全ゴーグル、手袋、安全ブーツ、スマートフォン、刀剣類、及び／又は、暴行用途アイテム、などである。また、対象の識別可能な関係が、予め定められたものに限られていてよい。例えば、人の頭にヘルメットが着用されている関係、人の胸部に墜落制止用器具が着用されている関係、人の頭部に安全ゴーグルが着用されている関係、人の上肢に手袋が着用されている関係、人の脚部に安全ブーツが着用されている関係、人の手にスマートフォン、刀剣類、及び／又は、暴行用途アイテムが保持されている関係、などである。このように、識別可能な対象、又は、識別可能な関係が、予め定められた物に限られている場合、演算機能がＧＰＵなどと比べて低演算機能を有する携帯可能な情報処理装置であっても、計算量の負担を少なくして識別できる利点がある。かかる携帯可能な情報処理装置は、スーパースカラー方式のＣＰＵを有してよい。また、携帯可能な情報処理装置は、ベクトルプロセッサー方式ではないＣＰＵを有してよい。また、携帯可能な情報処理装置は、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）を有しないものであってよい。 Further, the identification unit may be limited to a predetermined object that has been machine-learned and can be identified. For example, people, helmets, fall arrest devices, safety goggles, gloves, safety boots, smartphones, swords, and / or assault items. Further, the identifiable relationship of the object may be limited to a predetermined one. For example, a person's head is wearing a helmet, a person's chest is wearing a fall-prevention device, a person's head is wearing safety goggles, and a person's upper limbs are wearing gloves. Relationships where safety boots are worn on the legs of a person, smartphones, swords, and / or items for assault are held in a person's hand. As described above, when the identifiable object or the identifiable relationship is limited to a predetermined object, the portable information processing device has a lower calculation function than the GPU or the like. However, there is an advantage that it can be identified with less burden of calculation amount. Such a portable information processing device may have a superscalar CPU. Further, the portable information processing device may have a CPU that is not a vector processor system. Further, the portable information processing device may not have a GPU (Graphic Processor Unit).
なお、識別部は、本願発明に係るシステム外に存在してもよい。この場合、システム内の判定部は、システム外の識別部に対して、ネットワークを介して、画像を伝達し、画像に係る通知状況であるかどうかを問い合わせてよい。システム外の識別部は、取得した画像を用いて、画像について、通知状況であるかどうかを生成し、システム内の判定部に、かかる通知状況であるかどうかを送信してよい。システム内の判定部は、かかるシステム外の識別部から通知状況であるかどうかを取得してよい。この場合、本願発明に係るシステムは、クラウドやサーバなどの第三者が有するシステムにおける、機械学習に基づく識別機能を用いて、画像について、通知状況であるかどうかを得る利点がある。 The identification unit may exist outside the system according to the present invention. In this case, the determination unit in the system may transmit the image to the identification unit outside the system via the network and inquire whether or not the notification status is related to the image. The identification unit outside the system may use the acquired image to generate whether or not the image is in the notification status, and transmit to the determination unit in the system whether or not the notification status is present. The determination unit in the system may acquire whether or not the notification status is obtained from the identification unit outside the system. In this case, the system according to the present invention has an advantage of obtaining whether or not the image is in the notification status by using the identification function based on machine learning in the system possessed by a third party such as a cloud or a server.
１．３．通知部
通知部は、通知先に係る情報処理装置（本願書類において、「通知先情報処理装置」ということもある）に、通知する機能を有する。 1.3. Notification unit The notification unit has a function of notifying an information processing device related to a notification destination (sometimes referred to as a "notification destination information processing device" in the documents of the present application).
通知部は、判定部が生成した判定結果を用いて、通知される情報（本願書類において、「通知情報」ということもある）を生成してよい。 The notification unit may generate information to be notified (sometimes referred to as “notification information” in the documents of the present application) using the determination result generated by the determination unit.
通知部は、通知状況である場合に、通知してよい。また、通知部は、通知状況に至った時点で、通知してよい。すなわち、通知部は、判定部から、通知状況に至ったとの情報を取得した後に、通知してよい。 The notification unit may notify when it is in the notification status. In addition, the notification unit may notify when the notification status is reached. That is, the notification unit may notify after acquiring the information that the notification status has been reached from the determination unit.
１．４．統計処理部
統計処理部は、判定部において判定された情報を用いて、統計処理を行う機能を有する。統計処理部によって得られた情報は、通知先情報処理装置に伝達されてよい。 1.4. Statistical processing unit The statistical processing unit has a function of performing statistical processing using the information determined by the determination unit. The information obtained by the statistical processing unit may be transmitted to the notification destination information processing device.
１．５．記憶部
記憶部は、上述の全部または一部の機能に関連するプログラム、及び／又は、対応するデータを記憶する機能を有する。 1.5. Storage unit The storage unit has a function of storing a program related to all or a part of the above-mentioned functions and / or corresponding data.
一実施形態のシステムが、上述の各部を用いた流れを説明すると、まず、本実施形態のシステムに係る取得部が、画像を取得し（ステップ１）、本実施形態のシステムに係る判定部が、画像を用いて、判定し、判定結果を生成し（ステップ２）、本実施形態のシステムに係る通知部が、判定結果を用いて通知情報を生成し、通知先に、通知情報を、通知する（ステップ３）、という流れであってよい。 Explaining the flow in which the system of one embodiment uses each of the above-described parts, first, the acquisition unit related to the system of this embodiment acquires an image (step 1), and the determination unit related to the system of this embodiment obtains an image. , Judgment is made using an image, and a judgment result is generated (step 2). The notification unit according to the system of the present embodiment generates notification information using the judgment result, and notifies the notification destination of the notification information. (Step 3) may be the flow.
２．実施形態
２．１．実施形態１
本願発明の一実施形態に係るシステムを説明する。本実施形態のシステムは、例えば、図１４のようなシステム構成であり、建築現場や土木現場などの工事現場における使用として説明する。 2. Embodiment
2.1. Embodiment 1
A system according to an embodiment of the present invention will be described. The system of this embodiment has, for example, the system configuration as shown in FIG. 14, and will be described as being used at a construction site such as a construction site or a civil engineering site.
まず、工事現場における関係者を説明すると、工事現場には種々の役職の人がいる。例えば、実際の作業を行う作業員、これらの作業員のチームリーダ的存在の職長、職長をまとめる現場監督、安全面の書類などの管理を行う安全衛生責任者、工事現場の全ての責任を負う所長、所長を補佐する監理技術者、など（本願書類において、これらの者を「工事関係者」ということがある）である。 First, to explain the people involved at the construction site, there are people in various positions at the construction site. For example, the foreman who performs the actual work, the foreman who is the team leader of these workers, the foreman who organizes the foreman, the safety and health manager who manages safety documents, etc., and the construction site are all responsible. The foreman, a supervising engineer who assists the foreman, etc. (in the documents of the present application, these persons may be referred to as "construction personnel").
本図では、工事現場００１において、本実施形態のシステムに係るスマートフォン００２が置かれている。スマートフォン００２が、工事現場において置かれる場所は、どのような場所でもよい。工事現場においては、種々の資材、建築物、種々の機器、車両などがあるため、例えば、これらに備え付けられたり、着脱可能に固定されたり、置かれたり、立てかけられたり、されてよい。
In this figure, a
工事現場においては、日々、種々の作業がされるため、後述の危険領域も、一又は複数あり、その場所も、日々変更されうる。例えば、前日に雨である場合には濡れた場所が危険な領域になりうるし、不安定な資材を仮置きする場所の周辺も危険な領域になりうるし、高所作業周辺も危険な領域になりうる。他方、工事現場は、一又は複数の重機が利用されたり、多数の資材が搬入されたり、構造物が築造されていくことから、工事現場のあらゆる箇所を常に死角なく撮像可能な撮像装置が工事現場に設置されていることを期待することは難しいし、設置することも難しいと考えられる。本実施形態のシステムが、携帯可能な情報処理装置内の撮像装置を用いる場合、携帯可能な情報処理装置は軽量かつ小型であることから、日々の危険領域に合わせて、手軽に、携帯可能な情報処理装置を置く場所や方向を変更し、撮像範囲を変更できる利点がある。特に、一の携帯可能な情報処理装置が、撮像部と表示部とを一体化して有する場合、かかる一の携帯可能な情報処理装置によって撮像機能と表示機能を有するため、便利である利点がある。なお、一体化の態様は種々のものであってよく、撮像機能と表示機能とが一の情報処理装置において物理的に接続されていればよい。撮像機能における撮像方向は、表示機能における表示方向と同じ方向であってもよいし、逆方向であってもよい。また、撮像機能は、一の情報処理装置内に２以上の複数あってもよい。 Since various works are performed every day at the construction site, there are one or more dangerous areas, which will be described later, and the locations can be changed every day. For example, if it rains the day before, a wet place can be a dangerous area, the area around the place where unstable materials are temporarily stored can be a dangerous area, and the area around aerial work can be a dangerous area. sell. On the other hand, at the construction site, one or more heavy machines are used, a large number of materials are carried in, and structures are constructed, so an imaging device that can always image every part of the construction site without blind spots is constructed. It is difficult to expect that it will be installed at the site, and it will be difficult to install it. When the system of the present embodiment uses an image pickup device in a portable information processing device, the portable information processing device is lightweight and compact, so that it can be easily carried according to daily danger areas. There is an advantage that the imaging range can be changed by changing the location and direction of the information processing device. In particular, when one portable information processing device has an imaging unit and a display unit integrated, there is an advantage that it is convenient because the one portable information processing device has an imaging function and a display function. .. The mode of integration may be various, and the imaging function and the display function may be physically connected in one information processing device. The imaging direction in the imaging function may be the same direction as the display direction in the display function, or may be the opposite direction. Further, there may be two or more imaging functions in one information processing device.
また、危険な領域に人が入ることは人命に直接影響するものであるが、労働力不足の社会状況下においては労働力を簡易に動員できるとは限らない。そのため、本実施形態のシステムが、携帯可能な情報処理装置内の撮像装置を用いる場合、既に普及している携帯可能な情報処理装置を用いてダウンロードしインストールして利用できるため、簡易に通知システムを導入できる利点がある。 In addition, although entering a dangerous area directly affects human life, it is not always possible to easily mobilize the labor force in a social situation where there is a labor shortage. Therefore, when the system of the present embodiment uses an imaging device in a portable information processing device, it can be downloaded, installed, and used by using a portable information processing device that is already widespread, and thus a notification system can be easily used. There is an advantage that can be introduced.
スマートフォン００２は、撮像装置を備え、撮像できる範囲００３を撮像可能とされている。この撮像可能範囲００３において、領域を設定可能であってよい。本図においては、第１領域００４ａと、第２領域００４ｂと、が設定されている例であるが、一又は複数の領域が設定可能であってよい。領域は、人が入った場合に判定され、後述のように通知されるような場所と対応付けて、設定されてよい。領域が複数設定可能であることにより、一のスマートフォンで撮像可能な範囲に複数領域を設定したい場合においても、複数のスマートフォンを用意する必要なく、一のスマートフォンで対応できる利点がある。また、スマートフォンの設置場所に起因する撮像範囲の限定に留まらずに、通知に必要な範囲の領域の設定を可能に出来る利点がある。
The
領域の例としては、人に危険が生じる場所又は人に危険が生じうる場所（本願書類において、これらをまとめて、「危険領域」ということがある）が挙げられるが、それ以外に、重機を制御する運転台などその場所自体は危険でなくとも危険なものをコントロール可能な場所（本願書類において、「危険制御領域」ということがある）や、所定の人のみアクセスすることが許されるような金銭的価値が管理されている場所（本願書類において、「金銭的価値管理領域」ということがある）や、所定の人のみアクセスすることが許されるような機密情報が管理されている場所（本願書類において、「機密情報管理領域」ということがある）、などであってもよい（本願書類において、危険領域、危険制御領域、金銭的価値管理領域、機密情報管理領域、を含む上位概念として、「禁止領域」ということもある）。 Examples of areas include places where people are in danger or places where people are in danger (these are collectively referred to as "danger areas" in the documents of the present application), but other than that, heavy machinery is used. The place itself, such as the driver's cab to be controlled, is a place where dangerous things can be controlled even if it is not dangerous (sometimes referred to as "danger control area" in the documents of the present application), or only a predetermined person is allowed to access it. A place where monetary value is managed (sometimes referred to as "monetary value management area" in the documents of the present application) or a place where confidential information is managed so that only a predetermined person can access it (this application). In the document, it may be "confidential information management area"), etc. (in the document of the present application, as a superordinate concept including a danger area, a danger control area, a monetary value management area, and a confidential information management area). Sometimes referred to as a "prohibited area").
また、領域には条件が設定されてもよい。条件が設定されることにより、単に人が領域にいる場合に常に通知されるのではなく、人が領域にいること、及び、所定の条件に応じて通知できるよう構成されるため、無駄な通知を排除して必要十分な場合に通知できる利点がある。特に、危険領域は、全ての人がいることを許されない領域もあれば、所定のアイテムを着用した者であればいることを許される領域もあってよい。より具体的には、例えば、所定のアイテムとして、ヘルメットを着用していれば、侵入してよい、所定のアイテムとしてヘルメット及び墜落制止用器具を着用していれば、侵入してよい、などである。従って、本実施形態のシステムが領域について条件を設定可能な場合、各領域の危険とその領域内に入る人の装備を踏まえて、通知できるよう設定できる利点がある。 In addition, conditions may be set in the area. By setting conditions, it is not always notified when a person is in the area, but it is configured so that the person is in the area and can be notified according to a predetermined condition, so that it is useless notification. There is an advantage that it can be notified when it is necessary and sufficient. In particular, the dangerous area may be an area where not everyone is allowed to be present, or an area where anyone who wears a predetermined item is allowed to be present. More specifically, for example, if a helmet is worn as a predetermined item, it may invade, and if a helmet and a fall prevention device are worn as a predetermined item, it may invade. be. Therefore, when the system of the present embodiment can set the condition for the area, there is an advantage that the notification can be set in consideration of the danger of each area and the equipment of the person who enters the area.
設定される条件は、条件が満たされる場合に、通知するよう設定されてもよいし、条件が満たされない場合に、通知するよう設定されてもよい。ここでは、第１領域は条件がないものとして、第１領域内に人がいると判定した場合に通知するよう設定され、第２領域は条件があるものとして、第２領域内にヘルメット及び墜落制止用器具を着用していない人がいる場合に通知するよう設定されているものとして説明する。なお、この領域についての詳細は、後述する。 The conditions to be set may be set to notify when the conditions are met, or may be set to notify when the conditions are not met. Here, the first area is set to notify when it is determined that there is a person in the first area, assuming that there is no condition, and the second area is assumed to have a condition, and the helmet and the crash are made in the second area. Explain that it is set to notify when there is a person who is not wearing a restraint device. The details of this area will be described later.
本図では、スマートフォン００５ａを保有する人００５が第１領域００４ａ内にいる状態と、スマートフォン００６ａを保有する人００６がヘルメット又は墜落制止用器具を着用していない状態で第２領域にいる状態と、が図示されている。第１領域と第２領域は、撮像可能範囲００３内において設定された領域であるため、この場合、スマートフォン００２は、人００５が第１領域内にいると判定し、ヘルメット又は墜落制止用器具を着用していない人００６が第２領域内にいると判定してよい。
In this figure, the
スマートフォン００２は、通知状況と判定した場合、通知情報を、所定の通知先情報処理装置に通知してよい。
When the
通知情報は、通知状況と判定された画像を撮像した撮像部を備える情報処理装置（本願書類において、「撮像情報処理装置」ということがある。）に係る情報、通知状況であることを示す情報、及び／又は、通知状況に係る情報、などであってよい。 The notification information is information related to an information processing device (sometimes referred to as "imaging information processing device" in the documents of the present application) including an image pickup unit that has captured an image determined to be the notification status, and information indicating the notification status. , And / or information related to the notification status, and the like.
撮像情報処理装置に係る情報は、撮像情報処理装置を特定する情報、撮像情報処理装置が所属するグループを特定する情報、などであってよい。 The information related to the image pickup information processing device may be information that identifies the image pickup information processing device, information that identifies the group to which the image pickup information processing device belongs, and the like.
撮像情報処理装置を特定する情報は、撮像情報処理装置の位置、撮像情報処理装置の名称やＩＤ、撮像情報処理装置の使用者及び／又は管理者、などであってよい。 The information that identifies the image pickup information processing device may be the position of the image pickup information processing device, the name or ID of the image pickup information processing device, the user and / or the administrator of the image pickup information processing device, and the like.
撮像情報処理装置が所属するグループを特定する情報は、撮像情報処理装置の所属、撮像情報処理装置の使用者及び／又は管理者、撮像情報処理装置が通知状況時に使用された工事現場を特定する情報、などであってよい。 The information that identifies the group to which the imaging information processing device belongs identifies the affiliation of the imaging information processing device, the user and / or manager of the imaging information processing device, and the construction site where the imaging information processing device was used during the notification status. It may be information, etc.
工事現場を特定する情報は、工事のプロジェクト名、工事現場の愛称、工事現場の位置、などであってよい。 The information that identifies the construction site may be the project name of the construction, the nickname of the construction site, the location of the construction site, and the like.
撮像情報処理装置の位置や工事現場の位置は、ＧＰＳで特定された位置や、撮像情報処理装置に係る基地局に基づく位置、あるいはこれらから特定される位置、などであってよい。 The position of the image pickup information processing device or the position of the construction site may be a position specified by GPS, a position based on a base station related to the image pickup information processing device, or a position specified from these.
また、使用者及び／又は管理者は、個人であってもよいし、法人であってもよい。 In addition, the user and / or the manager may be an individual or a corporation.
なお、通知情報は、予め、以下で説明する管理情報処理装置内に記憶されていてもよく、通知情報としては、撮像情報処理装置を特定する一の情報（例えば、撮像情報処理装置ＩＤ、撮像情報処理装置の名称など）を伝達する構成であってもよい。この場合、予め伝達された管理情報処理装置内の通知情報と、撮像情報処理装置を特定する一の情報と、を用いることにより、撮像情報処理装置に係る他の情報を、管理情報処理装置において、使用可能となり、かかる管理情報処理装置にアクセスする他の情報処理装置に対して、かかる通知情報を伝達し、かかる他の情報処理装置においても、かかる通知情報を取得し、表示可能とされてよい。 The notification information may be stored in advance in the management information processing device described below, and the notification information includes one piece of information that identifies the imaging information processing device (for example, the imaging information processing device ID, imaging). It may be configured to transmit (name of information processing device, etc.). In this case, by using the notification information in the management information processing device transmitted in advance and one information that identifies the image pickup information processing device, other information related to the image pickup information processing device can be transmitted to the management information processing device. , The notification information is transmitted to other information processing devices that access the management information processing device, and the other information processing devices can also acquire and display the notification information. good.
通知状況であることを示す情報は、撮像情報処理装置と通知先情報処理装置との間で、撮像情報処理装置から伝達された場合に、通知先情報処理装置において通知手段を実行するよう、予め定められた情報であってよい。 When the information indicating the notification status is transmitted from the imaging information processing device between the imaging information processing device and the notification destination information processing device, the notification means is executed in advance in the notification destination information processing device. It may be defined information.
通知状況に係る情報は、通知状況に係る画像、通知状況に係る領域、通知状況に係る条件、通知状況に係る時間、などであってよい。 The information related to the notification status may be an image related to the notification status, an area related to the notification status, a condition related to the notification status, a time related to the notification status, and the like.
通知状況に係る画像は、通知状況を生じさせた動画や静止画であってよい。また、動画や静止画は、通知状況に至る前所定の時間から、通知状況後の所定の時間までの間の一部又は全部であってよい。通知状況に至る前所定の時間は、通知状況が発生する５秒前、１０秒前、１５秒前、２０秒前、３０秒前、１分前、２分前などであってよい。特に、通知状況に至る前所定の時間は、０秒前乃至１５秒前、０秒前乃至３０秒前、０秒前乃至１分前、０秒前乃至２分前、等で設定されてよい。また、通知状況後の所定の時間は、１分、３分、５分、７分、１０分などであってよい。 The image related to the notification status may be a moving image or a still image that caused the notification status. Further, the moving image or the still image may be a part or all of the period from the predetermined time before reaching the notification status to the predetermined time after the notification status. The predetermined time before reaching the notification status may be 5 seconds, 10 seconds, 15 seconds, 20 seconds, 30 seconds, 1 minute, 2 minutes, etc. before the notification status occurs. In particular, the predetermined time before reaching the notification status may be set to 0 seconds to 15 seconds before, 0 seconds to 30 seconds before, 0 seconds to 1 minute before, 0 seconds to 2 minutes before, and the like. .. The predetermined time after the notification status may be 1 minute, 3 minutes, 5 minutes, 7 minutes, 10 minutes, or the like.
通知状況に係る領域は、通知状況を発生させた一又は複数の領域を特定する情報、などであってよい。 The area related to the notification status may be information that identifies one or a plurality of areas that have generated the notification status.
通知状況に係る条件は、通知状況を発生させた一又は複数の条件、かかる条件の成立性、などであってよい。 The conditions relating to the notification status may be one or more conditions that have generated the notification status, the feasibility of such conditions, and the like.
通知状況に係る時間は、通知状況が発生した日時、通知状況に係る画像の撮像日時、などであってよい。 The time related to the notification status may be the date and time when the notification status occurred, the date and time when the image related to the notification status was captured, and the like.
通知状況に係る画像の撮像日時は、通知状況に係る動画の開始時刻、かかる動画の終了時刻、通知状況に係る静止画の撮像日時、などであってよい。 The imaging date and time of the image related to the notification status may be the start time of the moving image related to the notification status, the end time of the moving image, the imaging date and time of the still image related to the notification status, and the like.
本実施形態のシステムに係る情報処理装置０２５ａが記憶した通知情報の一例として、例えば、図１５のようなテーブルにより、情報を記憶してよい。通知状況の発生の度にＩＤが付与され、かかるＩＤと関連付けられて、通知情報が、格納されてよい。また、本図に係るテーブルは、通知状況の発生の度に、リアルタイムに、通知情報が追加されてよい。
As an example of the notification information stored in the
かかる情報が記録されていることにより、情報処理装置０２５ａにアクセスした情報処理装置は、過去の通知状況と、通知状況に係る情報を取得できる利点がある。すなわち、通知先報処理装置又は他の情報処理装置は、情報処理装置０２５ａにアクセスすることにより、通知情報の一部又は全部を表示可能であってよい。なお、ここで、他の情報処理装置は、通知先情報処理装置に限られず、例えば、ＩＤを有してアクセスが許された利用者によって、ＷＥＢなどを介して、他の情報処理装置からアクセス可能であってもよい。
By recording such information, the information processing device that has accessed the
撮像情報処理装置が、通知情報を、通知先情報処理装置に伝達する手法は、種々の手法であってよい。例えば、撮像情報処理装置は、通知情報を、通知先情報処理装置（例えば、本図において、スマートフォン００６ａ、スマートフォン００７ａ、スマートフォン００８ａ、スマートフォン００９ａ、情報処理装置０１１ａ、スマートフォン０２１ａ、情報処理装置０２３ａ、情報処理装置０２５ａなど）に直接伝達してよい。この場合、各情報処理装置に直接情報が伝達できる利点がある。
The method by which the imaging information processing apparatus transmits the notification information to the notification destination information processing apparatus may be various methods. For example, the image pickup information processing device transmits the notification information to the notification destination information processing device (for example, in this figure,
また、撮像情報処理装置は、通知情報を、一又は複数の所定の一部の通知先情報処理装置に伝達し、かかる一又は複数の通知先情報処理装置の一部又は全部から、一又は複数の所定の一部以外の通知先情報処理装置に伝達されてもよい。例えば、本図において、スマートフォン００２は、通知情報を、情報処理装置０２５ａに伝達し、情報処理装置０２５ａが、スマートフォン００６ａ、スマートフォン００７ａ、スマートフォン００８ａ、スマートフォン００９ａ、情報処理装置０１１ａ、スマートフォン０２１ａ、情報処理装置０２３ａなどに伝達してよい。通知情報の処理量が多い場合、スマートフォン００２による送信処理等の負担を軽減できる利点がある。
Further, the imaging information processing device transmits the notification information to one or a plurality of predetermined notification destination information processing devices, and one or a plurality of the notification information may be obtained from a part or all of the notification destination information processing devices. It may be transmitted to a notification destination information processing device other than a predetermined part of. For example, in this figure, the
また、撮像情報処理装置は、一部の通知情報を、第１所定の通知先情報処理装置に伝達し、一部又は全部の通知情報を、第２所定の通知先情報処理装置に伝達してもよい。例えば、本図において、スマートフォン００２は、通知状況であることを示す情報を、第１所定の通知先情報処理装置（例えば、本図において、スマートフォン００６ａ、スマートフォン００７ａ、スマートフォン００８ａ、スマートフォン００９ａ、情報処理装置０１１ａ、スマートフォン０２１ａ、情報処理装置０２３ａなど）に伝達し、通知情報を、第２所定の通知先情報処理装置（例えば、本図において、情報処理装置０２５ａ）に伝達してよい。この場合、各工事関係者は、通知状況であることを示す情報を取得し、通知状況であることを理解でき、必要に応じて、かかる工事関係者に係る情報処理装置から、情報処理装置０２５ａにアクセスすることで、具体的な通知情報にアクセスできる利点がある。なお、このように、撮像情報処理装置や各通知先情報処理装置からアクセス可能であって、撮像情報処理装置によって撮像された画像を格納する一又は複数の情報処理装置を、「管理情報処理装置」ということがある（又は、「管理システム」ということがある）。管理情報処理装置は、通知先情報処理装置である場合もあれば、通知先情報処理装置でない場合もある。
Further, the imaging information processing device transmits a part of the notification information to the first predetermined notification destination information processing device, and transmits a part or all of the notification information to the second predetermined notification destination information processing device. May be good. For example, in this figure, the
また、通知情報は、通知先に応じたものであってもよい。例えば現場の職長００７や現場監督０１１は、すぐに設定された領域に移動すれば通知状況の具体的な意義が理解できるため、通知状況であることを示す情報、が通知先に係る情報処理装置に伝達されるのみであってもよい。例えば、職長００７や現場監督０１１に係るスマートフォンは、通知状況であることを示す情報を取得し、通知手段として、音を出す、光を出す、及び／又は、震える、との処理を実行してよい。
Further, the notification information may be according to the notification destination. For example, the
他方、職長００７、現場監督０１１であっても具体的な情報が知りたい場合もあるし、工事現場以外にいる者０２１、０２３は具体的な情報が知りえない可能性があることから、これらの者に係る情報処理装置（スマートフォン００７ａ、情報処理装置０１１ａ、スマートフォン０２１ａ、情報処理装置０２３ａなど）に、通知情報が通知されてよい。
On the other hand, there are cases where even the
あるいは、工事関係者に係る情報処理装置に、通知状況であることを示す情報のみを伝達し、通知状況であることを認識した工事関係者がより具体的な情報を知りたい場合に、工事関係者に係る情報処理装置から、通知情報が伝達されている別途情報処理装置０２５ａにアクセスすることで、通知情報を取得できるよう構成されてもよい。この場合、必要に応じて、通知情報の具体的な中身にアクセスできる利点がある。
Alternatively, when only the information indicating the notification status is transmitted to the information processing device related to the construction related person and the construction related person who recognizes the notification status wants to know more specific information, the construction related The information processing device related to the person may be configured to acquire the notification information by accessing the separate
また、スマートフォン００２は、種々の工事関係者に係る情報処理装置に通知してよい。
In addition, the
例えば、スマートフォン００２は、作業員００６に係るスマートフォン００６ａに通知してもよい。例えば、気づかずに領域内に入ってしまった人に対して、領域内であることを、気づかせることができる利点がある。
For example, the
また、スマートフォン００２は、作業員００８に係るスマートフォン００８ａに通知してもよい。これは、領域内にいる人が、自力で領域から脱することができない状態等においては助けることが可能である利点がある。また、領域が危険制御領域である場合には、かかる制御されうる危険が生じる場所にいる人に対し、危険が生じうることを通知できる利点がある。
Further, the
他方で、スマートフォン００２は、工事現場内の全員に対して通知するよう設定されなくてもよい。例えば、作業員００９は、撮像範囲００３から遠方であり、危険が生じないことが明らかな場合等においては、作業員００９に係るスマートフォン００９ａには通知されなくてもよい。すなわち、本実施形態のシステムにおいて、撮像情報処理装置は、撮像情報処理装置と、通知先情報処理装置と、の距離に応じて、前記通知先情報処理装置に通知するか、通知しないか、を決定してよい。前記距離は、撮像情報処理装置の位置と、前記通知先情報処理装置の位置と、から決定されてよい。また、本実施形態のシステムは、第１の所定の一又は複数の情報処理装置に対して通知できるよう設定し、第２の所定の一又は複数の情報処理装置に対しては通知しないよう設定できてよい。また、通知先情報処理装置は、所定の条件に基づいて、決定されてもよい。また、通知先情報処理装置は、所定の条件に基づいて、動的に決定されてよい。例えば、所定の条件として、通知先情報処理装置に係る位置と、本実施形態のシステムに係るスマートフォン００２に係る位置と、が所定の距離以内である場合に、通知するよう設定されてもよい。
On the other hand, the
一実施形態のシステムがかかる構成を備える場合、本実施形態のシステムに係るスマートフォン００２から所定の距離内のスマートフォン００２に通知され、かかる所定の距離外のスマートフォン００２には通知されないため、近辺の作業員には危険が生じる可能性がある又は救助が可能であるとして通知される一方、遠方の作業員には関係が薄いものとして通知されないという運用を可能にする利点がある。
When the system of one embodiment has such a configuration, the
また、スマートフォン００２は、情報処理装置０１２に通知してもよい。情報処理装置０１２は、音を発生する音発生装置、及び／又は、光を発生する光発生装置、を備え、通知内容を受信すると、音を発生するよう構成されてよい。情報処理装置０１２は、個別の工事関係者と関連付けられていなくてもよいが、工事現場内に通知状況が生じたことを周知できる利点がある。
Further, the
また、スマートフォン００２は、工事現場外の施設０２０内の工事関係者０２１に係るスマートフォン０２１ａ、工事現場外の施設０２２内の工事関係者０２３に係る情報処理装置０２３ａに通知してもよい。
Further, the
また、スマートフォン００２は、本実施形態のシステムに関係する情報処理装置０２５ａに通知してもよい。
Further, the
通知された情報処理装置は、工事関係者に通知できるように、種々の通知手段を用いてよい。例えば、通知された情報処理装置は、通知状況を、通知された情報処理装置の利用者に通知する通知手段として、音を発生したり、振動したり、光を出したり、所定の画面を表示したり、通知内容を表示したり、などを行ってよい。 The notified information processing device may use various notification means so that the person involved in the construction can be notified. For example, the notified information processing device generates a sound, vibrates, emits light, or displays a predetermined screen as a notification means for notifying the user of the notified information processing device of the notification status. You may perform information processing, display the content of the notification, and so on.
＜アプリケーション例＞
次に、スマートフォン００２における本形態に係るシステムのアプリケーション例を説明する。図１６は、スマートフォン００２内の表示画面の一例を示すものである。表示画面には、スマートフォン００２のＩＤを示す端末ＩＤ００１、領域を設定可能とする領域設定００２、領域内の人などを判定して通知した履歴である通知履歴００３、撮像部によって撮像されているものを表示する画面００４、が含まれている。<Application example>
Next, an application example of the system according to this embodiment in the
図１７は、領域設定００２についての具体的な設定の画面例である。一つ目の領域である領域１００２ａと、２つ目の領域である領域００２ｂが、設定されている例であるが、１つ以上の領域が設定可能であってよい。また、領域１及び領域２には、どのような条件が設定されているのかを、簡易に表示してよい。これにより、各領域について、条件がないのか、条件がある場合にどのような条件であるのか、を容易に理解できる利点がある。
FIG. 17 is a screen example of specific settings for the area setting 002. Although the first region, the region 1002a, and the second region, the
画面００３は、領域を具体的に設定する画面の一例である。領域１として、領域００３ａが設定されてよく、領域２として領域００３ｂが設定されてよい。設定は、種々の手法により設定されてよい。例えば、領域００３内に撮像装置が撮像した対象が表示されている状態で、領域を設定する者が、タッチパネル上で、撮像した対象が表示される範囲内において設定したい領域をタッチして囲んだり、領域に係る多角形の各点をタッチするなどであってよい。タッチパネルを含む表示部は、タッチにより指定された具体的な領域を記憶してよい。
また、設定される領域は、表示された具体的な画像と関連付けられていてもよいが、表示された具体的な画像と関連付けられていなくともよい。 Further, the set area may be associated with the displayed specific image, but may not be associated with the displayed specific image.
前者は、具体的な画像と関連付けられて領域が設定されている場合であることから、例えば、撮像部の位置や方向が変更されることにより、表示部内の撮像された画像も変動することから、これに合わせて、表示部内の領域の位置も、変動することとなる。この場合、後述のように、画像処理技術によって、撮像された具体的な画像における色、形態等に基づいて領域と関連付けておき、変動した画像に対応して、表示部内における領域の表示位置を変動する必要がある。 The former is a case where an area is set in association with a specific image. Therefore, for example, when the position or direction of the imaging unit is changed, the captured image in the display unit also changes. In accordance with this, the position of the area in the display unit also changes. In this case, as will be described later, the area is associated with the area based on the color, form, etc. of the specific image captured by the image processing technology, and the display position of the area in the display unit is set in response to the fluctuating image. Need to fluctuate.
他方、後者は、例えば、撮像部がクレーン車の下方を撮像し、これと対応して、表示部が、クレーン車の下方を表示している場合において、設定される領域は、かかるクレー車の下方の表示された画像と関係づけられていない場合を指す。この場合、設定される領域は、あくまで、表示部範囲内の座標と関連付けられていてよい。設定される領域が、上述の前者と異なり、撮像装置又は撮像方向の移動に伴う撮像対象の移動と撮像された対象の表示されるものの移動又は変更によって、設定される領域がどのように変更するかを計算する計算負担が生じない利点がある。すなわち、一実施形態のシステムにおいて、領域部によって設定された領域は、前記表示部内の位置と関連付けられている、又は、前記撮像部によって撮像された画像内の対象と関連付けられていない、ものであってよい。そして、本実施形態のシステムが、かかる構成及び、画像内の人が、前記領域内であるか、前記領域外であるか、を判定可能な判定部を備える場合、予め表示部内で設定された領域内に人が入るか、人が入らないか、に着目した技術思想を有する。なお、この場合、ある画像に対応して工事関係者が領域を設定した場合において、その撮像部の位置や方向を変えると画像が変更してしまい、領域を設定した当初想定していた画像内の部分も変更する可能性がある。 On the other hand, in the latter case, for example, when the imaging unit images the lower part of the mobile crane and the display unit displays the lower part of the crane vehicle, the set area is the clay vehicle. Refers to the case where it is not related to the image displayed below. In this case, the set area may be associated with the coordinates within the display unit range. The set area is different from the former described above, and how the set area is changed by the movement of the imaging target due to the movement of the imaging device or the imaging direction and the movement or change of the displayed object of the imaged object. There is an advantage that there is no calculation burden to calculate. That is, in the system of one embodiment, the region set by the region unit is associated with the position in the display unit or not with the object in the image captured by the imaging unit. It may be there. Then, when the system of the present embodiment includes such a configuration and a determination unit capable of determining whether the person in the image is in the area or outside the area, it is set in advance in the display unit. It has a technical idea that focuses on whether or not people can enter the area. In this case, when a construction worker sets an area corresponding to a certain image, the image changes when the position or direction of the imaging unit is changed, and the area is set in the initially assumed image. The part of is also subject to change.
また、領域設定において、一の領域と関係づけて、条件、通知先、及び／又は、通知手段、を設定可能であってよい。一の領域と関係づけて設定された条件、通知先、及び／又は、通知手段は、前記一の領域と関係づけて、本実施形態のシステムに記憶されてよい。 Further, in the area setting, the condition, the notification destination, and / or the notification means may be set in relation to one area. The conditions, the notification destination, and / or the notification means set in relation to the one area may be stored in the system of the present embodiment in relation to the one area.
条件は、上述のとおり、ヘルメット、墜落制止用器具、などであってよい。これらは、予め定められたものから選択されてよい。予め定められたものは、判定部において機械学習済みのものとして識別可能なものであってよい。 The conditions may be a helmet, a fall-prevention device, and the like, as described above. These may be selected from predetermined ones. The predetermined one may be one that can be identified as a machine-learned one by the determination unit.
通知先は、上述の工事関係者であってよい。設定される工事関係者は、人名、ＩＤ、役職、等によって個々に指定されてもよいし、予め定められたグループを選択することで設定してもよい。この場合、簡易に通知先を選択できる利点がある。グループとしては、例えば、全作業員、所定の距離内の作業員、現場にいる工事関係者、遠隔の責任者、全ての責任者、全ての工事関係者、などのように階層化されて、設定されてよい。なお、情報について記録を行う情報処理装置０２５ａは、常に通知先に設定されていてよい。これは、通知状況が生じた場合において、記録を取る必要があるためである。なお、情報処理装置０２５ａは、通知先として、表示されていてもよいし、表示されていなくとくもよい。
The notification destination may be the above-mentioned construction personnel. The construction personnel to be set may be individually designated by a person's name, ID, job title, etc., or may be set by selecting a predetermined group. In this case, there is an advantage that the notification destination can be easily selected. As a group, for example, all workers, workers within a predetermined distance, construction workers at the site, remote managers, all managers, all construction workers, etc. are hierarchized. May be set. The
通知手段は、各通知先に応じて、設定できてよい。通知手段は、通知先情報処理装置が備える一又は複数の通知手段の中から選択できるよう構成されてよい。通知手段としては、上述のとおり、光、音、振動、などであってよい。 The notification means may be set according to each notification destination. The notification means may be configured to be selectable from one or a plurality of notification means provided in the notification destination information processing device. As the notification means, as described above, light, sound, vibration, or the like may be used.
なお、通知手段は、スマートフォン００２から設定できてもよいし、通知先たる各情報処理装置自身において、通知手段が設定できてもよい。これにより、通知先たる各情報処理装置に係る者の利用者の便宜に応じた通知手段を設定できる利点がある。他方、通知手段は、スマートフォン００２のみから設定可能であり、通知先たる各情報処理装置自身においては通知手段を設定できないようシステムを構成してもよい。これは、危険領域時に各通知先たる情報処理装置に係る者に通知する必要性は高いことから、通知手段の効果を低下するような措置を安易に取られないようにするためである。
The notification means may be set from the
判定部は、上述のように設定された一又は複数の領域について、情報と関連付けて記憶してよい。例えば、判定部は、各領域と関連付けて、領域の座標などの領域を特定する情報、通知状況となる条件、通知先、通知手段、などを記憶している。スマートフォン００２は、領域の設定に伴い、かかる情報を記憶してよい。
The determination unit may store one or more areas set as described above in association with information. For example, the determination unit stores information for specifying the area such as the coordinates of the area, a condition for the notification status, a notification destination, a notification means, and the like in association with each area. The
図１８は、通知履歴００３について、確認可能な画面例である。本図においては、通知状況が２回発生し、夫々、履歴１００３ａと、履歴２００３ｂと、が表示されている例である。また、各履歴には、それぞれ、通知状況を発生させた領域、通知状況を発生させた条件、通知状況が発生した日時、も表示されてよい。また、これらをタップ等選択することにより、通知状況時に撮影された動画が、画面００４において、表示されてよい。かかる動画は、通知状況の発生から所定時間前から動画が再生できるよう構成されてよい。かかる動画により、通知状況がどのようなものであったかを、理解できる利点がある。また、これらの履歴は、選択されるまで未読の表示とされていてよい。かかる未読の表示により、過去に生じた状況で未確認のものを一覧表示により、理解できる利点がある。
FIG. 18 is a screen example in which the
次に、領域が設定されて、スマートフォン００２が撮像を開始し、人が領域内にいることや条件を判定するステップについて、説明する。
Next, a step in which the area is set, the
本実施形態のシステムに係る撮像部は、開始後、常に撮像範囲の撮像を継続してよい。判定部は、撮像中、通知状況であるかどうかを、判定してよい。また、撮像された対象は、リングバッファに記憶されてよい。リングバッファに記憶されることにより、上述のとおり、通知状況に至る所定前の時間がリングバッファ上に記憶されているよう構成できるため、かかる情報を、情報処理装置０２５ａなどに送信し、表示されてよい。
The imaging unit according to the system of the present embodiment may always continue imaging in the imaging range after the start. The determination unit may determine whether or not the notification status is being obtained during imaging. Further, the imaged object may be stored in the ring buffer. By storing in the ring buffer, as described above, the time before the notification status reaches a predetermined time can be configured to be stored in the ring buffer. Therefore, such information is transmitted to the
判定部は、上述のとおり、領域内に人がいるかどうか、領域内の人と所定の条件の関係にあるかどうか、を判定し、通知状況にあるかどうかを判定してよい。 As described above, the determination unit may determine whether or not there is a person in the area and whether or not there is a relationship between the person in the area and a predetermined condition, and determine whether or not the person is in the notification status.
本実施形態においては、スマートフォン００２、００５ａ、００６ａ、００７ａ、００８ａ、００９ａ、として説明したが、スマートフォンに代えて、各々、スマートフォン、ポータブルコンピュータ、タブレットＰＣ、ハンドヘルド、タブレット、ＰＤＡなどの種々の携帯端末であってよい。また、これらの携帯端末は、撮像範囲を撮像可能な撮像部と、撮像された対象を表示する表示部と、を備えてよい。また、表示部は、領域を設定可能なタッチパネルを備えてよい。また、携帯端末は、携帯端末の保有者に通知状況を知らせるため、音を発生する音声発生装置、光を発生する光発生装置、及び／又は、振動を生じさせる振動装置を備えてよい。
In the present embodiment,
また、情報処理装置０１１ａ、情報処理装置０２３ａ、情報処理装置０２５ａは、サーバ、デスクトップＰＣ、ノートパソコンＰＣであってよい。
Further, the information processing device 011a, the
また、本実施形態のシステムは、一の情報処理装置であってもよいし、複数の情報処理装置をまとめたものであってもよい。 Further, the system of the present embodiment may be one information processing device or a combination of a plurality of information processing devices.
ここで、工事現場において、本実施形態のシステムを用いた利用方法の流れの一例を説明する。 Here, an example of the flow of the usage method using the system of the present embodiment will be described at the construction site.
撮像情報処理装置（例えば、スマートフォン００２）は、撮像機能を有することから、
人も撮像可能である。そこで、まず、撮像情報処理装置（例えば、スマートフォン００２）を用いて、工事現場における作業員を撮像に使用されてよい。作業員を撮像した画像は、撮像情報処理装置（例えば、スマートフォン００２）内に記憶されてよい。また、かかる作業員を撮像した画像は、当該工事現場を特定する情報（例えば、工事の日時、工事のプロジェクト名、工事の場所、工事の管理者など）と関連付けられて、記憶されてよい。また、かかる記憶された情報は、情報処理装置０２５ａに伝達されて記憶され、工事現場の記録とされてよい。Since the image pickup information processing device (for example, smartphone 002) has an image pickup function,
People can also be imaged. Therefore, first, a worker at a construction site may be used for imaging by using an imaging information processing device (for example, a smartphone 002). The image captured by the worker may be stored in the imaging information processing device (for example, smartphone 002). In addition, the image of the worker may be stored in association with information that identifies the construction site (for example, the date and time of construction, the project name of construction, the location of construction, the manager of construction, etc.). Further, such stored information may be transmitted to and stored in the
また、かかる作業員を撮像した画像は、当該工事現場において作業することが予定された作業員であるかどうか、作業員の照合に用いられてよい。例えば、撮像情報処理装置（例えば、スマートフォン００２）は、予め、当該工事現場において作業することが予定された作業員に係る情報を有してよい。かかる作業員に係る情報は、作業員を特定するための情報（ＩＤ、氏名、住所、など）、作業員の資格、作業員の所属、作業員の画像（例えば、全体写真、顔写真など）、作業員に係る契約情報、作業員の経験、などの情報であってよい。図１９は、かかる作業員に係る情報を格納したデータの一例である。なお、かかるデータ、リレーショナルデータベース等によって構築されてよい。 In addition, the image of the worker may be used for collating the worker to see if the worker is scheduled to work at the construction site. For example, the image pickup information processing device (for example, smartphone 002) may have information related to a worker who is scheduled to work at the construction site in advance. The information related to such a worker is information for identifying the worker (ID, name, address, etc.), qualification of the worker, affiliation of the worker, image of the worker (for example, whole photograph, face photograph, etc.). , Contract information related to the worker, experience of the worker, and the like. FIG. 19 is an example of data storing information related to such a worker. It may be constructed from such data, a relational database, or the like.
撮像情報処理装置は、かかる作業員に係る情報に含まれる作業員の画像と、撮像された画像と、を比較することで、作業員の照合をしてよい。作業員の照合により、当該工事現場において作業することが予定された各作業員の有無を判定し、撮像情報処理装置に係る表示装置において、表示してよい。このとき、予め格納されている作業員に係る情報と、撮像された画像と、を対比して表示してもよい。例えば、予め格納された作業員に係る画像を含む作業員に係る情報と、撮像された画像と、を対比して、表示してよい。図２０は、かかる表示の一例である。なお、この場合、照合率が表示されることにより、本人確認を画像処理によって、数値で表示してもよい。 The image pickup information processing apparatus may collate the worker by comparing the image of the worker included in the information related to the worker with the captured image. By collating the workers, the presence or absence of each worker scheduled to work at the construction site may be determined and displayed on the display device related to the image pickup information processing device. At this time, the information related to the worker stored in advance and the captured image may be displayed in comparison with each other. For example, the information related to the worker including the image related to the worker stored in advance and the captured image may be compared and displayed. FIG. 20 is an example of such a display. In this case, since the collation rate is displayed, the identity verification may be displayed numerically by image processing.
作業員に係る情報は、撮像情報処理装置内に記憶されていることに代えて、予め、管理情報処理装置（例えば情報処理装置０２５ａ）に記憶されてよく、撮像情報処理装置は、かかる管理情報処理装置にアクセスすることにより、作業員に係る情報を取得し、上述の照合や、本図のように、対比表示をしてもよい。この場合、撮像情報処理装置以外の情報処理装置によって予め作業員に係る情報が入力された場合など、管理情報処理装置内に作業員に係る情報が格納された場合にも、同様の照合が可能な利点がある。
The information related to the worker may be stored in advance in a management information processing device (for example,
また、撮像情報処理装置は、撮像した画像を、管理情報処理装置に伝達し、管理情報処理装置内において、上述の照合を行い、撮像情報処理装置は、照合の結果としての、上述の対比表示に必要な情報を取得し、本図のように、対比表示をしてもよい。この場合も同様に、撮像情報処理装置以外の情報処理装置によって予め作業員に係る情報が入力された場合など、管理情報処理装置内に作業員に係る情報が格納された場合にも、同様の照合が可能な利点がある。特に、照合作業を管理情報処理装置内で実行できるため、撮像情報処理装置がモバイル端末など現場においてバッテリーの消耗が気になる場合においても、照合を効率的に出来る利点がある。 Further, the image pickup information processing apparatus transmits the captured image to the management information processing apparatus, performs the above-mentioned collation in the management information processing apparatus, and the image pickup information processing apparatus performs the above-mentioned comparison display as a result of the collation. The information required for the information processing may be acquired and displayed in comparison as shown in this figure. Similarly, in this case, the same applies when the information related to the worker is stored in the management information processing device, such as when the information related to the worker is input in advance by an information processing device other than the imaging information processing device. There is an advantage that matching is possible. In particular, since the collation work can be executed in the management information processing device, there is an advantage that the collation can be efficiently performed even when the image pickup information processing device is worried about battery consumption in the field such as a mobile terminal.
また、他の工事関係者に係る情報処理装置は、管理情報処理装置にアクセスし、同様に、上述の対比表に必要な情報を取得し、本図のように、対比表示をしてもよい。これにより、撮像情報処理装置以外の工事関係者に係る情報処理装置においても、作業員の照合を出来る利点がある。 Further, the information processing device related to other construction personnel may access the management information processing device, similarly acquire the necessary information in the above-mentioned comparison table, and display the comparison as shown in this figure. .. As a result, there is an advantage that the workers can be collated even in the information processing device related to the construction personnel other than the imaging information processing device.
次に、工事現場において、職長や現場監督が、危険領域を認識し、本実施形態のシステムに領域を設定し、撮像状態とする。これは、工事現場において、典型的に実施される朝礼などの機会に実施されてよいが、その状況に限られない。関係者において危険となりうる箇所や人の侵入について留意すべき場所について、情報を共有しつつ、実施できる利点がある。 Next, at the construction site, the foreman or the site supervisor recognizes the dangerous area, sets the area in the system of the present embodiment, and sets the image in the imaging state. This may be done at a construction site, typically at an occasion such as a morning assembly, but is not limited to that situation. There is an advantage that it can be carried out while sharing information on places that may be dangerous for the parties concerned and places that should be noted about the intrusion of people.
ここで、撮像情報処理装置は、実際の利用状況で置かれる状態において、表示部内の領域が設定されてよい。これは、撮像情報処理装置の位置及び／又は方向が変更すると、撮像される対象が変更され、設定される領域が、当初意図したものと変更してしまう可能性があるためである。情報処理装置が使用される予定の位置において、領域が設定されてよい。また、人が来る経路を考慮して、人の前面から撮像可能な位置及び方向において、撮像部を備える情報処理装置が置かれてよい。これにより、人が来る際に全面から撮像可能となり、例えば、ヘルメットや墜落制止用器具の判定の正確性を向上する利点がある。この場合、例えば、撮像画面の平面が、地面の平面に対して、垂直方向または垂直から前後３０度方向、垂直から前後４５度方向、垂直から前後５０度方向の角度等で置かれてよい。 Here, the area in the display unit may be set in the state in which the image pickup information processing apparatus is placed in an actual usage situation. This is because if the position and / or direction of the image pickup information processing apparatus is changed, the object to be imaged is changed, and the set area may be changed from the originally intended one. The area may be set at the position where the information processing device will be used. In addition, an information processing device including an imaging unit may be placed at a position and direction in which an image can be taken from the front of the person in consideration of the path through which the person comes. This makes it possible to take an image from the entire surface when a person comes, and has an advantage of improving the accuracy of determination of a helmet or a fall prevention device, for example. In this case, for example, the plane of the imaging screen may be placed at an angle of 30 degrees in the vertical direction or from the vertical to the front and back, 45 degrees in the front and back from the vertical, and 50 degrees in the front and back from the vertical with respect to the plane of the ground.
また、撮像情報処理装置は、人がいることを判定したい地面が撮像範囲に含まれるように、撮像情報処理装置の位置及び／又は方向が、おかれてよい。この場合、人の位置を、画像から直接特定できることから、人が領域内であるか、人が領域外であるかを、正確に判定できる可能性が高まる利点がある。 Further, in the image pickup information processing device, the position and / or direction of the image pickup information processing device may be set so that the ground on which it is determined that a person is present is included in the image pickup range. In this case, since the position of the person can be directly specified from the image, there is an advantage that the possibility of accurately determining whether the person is inside the area or outside the area is increased.
また、撮像情報処理装置は、複数対象関係の判定の対象となる部分が撮像範囲に含まれるように、撮像情報処理装置の位置及び／又は方向が、おかれてよい。この場合、対象領域関係の判定に対象となる部分を、画像から直接特定できることから、複数対象関係を正確に判定できる可能性が高まる利点がある。複数対象関係の判定の対象となる部分としては、例えば、ヘルメットであれば、人の頭部であり、墜落制止用器具であれば、人の胸部乃至腰部であってよい。ヘルメットと墜落制止用器具の両方を対象とする場合は、人の頭部と胸部と腰部とを撮像範囲とするように、撮像情報処理装置の位置及び／又は方向が、おかれてよい。 Further, in the imaging information processing apparatus, the position and / or direction of the imaging information processing apparatus may be set so that the portion to be determined of the plurality of object relations is included in the imaging range. In this case, since the portion to be determined for the target area relationship can be directly specified from the image, there is an advantage that the possibility that the plurality of target relationships can be accurately determined is increased. The portion to be determined for the plurality of object relations may be, for example, the head of a person in the case of a helmet, and the chest or waist of a person in the case of a fall prevention device. When targeting both a helmet and a fall-prevention device, the position and / or direction of the imaging information processing device may be set so as to cover the human head, chest, and lumbar region.
また、人が来る経路が複数ある場合、人がどこから来るか不明である場合、又は、人が来る経路が一つであっても判定の正確性を向上させたい場合などにおいて、撮像部を備える情報処理装置を、複数用いてよい。例えば、人がいる場合に通知状況にしたいような場所について、複数の撮像情報処理装置によって撮像可能とし、かかる複数の撮像情報処理装置の各々は、前記場所について、互いに、異なる位置、及び／又は方向から、撮像可能としてよい。これにより、一の撮像情報処理装置によって、人がいることについて通知状況にできない場合であっても、他の撮像情報処理装置によって、人がいることについて通知状況にできる可能性が高まり、より所望の通知状況を実現できる可能性が高まる利点がある。 In addition, an image pickup unit is provided when there are a plurality of routes where a person comes, when it is unknown where a person comes from, or when it is desired to improve the accuracy of determination even if there is only one route where a person comes. A plurality of information processing devices may be used. For example, a location that is desired to be notified when there is a person can be imaged by a plurality of imaging information processing devices, and each of the plurality of imaging information processing devices can be located at a different position and / or from each other with respect to the location. It may be possible to take an image from the direction. As a result, even if one imaging information processing device cannot make a notification status about the presence of a person, the possibility that another imaging information processing device can make a notification status about the presence of a person increases, which is more desirable. There is an advantage that the possibility of realizing the notification status of is increased.
また、上述のように、人がいる場合に通知状況にしたいような場所について、複数の撮像情報処理装置のうち、一の撮像情報処理装置が通知状況であると判定した場合に、通知状況を通知するケース以外にも、前記複数の撮像情報処理装置のうち、少なくとも２の撮像情報処理装置が通知状況であると判定した場合に、通知状況であるとして通知したり、又は、前記複数の撮像情報処理装置のうちの全ての撮像情報処理装置が通知状況であると判定した場合に、通知状況であるとして通知してもよい。この場合、多様な位置や方向におかれた撮像情報処理装置においても、共通して、通知状況であると判定した場合に限り、通知することから、通知状況である可能性が高い場合に通知することが可能である利点がある。 Further, as described above, when it is determined that one of the plurality of imaging information processing devices is in the notification status for a place where the notification status is desired when there is a person, the notification status is set. In addition to the case of notifying, when at least two of the plurality of imaging information processing devices are determined to be in the notification status, they are notified as being in the notification status, or the plurality of imaging devices are imaged. When it is determined that all the imaging information processing devices among the information processing devices are in the notification status, the notification may be made as the notification status. In this case, even in the imaging information processing devices placed in various positions and directions, the notification is sent only when it is determined that the notification status is present, so that the notification is given when there is a high possibility that the notification status is present. There are advantages that can be done.
なお、上述では、人がいることについて通知状況とする人領域関係を判定する場合について説明したが、同様に、一又は複数回の、複数対象関係を判定する場合についても、同様であってよい。 In the above description, the case of determining the person area relationship, which is the notification status of the presence of a person, has been described, but similarly, the same may be applied to the case of determining a plurality of target relationships one or more times. ..
設置後、本実施形態のシステムにおいて設定された領域内に、人が侵入したり、所定の装備を着用せずに人が侵入した場合、リアルタイムに、設定された情報処理装置に、システムから、通知がされてよい。これにより、通知された情報処理装置に係る人は、迅速に緊急対応が可能となる利点がある。 After installation, if a person invades the area set in the system of the present embodiment or a person invades without wearing the predetermined equipment, the information processing device set in real time is sent from the system. You may be notified. This has the advantage that the person involved in the notified information processing device can quickly respond to an emergency.
システム終了後、場合によっては、関係者は履歴を閲覧することにより、設定された領域に入らないような保全が十分されているかを検討したり、通知状況において適切な対応がとられたかを検討してもよい。 After the system is shut down, in some cases, the parties concerned may check the history to see if the maintenance is sufficient so that they do not enter the set area, or if appropriate measures are taken in the notification situation. You may.
＜複数の工事現場に係るシステム＞
他の実施形態のシステムは、複数の工事現場について、管理するシステムであってもよい。例えば、図２１は、工事現場００１Ａ、００１Ｂ、００１Ｃにおいて、本実施形態のシステムを利用する一例である。各工事現場において、スマートフォン００２Ａ、００２Ｂ、００２Ｃに対し、各々、領域００３Ａ、００３Ｂ、００３Ｃが設定されて、置かれているとする。なお、本図は、各工事現場において一の撮像情報処理装置が置かれている例であるが、各工事現場において複数の撮像情報処理装置が置かれてもよい。また、本図においては、各一つの領域のみが設定されている例であるが、複数領域が設定可能であってよく、また、一又は複数の条件が設定可能であってよい。<System for multiple construction sites>
The system of another embodiment may be a system that manages a plurality of construction sites. For example, FIG. 21 is an example of using the system of this embodiment at
この場合、撮像情報処理装置００２Ｂが、通知状況に至ったと判定した場合、撮像情報処理装置００２Ｂは、通知先情報処理装置００５Ｂ及び管理情報処理装置０２５ａに、通知情報を伝達してよい。なお、通知先情報処理装置００５Ｂと、管理情報処理装置０２５ａに対する通知情報の内容は異なってよく、例えば、通知先情報処理装置００５Ｂに対しては、通知状況であることを示す情報を伝達し、管理情報処理装置０２５ａに対しては、通知状況に係る情報を伝達してよい。また、情報処理装置０２１ａや情報処理装置０２３ａに対しても、通知情報を伝達してよい。その内容は、上述のように種々のものであってよい。
In this case, when the image pickup
撮像情報処理装置００２Ｂから送信された通知情報には、撮像情報処理装置００２Ｂを特定する情報が含まれてよい。かかる情報が、工事関係者に係る情報処理装置の表示装置に表示されることにより、工事現場００１Ａ、００１Ｂ、００１Ｃと３つある中において、工事現場００２で生じたものであることが理解できる利点がある。なお、各工事現場において、複数の撮像情報処理装置が置かれている場合においても、工事関係者に係る情報処理装置において、工事現場のみを特定する情報が表示されてもよいし、撮像情報処理装置を特定する情報が表示されてもよい。情報処理装置０２１ａや０２３などの工事現場の敷地とは異なる場所に設置されている情報処理装置においては、一の工事現場内におけるどの撮像情報処理装置で撮像されたものであるかより、どこの工事現場において生じたものであるかが必要な情報である場合には、工事現場を特定する情報である例えば００１Ｂという情報のみが表示される利点がある。なお、この場合であっても、通知状況に係る具体的な情報について、工事関係者に係る情報処理装置から、管理情報処理装置にアクセス可能であってよい。
The notification information transmitted from the image pickup
＜単一の現場におけるシステム＞
また、他の実施形態のシステムは、小規模な点検や工事において、通知するシステムであってもよい。例えば、図２２は、電柱００１において、送電システムや電話システムなどの機械システム００２について、点検や調整などを行う点検者００３を示すものである。この場合、点検者００３は電柱の上方にいるため、下方に十分注意をすることができないが、下方に物を落とす可能性があることから、下方に一般人が侵入しないよう注意喚起することが望まれる。<System in a single site>
Further, the system of another embodiment may be a system for notifying in a small-scale inspection or construction. For example, FIG. 22 shows an
本図においては、本実施形態のシステムであるスマートフォン００４ａ及びスマートフォン００４ｂは、夫々、撮像範囲００５ａ、００５ｂ、について撮像することにより、一般人００６が、撮像範囲００５ａ又は００５ｂ内の設定された領域に入るなど、設定された通知状況が発生した場合、通知手段が動作するよう構成されてよい。
In this figure, the
なお、本図における本実施形態のシステムでは、通知手段として、スマートフォン００４ａ及び／又はスマートフォン００４ｂ自体が、音・光等を発生することで、一般人００６に注意喚起させてよい。また、本実施形態のシステムは、別途設けられた音を発生するスピーカー及び／又は光を発生する光発生装置を含む装置００７に通知状況を通知し、かかる装置００７が、音及び／又は光を発生することにより、一般人００６に注意喚起してもよい。この場合、スマートフォンに内蔵の音や光よりも、より外部においても注意喚起可能な装置を用いることで、一般人００６が気づくことができる可能性が高まる利点がある。
In the system of the present embodiment in this figure, as a notification means, the
また、本実施形態のシステムにおいて、検査者００３に係るスマートフォン００８も、同様に通知手段が動作してよい。すなわち、本実施形態のシステム００４ａ及び／又は００４ｂから、スマートフォン００８に通知状況が通知され、スマートフォン００８に係る通知手段が動作するよう構成されてもよい。この場合、検査者００３自身も、領域範囲内における通知状況を理解できる利点がある。
Further, in the system of the present embodiment, the notification means may be similarly operated on the
なお、単一のスマートフォン００４ａ、又は、スマートフォン００４ｂ、のそれぞれが、独立した、本実施形態のシステムであってもよいし、又は、本実施形態のシステムは、これらを相互に連携可能とされたスマートフォン００４ａ及びスマートフォン００４ｂの二つのスマートフォンから構成されるものであってもよい。また、撮像部を有するスマートフォン００４ａ及び００４ｂは、本図では２つの例を示したが、一つであってもよいし、３つ以上であってもよい。また、本実施形態のシステムは、上述に加えて、通知情報の一部又は全部を記憶可能な情報処理装置０２５ａを含んでよい。この場合、撮像情報処理装置（例えば、スマートフォン００４ａや００４ｂなど）が記憶した撮像内容を記録することで、保存機能を有してよい。
It should be noted that each of the
なお、本願に係るシステムにおいて、撮像部による動画の撮像機能は、音の録音機能を含んでよい。また、通知情報における撮像された動画には、かかる録音された音が記録されてよい。本願に係るシステムがかかる構成を備える場合において、領域内に人が入ったり、条件が満たされるなど、通知状況に至った場合、通知手段による音が生成され、現実領域内にいる人に対しても十分注意喚起が行われていることを示す記録を保存できる利点がある。 In the system according to the present application, the moving image imaging function by the imaging unit may include a sound recording function. Further, such a recorded sound may be recorded in the captured moving image in the notification information. In the case where the system according to the present application has such a configuration, when a notification status is reached such as a person entering the area or a condition is satisfied, a sound is generated by the notification means to the person in the real area. Also has the advantage of being able to keep a record showing that sufficient alerting has been done.
なお、本図は、検査者００３がいる状態を説明したが、検査者００３がいない現場において上述の実施形態に係るシステムが利用されてもよい。
Although this figure has described the state in which the
また、上述の各実施形態におけるシステムは、人領域関係を判定する例を説明したが、人領域関係を判定せずに、一又は複数回、複数対象関係を判定してもよい。この場合、一実施形態に係るシステムは、人領域関係を判定する構成がなくてよく、領域に対して条件を設定する構成、あるいは、領域なく条件のみを設定する構成であってよい。 Further, although the system in each of the above-described embodiments has described an example of determining the human domain relationship, the system may determine the multiple object relationships one or more times without determining the human domain relationship. In this case, the system according to one embodiment does not have to have a configuration for determining the human area relationship, and may have a configuration for setting conditions for an area or a configuration for setting only conditions without an area.
領域に対して条件を設定する場合には、一又は複数の領域が設定可能であり、各領域に対し、一又は複数の条件が設定可能であってよい。この場合、工事関係者は、一又は複数の領域を設定し、各領域に対して、一又は複数の条件を設定してよい。このケースにおいては、一の領域を設定すると、その領域に対する条件の設定を行う構成となっており、領域のみの設定はできないようになっていてよい。このように、領域に対して条件を設定する構成の場合、人が領域にいることに加えて、一又は複数の条件について判定がされることにより、通知状況であるか、そうでないか、を判定することになり、通知状況であれば、上述のように、通知先情報処理装置に、通知情報が通知される構成となる。 When setting conditions for regions, one or more regions can be set, and one or more conditions may be set for each region. In this case, the construction personnel may set one or more areas and set one or more conditions for each area. In this case, when one area is set, the conditions for that area are set, and it may not be possible to set only the area. In this way, in the case of a configuration in which conditions are set for an area, in addition to the fact that a person is in the area, one or more conditions are determined to determine whether the notification status is present or not. If it is a notification status, the notification information is notified to the notification destination information processing device as described above.
また、領域なく条件のみを設定する構成の場合、一又は複数の条件が設定可能であってよい。この場合、工事関係者は、領域を設定せずに、画面に対して、一又は複数の条件を設定してよい。このケースにおいては、領域自体設定ができない構成となっていてよく、撮像対象に入った人について、一又は複数の条件について判定がされることにより、通知状況であるか、そうでないか、を判定することになり、通知状況であれば、上述のように、通知先情報処理装置に、通知情報が通知される構成となる。 Further, in the case of a configuration in which only conditions are set without an area, one or more conditions may be set. In this case, the construction worker may set one or more conditions for the screen without setting the area. In this case, the area itself may not be set, and the person who has entered the imaging target is determined for one or more conditions to determine whether the notification status is present or not. In the case of the notification status, the notification information is notified to the notification destination information processing device as described above.
各実施形態におけるシステムは、一又は複数の撮像情報処理装置のみであってもよいし、一又は複数の撮像情報処理装置と一又は複数の管理情報処理装置から構成されてもよいし、一又は複数の撮像報処理装置と管理情報処理装置と一又は複数の通知先情報処理装置から構成されてよい。 The system in each embodiment may be composed of only one or a plurality of image pickup information processing devices, or may be composed of one or a plurality of image pickup information processing devices and one or a plurality of management information processing devices, or may be composed of one or a plurality of management information processing devices. It may be composed of a plurality of image pickup processing devices, a management information processing device, and one or a plurality of notification destination information processing devices.
上述の各実施形態において、撮像情報処理装置（例えば、スマートフォン００２、００２ａ、００２ｂ、００２ｃ、００４ａ、００４ｂ）は、スマートフォンに代えて、タブレット、ラップトップパソコン、ノートパソコン、ＰＤＡ、などの携帯可能な情報処理装置であってよい。携帯可能な情報処理装置であれば、工事関係者が希望する場所において、工事希望者が希望する方向を撮像可能なように、置くことができる利点がある。
In each of the above embodiments, the imaging information processing device (for example,
また、上述の各実施形態において、同様に、スマートフォン００５Ａ、００５Ｂ、００５Ｃ、００６ａ、００７ａ、００８ａ、００９ａ、０２１ａ、情報処理装置０２３ａ、情報処理装置０２５ａ（管理情報処理装置）のような通知先情報処理装置は、上述の携帯可能な情報処理装置であってもよいし、固定された情報処理装置であってもよい。固定された情報処理装置は、サーバ装置、クラウド装置などであってもよい。
Further, in each of the above-described embodiments, similarly, notification destination information such as
また、上述では、工事現場の全体を常に死角なく撮像可能な撮像装置の設置は難しいことを説明したが、例えば、一部であっても撮像可能なセキュリティカメラによる撮像装置や工事現場上をホバリングにより飛行するドローン内の撮像装置を用いる場合においても、かかる撮像装置は、撮像情報処理装置として、機能されてよい。この場合においても、かかる撮像情報処理装置が、上述のとおり機能してもよいし、撮像情報処理装置から情報を取得した管理情報処理装置が、上述のとおり機能してもよい。 In addition, in the above, it was explained that it is difficult to install an image pickup device that can always image the entire construction site without blind spots. Even when the image pickup device in the drone flying by the aircraft is used, the image pickup device may function as an image pickup information processing device. In this case as well, the imaging information processing apparatus may function as described above, or the management information processing apparatus that has acquired information from the imaging information processing apparatus may function as described above.
また、一又は複数の、撮像情報処理装置、管理情報処理装置、通知先情報処理装置は、所有者、利用者、管理者、が同じであってもよいし、夫々異なってもよい。 Further, one or more image pickup information processing devices, management information processing devices, and notification destination information processing devices may have the same owner, user, and administrator, or may be different from each other.
２．２．実施形態２
次に、施設内における人の所有物を判定する実施形態について、図２３を用いて、説明する。なお、実施形態２に係るシステムは、実施形態１に係るシステムと重複する箇所については、説明を省略する。例えば、通知情報は、実施形態１に係るシステムにおいては危険などを知らせる必要があるものに関連する情報であったのに対し、実施形態２においても、同様に危険や便宜上知らせる必要がある対応するものに関連する情報であってよい。また、通知先情報処理装置などは、上述のとおり、携帯可能な情報処理装置であってもよいし、固定化された情報処理装置であってもよい。これらの説明の省略は、実施形態３及び４においても、同様である。 2.2.
Next, an embodiment of determining the property of a person in the facility will be described with reference to FIG. 23. The description of the system according to the second embodiment will not be described for the parts that overlap with the system according to the first embodiment. For example, the notification information is information related to information that needs to be notified of danger in the system according to the first embodiment, whereas the notification information also needs to be notified of danger or convenience in the second embodiment. It may be information related to a thing. Further, the notification destination information processing device or the like may be a portable information processing device or a fixed information processing device as described above. The omission of these explanations is the same in the third and fourth embodiments.
本図は、施設の入口部分００１Ａ及び００１Ｂを図示するものであり、敷地０１０が施設内を示す。本実施形態のシステムに係る情報処理装置００２ａ及び００２ｂは、各々、撮像範囲００３Ａ、００３Ｂを有している。人００４は、撮像範囲００３Ａ内で撮像されており、人００５は、撮像範囲００２Ｂの延長線上にあるものの、施設外であることから、撮像の対象外とされている。
This figure illustrates the
施設は、警察署、金融機関、医療施設、宿泊施設、官公庁、教育施設、文化施設、スポーツ施設、工場、航空機施設、車両施設及びこれらの附属施設等であってよい。 The facilities may be police stations, financial institutions, medical facilities, accommodation facilities, government offices, educational facilities, cultural facilities, sports facilities, factories, aircraft facilities, vehicle facilities, and their affiliated facilities.
入口部分は、人が、施設の外部から施設の内部に進入できる場所であればよく、施設の外部と施設の内部の境界領域であってもよいし、施設の外部から施設の内部に通じる通路であってもよい。 The entrance portion may be a boundary area between the outside of the facility and the inside of the facility as long as a person can enter the inside of the facility from the outside of the facility, or a passage leading from the outside of the facility to the inside of the facility. It may be.
システムは、上述の施設における入口部分において、撮影範囲を入口側に向けて、備えられてよい。システムが備えられる場所は、施設内の天井、壁、施設内の器具に設置又は固定されてよい。 The system may be provided at the entrance portion of the facility described above with the imaging range facing the entrance side. The location where the system is installed may be installed or fixed to the ceiling, walls, and fixtures in the facility.
本実施形態のシステムは、
撮像部と、
前記撮像部によって撮像された画像内の人が、所定のアイテムを有するか、所定のアイテムを有しないか、を判定可能な判定部と、
を備えるシステムであってよい。判定部が判定可能な前記所定のアイテムは、刀剣類や、暴行用途アイテムであってよい。The system of this embodiment is
Imaging unit and
A determination unit capable of determining whether a person in an image captured by the imaging unit has a predetermined item or does not have a predetermined item.
It may be a system including. The predetermined item that can be determined by the determination unit may be a sword or an item for assault.
撮像部は、スマートフォン、携帯電話、タブレット、等の端末装置に内蔵されたものであってもよいし、施設に固着可能なセキュリティカメラであってもよい。 The image pickup unit may be a built-in terminal device such as a smartphone, a mobile phone, or a tablet, or may be a security camera that can be fixed to a facility.
判定部が通知状況であると判定した場合、通知部は、通知先に係る情報処理装置に、通知してよい。通知先に係る情報処理装置は、種々の情報処理装置であってよい。また、通知先に係る情報処理装置は、本実施形態のシステムに係る撮像部が備えられる施設に応じてよい。 When the determination unit determines that the notification status is set, the notification unit may notify the information processing device related to the notification destination. The information processing device related to the notification destination may be various information processing devices. Further, the information processing device related to the notification destination may depend on the facility provided with the imaging unit according to the system of the present embodiment.
例えば、本実施形態のシステムに係る撮像部が、駐在所、派出所、又は交番などを含む国又は都道府県に係る警察関係機関の施設（本願書類において、「警察関係施設」ということもある）に備えられることが考えられる。 For example, the imaging unit related to the system of the present embodiment may be a facility of a police-related organization related to a country or prefecture including a police box, a police box, or a police box (sometimes referred to as a "police-related facility" in the documents of the present application). It is possible to be prepared.
本実施形態のシステムに係る撮像部が、一の警察関係施設に備えられた場合、通知先に係る情報処理装置は、通知状況時点において前記一の警察関係施設に勤務する職員に係る情報処理装置であってよい。この場合、職員が、迅速にリスクを察知できる利点がある。また、この場合、職員に係る情報処理装置は、かかる職員にのみ通知できるよう、通知手段として、振動を用いてもよいし、周辺の人に対しても周知できるよう通知手段として音を用いてもよい。 When the imaging unit according to the system of the present embodiment is provided in one police-related facility, the information processing device related to the notification destination is the information processing device related to the staff working in the one police-related facility at the time of the notification status. May be. In this case, there is an advantage that the staff can detect the risk quickly. Further, in this case, the information processing device related to the staff may use vibration as a notification means so that only the staff can be notified, or use sound as a notification means so that the information can be notified to the surrounding people. May be good.
また、通知先に係る情報処理装置は、前記一の警察関係施設内に設置される情報処理装置であってよい。この場合、通知手段として、音声、光などで、前記一の警察関係施設内の人に通知してよい。この場合、前記一の警察関係施設内の関係者のみでなく、たまたま前記一の警察関係施設内にいた人に対しても、危険が生じうることを周知でき、また、対応を取ることが可能な利点がある。 Further, the information processing device related to the notification destination may be an information processing device installed in the above-mentioned police-related facility. In this case, as the notification means, the person in the police-related facility may be notified by voice, light, or the like. In this case, it is possible to inform not only the persons concerned in the one police-related facility but also the person who happened to be in the one police-related facility that a danger may occur, and to take measures. There are advantages.
また、通知先に係る情報処理装置は、通知状況時点において前記一の警察関係施設内のリスクに対処する職責を司る職員に係る情報処理装置であってよい。この場合、リスクに対処する職責を司る職員により、安全に、リスクを排除できる可能性が高まる。 Further, the information processing device related to the notification destination may be an information processing device related to an employee who is responsible for dealing with the risk in the above-mentioned police-related facility at the time of notification status. In this case, the staff responsible for dealing with the risk is more likely to safely eliminate the risk.
また、通知先に係る情報処理装置は、備えられた前記一の警察関係施設から所定の範囲内の他の警察関係施設に設置される情報処理装置であってよい。この場合、所定の範囲内の他の警察関係施設の人も、リスクを理解することが可能となり、救助や応援などの対策を取ることが可能となる利点がある。 Further, the information processing device related to the notification destination may be an information processing device installed in another police-related facility within a predetermined range from the one police-related facility provided. In this case, there is an advantage that people in other police-related facilities within a predetermined range can understand the risk and can take measures such as rescue and support.
また、通知先に係る情報処理装置は、備えられた前記一の警察関係施設から所定の範囲内の他の警察関係施設に通知状況時点において勤務する職員又はリスクに対処する職責を司る職員に係る情報処理装置であってよい。この場合、所定の範囲内の他の警察関係施設の職員も、リスクを理解することが可能となり、救助や応援などの対策を取ることが可能となる利点がある。 In addition, the information processing device related to the notification destination is related to the staff who works at the time of notification status from the one police-related facility provided to other police-related facilities within the specified range or the staff who manages the responsibility to deal with the risk. It may be an information processing device. In this case, there is an advantage that the staff of other police facilities within the predetermined range can understand the risk and can take measures such as rescue and support.
２．２．１．実施形態２．１
また、本実施形態のシステムに係る撮像部が、警察関係施設以外の施設（本願書類において、「一般施設」ということもある）に備えられることが考えられる。 2.2.1. Embodiment 2.1
Further, it is conceivable that the imaging unit related to the system of the present embodiment is provided in a facility other than police-related facilities (sometimes referred to as a "general facility" in the documents of the present application).
この場合、通知先に係る情報処理装置は、一般施設内の安全を管轄する警備室に係る情報処理装置であってよい。この場合、警備室に、施設内のリスク情報が伝達されることで、適切な対応を取れる可能性が高まる。 In this case, the information processing device related to the notification destination may be the information processing device related to the security room having jurisdiction over the safety in the general facility. In this case, the risk information in the facility is transmitted to the security room, which increases the possibility of taking appropriate measures.
また、通知先に係る情報処理装置は、通知状況を判定した画像が取得された撮像装置が設置された施設内の箇所から、所定の範囲内で職責を司る職員に係る情報処理装置又は所定の範囲内にある情報処理装置であってよい。ここで、職員は、施設の特性に応じて、当該施設内に職務を有する者であってよい。この場合、危険が生じた個所に近いため、適切な対応を取れる可能性が高まる利点がある。 In addition, the information processing device related to the notification destination is the information processing device related to the staff who manages the responsibilities within a predetermined range from the place in the facility where the image pickup device from which the image for which the notification status is determined is installed, or the predetermined information processing device. It may be an information processing device within the range. Here, the staff may be persons who have duties in the facility according to the characteristics of the facility. In this case, since it is close to the place where the danger has occurred, there is an advantage that the possibility of taking an appropriate response is increased.
また、通知先に係る情報処理装置は、一般施設内の安全維持を職務とする職員に係る情報処理装置であってよい。安全維持を職務とする職員としては、警備員が挙げられる。この場合、警備員に直接、施設内のリスク情報が伝達されることで、適切な対応を取れる可能性が高まる。 In addition, the information processing device related to the notification destination may be an information processing device related to an employee whose duty is to maintain safety in a general facility. Security guards are examples of employees whose duty is to maintain safety. In this case, the risk information in the facility is directly transmitted to the guards, which increases the possibility of taking appropriate measures.
また、通知先に係る情報処理装置は、施設から所定の範囲内の警察関係施設に設置される情報処理装置や施設から所定の範囲内にいる警察関係者に係る情報処理装置であってよい。この場合、所定の範囲内の警察関係者が、リスクを理解することが可能となり、救助や応援などの対策を取ることが可能となる利点がある。 Further, the information processing device related to the notification destination may be an information processing device installed in a police-related facility within a predetermined range from the facility or an information processing device related to a police-related person within a predetermined range from the facility. In this case, there is an advantage that police personnel within a predetermined range can understand the risk and can take measures such as rescue and support.
２．２．２．実施形態２．２
また、実施形態２における刀剣類や暴行用途アイテムに代えて、他のアイテムであってもよい。例えば、他のアイテムとして、施設におけるサービスを促進させるために、施設来訪者が、ベビーカーを用いていたり、所定以上の大きさの荷物を有していたりする場合に、通知してもよい。 2.2.2. Embodiment 2.2
Further, instead of the swords and the assault use item in the second embodiment, other items may be used. For example, as another item, the facility visitor may be notified when he / she is using a stroller or has a baggage larger than a predetermined size in order to promote services at the facility.
すなわち、本実施形態のシステムは、
撮像部と、
前記撮像部によって撮像された画像内の人が、所定のアイテムを有するか、所定のアイテムを有しないか、を判定可能な判定部と、
を備えるシステムであってよく、判定部が判定可能な前記所定のアイテムは、ベビーカー、所定以上の大きさの荷物であってよい。That is, the system of this embodiment is
Imaging unit and
A determination unit capable of determining whether a person in an image captured by the imaging unit has a predetermined item or does not have a predetermined item.
The predetermined item that can be determined by the determination unit may be a stroller or a baggage having a size equal to or larger than a predetermined value.
判定部が通知状況であると判定した場合において、通知先に係る情報処理装置は、通知状況を判定した画像が取得された撮像装置が設置された施設内の箇所から所定の範囲内で職責を司る職員に係る情報処理装置又は所定の範囲内にある情報処理装置であってよい。これにより、近い場所にいる職員は手助けが必要な可能性の高い来訪者が来ていることを迅速に理解し、手助けできる可能性が高まる利点がある。 When the judgment unit determines that the notification status is in the notification status, the information processing device related to the notification destination takes responsibility within a predetermined range from the location in the facility where the image pickup device in which the image for which the notification status is determined is acquired is installed. It may be an information processing device related to the staff in charge or an information processing device within a predetermined range. This has the advantage that nearby staff can quickly understand that a visitor who is likely to need help is coming and are more likely to be able to help.
２．２．３．実施形態２．３
また、実施形態２における刀剣類や暴行用途アイテムに代えて、ヘルメットであってもよい。施設内では、ヘルメットのような顔を遮るものは、保安上、好ましくないことから、かかるヘルメットを被る来訪者に対して、ヘルメットを脱ぐよう、通知してよい。 2.2.3. Embodiment 2.3
Further, instead of the swords and the assault use item in the second embodiment, a helmet may be used. In the facility, anything that obstructs the face, such as a helmet, is not preferable for security reasons, so visitors wearing such a helmet may be notified to take off the helmet.
すなわち、本実施形態のシステムは、
撮像部と、
前記撮像部によって撮像された画像内の人が、ヘルメットを着用しているか、着用していないか、を判定可能な判定部と、
前記人がヘルメットを着用していると判定した場合、通知先に係る情報処理装置に通知する通知部と、
を備えるシステムであってよい。That is, the system of this embodiment is
Imaging unit and
A determination unit capable of determining whether or not a person in the image captured by the imaging unit is wearing a helmet, and a determination unit.
When it is determined that the person is wearing a helmet, a notification unit that notifies the information processing device related to the notification destination, and a notification unit.
It may be a system including.
通知先に係る情報処理装置は、通知状況を判定した画像が取得された撮像装置が設置された施設内の箇所から所定の範囲内で職責を司る職員に係る情報処理装置又は所定の範囲内にある情報処理装置であってよい。前者の場合、職員に連絡されることから、迅速に、ヘルメットを脱ぐための手段を対策が取れる利点がある。また、後者の場合、かかる情報処理装置が、かかるヘルメットを着用する人に対して、音を発生できる場合、かかるヘルメットを着用する人に注意喚起できる利点がある。 The information processing device related to the notification destination is within a predetermined range from the location in the facility where the image pickup device from which the image of the notification status is acquired is installed. It may be an information processing device. In the former case, since the staff is contacted, there is an advantage that measures can be taken to take off the helmet quickly. Further, in the latter case, if the information processing device can generate a sound to the person wearing the helmet, there is an advantage that the person wearing the helmet can be alerted.
２．２．４．実施形態２．４
また、実施形態２における刀剣類や暴行用途アイテムに代えて、スマートフォンであってもよい。施設内の厨房エリアなど、スマートフォンを用いることは、衛生上等、好ましくないことから、かかるスマートフォンを用いる者がいる場合、所定の通知先に通知することで、対応を取れる可能性が高まる利点がある。 2.2.4. Embodiment 2.4
Further, instead of the swords and the assault use item in the second embodiment, a smartphone may be used. Since it is not preferable to use a smartphone in the kitchen area of the facility in terms of hygiene, if there is a person who uses such a smartphone, there is an advantage that the possibility of taking action is increased by notifying the designated notification destination. be.
すなわち、本実施形態のシステムは、
撮像部と、
前記撮像部によって撮像された画像内の人が、スマートフォンを保有しているか、保有していないか、を判定可能な判定部と、
前記人がスマートフォンを保有していると判定した場合、通知先に係る情報処理装置に通知する通知部と、
を備えるシステムであってよい。That is, the system of this embodiment is
Imaging unit and
A determination unit capable of determining whether or not a person in the image captured by the imaging unit owns or does not have a smartphone.
When it is determined that the person owns a smartphone, a notification unit that notifies the information processing device related to the notification destination, and a notification unit.
It may be a system including.
通知先に係る情報処理装置は、通知状況を判定した画像が取得された撮像装置が設置された施設内の箇所から所定の範囲内で職責を司る職員に係る情報処理装置又は所定の範囲内にある情報処理装置であってよい。前者の場合、職員に連絡されることから、迅速に、ヘルメットを脱ぐための手段を対策が取れる利点がある。また、後者の場合、かかる情報処理装置が、かかるヘルメットを着用する人に対して、音を発生できる場合、かかるヘルメットを着用する人に注意喚起できる利点がある。 The information processing device related to the notification destination is within a predetermined range from the location in the facility where the image pickup device from which the image of the notification status is acquired is installed. It may be an information processing device. In the former case, since the staff is contacted, there is an advantage that measures can be taken to take off the helmet quickly. Further, in the latter case, if the information processing device can generate a sound to the person wearing the helmet, there is an advantage that the person wearing the helmet can be alerted.
２．３．実施形態３
次の実施形態に係るシステムは、所定のアイテムの検査に使用されるものである。すなわち、一定の職責の人は、所定のアイテムを装備していることが求められる場合があり、かかるアイテムの装備忘れを検知できる利点がある。 2.3. Embodiment 3
The system according to the next embodiment is used for inspection of a predetermined item. That is, a person with a certain responsibility may be required to equip a predetermined item, and has an advantage of being able to detect forgetting to equip such an item.
すなわち、本実施形態のシステムは、
撮像部と、
前記撮像部によって撮像された画像内の人が、所定のアイテムを有しているか、有していないか、を判定可能な判定部と、
前記人が所定のアイテムを有していないと判定した場合、通知先に係る情報処理装置に通知する通知部と、
を備えるシステムであってよい。また、所定のアイテムは、所定の拳銃、所定の手錠、及び、所定の警棒であってよい。That is, the system of this embodiment is
Imaging unit and
A determination unit capable of determining whether or not a person in an image captured by the imaging unit has or does not have a predetermined item.
When it is determined that the person does not have the predetermined item, the notification unit that notifies the information processing device related to the notification destination and the notification unit.
It may be a system including. Also, the predetermined items may be a predetermined pistol, a predetermined handcuff, and a predetermined baton.
また、前記撮像部は、上述の警察関係施設に設置されてよい。また、前記撮像部は、上述の警察関係施設内の出口において、警察関係施設内の内部から外部に移動する者を撮像可能な位置に備えられていてよい。また、前記内部から外部に移動する者は、警察関係施設に入る一般人などではなく、警察関係者であってよい。例えば、警察関係者が、警察関係施設の内部から外部に移動する通路上であってよい。また、かかる通路は、警察関係者専用の通路であってよい。 In addition, the imaging unit may be installed in the police-related facility described above. Further, the imaging unit may be provided at a position where a person moving from the inside to the outside of the police-related facility can be imaged at the exit in the police-related facility. Further, the person who moves from the inside to the outside may be a police-related person, not a general person who enters a police-related facility. For example, a police officer may be on a passage that moves from the inside to the outside of a police facility. In addition, such a passage may be a passage dedicated to police personnel.
また、前記人が、所定のアイテムを有しているか、有していないか、を判定可能な判定部は、前記人が、所定のアイテムを、所定の箇所に、装備しているかどうかを判定可能な判定部であってよい。 In addition, the determination unit capable of determining whether or not the person has a predetermined item determines whether or not the person is equipped with the predetermined item at a predetermined location. It may be a possible determination unit.
また、前記人が所定のアイテムを有していないと判定した場合、通知先に係る情報処理装置に通知する通知部は、前記人が所定のアイテムを、所定の箇所に、装備していないと判定した場合、通知先に係る情報処理装置に通知する通知部であってよい。なお、所定のアイテムを有することは、所定のアイテムを所定の箇所に装備することの上位概念であってよい。 Further, when it is determined that the person does not have the predetermined item, the notification unit that notifies the information processing device related to the notification destination states that the person does not equip the predetermined item at the predetermined location. If it is determined, it may be a notification unit that notifies the information processing device related to the notification destination. It should be noted that having a predetermined item may be a superordinate concept of equipping a predetermined item at a predetermined place.
前記通知先に係る情報処理装置は、前記人に係る情報処理装置であってよい。この場合、当該人は、所定のアイテムを装備していないことに気づき、迅速に対応できる利点がある。 The information processing device related to the notification destination may be an information processing device related to the person. In this case, the person has the advantage of being able to notice that he / she is not equipped with the predetermined item and respond quickly.
また、通知先に係る情報処理装置は、前記人に対して、音声及び／又は振動によって、通知してよい。この場合、前記人は、例えば出発間際の忙しい状態においても、装備されていないことに気付く可能性が高まる利点がある。 In addition, the information processing device related to the notification destination may notify the person by voice and / or vibration. In this case, the person has the advantage of being more likely to notice that he is not equipped, even in a busy state just before departure, for example.
また、前記判定部は、所定の拳銃、所定の手錠、及び、所定の警棒、という所定のアイテムのうち、装備されていないものを特定し、前記通知部は、前記装備されていないものを、通知先に係る情報処理装置に、通知してよい。この場合、前記人は、所定のアイテムの内、何が装備されていないかに、気づくことができる利点がある。 Further, the determination unit identifies unequipped items among predetermined items such as a predetermined pistol, a predetermined handcuff, and a predetermined baton, and the notification unit determines the unequipped item. The information processing device related to the notification destination may be notified. In this case, the person has the advantage of being able to notice what is not equipped among the predetermined items.
また、通知先に係る情報処理装置は、前記人に対して、前記装備されていないものを特定する情報を音によって通知してよい。この場合、前記人は、装備されていないものを、具体的に音によって知らされ、気づくことができる利点がある。 In addition, the information processing device related to the notification destination may notify the person of the information identifying the non-equipped item by sound. In this case, the person has an advantage that he / she can be specifically notified and noticed what is not equipped by sound.
また、通知先に係る情報処理装置は、前記警察関係施設内の出口に係る情報処理装置で
あってよい。例えば、前記出口のゲートに係る情報処理装置であってよい。Further, the information processing device related to the notification destination may be the information processing device related to the exit in the police-related facility. For example, it may be an information processing device related to the exit gate.
２．４．実施形態４
次の実施形態に係るシステムは、自動車利用者が所定のアイテムを使用しているかどうかを判定するものである。すなわち、運転中の利用者は、スマートフォン、携帯電話などの道路交通法で定める無線通話装置を使用することは危険であることから、これを判定できる利点がある。 2.4. Embodiment 4
The system according to the next embodiment determines whether or not the automobile user is using a predetermined item. That is, since it is dangerous for a driving user to use a wireless communication device such as a smartphone or a mobile phone specified by the Road Traffic Act, there is an advantage that this can be determined.
一実施形態に係るシステムは、車両内の運転手を撮像する撮像部と、
前記撮像部によって撮像された画像内の人が、所定のアイテムを保持しているか、保持していないか、を判定する判定部と、
前記判定部が、前記画像内の人は前記所定のアイテムを保持していると判定した場合、通知先の情報処理装置に、通知する通知部と、
を備えるシステムであってよい。The system according to one embodiment includes an imaging unit that captures an image of a driver in a vehicle and an imaging unit.
A determination unit that determines whether or not a person in an image captured by the imaging unit holds or does not hold a predetermined item.
When the determination unit determines that the person in the image holds the predetermined item, the notification unit that notifies the information processing device of the notification destination and the notification unit.
It may be a system including.
前記所定のアイテムは、道路交通法で定める無線通話装置であってよい。 The predetermined item may be a wireless communication device specified by the Road Traffic Act.
通知先の情報処理装置は、前記車両に係る情報処理装置であってよい。また、かかる車両に係る情報処理装置は、前記運転手に対して、警告を発する警告機能を有してよい。警告機能は、音、光、動作などであってよい。音は、運転手に対して、警告するようなものであればよく、単なるアラームが発生するものでもよいし、無線通話装置の使用をやめるような表現であってもよい。光は、アラームであってよい。動作は、車両を徐行又は停止に向けるための動作であってよい。 The information processing device of the notification destination may be the information processing device related to the vehicle. In addition, the information processing device related to such a vehicle may have a warning function of issuing a warning to the driver. The warning function may be sound, light, action, or the like. The sound may be something that warns the driver, may be a simple alarm, or may be an expression that stops the use of the wireless communication device. The light may be an alarm. The movement may be an movement to turn the vehicle into a driving or stop.
また、通知先の情報処理装置は、警察機関に係る情報処理装置であってよい。この場合、車両等がいる場所を管轄する警察機関に係る情報処理装置であってもよいし、車両等がいる場所から所定の範囲にいる警察関係者に係る情報処理装置であってもよい。前者の場合、交通違反の管轄内の警察機関に情報が提供可能であり、後者の場合、交通違反の現場に近い警察関係者に情報が提供可能である利点がある。なお、一実施形態に係るシステムにおける撮像部は、車両を特定する情報を撮像してよい。例えば、撮像部は、ナンバープレート及び／又は運転手を含む車両を撮像してよい。また、警察機関に係る情報処理装置は、ナンバープレートから、車両の所有者を特定してよい。所有者の特定は、ナンバープレートと所有者との関係付けをデータベースとして有する情報処理装置が用いられてよい。かかる情報処理装置は、警察機関に係る情報処理装置であってよく、例えば、サーバ装置、クラウド装置などであってよい。また、警察機関に係る情報処理装置は、車両の所有者、車両のナンバープレート、撮像された画像、撮像された日時、及び／又は、撮像された場所、を表示する表示機能を有してよい。かかる表示により、画像によって違反行為を理解しつつ、違反行為者に関する情報を、閲覧者は理解することができる。かかる表示は、車両等が撮像された場所から所定の範囲にいる警察関係者に係る情報処理装置に伝達され、表示されてよい。例えば、撮像された場所から所定の範囲にいる警察関係者である、例えば、パトロールカーや白バイ又はこれらの運転手に係る情報処理装置であってよい。これにより、現場に急行し、違反者に対して対処できる可能性がある。 Further, the information processing device of the notification destination may be an information processing device related to a police organization. In this case, the information processing device may be an information processing device related to a police agency having jurisdiction over the place where the vehicle or the like is located, or may be an information processing device related to a police person who is within a predetermined range from the place where the vehicle or the like is located. In the former case, information can be provided to police agencies within the jurisdiction of the traffic violation, and in the latter case, information can be provided to police personnel close to the scene of the traffic violation. The imaging unit in the system according to the embodiment may capture information that identifies the vehicle. For example, the imaging unit may image the vehicle including the license plate and / or the driver. In addition, the information processing device related to the police organization may identify the owner of the vehicle from the license plate. To identify the owner, an information processing device having a relationship between the license plate and the owner as a database may be used. Such an information processing device may be an information processing device related to a police organization, and may be, for example, a server device, a cloud device, or the like. In addition, the information processing device related to the police agency may have a display function for displaying the owner of the vehicle, the license plate of the vehicle, the captured image, the date and time of the capture, and / or the location where the image was captured. .. With such a display, the viewer can understand the information about the violator while understanding the violator by the image. Such a display may be transmitted and displayed to an information processing device related to a police officer who is within a predetermined range from the place where the vehicle or the like is imaged. For example, it may be a police person within a predetermined range from the imaged place, for example, a patrol car, a police motorcycle, or an information processing device related to a driver thereof. This could allow them to rush to the scene and deal with the offender.
また、一実施形態に係るシステムは、車両内の運転手を特定するために、撮像部によって撮像された画像内における、ステアリング、ハンドルなどの操舵装置から所定の範囲にいる人を運転手と特定してよい。一実施形態に係るシステムにおける判定部は、上述の操舵装置及び人を特定する機能を有してよい。 Further, in the system according to one embodiment, in order to identify the driver in the vehicle, a person within a predetermined range from the steering device such as the steering wheel and the steering wheel in the image captured by the imaging unit is specified as the driver. You can do it. The determination unit in the system according to one embodiment may have the above-mentioned steering device and a function of identifying a person.
３．システムのハードウェア構成
本願発明に係るシステムは、一又は複数の情報処理装置から構成されてよい。本願発明に係る情報処理装置１０は、図２４のように、バス１５、演算装置１１、記憶装置１２、及び通信装置１６を備えてよい。また、一実施態様における情報処理装置１０は、入力装置１３、表示装置１４を備えてよい。また、ネットワーク１７と、直接または間接的に接続される。 3. 3. Hardware Configuration of System The system according to the present invention may be composed of one or a plurality of information processing devices. As shown in FIG. 24, the
バス１５は、演算装置１１、記憶装置１２、入力装置１３、表示装置１４及び通信装置１６の間の情報を伝達する機能を有してよい。
The
演算装置１１の例としては、例えばプロセッサが挙げられる。これは、ＣＰＵであってもよいし、ＭＰＵであってもよい。また、一実施態様における演算装置は、グラフィックスプロセッシングユニット、デジタルシグナルプロセッサなどを有してもよい。要するに、演算装置１２は、プログラムの命令を実行できる装置であればよい。
An example of the
記憶装置１２は、情報を記録する装置である。これは、外部メモリと内部メモリのいずれでもよく、主記憶装置と補助記憶装置のいずれでもよい。また、磁気ディスク（ハードディスク）、光ディスク、磁気テープ、半導体メモリなどでもよい。また、ネットワークを介した記憶装置又は、ネットワークを介したクラウド上の記憶装置を有してもよい。
The
なお、演算装置に物理的に近い位置で情報を記憶する、レジスタ、Ｌ１キャッシュ、Ｌ２キャッシュなどは、本ブロック図においては、演算装置１１内に含まれる場合もあるが、計算機アーキテクチャのデザインにおいて、情報を記録する装置としては、記憶装置１２がこれらを含んでもよい。要するに、演算装置１１、記憶装置１２及びバス１１が協調して、情報処理を実行できるよう構成されていればよい。
In this block diagram, the registers, L1 cache, L2 cache, etc. that store information at a position physically close to the arithmetic unit may be included in the
記憶装置１２は、本願発明に係る処理を実行可能なプログラムの一部又は全部を備えることができる。また、本願発明に係る処理を実行する際に必要なデータを、適宜記録することもできる。また、一実施態様における記憶装置１２は、データベースを含んでもよい。
The
また、上記は、演算装置１２が、記憶装置１３に備えられたプログラムに基づいて実行される場合を記載したが、上記のバス１１、演算装置１２と記憶装置１３が組み合わされた形式の一つとして、本願発明に係る情報処理の一部又は全部を、ハードウェア回路自体を変更することができるプログラマブルロジックデバイス又は実行する情報処理が決まっている専用回路で実現されてもよい。
Further, the above describes the case where the
入力装置１３は、情報を入力するものであるが、他の機能を有してもよい。入力装置１４としては、キーボード、マウス、タッチパネル、又はペン型の指示装置などの入力装置が挙げられる。
The
表示装置１４は、情報を表示する機能を有する。例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどが挙げられるが、要するに、情報を表示できる装置であればよい。また、タッチパネルのように入力装置１３を一部に備えてもよい。
The
ネットワーク１７は、通信装置１６と共に、情報を伝達する。すなわち、情報処理装置である１０の情報を、ネットワーク１７を介して他の情報端末（図示しない）に伝達できるようにする機能を有する。通信装置１６は、どのような接続形式を用いてもよく、ＩＥＥＥ１３９４、イーサネット（登録商標）、ＰＣＩ、ＳＣＳＩ、ＵＳＢ、２Ｇ、３Ｇ、４Ｇ、５Ｇなどでもよい。ネットワーク１７への接続は、有線と無線のいずれでもよい。
The
本願発明に係る情報処理装置は、汎用型であってもよいし、専用型であってもよい。また、当該情報処理装置は、ワークステーション、デスクトップパソコン、ラップトップパソコン、ノートパソコン、ＰＤＡ、携帯電話、スマートフォンなどでもよい。 The information processing device according to the present invention may be a general-purpose type or a dedicated type. Further, the information processing device may be a workstation, a desktop personal computer, a laptop personal computer, a laptop computer, a PDA, a mobile phone, a smartphone or the like.
本図では、一台の情報処理装置１０として説明したが、本願発明に係るシステムは、複数の情報処理装置によって構成されてもよい。当該複数の情報処理装置は、内部的に接続されていてもよいし、外部的に接続されていてもよい。
Although described as one
また、本願発明に係るシステムは、種々の態様の装置形式であってよい。例えば、本願発明に係るシステムは、スタンドアローンであってもよいし、サーバクライアント形式であってもよいし、ピアツーピア形式であってもよいし、クラウド形式であってもよい。本願発明に係るシステムは、スタンドアローンの情報処理装置であってもよいし、サーバクライアント形式の一部又は全部の情報処理装置から構成されてもよいし、ピアツーピア形式の一部又は全部の情報処理装置から構成されてもよいし、クラウド形式の一部又は全部の情報処理装置から構成されてもよい。 Further, the system according to the present invention may be of various types of devices. For example, the system according to the present invention may be a stand-alone system, a server-client system, a peer-to-peer system, or a cloud system. The system according to the present invention may be a stand-alone information processing device, may be composed of a part or all of the information processing device of the server-client type, or may be a part or all of the information processing of the peer-to-peer type. It may be composed of devices, or may be composed of a part or all of information processing devices in the cloud format.
また、本願発明に係るシステムが複数の情報処理装置で構成される場合、各情報処理装置の所有者や管理者は、異なってもよい。 Further, when the system according to the present invention is composed of a plurality of information processing devices, the owner and the manager of each information processing device may be different.
また、情報処理装置１０は、物理的な存在であってもよいし、仮想的なものであってもよい。例えば、クラウドコンピューティングを用いて、情報処理装置１０を仮想的に実現してもよい。
Further, the
上述では、本例のシステムが実施する構成として説明したが、これらは、システム内の一又は複数の情報処理装置が実施する構成であってもよい。また、上述において、携帯可能な情報処理装置として説明されたものは、適宜、設置され、固定化された情報処理装置であってもよい。 In the above description, the configurations implemented by the system of this example have been described, but these may be configurations implemented by one or more information processing devices in the system. Further, the information processing device described above as the portable information processing device may be an information processing device that is appropriately installed and fixed.
本願書類の実施例において述べた発明例は、本願書類で説明されたものに限らず、その技術的思想の範囲内で、種々の例に適用できることはいうまでもない。例えば、本願書類の実施例において、情報処理装置の画面に提示される情報は、他の情報処理装置における画面で表示できるために前記他の情報処理装置に対して送信できるよう、各実施例のシステムが構成されてもよい。 It goes without saying that the invention examples described in the examples of the documents of the present application are not limited to those described in the documents of the present application, and can be applied to various examples within the scope of the technical idea. For example, in the embodiment of the document of the present application, the information presented on the screen of the information processing device can be displayed on the screen of the other information processing device, so that the information can be transmitted to the other information processing device. The system may be configured.
また、本願書類で説明される処理及び手順は、実施形態において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能なものであってよい。また、本願書類で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、各種のコンピュータに実行させることが可能であってよい。またこれらのコンピュータプログラムは、記憶媒体に記憶されてよい。また、これらのプログラムは、非一過性又は一時的な記憶媒体に記憶されてよい。 In addition, the processes and procedures described in the documents of the present application may be feasible not only by those explicitly described in the embodiments, but also by software, hardware or a combination thereof. Further, the processes and procedures described in the documents of the present application may be able to be implemented by various computers by implementing the processes and procedures as a computer program. Further, these computer programs may be stored in a storage medium. Also, these programs may be stored on a non-transient or temporary storage medium.
１０ 情報処理装置
１１ 演算装置
１２ 記憶装置
１３ 入力装置
１４ 表示装置
１５ バス
１６ 通信装置
１７ ネットワーク10
Claims (15)
前記撮像部によって撮像された画像を表示可能な表示部と、
前記表示部内に、領域を設定可能な領域部と、
前記撮像部によって撮像された画像内の人が、前記領域内であるか、前記領域外であるか、を判定可能な判定部と、
を備えるシステム。Imaging unit and
A display unit capable of displaying an image captured by the imaging unit, and a display unit capable of displaying the image.
In the display unit, an area unit in which an area can be set and an area unit
A determination unit capable of determining whether the person in the image captured by the imaging unit is within the region or outside the region.
System with.
請求項１に記載のシステム。The area set by the area unit is related to the position in the display unit.
The system according to claim 1.
請求項１又は２に記載のシステム。The region set by the region unit is not related to the object in the image captured by the imaging unit.
The system according to claim 1 or 2.
請求項１乃至３のいずれか１項に記載のシステム。When the determination unit determines that the person is in the area, the determination unit determines whether or not the person is wearing a predetermined item.
The system according to any one of claims 1 to 3.
請求項４に記載のシステム。The predetermined items include fall arrest devices, helmets, safety goggles, gloves, safety boots, smartphones, swords, and / or assault items.
The system according to claim 4.
前記領域部は、
前記撮像部によって撮像された画像内の人が、前記第１領域内である、
又は、
前記撮像部によって撮像された画像内の人が、前記第２領域内であり、かつ、前記人が所定のアイテムを着用していない、
と前記判定部が判定した場合、通知するよう設定可能である
請求項１乃至５のいずれか１項に記載のシステム。A first region and a second region can be set in the region portion.
The area portion
The person in the image captured by the imaging unit is in the first region.
Or
The person in the image captured by the imaging unit is in the second region, and the person is not wearing the predetermined item.
The system according to any one of claims 1 to 5, which can be set to notify when the determination unit determines.
請求項１乃至６のいずれか１項に記載のシステム。The system is a portable information processing device having the imaging unit and the display unit integrated.
The system according to any one of claims 1 to 6.
請求項１乃至７のいずれか１項に記載のシステム。A portable information processing device including the imaging unit and the display unit in an integrated manner.
The system according to any one of claims 1 to 7.
請求項１乃至８のいずれか１項に記載のシステム。The determination unit has a machine-learned function that determines only whether or not a person is in the area and whether or not the person wears the predetermined item.
The system according to any one of claims 1 to 8.
請求項１乃至９のいずれか１項に記載のシステム。The determination unit is determined by a machine-learned function that determines whether or not the person is in the area and whether or not the person is wearing the predetermined item, and acquires information on whether or not the notification status is reached. ,
The system according to any one of claims 1 to 9.
前記領域内に人がいると判定した場合に、他の情報処理装置に通知する、
携帯可能な情報処理装置であって、
前記情報処理装置は、撮像部と表示部とを一体化した備える情報処理装置であり、
前記領域は、前記情報処理装置の使用が予定される位置において、設定される、
情報処理装置。The area can be set in the display screen,
When it is determined that there is a person in the area, another information processing device is notified.
A portable information processing device
The information processing device is an information processing device in which an imaging unit and a display unit are integrated.
The area is set at a position where the information processing apparatus is scheduled to be used.
Information processing device.
前記領域内に人がいると判定した場合に、音、光、又は振動を生じさせる、
携帯可能な情報処理装置であって、
前記情報処理装置は、撮像部と表示部とを一体化した備える情報処理装置であり、
前記領域は、前記情報処理装置の使用が予定される位置において、設定される、
情報処理装置。The area can be set in the display screen,
When it is determined that there is a person in the area, sound, light, or vibration is generated.
A portable information processing device
The information processing device is an information processing device in which an imaging unit and a display unit are integrated.
The area is set at a position where the information processing apparatus is scheduled to be used.
Information processing device.
撮像手段によって撮像された画像を表示する表示手段、
前記表示内に、領域を設定する手段、
撮像手段によって撮像された画像内の人が、前記領域内であるか、前記領域外であるか、を判定する判定手段、
として機能させるためのプログラム。Computer,
A display means for displaying an image captured by the image pickup means,
Means for setting an area in the display,
A determining means for determining whether a person in an image captured by an imaging means is within the region or outside the region.
A program to function as.
撮像手段によって撮像された画像を表示するステップ、
前記表示内に、領域を設定するステップ、
撮像手段によって撮像された画像内の人が、前記領域内であるか、前記領域外であるか、を判定するステップ、
を実行する方法。The computer
A step of displaying an image captured by an imaging means,
Steps to set the area in the display,
A step of determining whether a person in an image captured by an imaging means is within or outside the region.
How to do.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2019/036167 WO2021049018A1 (en) | 2019-09-13 | 2019-09-13 | Information processing system, information processing device, server device, program, and method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019229265A Division JP7042508B2 (en) | 2019-12-19 | 2019-12-19 | Information processing system, information processing device, server device, program, or method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6644327B1 JP6644327B1 (en) | 2020-02-12 |
| JPWO2021049018A1 true JPWO2021049018A1 (en) | 2021-09-27 |
Family
ID=69412174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019551413A Active JP6644327B1 (en) | 2019-09-13 | 2019-09-13 | Information processing system, information processing device, server device, program, or method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6644327B1 (en) |
| WO (1) | WO2021049018A1 (en) |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6180383A (en) * | 1984-09-27 | 1986-04-23 | 株式会社東芝 | Station information response system |
| JP2000105835A (en) * | 1998-07-28 | 2000-04-11 | Hitachi Denshi Ltd | Object recognizing method and object tracking and monitoring device |
| JP4140159B2 (en) * | 2000-01-19 | 2008-08-27 | 株式会社明電舎 | Surveillance camera monitoring area setting apparatus and method |
| JP2004117716A (en) * | 2002-09-25 | 2004-04-15 | Canon Inc | Camera and camera system |
| JP2008197946A (en) * | 2007-02-14 | 2008-08-28 | Mitsubishi Precision Co Ltd | Person detection system |
| JP2010034706A (en) * | 2008-07-25 | 2010-02-12 | Panasonic Electric Works Co Ltd | Recorded image display apparatus |
| JP5239952B2 (en) * | 2009-03-10 | 2013-07-17 | オムロン株式会社 | Safe driving monitoring device |
| KR101740231B1 (en) * | 2010-11-17 | 2017-05-26 | 삼성전자주식회사 | Method and apparatus for estimating 3d face position |
| JP5872981B2 (en) * | 2012-08-02 | 2016-03-01 | オリンパス株式会社 | Shooting equipment, moving body shooting method, shooting program |
| JP2014082647A (en) * | 2012-10-17 | 2014-05-08 | Net&Logic Inc | Monitor camera data recording device and method |
| JP6486596B2 (en) * | 2014-03-07 | 2019-03-20 | 株式会社中電工 | Specified range monitoring system |
| JP6120011B2 (en) * | 2014-08-29 | 2017-04-26 | マツダ株式会社 | Pedestrian detection device for vehicles |
| CN104902227B (en) * | 2015-05-06 | 2018-07-10 | 南京第五十五所技术开发有限公司 | A kind of substation safety cap wear condition video monitoring system |
| JP2017028364A (en) * | 2015-07-16 | 2017-02-02 | 株式会社日立国際電気 | Monitoring system and monitoring device |
| JP6525229B1 (en) * | 2019-01-25 | 2019-06-05 | 株式会社 テクノミライ | Digital search security system, method and program |
| JP6534499B1 (en) * | 2019-03-20 | 2019-06-26 | アースアイズ株式会社 | MONITORING DEVICE, MONITORING SYSTEM, AND MONITORING METHOD |
| JP6562437B1 (en) * | 2019-04-26 | 2019-08-21 | アースアイズ株式会社 | Monitoring device and monitoring method |
-
2019
- 2019-09-13 WO PCT/JP2019/036167 patent/WO2021049018A1/en active Application Filing
- 2019-09-13 JP JP2019551413A patent/JP6644327B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021049018A1 (en) | 2021-03-18 |
| JP6644327B1 (en) | 2020-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11799980B2 (en) | Crowd-sourced computer-implemented methods and systems of collecting and transforming portable device data | |
| KR101766305B1 (en) | Apparatus for detecting intrusion | |
| US10861071B2 (en) | Crowd-sourced computer-implemented methods and systems of collecting requested data | |
| US11024105B1 (en) | Safety and security methods and systems | |
| CA2864890C (en) | Systems and methods for providing emergency resources | |
| US20150066557A1 (en) | System and Method for Tracking and Managing Mobile Resources | |
| US11341830B2 (en) | Infrastructure construction digital integrated twin (ICDIT) | |
| WO2021112766A1 (en) | Systems and methods for operations and incident management | |
| JP2018081637A (en) | Workplace management system | |
| EP3769550A1 (en) | Situational awareness systems and methods | |
| JP2022008672A (en) | Information processing apparatus, information processing method, and program | |
| Al-Shaery et al. | In-depth survey to detect, monitor and manage crowd | |
| CN112288320A (en) | Subway operation risk monitoring and management system | |
| KR101005568B1 (en) | Intelligent security system | |
| Palaniappan et al. | Artificial intelligence (AI) coupled with the internet of things (IoT) for the enhancement of occupational health and safety in the construction industry | |
| Tsai | Automatically determining accidental falls in field surveying: A case study of integrating accelerometer determination and image recognition | |
| JP2022091787A (en) | Information processing system, information processor, server, program, or method | |
| WO2021049018A1 (en) | Information processing system, information processing device, server device, program, and method | |
| CN116880262A (en) | Security control method and system based on intelligent equipment | |
| RU2693926C1 (en) | System for monitoring and acting on objects of interest, and processes performed by them and corresponding method | |
| Lock et al. | Improving operational processes for COVID-19 ready smart campus | |
| Bouma et al. | Integrated roadmap for the rapid finding and tracking of people at large airports | |
| WO2016069566A1 (en) | System and method for tracking and managing mobile resources | |
| Lachner et al. | Information and communication systems for mobile emergency response | |
| JP6877176B2 (en) | Monitoring system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190917 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190917 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20191001 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191008 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191126 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191219 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6644327 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |