JP6600359B2 - モニタリング - Google Patents
モニタリング Download PDFInfo
- Publication number
- JP6600359B2 JP6600359B2 JP2017533384A JP2017533384A JP6600359B2 JP 6600359 B2 JP6600359 B2 JP 6600359B2 JP 2017533384 A JP2017533384 A JP 2017533384A JP 2017533384 A JP2017533384 A JP 2017533384A JP 6600359 B2 JP6600359 B2 JP 6600359B2
- Authority
- JP
- Japan
- Prior art keywords
- scene
- user
- event sequence
- video
- sensor data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
- G08B13/19615—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion wherein said pattern is defined by the user
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/1968—Interfaces for setting up or customising the system
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
- G08B21/0438—Sensor means for detecting
- G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
- Closed-Circuit Television Systems (AREA)
- Television Signal Processing For Recording (AREA)
Description
・ (移動しているまたは静的な)オブジェクトまたは人物を検出すること。
・ (移動しているまたは静的な)オブジェクトまたは人物を分類すること。
・ (移動しているまたは静的な)オブジェクトまたは人物を追跡すること。
の1つ以上を実行する。
・ 奥行き検出を使ってシーン空間中の(移動しているまたは静的な)オブジェクトの位置決めをすること。
・ シーン空間のマップを生成すること。
の1つ以上を実行する。
(a)ハードウェアのみの回路実装(アナログおよび/またはデジタル回路のみの実装等)。
(b)回路とソフトウェア(および/またはファームウェア)の組合せ、例えば(適用可能である場合):(i)一つまたは複数のプロセッサ、または(ii)一つまたは複数のプロセッサ/ソフトウェア(デジタルシグナルプロセッサを含む),ソフトウェア,一つまたは複数のメモリの一部(これらは協働して、携帯電話やサーバなどの装置に様々な機能を実行させる)。
(c)一つまたは複数のマイクロプロセッサやその一部等の回路であって、動作するためにソフトウェアやファームウェアを必要とする回路(ソフトウェアやファームウェアは物理的に存在しなくてもよい)。
Claims (14)
- 自宅を監視するシステムの動作方法であって、
シーン中のユーザアクションから第一ユーザ入力を自動的に認識するために、前記シーンから記録された第一センサデータを自動的に処理することと、
前記第一ユーザ入力の認識に応答して、
・ 前記シーンからの前記第一センサデータの自動処理であって、前記第一ユーザ入力後の前記シーンから非定型の空間的イベントシーケンスを捕捉するための、前記第一センサデータの自動処理、および
・ 前記シーンから後に記録され前記シーンの前記第一センサデータとは異なる第二センサデータの自動処理であって、前記後に記録された第二センサデータ中の、前記捕捉された空間的イベントシーケンスに対応する空間的イベントシーケンスを自動的に認識するための、前記第二センサデータの自動処理、
を可能にする学習状態に自動的に入ることと、
を含むと共に、前記学習状態の過程で、
・ 前記シーン中の少なくともユーザの動きから第二の事前決定ユーザ入力を自動的に認識すべく、前記シーンの少なくとも第一映像及び/又はオーディオ及び/又は奥行きデータを自動的に処理することと、
・ 前記認識に応答して、後に記録される前記シーンの第二映像及び/又はオーディオ及び/又は奥行きデータ中の空間的イベントシーケンスが前記捕捉された空間的イベントシーケンスに対応することの認識、への応答をプログラムすることと、
を含み、
ここで前記第二映像及び/又はオーディオ及び/又は奥行きデータは、前記第一映像及び/又はオーディオ及び/又は奥行きデータとは異なり、
前記プログラムされる応答は、前記自宅から前記ユーザが離れているか否かを条件とする、
方法。 - 前記第一センサデータが、前記第一映像中のジェスチャユーザ入力を記録する、請求項1に記載の方法。
- 前記シーンからの前記第一センサデータが前記シーンの前記第一映像を少なくとも含み、前記方法が、前記シーン中のユーザの動きから前記第一ユーザ入力を自動的に認識するため、記録された前記第一映像を自動的に処理することを含む、請求項2に記載の方法。
- 前記第一ユーザ入力が、追跡対象ユーザにおける基準枠に対する前記追跡対象ユーザの動きによって定義される、時間進展的でシーン非依存性のシーケンスである、請求項1から3のいずれかに記載の方法。
- 前記第一センサデータが前記第一映像および前記第一オーディオを含み、前記方法は、
前記第一ユーザ入力の後に、前記シーン中の非定型の映像イベントシーケンスを捕捉するため、記録された前記第一映像を処理することと、
前記第一ユーザ入力の後に、前記シーン中の非定型のオーディオイベントシーケンスを捕捉するため、記録された前記第一オーディオを処理することと、
前記第二映像中の、前記捕捉された映像イベントシーケンスに対応する映像イベントシーケンスを認識するために、前記第二映像を処理することと、
前記第二オーディオ中の、前記捕捉されたオーディオイベントシーケンスに対応するオーディオイベントシーケンスを認識するために、前記第二オーディオを処理することと、
を含む、請求項1から4のいずれかに記載の方法。 - 前記第一ユーザ入力の後に、前記シーン中の非定型の空間的イベントシーケンスを捕捉するため、
・ 前記第一ユーザ入力の後に、前記シーン中の非定型の空間的イベントシーケンスを識別することと、
・ 記録されたセンサデータ中の、前記捕捉された空間的イベントシーケンスに対応する空間的イベントシーケンスを後に認識できるようにするために、前記非定型の空間的イベントシーケンスのシンボルの記録を格納することと、
による、記録センサデータの分析を含む、請求項1から5のいずれかに記載の方法。 - 前記非定型の空間的イベントシーケンスが、追跡対象ユーザの動きにより指定されるオブジェクトまたは場所に関連する、時間進展的でシーン依存性のシンボルシーケンスである、および/または前記非定型の空間的イベントシーケンスが、追跡対象ユーザの前記オブジェクトとの相互作用により指定されるオブジェクト−ユーザ相互作用に関連する、時間進展的でシーン依存性のシンボルシーケンスである、請求項1から6のいずれかに記載の方法。
- 前記シーン中の前記非定型の空間的イベントシーケンスを捕捉することが、前記ユーザの姿勢または位置の変化以外の、前記シーン中の変化を検出するため、前記シーンの前記第一映像を処理することを含む、請求項1から7のいずれかに記載の方法。
- 前記第二の事前決定ユーザ入力が、追跡対象ユーザにおける基準枠に対する前記追跡対象ユーザの動きによって定義される、時間進展的でシーン非依存性のシンボルシーケンスである、請求項1から8のいずれかに記載の方法。
- 前記第二の事前決定ユーザ入力の認識との所定の時間的関係で、前記シーン中の前記非定型の空間的イベントシーケンスを捕捉することを含む、請求項1から9のいずれかに記載の方法。
- モニタリング状態において、
前記シーンの第二センサデータを記録することと、
記録された前記第二映像中の、前記捕捉された空間的イベントシーケンスに対応する空間的イベントシーケンスを認識するため、前記シーンの前記記録された第二センサデータを処理することと、
を含む、請求項1から10のいずれかに記載の方法。 - 前記捕捉された非定型の空間的イベントシーケンスのユーザ定義のためのオプションを提供することを含む、請求項1から11のいずれかに記載の方法。
- 記録された前記第二映像中の、前記捕捉された空間的イベントシーケンスに対応する空間的イベントシーケンスの自動的な認識の結果のユーザ定義のためのオプションを提供することを含む、請求項1から12のいずれかに記載の方法。
- 請求項1から13のいずれかに記載の方法を実行する手段を備える、自宅監視システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP14200299.7A EP3037916B1 (en) | 2014-12-24 | 2014-12-24 | Monitoring |
EP14200299.7 | 2014-12-24 | ||
PCT/FI2015/050902 WO2016102759A1 (en) | 2014-12-24 | 2015-12-18 | Monitoring |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018509670A JP2018509670A (ja) | 2018-04-05 |
JP6600359B2 true JP6600359B2 (ja) | 2019-10-30 |
Family
ID=52292695
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017533384A Active JP6600359B2 (ja) | 2014-12-24 | 2015-12-18 | モニタリング |
Country Status (7)
Country | Link |
---|---|
US (1) | US10540542B2 (ja) |
EP (1) | EP3037916B1 (ja) |
JP (1) | JP6600359B2 (ja) |
CN (1) | CN107111363B (ja) |
PH (1) | PH12017501186A1 (ja) |
PL (1) | PL3037916T3 (ja) |
WO (1) | WO2016102759A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3316117A1 (en) | 2016-10-31 | 2018-05-02 | Nokia Technologies OY | Controlling content displayed in a display |
EP3316186B1 (en) * | 2016-10-31 | 2021-04-28 | Nokia Technologies Oy | Controlling display of data to a person via a display apparatus |
WO2019110546A1 (en) * | 2017-12-07 | 2019-06-13 | Tetra Laval Holdings & Finance S.A. | Method of process monitoring in a machine |
CN111766786B (zh) * | 2019-04-02 | 2023-05-02 | 青岛海信智慧生活科技股份有限公司 | 一种智能控制方法及控制器 |
EP3805980A1 (en) * | 2019-10-11 | 2021-04-14 | Kepler Vision Technologies B.V. | A system to notify a request for help by detecting an intent to press a button, said system using artificial intelligence |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4711885B2 (ja) | 2006-05-25 | 2011-06-29 | 三菱電機株式会社 | 遠隔操作装置及び方法 |
US7747445B2 (en) * | 2006-07-12 | 2010-06-29 | Nuance Communications, Inc. | Distinguishing among different types of abstractions consisting of plurality of commands specified by particular sequencing and or timing or no timing and sequencing using voice commands |
CN100583127C (zh) * | 2008-01-14 | 2010-01-20 | 浙江大学 | 一种基于模板匹配的视点无关的人体动作识别方法 |
US8407057B2 (en) * | 2009-01-21 | 2013-03-26 | Nuance Communications, Inc. | Machine, system and method for user-guided teaching and modifying of voice commands and actions executed by a conversational learning system |
JP5415846B2 (ja) * | 2009-07-01 | 2014-02-12 | アルプス電気株式会社 | 電子回路ユニット |
US9159151B2 (en) | 2009-07-13 | 2015-10-13 | Microsoft Technology Licensing, Llc | Bringing a visual representation to life via learned input from the user |
US9207765B2 (en) * | 2009-12-31 | 2015-12-08 | Microsoft Technology Licensing, Llc | Recognizing interactive media input |
CN103003761B (zh) * | 2010-07-22 | 2015-02-25 | 吉拉吉尔斯芬两合公司 | 处理视觉、听觉、嗅觉和/或触觉信息的***和方法 |
DE102010038341B4 (de) * | 2010-07-23 | 2023-12-07 | Robert Bosch Gmbh | Videoüberwachungssystem sowie Verfahren zur Konfiguration eines Videoüberwachungssystems |
US20150019459A1 (en) * | 2011-02-16 | 2015-01-15 | Google Inc. | Processing of gestures related to a wireless user device and a computing device |
US9432633B2 (en) * | 2011-12-28 | 2016-08-30 | Pelco, Inc. | Visual command processing |
EP2798632A4 (en) * | 2011-12-29 | 2015-10-07 | Intel Corp | DIRECT ACCESS TO A GRAMMAR |
EP2685403A3 (en) * | 2012-07-09 | 2017-03-01 | Technion Research & Development Foundation Limited | Natural machine interface system |
US9747898B2 (en) * | 2013-03-15 | 2017-08-29 | Honda Motor Co., Ltd. | Interpretation of ambiguous vehicle instructions |
DE202013102415U1 (de) * | 2013-06-05 | 2014-09-08 | Sick Ag | Optoelektronischer Sensor |
US11977998B2 (en) * | 2014-05-15 | 2024-05-07 | Storz Endoskop Produktions Gmbh | Surgical workflow support system |
-
2014
- 2014-12-24 EP EP14200299.7A patent/EP3037916B1/en active Active
- 2014-12-24 PL PL14200299T patent/PL3037916T3/pl unknown
-
2015
- 2015-12-18 WO PCT/FI2015/050902 patent/WO2016102759A1/en active Application Filing
- 2015-12-18 CN CN201580069677.3A patent/CN107111363B/zh active Active
- 2015-12-18 JP JP2017533384A patent/JP6600359B2/ja active Active
- 2015-12-18 US US15/537,057 patent/US10540542B2/en active Active
-
2017
- 2017-06-22 PH PH12017501186A patent/PH12017501186A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
EP3037916B1 (en) | 2021-02-24 |
PL3037916T3 (pl) | 2021-08-02 |
PH12017501186A1 (en) | 2017-12-18 |
JP2018509670A (ja) | 2018-04-05 |
EP3037916A1 (en) | 2016-06-29 |
WO2016102759A1 (en) | 2016-06-30 |
US10540542B2 (en) | 2020-01-21 |
US20180005024A1 (en) | 2018-01-04 |
CN107111363B (zh) | 2020-08-18 |
CN107111363A (zh) | 2017-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6592183B2 (ja) | モニタリング | |
US11429189B2 (en) | Monitoring | |
JP6568224B2 (ja) | サーベイランス | |
US9984590B2 (en) | Identifying a change in a home environment | |
JP6600359B2 (ja) | モニタリング | |
US10540543B2 (en) | Human-computer-interaction through scene space monitoring | |
JP6713057B2 (ja) | 移動体制御装置および移動体制御プログラム | |
US10444852B2 (en) | Method and apparatus for monitoring in a monitoring space |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170720 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180910 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181207 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190529 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190828 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190925 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191004 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6600359 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |