JP2022546438A - イベントクリップを提供するための、方法、電子装置、サーバシステム、およびプログラム - Google Patents
イベントクリップを提供するための、方法、電子装置、サーバシステム、およびプログラム Download PDFInfo
- Publication number
- JP2022546438A JP2022546438A JP2022513272A JP2022513272A JP2022546438A JP 2022546438 A JP2022546438 A JP 2022546438A JP 2022513272 A JP2022513272 A JP 2022513272A JP 2022513272 A JP2022513272 A JP 2022513272A JP 2022546438 A JP2022546438 A JP 2022546438A
- Authority
- JP
- Japan
- Prior art keywords
- event
- devices
- clip
- electronic device
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 55
- 238000001514 detection method Methods 0.000 claims description 28
- 238000003860 storage Methods 0.000 claims description 28
- 230000004044 response Effects 0.000 claims description 15
- 239000002131 composite material Substances 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 65
- 238000004891 communication Methods 0.000 description 36
- 230000006870 function Effects 0.000 description 22
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 14
- 230000000007 visual effect Effects 0.000 description 12
- 238000012544 monitoring process Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 6
- 238000005266 casting Methods 0.000 description 6
- ZPUCINDJVBIVPJ-LJISPDSOSA-N ***e Chemical compound O([C@H]1C[C@@H]2CC[C@@H](N2C)[C@H]1C(=O)OC)C(=O)C1=CC=CC=C1 ZPUCINDJVBIVPJ-LJISPDSOSA-N 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 4
- 238000013502 data validation Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 206010011469 Crying Diseases 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000004378 air conditioning Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 229910002092 carbon dioxide Inorganic materials 0.000 description 2
- 239000001569 carbon dioxide Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000006266 hibernation Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000007958 sleep Effects 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 239000004606 Fillers/Extenders Substances 0.000 description 1
- 101100408383 Mus musculus Piwil1 gene Proteins 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 229910002091 carbon monoxide Inorganic materials 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000006187 pill Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4346—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream involving stuffing data, e.g. packets or bytes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Devices (AREA)
- Telephonic Communication Services (AREA)
- Controls And Circuits For Display Device (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本願は、2019年9月6日に提出された米国特許仮出願第62/897233号の優先権を主張し、当該出願の全体が参照により本明細書に組み込まれる。
本願は、一般的に、電力の強化および帯域幅の節約を提供しながら、目標イベントに関連するビデオクリップを提供するカメラおよび電子支援装置を含むがこれらに限定されない、電子装置に関する。
ストリーミング装置は、ますます普及されている。ストリーミング装置の数が増加するにつれて、ストリーミング需要が増加し、帯域幅の制限が懸念される。例えば、セキュリティカメラおよびストリーミング娯楽サービスを装備している戸建ては、特にこれらの装置が24時間に高精細度ビデオデータをストリーミングする場合、住宅インターネットサービスプロバイダによって設定された毎月の帯域幅の最大割当量を容易に超えてしまう。
したがって、より効率的、正確且つ直感的な方法で、装置機能への影響を低減すると共に、帯域幅および電力を節約するためのストリーミングシステムおよび/または装置が必要とされている。このようなシステム、装置および方法は、必要に応じて、装置機能を最適化すると共に、特定の装置動作を改善することによって、イベント識別、分類、および/または提示を行うための従来のシステム、装置および方法を補完するまたは置換する。
同様の参照番号は、いくつかの図面において同様の部材を示す。
様々な基本的なシステムサービスを処理し、ハードウェア依存タスクを実行するためのプロシージャを含むオペレーティングシステム316と、
1つ以上の(有線または無線)ネットワークインターフェイス304および1つ以上のネットワーク110、例えば、インターネット、他のワイドエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークを介して、電子装置222を他の装置(例えば、サーバシステム164、クライアント装置104、クライアント装置204、装置120、ハブ装置180、および/または他の電子装置222)に接続するためのネットワーク通信モジュール318と、
ディスプレイ上で情報の提示を可能にする1つ以上の入力装置310を介して、入力を受信するための入力/出力制御モジュール320とを含み、
この入力/出力制御モジュール320は、
電子装置222の周りの環境から収集された音声入力または音声メッセージを処理する、またはサーバシステム164(音声/表示支援サーバ112)による処理のために収集された音声入力または音声メッセージを準備するための音声処理モジュール322と、
メディアコンテンツアイテム(例えば、ユーチューブ(登録商標)ビデオクリップ)、ニュース投稿、ソーシャルメディアメッセージ、天気情報、個人写真、音声入力処理の状態、および装置の読取り値を含むがこれらに限定されない追加の視覚情報を表示するための表示支援モジュール324と、
電子装置222の上面のタッチイベントを検知するためのタッチ検知モジュール326とを含み、
上述したプログラム、モジュール、およびデータ構造は、
イベントを検出し、当該イベントに関連するビデオクリップを処理するためのイベント処理モジュール350とを含み、
このイベント処理モジュール350は、
イベントトリガ(例えば、シーン内のモーションまたは前景物体の存在)を検出するためのトリガ検出モジュール350と、
(例えば、物体がイベントの作成をトリガすべきか否かに関する判定の一部として)シーンから検出された物体に対して物体認識分析を実行するための物体認識モジュール354と、
イベントを含むフレームおよび/またはイベントの前後の追加のフレームを含むビデオクリップを合成するためのイベント合成モジュール356とを含み、合成することは、無活動閾値および最大イベント長などのイベントパラメータを考慮することを含み、
上述したプログラム、モジュール、およびデータ構造は、
カメラ362の画像センサから画像フレームを取得し、ビデオストリーム(例えば、連続ビデオストリーム、ビデオクリップ、および/または1つ以上の静止画像)を処理するためのビデオ処理モジュール358を含み、処理することは、いくつかの実施形態において、ネットワークを介して送信するために、処理されたビデオデータを圧縮することを含み、
上述したプログラム、モジュール、およびデータ構造は、
電子装置222の電力種類(例えば、装置がバッテリによって駆動されているか、または有線電源によって駆動されているか)を検出するための電力検出モジュール359と、
データ330とを含み、
データ330は、
電子装置222に関連する情報、例えば、装置の共通設定(例えば、サービス層、装置モデル、記憶容量、処理能力、通信能力)および電子装置222にリンクされている仮想ユーザドメイン内のユーザアカウントの情報を記憶するための装置設定332と、
イベントを生成するためにイベント処理モジュール350によって使用されるパラメータ、例えば、パディング382、無活動閾値384、最大イベント長386、クールオフ閾値388、および/または物体フィルタおよび/または優先度390を含むイベントプロファイル設定380とを含み、
パディング382は、プレロール値(例えば、図8および図9のパディングウィンドウ814および914に示すように、物体または目標オカレンスを検出する前のイベントクリップに含まれる時間、または目標物体またはオカレンスを含む画像フレームの前に取得された画像の数)と、ポストロール値(例えば、図8および図9のパディングウィンドウ816および916に示すように、検出された目標物体またはオカレンスがカメラのシーンまたは視野に存在していないのイベントクリップに含まれる時間、または目標物体もしくはオカレンスが検出されなくなるまで取得された画像の数)とを含み、
無活動閾値384は、例えば、図8の時間D/Eと図9の時間D/FとI/Jとの間の無活動ウィンドウに示すように、後続の活動を含むようにイベントを継続する代わりに、イベントを終了する前の待機時間、または目標物体もしくはオカレンスが検出されなくなるまで取得された画像の数であり、この画像の数は、イベントを終了する前の待機時間に対応しており、
最大イベント長386は、例えば、図8および図9のイベントセグメント812および912に示すように、目標物体またはオカレンスがカメラのシーンまたは視野内に存在しているか否かにかかわらず、イベントが終了する前のイベント持続時間、または最大イベント長として特定された時間に関連する画像の最大数であり、いくつかの実施形態において、最大イベント長は、パディングウィンドウを含み、いくつかの実施形態において、最大イベント長は、パディングウィンドウを含まない、
クールオフ閾値388は、例えば、それを超えるとイベントの記録が停止する物体検出の速度であり、
物体フィルタおよび/または優先度390は、例えば、図5の例示的な定式442内のイベント優先度リストに示すように、イベントを記録する基準となる物体を決定するためのものであり、
上述したプログラム、モジュール、およびデータ構造は、
カメラ362の画像センサによって取得された画像フレームを記憶するための画像バッファ(入力バッファとも称される)392と、
電子装置222の音声インターフェイス機能に関連する音声信号、音声メッセージ、応答メッセージ、および他のデータを記憶するための音声制御データ336と、
表示支援装置を使用することを許可されたユーザの情報、例えば、許可ユーザの画像、音声情報、および指紋情報を記憶するための許可ユーザデータ338とを含み、
電子装置222に関連する生データまたは処理済みデータ、例えば、カメラ362によって取得されたイベントデータおよび/またはビデオデータを選択的に記憶するためのローカルデータストレージ340とを含む。
様々な基本的なシステムサービスを処理し、ハードウェア依存タスクを実行するためのプロシージャを含むオペレーティングシステム410と、
1つ以上の(有線または無線)ネットワークインターフェイス404を介して、サーバシステム164を他のシステムおよび装置(例えば、1つ以上のネットワーク110に接続されたクライアント装置、電子装置およびシステム)に接続するためのネットワーク通信モジュール412と、
装置制御、データ処理、およびデータ確認などのサーバ側機能を提供するサーバ側モジュール414とを含み、
サーバ側モジュール414は、
電子装置からのデータ(例えば、電子装置222からのイベントデータ)を受信し、さらなる処理を行うおよびサーバデータベース428に記憶するために、受信したデータを準備するように構成されたデータ受信モジュール416と、
電子装置(例えば、電子装置222)の動作モードを修正するように、サーバ起動御コマンドを生成および送信し、および/または電子装置の動作モードを修正するように、(例えば、クライアント装置204およびクライアント装置104から)ユーザ起動制御コマンドを受信および転送する(例えば、電子装置222の装置設定データ438を受信し、設定データ438に対応する1つ以上のイベント処理定式442を転送する)ように構成された装置制御モジュール418と、
電子装置によって提供されたデータを処理し、および/または処理されたデータを準備し、確認用装置(例えば、ユーザによって確認されるクライアント装置204)に送信するように構成されたデータ処理モジュール420とを含むがこれらに限定されず、データ処理モジュール420は、受信されたビデオクリップ(例えば、電子装置222から受信され、検出されたイベントに対応するビデオクリップ)から検出された実体および/またはイベント候補を処理する(例えば、分類および/または認識する)ためのビデオ処理モジュール422と、ユーザと通信する(例えば、警告、タイムラインイベントなどを送信する、およびユーザの編集およびゾーンの定義などを受信する)ためのユーザインターフェイスモジュール424と、環境から検出された人物を分析および/または特定するための実体認識モジュール426とを含むがこれらに限定されず、
上述したプログラム、モジュール、およびデータ構造は、サーバデータベース428を含み、
サーバデータベース428は、
装置およびアカウントデータを格納するための装置およびアカウントデータベース216を含み、
この装置およびアカウントデータベース216は、
1つ以上の装置(例えば、電子装置222)に関連する装置情報436と、
装置識別子448、設置場所データ449a、装置用途情報449b、および/または装置電力種類データ449cを含む装置設定データ438と、
ユーザアカウント情報、例えば、ユーザプロファイル、リンクされたハブ装置および電子装置の情報および設定(例えば、ハブ装置ID)、ハブ装置の固有のシークレット、関連ユーザおよびハードウェア特性(例えば、サービス層、サブスクリプション、装置モデル、記憶容量、処理能力)、ユーザインターフェイス設定、データ確認好み設定を含み、ユーザアカウントに関連するアカウントデータ432とを含み、電子装置に関連する情報は、1つ以上の装置識別子(例えば、MACアドレスおよびUUID)、装置の固有のシークレット、表示されたタイトル、およびビデオ処理サーバに登録された確認者アカウントのプロファイルを含むがこれらに限定されず、各ユーザプロファイルは、対応する確認者アカウントのアカウント証明書と、対応する確認者アカウントにリンクされた1つ以上のビデオソースとを含み、
サーバデータベース428は、
ビデオソースから受信したビデオデータ(例えば、1つ以上の電子装置222から受信したビデオクリップ)、およびイベント監視のデータ処理および各確認者アカウントの確認に使用される様々な種類のメタデータ、例えば、モーションイベント、イベントカテゴリ、イベントカテゴリモデル、イベントフィルタ、およびイベントマスクを記憶するためのビデオ記憶データベース214(図2参照)と、
各ユーザアカウントの各電子装置(例えば、各電子装置222)に関連するデータ、データ処理モデル、データ処理結果、および当該データに関連する他のメタデータ(例えば、データ結果の名前、電子装置の位置、作成時間、持続時間、電子装置の設定)を記憶するためのデータストレージ430とを含み、当該データおよび/またはハブ装置180または装置に関連する処理結果の全部または一部は、(必要に応じて)安全に記憶され、
電子装置(例えば、電子装置222)の許可ユーザの情報、例えば、画像、声紋、指紋および信頼レベルを記憶するための許可人物データベース242と、
イベント記録およびコンテキスト情報(例えば、接近している訪問者の周囲の状況を記述するコンテキストデータ)などのイベント情報440と、
特定の設定データ438に対応するイベントパラメータの予め決められたまたはプログラムされた定式(本明細書ではレシピとも称される)、例えば、パディング値443a、無活動値443b、長さ値443c、クールオフ値、および/または優先度値443dの特定の組み合わせを含むイベント定式442と、
様々な照明条件においてカメラによって取得された以前の背景画像および/または実体画像などの過去画像444と、
(例えば、環境100内の)実体を特定するおよび/または特徴付ける情報などの実体情報446とを含むがこれらに限定されない。
様々な基本的なシステムサービスを処理し、ハードウェア依存タスクを実行するためのプロシージャを含むオペレーティングシステム618と、
1つ以上の(有線または無線)ネットワークインターフェイス604を介して、クライアント装置204を他のシステムおよび装置(例えば、1つ以上のネットワーク110に接続されたクライアント装置、電子装置、およびシステム)に接続するためのネットワーク通信モジュール620と、
1つ以上の入力装置614のうちの1つからの1つ以上のユーザ入力または相互作用を検出し、検出された入力または相互作用を翻訳するための入力処理モジュール622と、
装置を制御すること(例えば、コマンドをハブ装置および/または他のクライアント装置もしくは電子装置に送信すること、設定を構成すること、電子装置222の設定データを入力すること)を行うため、および装置によって取得されたデータ(例えば、装置状態および設定、取得されたデータ、イベントビデオクリップ、またはハブ装置もしくは他の接続装置に関する他の情報)を確認するために、クライアント装置によって実行される1つ以上のアプリケーション623(例えば、ゲーム、ソーシャルネットワークアプリケーション、アプリケーション624、および/または他のウェブベースもしくは非ウェブベースのアプリケーション)とを含み、いくつかの実施形態において、ユーザは、アプリケーション624を用いて、表示支援装置190の設定、例えば、オン/オフモード監視(例えば、ライブビュー、イベント履歴、通知)、ホーム/アウェイアシストおよび活動ゾーンの設定を構成することができる。いくつかの実施形態において、ユーザは、アプリケーション624を用いて、ホームを監視するためにカメラ362を起動する時間をスケジュールすることができる。いくつかの実施形態において、ユーザは、アプリケーション624を介して、画像および/またはビデオを配信する品質、使用される帯域幅、およびマイクロホンの設定を構成することができる。いくつかの実施形態において、アプリケーション624は、電子装置222を移動させると、活動ゾーン内で何を記録するかまたは何を記録しないかを影響するというユーザ教育(例えば、トレーニングビデオ、マニュアル、ポップアップメッセージ通知)を提供する。いくつかの実施形態において、アプリケーション624は、電子装置222が移動されると、ゾーンを無効にするかまたはゾーンを調整する。いくつかの実施形態において、電子装置222は、移動されると、クラウド(例えば、サーバシステム164)に通知を送信するように構成され、
上述したプログラム、モジュール、およびデータ構造は、
1つ以上の装置(例えば、環境100内の装置120および音声作動表示支援装置190)の設定、取得データ、および/または他のデータを構成および/または閲覧することができるユーザインターフェイスを提供および表示するためのユーザインターフェイスモジュール626と、
装置制御、データ処理、およびデータ確認を行うためのクライアント側機能を提供するクライアント側モジュール628とを含み、
クライアント側モジュール628は、
ユーザ入力に従って、装置(例えば、電子装置222、必要に応じて、他の電子装置)の動作モードを変更するための制御コマンドを生成するための装置制御モジュール630と、
人物、物体、動物、およびイベントを検出および/または認識するために、受信したビデオデータ(例えば、イベントビデオクリップ)を閲覧および/または分析するためのビデオ分析モジュール632と、
サーバシステム164またはビデオソース222からのデータを確認するためのユーザインターフェイスを提供するためのデータ確認モジュール634とを含み、データ確認モジュール634は、イベント(例えば、モーションおよび/または音声イベント)を確認し、必要に応じて、イベントに対するユーザ編集および/または更新を可能にするイベント確認モジュール636と、検出された人物および他の実体に関するデータおよび/または画像を確認し、必要に応じて、人物のデータに対するユーザ編集および/または更新を可能にするための人物確認モジュール638とを含むが、これらに限定されず、
クライアント側モジュール628は、
電子装置222および/またはサーバシステム164と対話するためのユーザインターフェイスおよび応答オプションを提示するための提示モジュール640と、
例えば、電子装置222および/またはサーバシステム164を介して、遠隔の人物(例えば、環境100の訪問者)と対話するための遠隔対話モジュール642とを含み、
上述したプログラム、モジュール、およびデータ構造は、
ユーザアカウントおよび電子装置に関連するデータを記憶するクライアントデータ644を含み、
クライアントデータ644は、
クライアント装置上にロードされたユーザアカウントと、ユーザアカウントに関連する(例えば、ビデオソース501の)電子装置との両方に関する情報を格納するためのアカウントデータ646を含み、このような情報は、キャッシュされたログイン認証情報、ハブ装置識別子(例えば、MACアドレスおよびUUID)、電子装置識別子(例えば、MACアドレスおよびUUID)、ユーザインターフェイス設定、表示好み、認証トークンおよびタグ、パスワードキーを含み、
(例えば、ビデオソース222の)電子装置に関連する生データまたは処理データ、必要に応じて前述した実体データを選択的に格納するためのローカルデータストレージ648と、
様々な照明条件下で、カメラによって取得された以前の背景画像および/または実体画像などの以前の画像650とを含むがこれらに限定されない。
Claims (16)
- 方法であって、
電子装置のイベント記録プロファイルを受信することを含み、前記イベント記録プロファイルは、前記電子装置の設定データに基づき、前記設定データは、位置種類または電力種類を含み、
前記電子装置の1つ以上の画像センサによって取得されたシーンの複数の画像を受信することと、
前記シーンの前記複数の画像のうちの1つ以上に基づいて、トリガイベントを検出することと、
前記トリガイベントの検出に応答して、前記シーンの前記複数の画像のうちの1つ以上から目標物体を特定することと、
前記目標物体を含む前記保存画像からイベントクリップを作成することとを含み、前記イベントクリップを作成することは、前記イベント記録プロファイルに基づいてクリップ長を設定することを含み、
表示のために前記イベントクリップを提供することを含む、方法。 - 前記クリップ長を設定することは、パディング値、無活動閾値、および/または最大イベント長を設定することを含む、請求項1に記載の方法。
- 前記クリップ長を設定することは、パディング値を選択することを含み、
前記パディング値は、検出された前記目標物体を含む前記複数の画像のうちの1つ以上の前に取得されたいくつかの画像に対応し、
前記イベントを作成することは、前記いくつかの画像を検出された前記目標物体を含む前記複数の画像に追加することを含む、請求項1から2のいずれか一項に記載の方法。 - 前記クリップ長を設定することは、無活動閾値を選択することを含み、
前記無活動閾値は、目標物体が検出されていない取得されたいくつかの画像に対応し、
前記イベントを作成することは、検出された前記目標物体を含む前記複数の画像に前記いくつかの画像を追加することを含む、請求項1から3のいずれか一項に記載の方法。 - 前記クリップ長を設定することは、最大イベント長を選択することを含み、
前記最大イベント長は、前記イベントの最大画像数に対応し、
前記イベントを作成することは、前記最大画像数に到達すると、前記イベントを終了することを含む、請求項1から4のいずれか一項に記載の方法。 - 前記設定データは、環境の構造体の特定の領域に対応する位置種類を含み、
前記イベント記録プロファイルに基づいて前記イベント長を設定することは、前記電子装置が配置される前記構造体または環境の前記特定の領域に基づいて、前記パディング値、前記無活動閾値、および/または前記最大イベント長を選択することを含む、請求項1から5のいずれか一項に記載の方法。 - 前記設定データは、電力種類を含み、
前記イベント記録プロファイルに基づいて前記イベント長を設定することは、前記電子装置の前記電力種類が有線であるかまたはバッテリ駆動であるかに基づいて、前記パディング値、前記無活動閾値、および/または前記最大イベント長を選択することを含む、請求項1から6のいずれか一項に記載の方法。 - 前記設定データは、物体優先度データを更に含み、
前記イベント記録プロファイルに基づいて前記イベント長を設定することは、前記物体優先度データに従って特定された前記目標物体の優先度に基づいて、前記パディング値、前記無活動閾値、および/または前記最大イベント長を選択することを含む、請求項1から7のいずれか一項に記載の方法。 - 前記クリップ長を設定することは、閾値時間内に2つ以上の物体検出を行った後、連続する物体検出の間に待機する時間に対応するクールオフ値を設定することを含む、請求項1から8のいずれか一項に記載の方法。
- 前記クリップ長を設定することは、前記イベント記録プロファイルに関連する値の組み合わせに従って、パディング値、無活動閾値、および最大イベント長を設定することを含む、請求項1から9のいずれか一項に記載の方法。
- 前記トリガイベントを検出することは、前記シーンの前記複数の画像のうちの2つ以上の分析に基づいて、前記シーン内のモーションを検出することを含む、請求項1から10のいずれか一項に記載の方法。
- 前記トリガイベントを検出することは、前記シーンの前記複数の画像のうちの1つ以上の分析に基づいて、前記シーン内の前記目標物体を検出することを含む、請求項1から11のいずれか一項に記載の方法。
- 前記イベントクリップを以前に作成されたイベントクリップに合成することによって、複合イベントクリップを形成することをさらに含み、
表示のために前記イベントクリップを提供することは、表示のために前記複合イベントクリップを提供することを含む、請求項1から12のいずれか一項に記載の方法。 - 1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに請求項1から13のいずれか一項に記載の前記方法を実行させる命令を記憶するメモリとを備える、電子装置。 - 1つ以上のプロセッサと、
前記1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに請求項1から13のいずれか一項に記載の前記方法を実行させる命令を記憶するメモリとを備える、サーバシステム。 - 1つ以上のプロセッサを備える電子装置によって実行されると、前記1つ以上のプロセッサに請求項1から13のいずれか一項に記載の前記方法を実行させる命令を記憶するコンピュータ可読記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023199026A JP2024028748A (ja) | 2019-09-06 | 2023-11-24 | イベントクリップを提供するための、方法、電子装置、サーバシステム、およびプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962897233P | 2019-09-06 | 2019-09-06 | |
US62/897,233 | 2019-09-06 | ||
PCT/US2020/049368 WO2021046324A1 (en) | 2019-09-06 | 2020-09-04 | Event based recording |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023199026A Division JP2024028748A (ja) | 2019-09-06 | 2023-11-24 | イベントクリップを提供するための、方法、電子装置、サーバシステム、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022546438A true JP2022546438A (ja) | 2022-11-04 |
JP7393526B2 JP7393526B2 (ja) | 2023-12-06 |
Family
ID=72561984
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022513272A Active JP7393526B2 (ja) | 2019-09-06 | 2020-09-04 | イベントクリップを提供するための、方法、電子装置、サーバシステム、およびプログラム |
JP2023199026A Pending JP2024028748A (ja) | 2019-09-06 | 2023-11-24 | イベントクリップを提供するための、方法、電子装置、サーバシステム、およびプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023199026A Pending JP2024028748A (ja) | 2019-09-06 | 2023-11-24 | イベントクリップを提供するための、方法、電子装置、サーバシステム、およびプログラム |
Country Status (6)
Country | Link |
---|---|
US (2) | US11895433B2 (ja) |
EP (1) | EP4026313A1 (ja) |
JP (2) | JP7393526B2 (ja) |
KR (1) | KR20220041911A (ja) |
CN (2) | CN117749971A (ja) |
WO (1) | WO2021046324A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10084848B2 (en) * | 2012-10-16 | 2018-09-25 | At&T Intellectual Property I, L.P. | Centralized control of user devices via universal IP services registrar/hub |
US20220335030A1 (en) * | 2015-10-14 | 2022-10-20 | DataRobot, Inc. | Cache optimization for data preparation |
KR20220041911A (ko) | 2019-09-06 | 2022-04-01 | 구글 엘엘씨 | 이벤트 기반 레코딩 |
US20220335795A1 (en) * | 2021-04-16 | 2022-10-20 | Dice Corporation | Hyperlinked digital video alarm electronic document |
CN117501701A (zh) * | 2021-05-19 | 2024-02-02 | 交互数字专利控股公司 | 用户感知自动内容捕获和增强 |
JP2023102078A (ja) * | 2022-01-11 | 2023-07-24 | ヤマハ株式会社 | 記録方法および記録装置 |
US20240015045A1 (en) * | 2022-07-07 | 2024-01-11 | Paulmicheal Lee King | Touch screen controlled smart appliance and communication network |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003271605A (ja) * | 2002-03-14 | 2003-09-26 | Hitachi Ltd | 映像利用遠隔認識配信方法及びその実施システム並びにその処理プログラム |
JP2003319375A (ja) * | 2002-04-25 | 2003-11-07 | Hitachi Ltd | 監視カメラシステム |
JP2006019845A (ja) * | 2004-06-30 | 2006-01-19 | Canon Sales Co Inc | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
JP2017503394A (ja) * | 2014-12-14 | 2017-01-26 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 映像処理方法、映像処理装置および表示装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4626483B2 (ja) * | 2005-10-27 | 2011-02-09 | ソニー株式会社 | サーバ装置、データ処理方法、プログラムおよび通信方法 |
US9325951B2 (en) * | 2008-03-03 | 2016-04-26 | Avigilon Patent Holding 2 Corporation | Content-aware computer networking devices with video analytics for reducing video storage and video communication bandwidth requirements of a video surveillance network camera system |
US9940508B2 (en) * | 2010-08-26 | 2018-04-10 | Blast Motion Inc. | Event detection, confirmation and publication system that integrates sensor data and social media |
US20120148216A1 (en) | 2010-12-14 | 2012-06-14 | Qualcomm Incorporated | Self-editing video recording |
US9129640B2 (en) | 2012-12-12 | 2015-09-08 | Crowdflik, Inc. | Collaborative digital video platform that enables synchronized capture, curation and editing of multiple user-generated videos |
WO2014144628A2 (en) * | 2013-03-15 | 2014-09-18 | Master Lock Company | Cameras and networked security systems and methods |
US20150243325A1 (en) | 2014-02-24 | 2015-08-27 | Lyve Minds, Inc. | Automatic generation of compilation videos |
US20190013047A1 (en) * | 2014-03-31 | 2019-01-10 | Google Inc. | Identifying interesting portions of videos |
US9846815B2 (en) | 2015-07-16 | 2017-12-19 | Google Inc. | Image production from video |
WO2016014724A1 (en) | 2014-07-23 | 2016-01-28 | Gopro, Inc. | Scene and activity identification in video summary generation |
CN113766161B (zh) | 2014-12-14 | 2023-06-20 | 深圳市大疆创新科技有限公司 | 视频处理的方法和*** |
US20160225410A1 (en) * | 2015-02-03 | 2016-08-04 | Garmin Switzerland Gmbh | Action camera content management system |
US20170076156A1 (en) * | 2015-09-14 | 2017-03-16 | Logitech Europe S.A. | Automatically determining camera location and determining type of scene |
US10319410B1 (en) * | 2015-12-21 | 2019-06-11 | Amazon Technologies, Inc. | Video story assembly |
US10430051B2 (en) * | 2015-12-29 | 2019-10-01 | Facebook, Inc. | Multi-user content presentation system |
US20180330169A1 (en) | 2017-05-12 | 2018-11-15 | Google Inc. | Methods and Systems for Presenting Image Data for Detected Regions of Interest |
US10182222B2 (en) * | 2017-05-12 | 2019-01-15 | Garmin Switzerland Gmbh | Graphical object overlays for 360 degree cameras |
KR20220041911A (ko) | 2019-09-06 | 2022-04-01 | 구글 엘엘씨 | 이벤트 기반 레코딩 |
-
2020
- 2020-09-04 KR KR1020227007241A patent/KR20220041911A/ko active IP Right Grant
- 2020-09-04 JP JP2022513272A patent/JP7393526B2/ja active Active
- 2020-09-04 CN CN202311646643.9A patent/CN117749971A/zh active Pending
- 2020-09-04 CN CN202080062601.9A patent/CN114342357B/zh active Active
- 2020-09-04 WO PCT/US2020/049368 patent/WO2021046324A1/en unknown
- 2020-09-04 US US17/638,677 patent/US11895433B2/en active Active
- 2020-09-04 EP EP20775505.9A patent/EP4026313A1/en active Pending
-
2023
- 2023-11-24 JP JP2023199026A patent/JP2024028748A/ja active Pending
- 2023-12-18 US US18/543,961 patent/US20240146866A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003271605A (ja) * | 2002-03-14 | 2003-09-26 | Hitachi Ltd | 映像利用遠隔認識配信方法及びその実施システム並びにその処理プログラム |
JP2003319375A (ja) * | 2002-04-25 | 2003-11-07 | Hitachi Ltd | 監視カメラシステム |
JP2006019845A (ja) * | 2004-06-30 | 2006-01-19 | Canon Sales Co Inc | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
JP2017503394A (ja) * | 2014-12-14 | 2017-01-26 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 映像処理方法、映像処理装置および表示装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114342357B (zh) | 2023-12-08 |
CN114342357A (zh) | 2022-04-12 |
KR20220041911A (ko) | 2022-04-01 |
EP4026313A1 (en) | 2022-07-13 |
JP2024028748A (ja) | 2024-03-05 |
US20240146866A1 (en) | 2024-05-02 |
JP7393526B2 (ja) | 2023-12-06 |
US11895433B2 (en) | 2024-02-06 |
CN117749971A (zh) | 2024-03-22 |
WO2021046324A1 (en) | 2021-03-11 |
US20220295008A1 (en) | 2022-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11710387B2 (en) | Systems and methods of detecting and responding to a visitor to a smart home environment | |
US20210216787A1 (en) | Methods and Systems for Presenting Image Data for Detected Regions of Interest | |
JP7393526B2 (ja) | イベントクリップを提供するための、方法、電子装置、サーバシステム、およびプログラム | |
US20220247978A1 (en) | Systems and Methods of Detecting and Responding to a Visitor to a Smart Home Environment | |
US11570354B2 (en) | Display assistant device having a monitoring mode and an assistant mode | |
WO2020076365A1 (en) | Display assistant device for home monitoring | |
US20180330169A1 (en) | Methods and Systems for Presenting Image Data for Detected Regions of Interest | |
US11743578B2 (en) | Systems and methods of power-management on smart devices | |
US11429192B2 (en) | Confidence-based application-specific user interactions | |
WO2018208365A1 (en) | Methods and systems for presenting image data for detected regions of interest | |
US12001614B2 (en) | Confidence-based application-specific user interactions | |
EP3839580B1 (en) | Confidence-based application-specific user interactions | |
US20230179855A1 (en) | Display assistant device having a monitoring mode and an assistant mode | |
US12052494B2 (en) | Systems and methods of power-management on smart devices | |
CN118394206A (en) | Confidence-based application-specific user interaction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220426 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220426 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230926 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231005 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7393526 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |