JP2019020820A - 映像認識システム - Google Patents
映像認識システム Download PDFInfo
- Publication number
- JP2019020820A JP2019020820A JP2017136239A JP2017136239A JP2019020820A JP 2019020820 A JP2019020820 A JP 2019020820A JP 2017136239 A JP2017136239 A JP 2017136239A JP 2017136239 A JP2017136239 A JP 2017136239A JP 2019020820 A JP2019020820 A JP 2019020820A
- Authority
- JP
- Japan
- Prior art keywords
- video
- unit
- undefined
- feature amount
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
実施例の映像認識システム100は、映像撮影装置101、映像記憶装置102、入力装置103、表示装置104及びサーバ計算機110を有する。
識別結果統合部133は、映像データと識別結果を統合する。例えば、映像データに予め定義された人物の外見または動作が含まれる場合、映像データに予め定義された人物の外見または動作が含まれることを明示する情報を付与する。表示装置104は、識別結果統合部133により作成された映像データを表示する。
サーバ計算機110は、例えば、相互に接続されたプロセッサ201および記憶装置202を有する一般的な計算機である。記憶装置202は任意の種類の記憶媒体によって構成される。例えば、記憶装置202は、半導体メモリ及びハードディスクドライブを含んでもよい。
ここではテーブル形式の構成例を示すが、データ形式は任意でよい。
映像データベース150は、図3に示す映像データ管理情報300を含む。図3のテーブル構成及び各テーブルのフィールド構成は、実施例に必要な構成であり、アプリケーションに応じてテーブル及びフィールドを追加してもよい。
図4Aのニューラルネットワークは、一般に知られているニューラルネットワークに準ずるものであり、入力層、最終層および1層以上の中間層で構成される。各層内の丸記号はノードを、ノード間の線はネットワーク接続をそれぞれ示している。
機械学習特徴量抽出部122が、図4Aのようなニューラルネットワーク構造を有し、かつ、その最終層が定義済みの映像を識別する機能を有する場合(つまり、最終層が図3における識別器#1〜#3として機能する場合)、映像分類部141は、ニューラルネットワークの中間層の計算値のクラスタリングにより映像を分類する。
映像分類部141は、映像データベース150に登録済みの機械学習特徴量311をクラスタリングすることにより映像分類を行うが、クラスタリングに際し、図5A〜図5Cに示すような映像分類結果と映像識別結果の関係を元に、クラスタリング条件を調整する。
表の列は、映像分類部141によって分類された分類結果に対応し、図5Aの場合、6種類に映像グループに分類されていることがわかる。表の行は、映像識別部131の有する識別器で正事例として識別した映像であることを示す。表の数値は、映像分類部141によって分類された映像グループ別の映像識別結果の割合である。例えば、表の左端の映像グループの数値列をみると、映像識別部131が保持する識別器#1に該当するデータが80%、識別器#2に該当するデータが10%、識別器#3に該当するデータが3%、識別器#4に該当するデータが5%、何れの識別器でも正事例とならなかったデータが2%の内訳になっていることが読み取れる。
最初に、映像入力部111が、映像撮影装置101または映像記憶装置102から入力された映像データをデコードし、連続するフレーム画像を抽出する(ステップS601)。尚、映像データが複数種類入力される場合、それぞれの映像データのフレームレートは異なっても良い。
次に、映像分類部141は、各映像が複数の分類グループのいずれに属するかを映像データベース150に登録する(ステップS605)。
図7に示すように、映像分類条件の設定画面は、映像分類手法選択部701、映像分類数指定部702、映像分類モード選択部703、映像分類結果表示部704、映像分類別映像データ再生部705、映像分類番号指定部706、再生制御部707、映像説明テキスト入力部708及び監視アラート設定部709を有する。
図7は一例であり、図7に示す設定画面と同様の設定が行えるものであれば、異なるデザインの設定画面であっても良い。
図8に示すように、表示装置104であるディスプレイ上に6種類の映像を同時に表示する。映像表示エリア801〜806にはそれぞれ異なる映像が表示される。それぞれの表示内容は、映像識別部131が映像識別を実施し、識別結果統合部133が識別結果と映像を統合したものである。
101 映像撮影装置
102 映像記憶装置
103 入力装置
104 表示装置
110 サーバ計算機
111 映像入力部
121 機械学習パラメータ保持部
122 機械学習特徴量抽出部
123 機械学習特徴量登録部
131 映像識別部
132 識別結果登録部
133 識別結果統合部
141 映像分類部
142 分類条件制御部
150 映像データベース
Claims (8)
- 映像撮像装置が撮影した映像の内容を予め定められた第1の映像識別器を用いて識別する映像識別部と、
前記撮影した映像から特徴量を抽出する特徴量抽出部と、
前記映像識別部によって識別された識別結果と、前記特徴量抽出部により抽出された前記特徴量とを蓄積する映像データベースと、
前記映像データベースに蓄積された前記特徴量に基づいて前記映像を分類する映像分類部と、
情報を表示する表示部と、を有し、
前記映像分類部は、
前記映像データベースに蓄積された前記特徴量を用いて、前記撮影した映像を、前記第1の映像識別器で識別可能な定義済み映像で構成される定義済み映像グループと、前記第1の映像識別器では識別不可能な未定義映像で構成される未定義映像グループとに分類し、
前記映像識別部は、
前記未定義映像グループが存在する場合、前記撮影した映像が前記未定義映像グループに属するかを判定し、
前記表示部は、
前記撮影した映像が前記未定義映像グループに属すると判定された場合、前記撮影した映像が前記未定義映像であることを表示することを特徴とする映像認識システム。 - 前記特徴量抽出部は、
前記第1の映像識別器では識別不可能な前記未定義映像から前記特徴量を抽出し、
前記映像分類部は、
前記特徴量に基づいて、前記第1の映像識別器では識別不可能な前記未定義映像を識別するための第2の映像識別器を新たに生成することを特徴とする請求項1に記載の映像認識システム。 - 前記映像分類部は、
予め定められたタイミングで前記映像データベースを参照し、前記映像データベースに蓄積された前記特徴量に基づいて前記撮影した映像を分類することを特徴とする請求項1に記載の映像認識システム。 - 前記映像識別部は、
前記撮影した映像が前記定義済み映像グループに属すると判定した場合、
前記第1の映像識別器によって識別された識別結果の意味情報を前記定義済み映像と統合して前記表示部に出力することを特徴とする請求項1に記載の映像認識システム。 - 前記映像識別部は、
前記撮影した映像が前記未定義映像グループに属すると判定した場合、
前記第2の映像識別器によって識別された識別結果の意味情報を前記未定義済み映像と統合して前記表示部に出力することを特徴とする請求項1に記載の映像認識システム。 - 前記第2の映像識別器によって識別された識別結果の前記意味情報は、前記未定義映像が監視すべき映像であることを示すメッセージを含むことを特徴とする請求項5に記載の映像認識システム。
- 情報を入力する入力部を更に有し、
前記入力部は、前記未定義映像が前記監視すべき映像であることを示す前記メッセージの入力を受け付けることを特徴とする請求項6に記載の映像認識システム。 - 前記特徴量抽出部は、機械学習を行う機械学習特徴量抽出部を構成し、
前記機械学習特徴量抽出部が演算に用いるネットワークモデルと前記ネットワークモデルの各ノードにおける重み情報を格納する学習済みパラメータを保持する機械学習パラメータ保持部を更に有し、
前記機械学習特徴量抽出部は、
前記学習済みパラメータを用いて前記ネットワークモデルに従い、中間層又は最終層による計算結果からなる多次元数値配列を前記特徴量として出力することを特徴とする請求項1に記載の映像認識システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017136239A JP6909657B2 (ja) | 2017-07-12 | 2017-07-12 | 映像認識システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017136239A JP6909657B2 (ja) | 2017-07-12 | 2017-07-12 | 映像認識システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019020820A true JP2019020820A (ja) | 2019-02-07 |
JP6909657B2 JP6909657B2 (ja) | 2021-07-28 |
Family
ID=65352912
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017136239A Active JP6909657B2 (ja) | 2017-07-12 | 2017-07-12 | 映像認識システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6909657B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112861637A (zh) * | 2021-01-14 | 2021-05-28 | 国网浙江省电力有限公司湖州供电公司 | 一种基于多视频人员跟踪的站内人像特征比对识别方法 |
JP2022532111A (ja) * | 2019-05-17 | 2022-07-13 | イーエスシーエイ(エレクトロニック セキュリティー オブ ザ クリエイティブ アソシエイション) カンパニー リミテッド | 人工知能を用いた映像基盤のリアルタイム侵入検知方法及び監視カメラ |
JP2022540070A (ja) * | 2019-07-01 | 2022-09-14 | エバーシーン リミテッド | 画像内のオブジェクトによって実行されるアクションを決定するためのシステムおよび方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005202653A (ja) * | 2004-01-15 | 2005-07-28 | Canon Inc | 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム |
WO2011081192A1 (ja) * | 2009-12-28 | 2011-07-07 | サイバーアイ・エンタテインメント株式会社 | 画像認識システム |
JP2016139176A (ja) * | 2015-01-26 | 2016-08-04 | シャープ株式会社 | 画像処理装置、画像処理システム、画像処理方法、およびその画像処理プログラム |
WO2016157499A1 (ja) * | 2015-04-02 | 2016-10-06 | 株式会社日立製作所 | 画像処理装置、物体検知装置、画像処理方法 |
JP2017054331A (ja) * | 2015-09-10 | 2017-03-16 | 株式会社Screenホールディングス | 画像分類方法、分類器の構成方法および画像分類装置 |
-
2017
- 2017-07-12 JP JP2017136239A patent/JP6909657B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005202653A (ja) * | 2004-01-15 | 2005-07-28 | Canon Inc | 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム |
WO2011081192A1 (ja) * | 2009-12-28 | 2011-07-07 | サイバーアイ・エンタテインメント株式会社 | 画像認識システム |
JP2016139176A (ja) * | 2015-01-26 | 2016-08-04 | シャープ株式会社 | 画像処理装置、画像処理システム、画像処理方法、およびその画像処理プログラム |
WO2016157499A1 (ja) * | 2015-04-02 | 2016-10-06 | 株式会社日立製作所 | 画像処理装置、物体検知装置、画像処理方法 |
JP2017054331A (ja) * | 2015-09-10 | 2017-03-16 | 株式会社Screenホールディングス | 画像分類方法、分類器の構成方法および画像分類装置 |
Non-Patent Citations (1)
Title |
---|
高橋正樹, 外3名: ""特徴点軌跡に基づく監視映像からの人物行動検出"", 電子情報通信学会技術研究報告, vol. 第110巻, 第414号, JPN6021009683, 10 February 2011 (2011-02-10), JP, pages 111 - 116, ISSN: 0004467509 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022532111A (ja) * | 2019-05-17 | 2022-07-13 | イーエスシーエイ(エレクトロニック セキュリティー オブ ザ クリエイティブ アソシエイション) カンパニー リミテッド | 人工知能を用いた映像基盤のリアルタイム侵入検知方法及び監視カメラ |
JP2022540070A (ja) * | 2019-07-01 | 2022-09-14 | エバーシーン リミテッド | 画像内のオブジェクトによって実行されるアクションを決定するためのシステムおよび方法 |
JP7351941B2 (ja) | 2019-07-01 | 2023-09-27 | エバーシーン リミテッド | 画像内のオブジェクトによって実行されるアクションを決定するためのシステムおよび方法 |
CN112861637A (zh) * | 2021-01-14 | 2021-05-28 | 国网浙江省电力有限公司湖州供电公司 | 一种基于多视频人员跟踪的站内人像特征比对识别方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6909657B2 (ja) | 2021-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Hussain et al. | A comprehensive survey of multi-view video summarization | |
AU2022252799B2 (en) | System and method for appearance search | |
JP5934653B2 (ja) | 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置 | |
Lan et al. | Discriminative latent models for recognizing contextual group activities | |
JP5227911B2 (ja) | 監視映像検索装置及び監視システム | |
JP2017220085A (ja) | 画像検索装置、画像検索システム及び画像検索方法 | |
KR102271929B1 (ko) | 장면 이해를 통해 비디오 요약을 생성하는 방법 및 이를 위한 시스템 | |
JP6909657B2 (ja) | 映像認識システム | |
KR20190088087A (ko) | 움직임 정보를 이용한 인공지능 학습기반의 이동객체 영상 분류처리 방법 | |
Höferlin et al. | Scalable video visual analytics | |
Cameron et al. | A fall detection/recognition system and an empirical study of gradient-based feature extraction approaches | |
Babulal et al. | Deep learning-based object detection: an investigation | |
Ray et al. | Transfer learning and its extensive appositeness in human activity recognition: A survey | |
CN114329069A (zh) | 视觉搜索查询的智能***和方法 | |
Ramzan et al. | Automatic Unusual Activities Recognition Using Deep Learning in Academia. | |
Duth et al. | Human Activity Detection Using Pose Net | |
Deotale et al. | Optimized hybrid RNN model for human activity recognition in untrimmed video | |
Zhu et al. | A vision-based fall detection framework for the elderly in a room environment using motion features and DAG-SVM | |
Liu | Deep Learning based method for Fire Detection | |
WO2019078164A1 (ja) | 検索装置、端末装置、解析装置、検索方法、端末装置の動作方法、解析方法及びプログラム | |
Lotfi | Trajectory clustering and behaviour retrieval from traffic surveillance videos | |
Pathade et al. | Recognition of crowd abnormal activities using fusion of handcrafted and deep features | |
Garcia del Molino et al. | Describing lifelogs with convolutional neural networks: A comparative study | |
US20240212324A1 (en) | Video retrieval system using object contextualization | |
Alanazi et al. | Mitigating human fall injuries: A novel system utilizing 3D 4-stream convolutional neural networks and image fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200123 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210519 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210615 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210705 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6909657 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |