JP7119912B2 - 行動認識方法、行動認識プログラムおよび行動認識装置 - Google Patents
行動認識方法、行動認識プログラムおよび行動認識装置 Download PDFInfo
- Publication number
- JP7119912B2 JP7119912B2 JP2018205097A JP2018205097A JP7119912B2 JP 7119912 B2 JP7119912 B2 JP 7119912B2 JP 2018205097 A JP2018205097 A JP 2018205097A JP 2018205097 A JP2018205097 A JP 2018205097A JP 7119912 B2 JP7119912 B2 JP 7119912B2
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- recognition model
- output
- action
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
図1は、実施例1にかかる行動認識システムの全体構成例を示す図である。図1に示すように、このシステムは、商業施設1に設置されるカメラ、商業施設2に設置されるカメラ、空港3に設置されるカメラ、行動認識装置10のそれぞれがネットワークNを介して、相互に通信可能に接続される。なお、各施設の種別や数は、あくまで一例であり、任意に変更することができる。また、ネットワークNは、有線や無線を問わず、インターネットや専用線などの任意のネットワークを採用することができる。
図2は、実施例1にかかる行動認識装置10の機能構成を示す機能ブロック図である。図2に示すように、行動認識装置10は、通信部11、記憶部12、制御部20を有する。
次に、上述した行動検出処理の流れと、モデル切替処理の流れについて説明する。
図9は、行動検出処理の流れを示すフローチャートである。図9に示すように、映像取得部21が映像データを受信すると(S101:Yes)、行動検出部22は、認識モデルDB15を参照して、現在使用されている各認識モデルに、受信された映像データを入力する(S102)。
図10は、モデル切替処理の流れを示すフローチャートである。図10に示すように、モデル切替部23は、デフォルトの認識モデルと検出ルールを生成して、認識モデルDB15とルールDB16に格納する(S201)。
上述したように、行動認識装置10は、映像の中から特定の行動を認識するシステムであり、カメラ毎に一定期間内での認識対象ラベルの検出頻度の統計情報に基づき、適用されている認識モデルが冗長であるかを判定する。そして、行動認識装置10は、適用されている認識モデルが冗長である場合には、低位の認識モデルに切り替え、特定行動を検出する精度を担保できるかを確認する。その後、行動認識装置10は、担保できる場合には認識モデルと検出ルールを切り替え、カメラ毎に適切な認識モデルと検出ルールを適用する。
実施例1では、認識対象の行動として「飲食店に興味を持つ」を例示したが、これに限定されるものではなく、不審な行動や迷子などの他の行動を認識対象とすることができる。また、行動認識装置10の認識対象は1つに限らず、行動認識装置10が、各行動に対応した検出ルールを保持することで、複数の行動の認識判定を同時に実行することもできる。
実施例で説明した認識モデルには、ニューラルネットワーク、ディープテンソル、CNN(Convolution Neural Network)などの様々な深層学習や他の機械学習を採用することができる。また、上記検出ルールのカテゴリは、あくまで一例であり、認識対象の行動ごとに任意に変更することができる。また、認識モデルの切替は、時間帯や曜日などに応じて切り替えることもできる。この場合、時間帯や曜日ごとに切替状況を取得し、認識対象の認識回数の割合が閾値を超えるか否かにより、切替判定を実行することができる。
上記実施例では、高位モデルから低位モデルへの切替を例にして説明したが、これに限定されるものではない。例えば、低位モデルに切り替えた後、定期的に認識状況を集計し、ユーザの要望に応えられない程度の認識状況となった場合(上記閾値未満の状態)、高位モデルに再切替を行うこともできる。また、認識モデルは、2段階に限らず、3段階以上であってもよい。また、低位モデルは、高位モデルよりも中間層の数が少ないモデルである例で説明したが、これに限定されず、例えば出力層の数や出力ラベルの数が少ないモデル、中間層のノードの数が少ないモデル、中間層に適応するフィルタのチャネル数が少ないモデルなどを採用することができる。
上記実施例では、1台の行動認識装置10が、各施設のカメラの映像から行動認識を行う例を説明したが、これに限定されるものではない。例えば、各施設に行動認識装置10を設置することもできる。図11は、行動認識システムの別構成例を示す図である。図11に示すように、各施設に行動認識装置10を設置し、各行動認識装置10が上記実施例と同様の手法を用いた行動認識を行って、その結果を管理者端末50に送信する。
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
図12は、ハードウェア構成例を説明する図である。図12に示すように、行動認識装置10は、通信装置10a、HDD(Hard Disk Drive)10b、メモリ10c、プロセッサ10dを有する。また、図12に示した各部は、バス等で相互に接続される。
11 通信部
12 記憶部
13 テストデータDB
14 映像データDB
15 認識モデルDB
16 ルールDB
20 制御部
21 映像取得部
22 行動検出部
23 モデル切替部
24 切替判定部
25 検証部
26 切替実行部
Claims (8)
- コンピュータが、
映像データを第1の認識モデルに入力して得られる、複数の出力ラベルを含む出力結果に基づいて、特定の行動を含む映像を検出し、
所定期間に取得された各映像データを前記第1の認識モデルに入力して得られる、前記複数の出力ラベルを含む出力結果の統計を計数し、
計数された前記複数の出力ラベルのうち、前記特定の行動として認識する認識対象の出力ラベルの数の割合が閾値以上である場合に、前記第1の認識モデルよりも識別対象の数が少ない第2の認識モデルに切り替える
処理を実行する行動認識方法。 - 前記検出する処理は、前記特定の行動を特定する複数のカテゴリそれぞれについて学習された学習済みの各第1の認識モデルに前記映像データを入力し、前記各第1の認識モデルから得られる各出力結果の組み合わせに基づいて、前記特定の行動を含む映像を検出し、
前記計数する処理は、前記複数のカテゴリそれぞれについて前記出力結果の統計を計数し、
前記切り替える処理は、前記複数のカテゴリそれぞれについて、前記認識対象の出力ラベルの数の割合が閾値以上であるか否かを判定し、閾値以上である場合に、前記第2の認識モデルに切り替えることを特徴とする請求項1に記載の行動認識方法。 - 前記検出する処理は、前記複数のカテゴリにそれぞれに対応する前記各第1の認識モデルが出力する出力対象のうち、前記特定の行動に該当する出力ラベルを規定した検出ルールを参照し、前記複数のカテゴリに対応する各第1の認識モデルの出力結果が前記検出ルールと一致する場合に、前記特定の行動を含む映像を検出することを特徴とする請求項2に記載の行動認識方法。
- 前記切り替える処理は、前記複数のカテゴリのうち前記第2の認識モデルに切り替えられたカテゴリに対応する検出ルールを、切替後の前記第2の認識モデルが出力する出力ラベルのうち前記認識対象の出力ラベルに変更することを特徴とする請求項3に記載の行動認識方法。
- 正解情報として前記特定の行動を示すラベルが付与された複数のテストデータを用いて、切替後の前記第2の認識モデルを含む各認識モデルおよび変更後の検出ルールの精度を検証し、前記精度が所定条件を満たす場合に、認識モデルの切替および検出ルールの変更を許容する処理を、前記コンピュータが実行することを特徴とする請求項4に記載の行動認識方法。
- 前記第1の認識モデルおよび前記第2の認識モデルは、入力層、中間層、出力層を有するニューラルネットワークであり、
前記検出する処理は、前記中間層または前記出力層の数が前記第1の認識モデルよりも少ない前記第2の認識モデル、または、出力ラベルの数が前記第1の認識モデルよりも少ない前記第2の認識モデルに切り替えることを特徴とする請求項1に記載の行動認識方法。 - コンピュータに、
映像データを第1の認識モデルに入力して得られる、複数の出力ラベルを含む出力結果に基づいて、特定の行動を含む映像を検出し、
所定期間に取得された各映像データを前記第1の認識モデルに入力して得られる、前記複数の出力ラベルを含む出力結果の統計を計数し、
計数された前記複数の出力ラベルのうち、前記特定の行動として認識する認識対象の出力ラベルの数の割合が閾値以上である場合に、前記第1の認識モデルよりも識別対象の数が少ない第2の認識モデルに切り替える
処理を実行させる行動認識プログラム。 - 映像データを第1の認識モデルに入力して得られる、複数の出力ラベルを含む出力結果に基づいて、特定の行動を含む映像を検出する検出部と、
所定期間に取得された各映像データを前記第1の認識モデルに入力して得られる、前記複数の出力ラベルを含む出力結果の統計を計数する計数部と、
計数された前記複数の出力ラベルのうち、前記特定の行動として認識する認識対象の出力ラベルの数の割合が閾値以上である場合に、前記第1の認識モデルよりも識別対象の数が少ない第2の認識モデルに切り替える切替部と
を有する行動認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018205097A JP7119912B2 (ja) | 2018-10-31 | 2018-10-31 | 行動認識方法、行動認識プログラムおよび行動認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018205097A JP7119912B2 (ja) | 2018-10-31 | 2018-10-31 | 行動認識方法、行動認識プログラムおよび行動認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020071665A JP2020071665A (ja) | 2020-05-07 |
JP7119912B2 true JP7119912B2 (ja) | 2022-08-17 |
Family
ID=70549576
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018205097A Active JP7119912B2 (ja) | 2018-10-31 | 2018-10-31 | 行動認識方法、行動認識プログラムおよび行動認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7119912B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101667052B1 (ko) * | 2010-06-15 | 2016-10-17 | 한양대학교 산학협력단 | 액정 표시 장치 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7402121B2 (ja) * | 2020-06-02 | 2023-12-20 | 株式会社日立製作所 | 物体検出システムおよび物体検出方法 |
JP2023098483A (ja) | 2021-12-28 | 2023-07-10 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
JP2023098505A (ja) | 2021-12-28 | 2023-07-10 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
JP2023098506A (ja) | 2021-12-28 | 2023-07-10 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
WO2023127156A1 (ja) | 2021-12-28 | 2023-07-06 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
JP2023098484A (ja) | 2021-12-28 | 2023-07-10 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
JP2023098482A (ja) | 2021-12-28 | 2023-07-10 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
JP2024013129A (ja) | 2022-07-19 | 2024-01-31 | 富士通株式会社 | 表示制御プログラム、表示制御方法および情報処理装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007164560A (ja) | 2005-12-15 | 2007-06-28 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2007213528A (ja) | 2006-02-13 | 2007-08-23 | Sanyo Electric Co Ltd | 行動認識システム |
JP2013041323A (ja) | 2011-08-11 | 2013-02-28 | Nec Corp | 行動識別装置、行動識別方法、及びプログラム |
JP2015014819A (ja) | 2013-07-03 | 2015-01-22 | クラリオン株式会社 | 接近物検出システム、及び車両 |
JP2017102612A (ja) | 2015-11-30 | 2017-06-08 | 富士通株式会社 | 情報処理装置、活動状態検出プログラムおよび活動状態検出方法 |
-
2018
- 2018-10-31 JP JP2018205097A patent/JP7119912B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007164560A (ja) | 2005-12-15 | 2007-06-28 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2007213528A (ja) | 2006-02-13 | 2007-08-23 | Sanyo Electric Co Ltd | 行動認識システム |
JP2013041323A (ja) | 2011-08-11 | 2013-02-28 | Nec Corp | 行動識別装置、行動識別方法、及びプログラム |
JP2015014819A (ja) | 2013-07-03 | 2015-01-22 | クラリオン株式会社 | 接近物検出システム、及び車両 |
JP2017102612A (ja) | 2015-11-30 | 2017-06-08 | 富士通株式会社 | 情報処理装置、活動状態検出プログラムおよび活動状態検出方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101667052B1 (ko) * | 2010-06-15 | 2016-10-17 | 한양대학교 산학협력단 | 액정 표시 장치 |
Also Published As
Publication number | Publication date |
---|---|
JP2020071665A (ja) | 2020-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7119912B2 (ja) | 行動認識方法、行動認識プログラムおよび行動認識装置 | |
US11294754B2 (en) | System and method for contextual event sequence analysis | |
US20120237081A1 (en) | Anomalous pattern discovery | |
US20160055044A1 (en) | Fault analysis method, fault analysis system, and storage medium | |
CN110414376B (zh) | 更新人脸识别模型的方法、人脸识别相机及服务器 | |
CN112488218A (zh) | 图像分类方法、图像分类模型的训练方法和装置 | |
CN109063611A (zh) | 一种基于视频语义的人脸识别结果处理方法和装置 | |
US11113600B2 (en) | Translating sensor input into expertise | |
CN113761359B (zh) | 数据包推荐方法、装置、电子设备和存储介质 | |
CN111405030A (zh) | 一种消息推送方法、装置、电子设备和存储介质 | |
CN110751191A (zh) | 一种图像的分类方法及*** | |
KR102110375B1 (ko) | 학습 전이 기반의 비디오 감시 방법 | |
CN109934072B (zh) | 人员统计方法及装置 | |
CN113705896A (zh) | 目标设备的确定方法、装置及电子设备 | |
Anees et al. | Deep learning framework for density estimation of crowd videos | |
KR101932765B1 (ko) | 게임 어뷰저 검출을 위한 로그 데이터 처리 방법 및 장치 | |
CN111815442B (zh) | 一种链接预测的方法、装置和电子设备 | |
JP7371694B2 (ja) | 劣化検出方法、劣化検出プログラムおよび情報処理装置 | |
CN114912012A (zh) | 通过基于源域特征的迁移学习进行内容推荐的方法和*** | |
CN112967190A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN115705274A (zh) | 硬盘故障预测方法、装置、计算机可读介质及电子设备 | |
CN114973369B (zh) | 人脸识别模型训练方法和装置、电子设备和存储介质 | |
CN114241243B (zh) | 图像分类模型的训练方法、装置、电子设备和存储介质 | |
WO2024114034A1 (zh) | 内容推荐方法、装置、设备、介质和程序产品 | |
JP7371695B2 (ja) | 劣化検出方法、劣化検出プログラムおよび情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210709 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220616 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220705 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220718 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7119912 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |