JP6666488B2 - 画像抽出装置 - Google Patents
画像抽出装置 Download PDFInfo
- Publication number
- JP6666488B2 JP6666488B2 JP2019030141A JP2019030141A JP6666488B2 JP 6666488 B2 JP6666488 B2 JP 6666488B2 JP 2019030141 A JP2019030141 A JP 2019030141A JP 2019030141 A JP2019030141 A JP 2019030141A JP 6666488 B2 JP6666488 B2 JP 6666488B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- target
- unit
- target person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Psychiatry (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
注目部位画像抽出部307からの対象人物Pの注目部位の複数の画像に対してそれぞれシャープネスを判定する。そして、シャープネスに対して予め閾値T1を設定し、シャープネスが閾値T1より低い画像を廃棄する。
注目部位画像抽出部307からの対象人物Pの注目部位の複数の画像に対して、各画像の画素数を算出する。そして、画素数に対して閾値T2を設定し、画素数が閾値T2より低い画像を廃棄する。
注目部位画像抽出部307からの対象人物Pの注目部位の複数の画像に対して、それぞれの関連付けられた注目部位キーポイント情報によりキーポイント数を算出する。そして、例えばキーポイント数に対して閾値T3を設定し、キーポイント数が閾値T3より低い画像を廃棄する。
シャープネス判定部501は前記(1)に記載のシャープネスに基づく絞り込みを実行し、画素数判定部502は前記(2)に記載の画素数に基づく絞り込みを実行し、キーポイント数判定部503は前記(3)に記載のキーポイント数に基づく絞り込みを実行する。上述のように、画像判定出力部308において、シャープネス判定部501による処理、画素数判定部502による処理、およびキーポイント数判定部503による処理は、選択的に少なくとも1つを実行すればよく、全部実行する必要はない。
Claims (12)
- 複数のビデオソース由来のビデオデータから、ビデオデータにおける対象人物の行動認識を行うための特定画像を抽出する画像抽出装置であって、
前記ビデオデータから対象人物を検出し、前記対象人物の画像の全てを抽出する人物検出抽出部と、
前記人物検出抽出部が抽出した前記対象人物の画像に対してキーポイント抽出を行うキーポイント抽出部と、
前記対象人物の注目部位を特定する注目部位特定部と、
前記注目部位特定部が特定した前記注目部位に基づいて、前記対象人物の画像から当該対象人物の前記注目部位の画像を抽出する注目部位画像抽出部と、
前記注目部位画像抽出部が抽出した前記注目部位の画像に対し、それぞれが前記特定画像であるか判定し、判定された前記特定画像を出力する画像判定出力部と、を備え、
前記画像判定出力部は、前記注目部位の画像のシャープネス、画素数及び前記キーポイントの数の少なくともいずれかに基づいて、前記注目部位の画像が前記特定画像であるか判定する、画像抽出装置。 - 請求項1に記載の画像抽出装置であって、
さらに、
複数の人物の、一意に当該人物を特定するための人物データと、当該人物の注目部位と、が記憶された人物データベースを利用し、前記人物検出抽出部が検出した前記対象人物がどの人物であるか特定する人物特定部を備え、
前記人物特定部により前記対象人物が前記人物データベース内のどの人物であるか特定された場合、前記注目部位特定部は、前記人物特定部から出力された結果に基づいて、前記人物データベースを利用して前記対象人物の注目部位を特定する、画像抽出装置。 - 請求項2に記載の画像抽出装置であって、
さらに、
疾患部位ごとに分類される疾患人物の画像のキーポイント情報が記憶された疾患データベースを備え、
前記人物特定部により前記対象人物が前記人物データベースに存在しないと判定された場合、前記注目部位特定部は、前記キーポイント抽出部が抽出したキーポイント情報を前記疾患データベースと照合して、前記対象人物の前記注目部位を判定する、画像抽出装置。 - 請求項1〜3のいずれか1つに記載の画像抽出装置であって、
前記画像判定出力部は、前記特定画像の由来するビデオソースを判定し、各ビデオソースからの前記特定画像の数に基づいて前記複数のビデオソースに優先度を付与し、前記ビデオソースの前記優先度に基づいて前記特定画像を更に絞り込む、画像抽出装置。 - 請求項1〜3のいずれか1つに記載の画像抽出装置であって、
前記画像判定出力部は、機械学習の方法により、前記注目部位のそれぞれについてサンプルデータセットを利用してシャープネス判定のモデルをトレーニングし、前記対象人物の注目部位の画像を対応する前記モデルに入力し、その結果から当該注目部位の画像のシャープネスを判定する、画像抽出装置。 - 複数のビデオソース由来のビデオデータから、ビデオデータにおける対象人物の行動認識を行うための特定画像を抽出する画像抽出方法であって、
前記ビデオデータから対象人物を検出し、前記対象人物の画像の全てを抽出する人物検出抽出ステップと、
前記人物検出抽出ステップで抽出した前記対象人物の画像に対してキーポイント抽出を行うキーポイント抽出ステップと、
前記対象人物の注目部位を特定する注目部位特定ステップと、
前記注目部位特定ステップで特定した前記注目部位に基づいて、前記対象人物の画像から当該対象人物の前記注目部位の画像を抽出する注目部位画像抽出ステップと、
前記注目部位画像抽出ステップで抽出した前記注目部位の画像に対し、それぞれが前記特定画像であるか判定し、判定された前記特定画像を出力する画像判定出力ステップと、を備え、
前記画像判定出力ステップにおいて、前記注目部位の画像のシャープネス、画素数及び前記キーポイントの数の少なくともいずれかに基づいて、前記注目部位の画像が前記特定画像であるか判定する、画像抽出方法。 - 請求項6に記載の画像抽出方法であって、
さらに、
複数の人物の、一意に当該人物を特定するための人物データと、当該人物の注目部位と、が記憶された人物データベースを利用し、前記人物検出抽出ステップで検出した前記対象人物がどの人物であるか特定する人物特定ステップを備え、
前記人物特定ステップにより前記対象人物が前記人物データベース内のどの人物であるか特定された場合、前記注目部位特定ステップにおいて、前記人物特定ステップで出力された結果に基づいて、前記人物データベースを利用して前記対象人物の注目部位を特定する、画像抽出方法。 - 請求項7に記載の画像抽出方法であって、
前記人物特定ステップにより前記対象人物が前記人物データベースに存在しないと判定された場合、
前記注目部位特定ステップにおいて、前記キーポイント抽出ステップで抽出したキーポイント情報を、疾患部位ごとに分類される疾患人物の画像のキーポイント情報が記憶された疾患データベースと照合して、前記対象人物の前記注目部位を判定する、画像抽出方法。 - 請求項6〜8のいずれか1つに記載の画像抽出方法であって、
前記画像判定出力ステップにおいて、前記特定画像の由来するビデオソースを判定し、各ビデオソースからの前記特定画像の数に基づいて前記複数のビデオソースに優先度を付与し、前記ビデオソースの前記優先度に基づいて前記特定画像を更に絞り込む、画像抽出方法。 - 請求項6〜8のいずれか1つに記載の画像抽出方法であって、
前記画像判定出力ステップにおいて、機械学習の方法により、前記注目部位のそれぞれについてサンプルデータセットを利用してシャープネス判定のモデルをトレーニングし、前記対象人物の注目部位の画像を対応する前記モデルに入力し、その結果から当該注目部位の画像のシャープネスを判定する、画像抽出方法。 - コンピュータで実行可能なプログラムであって、
前記プログラムは、コンピュータに請求項6〜10のいずれか1つに記載の画像抽出方法を実行させる、プログラム。 - 行動解析システムであって、
請求項1〜5のいずれか1つに記載の画像抽出装置と、
前記画像抽出装置から出力された前記特定画像を利用して、前記対象人物の行動認識を行う行動特徴解析部と、
前記行動特徴解析部の解析結果を出力する通知部と、
を備える、行動解析システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810295934.0 | 2018-03-30 | ||
CN201810295934.0A CN110321767B (zh) | 2018-03-30 | 2018-03-30 | 图像提取装置和方法、行为分析***和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019185752A JP2019185752A (ja) | 2019-10-24 |
JP6666488B2 true JP6666488B2 (ja) | 2020-03-13 |
Family
ID=68112465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019030141A Active JP6666488B2 (ja) | 2018-03-30 | 2019-02-22 | 画像抽出装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6666488B2 (ja) |
CN (1) | CN110321767B (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7344096B2 (ja) * | 2019-11-19 | 2023-09-13 | 日本放送協会 | 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム |
CN111144263B (zh) * | 2019-12-20 | 2023-10-13 | 山东大学 | 一种建筑工人高坠事故预警方法及装置 |
CN111652076B (zh) * | 2020-05-11 | 2024-05-31 | 重庆知熠行科技发展有限公司 | 一种面向ad量表理解能力测试的姿态自动识别*** |
CN113674838A (zh) * | 2020-05-15 | 2021-11-19 | 佳能医疗***株式会社 | 医学图像处理装置、医学图像处理方法和记录介质 |
CN111881838B (zh) * | 2020-07-29 | 2023-09-26 | 清华大学 | 具有隐私保护功能的运动障碍评估录像分析方法及设备 |
US20230386049A1 (en) * | 2020-10-26 | 2023-11-30 | Nec Corporation | Tracking apparatus, tracking system, tracking method, and recording medium |
CN112528823B (zh) * | 2020-12-04 | 2022-08-19 | 燕山大学 | 一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法及*** |
JP6956993B1 (ja) * | 2021-03-09 | 2021-11-02 | 株式会社アジラ | 行動推定システム |
CN116095363B (zh) * | 2023-02-09 | 2024-05-14 | 西安电子科技大学 | 基于关键行为识别的移动端短视频高光时刻剪辑方法 |
CN117437157A (zh) * | 2023-10-16 | 2024-01-23 | 无锡远传融创科技有限公司 | 一种基于监控视频数据的图像处理方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8625902B2 (en) * | 2010-07-30 | 2014-01-07 | Qualcomm Incorporated | Object recognition using incremental feature extraction |
JP5594672B2 (ja) * | 2011-04-14 | 2014-09-24 | 株式会社 日立産業制御ソリューションズ | 物体認識装置および物体認識方法 |
JP6040640B2 (ja) * | 2012-08-29 | 2016-12-07 | 株式会社バッファロー | 画像処理装置及びプログラム |
WO2014104360A1 (ja) * | 2012-12-28 | 2014-07-03 | 株式会社東芝 | 動作情報処理装置及び方法 |
WO2015025704A1 (ja) * | 2013-08-23 | 2015-02-26 | 日本電気株式会社 | 映像処理装置、映像処理方法および映像処理プログラム |
JP6256738B2 (ja) * | 2013-09-06 | 2018-01-10 | カシオ計算機株式会社 | 動画選択装置、動画選択方法とプログラム |
CN104376589A (zh) * | 2014-12-04 | 2015-02-25 | 青岛华通国有资本运营(集团)有限责任公司 | 一种替换影视剧人物的方法 |
KR101645517B1 (ko) * | 2015-04-01 | 2016-08-05 | 주식회사 씨케이앤비 | 특징점 추출 장치 및 방법과 이를 이용한 콘텐츠의 온라인 유통 현황 분석을 위한 이미지 매칭 시스템 |
JP2017080202A (ja) * | 2015-10-29 | 2017-05-18 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理方法、プログラム |
CN106571014A (zh) * | 2016-10-24 | 2017-04-19 | 上海伟赛智能科技有限公司 | 一种在视频中识别异常动作的方法和*** |
CN107666573A (zh) * | 2017-10-13 | 2018-02-06 | 北京奇虎科技有限公司 | 摄像头场景下对象视频的录制方法及装置、计算设备 |
CN107679504A (zh) * | 2017-10-13 | 2018-02-09 | 北京奇虎科技有限公司 | 基于摄像头场景的人脸识别方法、装置、设备及存储介质 |
-
2018
- 2018-03-30 CN CN201810295934.0A patent/CN110321767B/zh active Active
-
2019
- 2019-02-22 JP JP2019030141A patent/JP6666488B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
CN110321767A (zh) | 2019-10-11 |
JP2019185752A (ja) | 2019-10-24 |
CN110321767B (zh) | 2023-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6666488B2 (ja) | 画像抽出装置 | |
Jalal et al. | A depth video-based human detection and activity recognition using multi-features and embedded hidden Markov models for health care monitoring systems | |
US20200205697A1 (en) | Video-based fall risk assessment system | |
JP7229174B2 (ja) | 人識別システム及び方法 | |
Castillo et al. | A multi-modal approach for activity classification and fall detection | |
Alvarez et al. | Behavior analysis through multimodal sensing for care of Parkinson’s and Alzheimer’s patients | |
Tran et al. | A multi-modal multi-view dataset for human fall analysis and preliminary investigation on modality | |
JP2019532532A (ja) | プライバシーの保護を伴う人物の識別しおよび/または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法 | |
Fan et al. | Fall detection via human posture representation and support vector machine | |
Procházka et al. | Use of the image and depth sensors of the Microsoft Kinect for the detection of gait disorders | |
Fan et al. | Human fall detection using slow feature analysis | |
JP6199791B2 (ja) | ペット健康診断装置、ペット健康診断方法及びプログラム | |
WO2021186655A1 (ja) | 転倒リスク評価システム | |
JP7019796B2 (ja) | 身体機能自立支援装置およびその方法 | |
JP2018206321A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2019020777A (ja) | 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体 | |
JP2020502642A (ja) | 患者識別システムおよび方法 | |
Albawendi et al. | Video based fall detection using features of motion, shape and histogram | |
Masullo et al. | Who goes there? exploiting silhouettes and wearable signals for subject identification in multi-person environments | |
CN111448589B (zh) | 用于检测患者的身体移动的设备、***和方法 | |
Hafeez et al. | Multi-Sensor-Based Action Monitoring and Recognition via Hybrid Descriptors and Logistic Regression | |
Ezatzadeh et al. | Fall detection for elderly in assisted environments: Video surveillance systems and challenges | |
Kasturi et al. | Classification of human fall in top Viewed kinect depth images using binary support vector machine | |
JP6922768B2 (ja) | 情報処理装置 | |
Nakamura et al. | DeePoint: Visual pointing recognition and direction estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6666488 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |