JP2023076340A - 画像解析システム、画像解析方法およびプログラム - Google Patents
画像解析システム、画像解析方法およびプログラム Download PDFInfo
- Publication number
- JP2023076340A JP2023076340A JP2021189703A JP2021189703A JP2023076340A JP 2023076340 A JP2023076340 A JP 2023076340A JP 2021189703 A JP2021189703 A JP 2021189703A JP 2021189703 A JP2021189703 A JP 2021189703A JP 2023076340 A JP2023076340 A JP 2023076340A
- Authority
- JP
- Japan
- Prior art keywords
- information
- video content
- image analysis
- correct answer
- analysis system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010191 image analysis Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title description 20
- 239000000284 extract Substances 0.000 claims abstract description 26
- 238000010801 machine learning Methods 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 9
- 238000003703 image analysis method Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 64
- 238000012545 processing Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000010365 information processing Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
Claims (7)
- 動画コンテンツから、当該動画コンテンツを構成する複数の画像のそれぞれの一部である入力領域と、前記入力領域と異なる情報である付属情報とを抽出する情報抽出部と、
前記抽出された付属情報から正解データを生成する正解生成部と、
前記入力領域と前記正解データとを含む教師データを用いて機械学習モデルを学習させる学習部と、
を含む画像解析システム。 - 請求項1に記載の画像解析システムにおいて、
前記学習部は、前記生成された正解データと、当該正解データが抽出されるタイミングより前のタイミングの画像から抽出された入力領域と、を含む教師データを用いて機械学習モデルを学習させる、
画像解析システム。 - 請求項1または2に記載の画像解析システムにおいて、
前記情報抽出部は、前記複数の画像のそれぞれの一部である入力領域と異なる領域に基づいて前記付属情報を抽出する、
画像解析システム。 - 請求項3に記載の画像解析システムにおいて、
前記正解生成部は、前記付属情報の変化に基づいて前記正解データを生成する、
画像解析システム。 - 請求項1または2に記載の画像解析システムにおいて、
前記情報抽出部は、前記動画コンテンツに含まれる音声を示す情報を、前記付属情報として抽出する、
画像解析システム。 - 動画コンテンツから、当該動画コンテンツを構成する複数の画像のそれぞれの一部である入力領域と、前記入力領域と異なる情報である付属情報とを抽出するステップと、
前記抽出された付属情報から正解データを生成するステップと、
前記入力領域と前記正解データとを含む教師データを用いて機械学習モデルを学習させるステップと、
を含む画像解析方法。 - 動画コンテンツから、当該動画コンテンツを構成する複数の画像のそれぞれの一部である入力領域と、前記入力領域と異なる情報である付属情報とを抽出する情報抽出部、
前記抽出された付属情報から正解データを生成する正解生成部、および、
前記入力領域と前記正解データとを含む教師データを用いて機械学習モデルを学習させる学習部、
としてコンピュータを機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021189703A JP7216175B1 (ja) | 2021-11-22 | 2021-11-22 | 画像解析システム、画像解析方法およびプログラム |
US17/951,403 US20230162501A1 (en) | 2021-11-22 | 2022-09-23 | Image analysis system, image analysis method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021189703A JP7216175B1 (ja) | 2021-11-22 | 2021-11-22 | 画像解析システム、画像解析方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7216175B1 JP7216175B1 (ja) | 2023-01-31 |
JP2023076340A true JP2023076340A (ja) | 2023-06-01 |
Family
ID=85111682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021189703A Active JP7216175B1 (ja) | 2021-11-22 | 2021-11-22 | 画像解析システム、画像解析方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20230162501A1 (ja) |
JP (1) | JP7216175B1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005189832A (ja) * | 2003-12-05 | 2005-07-14 | Mitsubishi Electric Research Laboratories Inc | ビデオからハイライトを検出する方法 |
US20080193016A1 (en) * | 2004-02-06 | 2008-08-14 | Agency For Science, Technology And Research | Automatic Video Event Detection and Indexing |
US20090249387A1 (en) * | 2008-03-31 | 2009-10-01 | Microsoft Corporation | Personalized Event Notification Using Real-Time Video Analysis |
JP2011223287A (ja) * | 2010-04-09 | 2011-11-04 | Sony Corp | 情報処理装置、情報処理方法、及び、プログラム |
US20200186897A1 (en) * | 2018-12-05 | 2020-06-11 | Sony Interactive Entertainment Inc. | Method and system for generating a recording of video game gameplay |
US20200314458A1 (en) * | 2019-03-27 | 2020-10-01 | International Business Machines Corporation | Computer-implemented event detection using sonification |
JP2021521525A (ja) * | 2018-05-07 | 2021-08-26 | グーグル エルエルシーGoogle LLC | ネットワークにおけるデジタルコンテンツの音声ベースの検索 |
-
2021
- 2021-11-22 JP JP2021189703A patent/JP7216175B1/ja active Active
-
2022
- 2022-09-23 US US17/951,403 patent/US20230162501A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005189832A (ja) * | 2003-12-05 | 2005-07-14 | Mitsubishi Electric Research Laboratories Inc | ビデオからハイライトを検出する方法 |
US20080193016A1 (en) * | 2004-02-06 | 2008-08-14 | Agency For Science, Technology And Research | Automatic Video Event Detection and Indexing |
US20090249387A1 (en) * | 2008-03-31 | 2009-10-01 | Microsoft Corporation | Personalized Event Notification Using Real-Time Video Analysis |
JP2011223287A (ja) * | 2010-04-09 | 2011-11-04 | Sony Corp | 情報処理装置、情報処理方法、及び、プログラム |
JP2021521525A (ja) * | 2018-05-07 | 2021-08-26 | グーグル エルエルシーGoogle LLC | ネットワークにおけるデジタルコンテンツの音声ベースの検索 |
US20200186897A1 (en) * | 2018-12-05 | 2020-06-11 | Sony Interactive Entertainment Inc. | Method and system for generating a recording of video game gameplay |
US20200314458A1 (en) * | 2019-03-27 | 2020-10-01 | International Business Machines Corporation | Computer-implemented event detection using sonification |
Also Published As
Publication number | Publication date |
---|---|
JP7216175B1 (ja) | 2023-01-31 |
US20230162501A1 (en) | 2023-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110472531B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
Ginosar et al. | Learning individual styles of conversational gesture | |
EP2877254B1 (en) | Method and apparatus for controlling augmented reality | |
CN111243626A (zh) | 一种说话视频生成方法及*** | |
KR101936692B1 (ko) | 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법 | |
CN112560605B (zh) | 交互方法、装置、终端、服务器和存储介质 | |
CN107423398A (zh) | 交互方法、装置、存储介质和计算机设备 | |
JP7127659B2 (ja) | 情報処理装置、仮想・現実合成システム、学習済みモデルの生成方法、情報処理装置に実行させる方法、プログラム | |
JP7009997B2 (ja) | 動画生成システムおよび動画表示システム | |
Bloom et al. | Linear latent low dimensional space for online early action recognition and prediction | |
JP6649231B2 (ja) | 検索装置、検索方法およびプログラム | |
JP2015128507A (ja) | 評価プログラム、評価方法および評価装置 | |
CN113223123A (zh) | 图像处理方法和图像处理装置 | |
JP7216175B1 (ja) | 画像解析システム、画像解析方法およびプログラム | |
JP7216176B1 (ja) | 画像解析システム、画像解析方法およびプログラム | |
JP2021026744A (ja) | 情報処理装置、画像認識方法及び学習モデル生成方法 | |
US20210374419A1 (en) | Semi-Supervised Action-Actor Detection from Tracking Data in Sport | |
KR20220053021A (ko) | 비디오 게임 오버레이 | |
US20230148112A1 (en) | Sports Neural Network Codec | |
Kishore et al. | DSLR-Net a depth based sign language recognition using two stream convents | |
CN116896654B (zh) | 一种视频处理方法和相关装置 | |
CN117152843B (zh) | 数字人的动作控制方法及其*** | |
Wang et al. | A real-time basketball referee gesture recognition system based on multi-scale spatio-temporal features | |
JP2024068400A (ja) | 機械学習プログラム、機械学習方法および機械学習装置 | |
KR20240016815A (ko) | 얼굴 인식 기반 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7216175 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |