JP2018072939A - 映像処理プログラム、映像処理方法、及び映像処理装置 - Google Patents
映像処理プログラム、映像処理方法、及び映像処理装置 Download PDFInfo
- Publication number
- JP2018072939A JP2018072939A JP2016208821A JP2016208821A JP2018072939A JP 2018072939 A JP2018072939 A JP 2018072939A JP 2016208821 A JP2016208821 A JP 2016208821A JP 2016208821 A JP2016208821 A JP 2016208821A JP 2018072939 A JP2018072939 A JP 2018072939A
- Authority
- JP
- Japan
- Prior art keywords
- video
- video processing
- ball
- detected
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
以下に、第1実施形態に係る映像処理装置について説明する。
[1−1−1]装置構成
まず、図1を用いて映像処理装置の全体構成について説明する。図1には映像処理装置のブロック図が示されている。図1に示すように映像処理装置1は、プロセッサ(CPU)10、ランダムアクセスメモリ(RAM)11、読み出し専用メモリ(ROM)12、記憶部13、及びディスプレイ14を備えている。
次に、図2を用いて映像処理に用いるプログラムの構成について説明する。図2には、映像処理時にRAM11に展開される種々のプログラムが示されている。図2に示すように映像処理を実行する場合にRAM11には、メインプログラム20、分析プログラム21、再生プログラム27、及びディスプレイデータ28が展開される。
以上で説明された映像処理装置1を用いて分析されるスポーツとしては、例えばラグビーが挙げられる。以下の説明では、ラグビーの試合映像を映像処理装置1によって分析する場合を例に使用する。本例に用いるラグビーのフィールド構成を図4に示す。
[1−2−1]メインプログラム20
次に、図5を用いてメインプログラム20に基づいた映像処理装置1の動作について説明する。図5には、メインプログラム20による映像処理装置1の動作フローチャートが示されている。図5に示すようにまずCPU10は、ユーザーに動作の選択を要求する(ステップS10)。このときユーザーは、例えば“分析処理”と“再生処理”のいずれかを選択することが出来る。
次に、分析プログラム21に基づいた映像処理装置1の動作について説明する。分析プログラム21が実行されると、CPU10がフィールド検出プログラム22、物体検出プログラム23、及び物***置推定プログラム24を実行して、フィールド検出部30、物体検出部31、及び物***置推定部33として機能する。この分析処理における映像処理装置1の全体的な動作フローチャートが図6に示されている。尚、個々のステップの詳細については後述する。
まず、図7及び図8を用いてフィールド検出プログラム22に基づいた映像処理装置1の詳細な動作について説明する。図7にはフィールド検出プログラム22による映像処理装置1の動作フローチャートが示され、図8にはフィールド検出プログラム22による分析の対象となるフィールド映像の一例が示されている。
次に、図10及び図11を用いて物体検出プログラム23に基づいた映像処理装置1の詳細な動作について説明する。図10には物体検出プログラム23による映像処理装置1の動作フローチャートが示され、図11には物体検出プログラム23による分析の対象となる試合映像の一例が示されている。
次に、図13を用いて物***置推定プログラム24に基づいた映像処理装置1の詳細な動作について説明する。図13には、物***置推定プログラム24による映像処理装置1の動作フローチャートが示されている。
ステップS55において物***置推定部33は、これまで処理を実行したフレームが最後のフレームであるかどうかを確認する(ステップS55)。
ラグビー等のスポーツにおける試合映像では、ボールが選手やボール付近に形成された密集(スクラム、モール、ラック等)の陰に隠れて見えなくなることがある。
次に、第2実施形態に係る映像処理装置1について説明する。第2実施形態に係る映像処理装置1は、第1実施形態で説明した映像処理装置1において、複数のボール保持者を設定するものである。
まず、図16を用いて物***置推定プログラム24に基づいた映像処理装置1の動作において、ボール保持者を複数設定する場合について説明する。図16には、図13におけるステップS50〜S56のループが繰り返されている間に、映像処理装置1が追加で処理する動作のフローチャートが示されている。
第2実施形態に係る映像処理装置1は、物***置推定部33がボール保持者付近を通過した選手にもボール保持者情報を付与することにより、一時的に複数のボール保持者を追跡する。そしてボールが再検出された場合に、複数のボール保持者が設定されていた期間におけるボール保持者情報を修正する。
次に、第3実施形態に係る映像処理装置1について説明する。第3実施形態に係る映像処理装置1は、第1実施形態で説明した映像処理装置1において、分析プログラム21を実行する際にさらにプレー種別判別プログラム25を実行するものである。
まず、図21を用いてプレー種別判別プログラム25に基づいた映像処理装置1の動作について説明する。図21には、プレー種別判別プログラム25による映像処理装置1の動作フローチャートが示されている。
第3実施形態に係る映像処理装置1は、移動方向推定部34及び移動速度推定部35により算出されたボールの移動方向及び移動速度に基づいて、プレー種別判別部36が試合映像の各時点におけるプレーの種別を自動で判定する。これにより第3実施形態に係る映像処理装置1は、ユーザーが試合映像を分析する負荷を軽減することが出来る。
次に、第4実施形態に係る映像処理装置1について説明する。第4実施形態に係る映像処理装置1は、第1実施形態で説明した映像処理装置1において、分析プログラム21を実行する際にさらにシーン分割プログラム26を実行するものである。
まず、図26を用いてシーン分割プログラム26に基づいた映像処理装置1の動作について説明する。図26には、シーン分割プログラム26による映像処理装置1の動作フローチャートが示されている。
第4実施形態に係る映像処理装置1は、特定音検出部37が試合映像から特定音を検出したタイミングに基づいて、シーン分割部38が試合映像のシーンを自動で分割する。これにより第3実施形態に係る映像処理装置1は、試合映像におけるプレーの区切りを簡便に構造化することが出来、ユーザーが試合映像を分析する負荷を軽減することが出来る。
次に、第5実施形態に係る映像処理装置1について説明する。第5実施形態に係る映像処理装置1は、第1〜第4実施形態で説明した映像処理装置1における分析結果を表示する再生プログラム27の実行例である。
まず、図29を用いて再生プログラム27に基づいた映像処理装置1の動作について説明する。図29には、再生プログラム27によりディスプレイ14上に表示される画面の一例が示されている。
第5実施形態に係る映像処理装置1は、試合映像と、第1〜第4実施形態における試合映像の分析結果とを併せて表示することが出来る。具体的には映像処理装置1は、試合映像と、試合映像に対応する時刻における選手及びボール等の情報をマッピングした二次元フィールドとを同時に表示することが出来る。また映像処理装置1は、表示している試合映像にグリッド等をオーバーレイ表示させることが出来、さらに二次元フィールド上にマッピングした選手及びボールに対して移動軌跡を表示することが出来る。
上記実施形態の映像処理プログラムは、スポーツを撮影した映像を処理するためにコンピュータに、映像から第1物体<BL、図11>と、第1物体と異なる複数の第2物体<P1-P8、図11>とを検出させ、検出された第1物体、及び複数の第2物体の位置を推定させることを映像におけるフレーム毎に繰り返し、あるフレームにおいて第1物体を検出出来なかった場合に、当該フレームの前のフレームにおいて、第1物体の近傍に位置する第2物体が第1物体を保持しているとみなす<ボール保持者、図14>。
Claims (15)
- スポーツを撮影した映像を処理するためにコンピュータに、
前記映像から第1物体を検出させ、
前記映像から、前記第1物体と異なる複数の第2物体を検出させ、
前記検出された第1物体の位置、及び前記検出された複数の第2物体の位置を推定させることを、前記映像におけるフレーム毎に繰り返し、
あるフレームにおいて前記第1物体を検出出来なかった場合に、当該フレームの前のフレームにおいて、前記第1物体の近傍に位置する第2物体が前記第1物体を保持しているとみなす、映像処理プログラム。 - 前記第1物体を保持しているとみなされた前記第2物体を、後続するフレームにおいて、次に前記第1物体が検出されるまで前記第1物体を保持しているものとして追跡させる、請求項1に記載の映像処理プログラム。
- 前記第1物体を検出出来なくなる前のフレームにおいて、前記複数の第2物体のうち前記第1物体に最も近い第2物体が、前記第1物体を保持しているとみなされる、請求項1又は請求項2に記載の映像処理プログラム。
- 前記第1物体が検出出来なくなった場合に、前記第1物体の近傍に位置する前記第2物体を探索するフレームは、前記第1物体が検出出来なくなる直前のフレームである、請求項1乃至請求項3のいずれかに記載の映像処理プログラム。
- 前記複数の第2物体は、第3及び第4物体を含み、
前記第3物体が前記第1物体を保持しているとみなして追跡している際に前記第3物体と前記第4物体とが近接した場合に、前記第4物体も前記第1物体を保持しているとみなして追跡させ、前記映像における第1時間経過後に前記第3物体の移動速度と前記第4物体の移動速度とを比較させ、前記第3及び第4物体のうち移動速度が速い方の追跡を継続させ、移動速度が遅い方の追跡を停止させる、請求項1乃至請求項4のいずれかに記載の映像処理プログラム。 - 前記複数の第2物体は、第3及び第4物体を含み、
前記第3物体が前記第1物体を保持しているとみなされた後に前記第3物体と前記第4物体とが接触した場合に、前記第3物体と前記第4物体とを含む密集が前記第1物体を保持しているとみなす、請求項1乃至請求項4のいずれかに記載の映像処理プログラム。 - 前記複数の第2物体の色情報に基づいてグループ分けさせる、請求項1乃至請求項6のいずれかに記載の映像処理プログラム。
- 前記映像に表示されたフィールド領域を検出させ、
前記フィールド領域と、二次元で示されたフィールド全体との座標の対応を算出させ、
前記第1物体と前記複数の第2物体の前記フィールド全体における座標を算出させ、
前記フィールド全体の画像、前記第1物体の位置、及び前記複数の第2物体の位置を、表示部に表示させる、請求項1乃至請求項7のいずれかに記載の映像処理プログラム。 - 前記第1物体、前記第2物体、及び前記第1物体を保持する前記第2物体の移動軌跡に基づき、前記スポーツにおけるプレー種別を判別させる、請求項1乃至請求項8のいずれかに記載の映像処理プログラム。
- 前記第1物体の移動速度及び移動方向に基づき、プレー種別を判別させる、請求項9に記載の映像処理プログラム。
- 判別したプレー種別に基づいて、推定した前記第1物体の移動軌跡を異なる特徴の線で表示部に表示させる、請求項9又は請求項10に記載の映像処理プログラム。
- 前記映像における音声において第1の音を検出させ、
前記第1の音を検出したタイミングに基づいて前記映像のシーンを分割させる、請求項1乃至請求項11のいずれかに記載の映像処理プログラム。 - 前記分割させたシーン毎にタグ情報を付与させ、
前記タグ情報に基づいたインデックスを表示部に表示させ、
前記インデックスを選択する信号を受信すると、前記選択されたインデックスに対応するシーンの情報を一覧表示させる、請求項12に記載の映像処理プログラム。 - スポーツを撮影した映像において、前記映像から第1物体を検出し、
前記映像から、前記第1物体と異なる複数の第2物体を検出し、
前記検出された第1物体の位置、及び前記検出された複数の第2物体の位置を推定させることを、前記映像におけるフレーム毎に繰り返し、
あるフレームにおいて前記第1物体を検出出来なかった場合に、当該フレームの前のフレームにおいて、前記第1物体の近傍に位置する第2物体が前記第1物体を保持しているとみなす、映像処理方法。 - スポーツを撮影した映像において、前記映像から第1物体を検出する第1物体検出部と、
前記映像から、前記第1物体と異なる複数の第2物体を検出する第2物体検出部と、
前記検出された第1物体の位置、及び前記検出された複数の第2物体の位置を推定することを、前記映像におけるフレーム毎に繰り返す位置推定部と
を具備し、前記位置推定部は、あるフレームにおいて前記第1物体検出部が前記第1物体を検出出来なかった場合に、当該フレームの前のフレームにおいて、前記第1物体の近傍に位置する第2物体が前記第1物体を保持しているとみなす、映像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016208821A JP6853528B2 (ja) | 2016-10-25 | 2016-10-25 | 映像処理プログラム、映像処理方法、及び映像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016208821A JP6853528B2 (ja) | 2016-10-25 | 2016-10-25 | 映像処理プログラム、映像処理方法、及び映像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018072939A true JP2018072939A (ja) | 2018-05-10 |
JP6853528B2 JP6853528B2 (ja) | 2021-03-31 |
Family
ID=62111603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016208821A Active JP6853528B2 (ja) | 2016-10-25 | 2016-10-25 | 映像処理プログラム、映像処理方法、及び映像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6853528B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210103736A1 (en) * | 2019-10-07 | 2021-04-08 | Canon Kabushiki Kaisha | Control apparatus, control system, control method, and storage medium |
US11189035B2 (en) | 2016-11-18 | 2021-11-30 | Kabushiki Kaisha Toshiba | Retrieval device, retrieval method, and computer program product |
JP2022520498A (ja) * | 2019-12-30 | 2022-03-30 | シャンハイ センスタイム リンガン インテリジェント テクノロジー カンパニー リミテッド | 画像処理方法、装置、記憶媒体及び電子機器 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006172583A (ja) * | 2004-12-15 | 2006-06-29 | Sony Corp | 再生装置、および、再生方法、記録装置、記録媒体、プログラム格納媒体、並びに、プログラム |
WO2014024475A1 (ja) * | 2012-08-10 | 2014-02-13 | パナソニック株式会社 | 映像提供方法、送信装置および受信装置 |
JP2015070503A (ja) * | 2013-09-30 | 2015-04-13 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
-
2016
- 2016-10-25 JP JP2016208821A patent/JP6853528B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006172583A (ja) * | 2004-12-15 | 2006-06-29 | Sony Corp | 再生装置、および、再生方法、記録装置、記録媒体、プログラム格納媒体、並びに、プログラム |
WO2014024475A1 (ja) * | 2012-08-10 | 2014-02-13 | パナソニック株式会社 | 映像提供方法、送信装置および受信装置 |
JP2015070503A (ja) * | 2013-09-30 | 2015-04-13 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
Non-Patent Citations (2)
Title |
---|
YOSHINORI OHNO, JUN MIURA, YOSHIAKI SHIRAI: "Tracking players and estimation of the 3D position of a ball in soccer games", PROCEEDINGS 15TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION. ICPR-2000, JPN6020045166, 3 September 2000 (2000-09-03), pages 145 - 148, XP010533520, ISSN: 0004394314, DOI: 10.1109/ICPR.2000.905293 * |
蔵野準二, 林昌希, 山本大樹, 大島京子, 田靡雅基, 青木義満: "アメリカンフットボール映像におけるプレー開始・終了位置と選手動作情報を用いたボール軌跡抽出", 精密工学会誌, vol. 81, no. 1, JPN6020045165, 5 January 2015 (2015-01-05), pages 91 - 98, ISSN: 0004394313 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11189035B2 (en) | 2016-11-18 | 2021-11-30 | Kabushiki Kaisha Toshiba | Retrieval device, retrieval method, and computer program product |
US20210103736A1 (en) * | 2019-10-07 | 2021-04-08 | Canon Kabushiki Kaisha | Control apparatus, control system, control method, and storage medium |
US11557122B2 (en) * | 2019-10-07 | 2023-01-17 | Canon Kabushiki Kaisha | Control apparatus, control system, control method, and storage medium |
JP2022520498A (ja) * | 2019-12-30 | 2022-03-30 | シャンハイ センスタイム リンガン インテリジェント テクノロジー カンパニー リミテッド | 画像処理方法、装置、記憶媒体及び電子機器 |
JP7105383B2 (ja) | 2019-12-30 | 2022-07-22 | シャンハイ センスタイム リンガン インテリジェント テクノロジー カンパニー リミテッド | 画像処理方法、装置、記憶媒体及び電子機器 |
Also Published As
Publication number | Publication date |
---|---|
JP6853528B2 (ja) | 2021-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6419830B2 (ja) | 画像検索のためのシステム、方法、および装置 | |
US9589595B2 (en) | Selection and tracking of objects for display partitioning and clustering of video frames | |
JP6649231B2 (ja) | 検索装置、検索方法およびプログラム | |
KR101484844B1 (ko) | 실시간 영상에 프라이버시 마스킹 툴을 제공하는 장치 및 방법 | |
KR20150020526A (ko) | 액션 비디오의 자동 디지털 큐레이션 및 태깅 시스템 및 방법 | |
JP2007281858A (ja) | 動画編集装置 | |
JP6853528B2 (ja) | 映像処理プログラム、映像処理方法、及び映像処理装置 | |
CN104618656A (zh) | 一种信息处理的方法及电子设备 | |
WO2016021121A1 (ja) | 修正確認方法および修正確認装置 | |
US10146870B2 (en) | Video playback method and surveillance system using the same | |
JP4513039B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
RU2609071C2 (ru) | Навигация по видеопоследовательности через местоположение объекта | |
JP4546762B2 (ja) | 映像イベント判別用学習データ生成装置及びそのプログラム、並びに、映像イベント判別装置及びそのプログラム | |
JP6218296B1 (ja) | 動画再生装置、動画再生方法、そのプログラム及び記録媒体 | |
Jiang et al. | Deep learning application in broadcast tennis video annotation | |
KR20200013145A (ko) | 하이라이트 추출 방법 및 하이라이트 추출 장치 | |
KR101944454B1 (ko) | 정보처리프로그램 및 정보처리방법 | |
KR102233494B1 (ko) | 360도 영상 공간에서 다중 객체 추적 장치 및 방법 | |
KR20150142747A (ko) | 사용자 제스처 기반의 영상 재생 장치 및 그 동작 방법 | |
JP2021061535A5 (ja) | ||
JP2016019138A (ja) | 画像処理装置、方法及びプログラム | |
JP2009302780A (ja) | 特定シーン抽出装置及び特定シーン抽出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20161124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20161128 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20170907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170907 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191018 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210303 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6853528 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |