JP2021013095A - 画像処理装置、表示方法、及び、プログラム - Google Patents
画像処理装置、表示方法、及び、プログラム Download PDFInfo
- Publication number
- JP2021013095A JP2021013095A JP2019126338A JP2019126338A JP2021013095A JP 2021013095 A JP2021013095 A JP 2021013095A JP 2019126338 A JP2019126338 A JP 2019126338A JP 2019126338 A JP2019126338 A JP 2019126338A JP 2021013095 A JP2021013095 A JP 2021013095A
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual viewpoint
- time
- subject
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 58
- 238000003384 imaging method Methods 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 16
- 239000000463 material Substances 0.000 description 42
- 238000004891 communication Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
- G06T2207/30224—Ball; Puck
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本実施形態における素材データは、撮像装置によって撮像された撮像画像、及び該撮像画像に基づいて生成されるデータである。撮像画像に基づいて生成されるデータは、例えば、撮像画像から抽出した前景画像と背景画像のデータ、オブジェクトの形状を表す形状データ及び形状データに色付けするためのテクスチャデータ等である。ここで、前景画像とは、撮像装置により撮像されて取得された撮像画像から、前景オブジェクトに対応する領域(前景領域)を抽出した画像である。また、背景画像とは、撮像画像において少なくとも前景領域とは異なる領域(背景領域)の画像である。具体的には、背景画像は、撮像画像から前景領域を取り除いた状態の画像である。背景領域は、撮像画像における背景オブジェクトに対応する領域と解されてもよい。また、形状データは、例えば三次元空間上におけるオブジェクトの三次元形状を示す三次元モデルデータ等である。なお、本実施形態における形状データは三次元モデルデータを想定しているが、形状データは三次元モデルデータに限定されない。例えば、イメージベースドレンダリングに基づく形状データであってもよい。
以下、軌跡画像を生成するための処理について説明する。図3(a)に示す画像は、ユーザによる入力操作に基づいて生成された仮想視点画像を複数組み合わせて生成された全長5秒の仮想視点動画中の、時刻Taにおける仮想視点画像Aである。P及びQはそれぞれ仮想視点画像A内に映る人物、Rは仮想視点画像A内に映るボールである。当該仮想視点動画は、ユーザ端末300における表示部302に表示された状態である。ここでは、図3(a)に示す仮想視点画像に基づき、図3(b)に示す人物P及びボールQの軌跡画像を生成する例について説明する。
Σθ=MIN ・・・(1)
205 仮想視点決定部
206 画像生成部
Claims (19)
- 複数の撮像装置により撮像された複数の撮像画像に基づいて仮想視点画像を生成する画像処理装置であって、
特定の被写体が連続して撮像される期間における当該特定の被写体を表す形状データを取得する取得手段と、
前記仮想視点画像に係る仮想視点の、位置及び向きの少なくともいずれかを示す情報を含む仮想視点情報を決定する決定手段と、
前記決定手段により決定された仮想視点情報に対応した、前記連続して撮像される期間における異なる時点のそれぞれに対応する複数の形状データに基づく画像を同時に表示させるための仮想視点画像を生成する生成手段と
を有することを特徴とする画像処理装置。 - 前記形状データは、前記被写体の三次元形状を表す三次元モデルデータであることを特徴とする請求項1に記載の画像処理装置。
- 前記異なる時点を含む時間範囲を特定するための時間特定手段を有し、
前記生成手段は、前記時間特定手段により特定された時間範囲における異なる時点のそれぞれに対応する複数の形状データに基づく画像を同時に表示させるための仮想視点画像を生成する
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記時間特定手段は、ユーザ操作に基づいて前記時間範囲を特定することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記時間特定手段は、始点時刻及び終点時刻の少なくともいずれかを指定するためのユーザ操作に基づいて前記時間範囲を特定することを特徴とする請求項4に記載の画像処理装置。
- 前記時間特定手段は、音声認識及び画像認識の少なくともいずれかの認識結果に基づいて前記時間範囲を特定することを特徴とする請求項3に記載の画像処理装置。
- 前記時間範囲は、前記複数の撮像装置により撮像される撮像領域において所定のイベントが発生したシーンに対応する時間範囲であることを特徴とする請求項3乃至6のいずれか1項に記載の画像処理装置。
- 前記特定の被写体として、前記特定の時間範囲に撮像された複数の被写体の中から一以上の被写体を特定する被写体特定手段を有し、
前記取得手段は、前記被写体特定手段により特定された一以上の被写体を表す形状データを取得することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。 - 前記被写体特定手段は、ユーザ操作に基づいて、前記一以上の被写体を特定することを特徴とする請求項8に記載の画像処理装置。
- 前記異なる時点は、ユーザ操作に基づいて指定されることを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
- 前記異なる時点は、前記連続して撮像される期間を複数の所定の時間長に分割することにより特定されることを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
- 前記異なる時点のそれぞれにおける前記特定の被写体の座標に基づいて、前記連続して撮像される期間における被写体の軌跡を示す情報を取得する軌跡取得手段を有し、
前記決定手段は、前記軌跡取得手段により取得された前記特定の被写体の軌跡を示す情報に基づいて仮想視点情報を決定することを特徴とする請求項1乃至11のいずれか1項に記載の画像処理装置。 - 前記決定手段は、前記軌跡取得手段により取得された前記特定の被写体の軌跡を示す情報に基づいて、前記特定の被写体の軌跡が画角に収まる仮想視点に対応する仮想視点情報を決定することを特徴とする請求項12に記載の画像処理装置。
- 前記決定手段は、前記異なる時刻のそれぞれにおける前記特定の被写体の座標を結ぶ線分と仮想視点の向きを示す向きベクトルとのなす角に基づいて、仮想視点情報を決定することを特徴とする請求項12又は13に記載の画像処理装置。
- 前記生成手段は、前記決定手段により決定された仮想視点情報と、前記連続して撮像される期間に撮像された撮像画像とに基づいて動画を生成し、前記仮想視点画像と前記動画とを重畳させた動画を生成することを特徴とする請求項1乃至14のいずれか1項に記載の画像処理装置。
- 前記生成手段は、前記取得手段により取得された複数の形状データのうち一以上の形状データを強調した仮想視点画像を生成することを特徴とする請求項1乃至15のいずれか1項に記載の画像処理装置。
- 複数の撮像装置により撮像された複数の撮像画像に基づく仮想視点画像を表示させる表示方法であって、
前記仮想視点画像に係る仮想視点の、位置及び向きの少なくともいずれかを示す情報を含む仮想視点情報を決定する決定工程と、
前記決定工程において決定された仮想視点情報に対応した仮想視点画像であって、前記特定工程において特定された被写体が連続して撮像される期間における異なる時点のそれぞれに対応する当該被写体を表す画像を同時に含む仮想視点画像を表示させる表示工程と
を有することを特徴とする表示方法。 - コンピュータを、請求項1乃至16のいずれか1項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
- 請求項17に記載の方法の各工程をコンピュータに実行させるためのコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019126338A JP7366611B2 (ja) | 2019-07-05 | 2019-07-05 | 画像処理装置、画像処理方法、及び、プログラム |
US16/918,954 US11250633B2 (en) | 2019-07-05 | 2020-07-01 | Image processing apparatus, display method, and non-transitory computer-readable storage medium, for displaying a virtual viewpoint image including an object at different points in time |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019126338A JP7366611B2 (ja) | 2019-07-05 | 2019-07-05 | 画像処理装置、画像処理方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021013095A true JP2021013095A (ja) | 2021-02-04 |
JP7366611B2 JP7366611B2 (ja) | 2023-10-23 |
Family
ID=74065783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019126338A Active JP7366611B2 (ja) | 2019-07-05 | 2019-07-05 | 画像処理装置、画像処理方法、及び、プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11250633B2 (ja) |
JP (1) | JP7366611B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9332285B1 (en) * | 2014-05-28 | 2016-05-03 | Lucasfilm Entertainment Company Ltd. | Switching modes of a media content item |
JP2020013470A (ja) * | 2018-07-20 | 2020-01-23 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2020062041A1 (en) * | 2018-09-28 | 2020-04-02 | Intel Corporation | Automated generation of camera paths |
CN114041139A (zh) * | 2019-07-31 | 2022-02-11 | 英特尔公司 | 比赛状态检测和轨迹融合 |
CN113377977A (zh) * | 2021-06-17 | 2021-09-10 | 深圳市睿联技术股份有限公司 | 一种视频信息生成方法、装置、***和存储介质 |
CN115509900B (zh) * | 2022-09-15 | 2024-02-02 | 上海宜软检测技术有限公司 | 一种功能测试用例生成方法及*** |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07162744A (ja) * | 1993-12-09 | 1995-06-23 | Oyo Keisoku Kenkyusho:Kk | 動画像処理装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4068485B2 (ja) * | 2002-09-30 | 2008-03-26 | 株式会社東芝 | 画像合成方法、画像合成装置、画像合成プログラム |
JP4591576B2 (ja) * | 2008-08-18 | 2010-12-01 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
JP2014215828A (ja) | 2013-04-25 | 2014-11-17 | シャープ株式会社 | 画像データ再生装置、および視点情報生成装置 |
US10762653B2 (en) * | 2016-12-27 | 2020-09-01 | Canon Kabushiki Kaisha | Generation apparatus of virtual viewpoint image, generation method, and storage medium |
WO2021033215A1 (ja) | 2019-08-16 | 2021-02-25 | Hoya株式会社 | 内視鏡用プロセッサ、内視鏡システム、情報処理装置、プログラム及び情報処理方法 |
-
2019
- 2019-07-05 JP JP2019126338A patent/JP7366611B2/ja active Active
-
2020
- 2020-07-01 US US16/918,954 patent/US11250633B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07162744A (ja) * | 1993-12-09 | 1995-06-23 | Oyo Keisoku Kenkyusho:Kk | 動画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
US11250633B2 (en) | 2022-02-15 |
JP7366611B2 (ja) | 2023-10-23 |
US20210005023A1 (en) | 2021-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7366611B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP7140487B2 (ja) | 情報処理装置、表示制御方法、及び、プログラム | |
US11361542B2 (en) | Augmented reality apparatus and method | |
JP5256269B2 (ja) | データ生成装置、データ生成装置の制御方法、及びプログラム | |
US10622021B2 (en) | Method and system for video editing | |
JP7301507B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20210349620A1 (en) | Image display apparatus, control method and non-transitory computer-readable storage medium | |
EP3621300B1 (en) | Display control device and display control method | |
JP5312505B2 (ja) | ゲーム装置、ゲーム装置の制御方法、及びプログラム | |
JP7446754B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2017510922A (ja) | ビデオデータのための軌道データの生成 | |
JP6812181B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
US20210385554A1 (en) | Information processing device, information processing method, and information processing program | |
JP2019197340A (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
KR20230152589A (ko) | 화상 처리 시스템, 화상 처리방법, 및 기억매체 | |
JP6568246B2 (ja) | ゲームプログラム、方法、および情報処理装置 | |
CN111277866B (zh) | 一种控制vr视频播放的方法及相关装置 | |
US20220109823A1 (en) | Information processing apparatus, control method, and storage medium | |
JP2020102687A (ja) | 情報処理装置、画像処理装置、画像処理方法、及びプログラム | |
JP2020135290A (ja) | 画像生成装置、画像生成方法、画像生成システム、及びプログラム | |
US20200387288A1 (en) | Information processing apparatus, method for controlling the same, and storage medium | |
JP6453500B1 (ja) | ゲームプログラム、方法、および情報処理装置 | |
JP2021144522A (ja) | 画像処理装置、画像処理方法、プログラム、及び画像処理システム | |
JP5844697B2 (ja) | 映像再生装置、映像再生方法、および映像再生用プログラム | |
KR101263881B1 (ko) | 무인 방송 제어 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220704 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230601 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230912 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231011 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7366611 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |