JP6991768B2 - 表示制御装置および表示制御方法 - Google Patents
表示制御装置および表示制御方法 Download PDFInfo
- Publication number
- JP6991768B2 JP6991768B2 JP2017146339A JP2017146339A JP6991768B2 JP 6991768 B2 JP6991768 B2 JP 6991768B2 JP 2017146339 A JP2017146339 A JP 2017146339A JP 2017146339 A JP2017146339 A JP 2017146339A JP 6991768 B2 JP6991768 B2 JP 6991768B2
- Authority
- JP
- Japan
- Prior art keywords
- mode
- virtual viewpoint
- switching
- display control
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/158—Switching image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Description
実施形態1は、予め定められた仮想視点の移動経路に従って生成された仮想視点映像を表示させるモードと、ユーザ等により指定された仮想視点の位置及び姿勢等に応じた仮想視点映像を表示させるモードとをユーザ操作に応じて切り替える例について説明する。以下では前者のモードをプリレンダリングモード、後者のモードをリアルタイムモードと呼ぶ。なお、本実施形態において仮想視点映像とは、フィールドを異なる方向から撮影する複数のカメラにより得られた複数の撮影画像に基づいて生成される画像により構成される映像であり、仮想視点(仮想カメラ)の位置及び姿勢等に従って生成される映像である。また、本実施形態の仮想視点映像は、各画像フレームが所定の動画圧縮の方式により圧縮された映像データであっても良いし、各画像フレームが所定の静止画圧縮の方式により圧縮された映像データであっても良いし、非圧縮の映像データであっても良い。
プリレンダリングモードにおける仮想視点映像の取得は図3のS302において開始される。そして開始後は、仮想視点映像の取得は仮想視点映像の描画処理とは別のスレッドで行われ、特定の量のバッファがいっぱいになるかデータの取得停止命令を受けるまで継続される。取得した動画データは描画部205に対して出力される。
リアルタイムモードにおける3Dデータの取得は図3のS306において開始される。そして開始後は、3Dデータの取得は仮想視点映像の描画処理とは別のスレッドで行われ、特定の量のバッファがいっぱいになるかデータの取得停止命令を受けるまで継続される。取得した3Dデータは描画部205に対して出力される。
実施形態2について、実施形態1との差異を中心に説明する。実施形態1では、プリレンダリングモードとリアルタイムモードの2種類のレンダリングモードの間を切り替える例を説明したが、本実施形態では、上記に加えさらに視点変換モードとパスベースモードを有する例を説明する。実施形態2の表示制御装置100の構成は図1と図2に示した通りであるため、図1と図2の符号を引用して実施形態2の説明を行う。
- 予め定められた仮想視点の移動経路に従って生成された仮想視点映像を表示させるプリレンダリングモード
- プリレンダリングされた仮想視点映像をユーザが指定した視点に応じて視点変換して表示させる視点変換モード
- ユーザ等により指定された仮想視点の位置及び姿勢等に応じた仮想視点映像を3Dデータに基づいて生成し表示させるリアルタイムモード
- 予め定められた仮想視点の移動経路に応じた仮想視点映像を3Dデータに基づいて生成して表示させるパスベースモード
これら4つのモードのうち、ユーザが切り替え操作を行うのはプリレンダリングモードとリアルタイムモードの2つであり、残りの2つはこれらのモードを遷移する過程で一時的に利用されるモードである。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
201 操作部
202 取得データ制御部
203 データ取得部
204 描画モード制御部
205 描画部
206 表示部
207 視点制御部
208 カメラパラメータ取得部
Claims (14)
- 撮影対象空間を異なる方向から撮影する複数の撮影装置により得られる複数の撮影画像に基づいて生成される仮想視点映像の表示を制御する表示制御装置であって、
仮想視点映像に対応する仮想視点を指定するための操作を受け付ける受付手段と、
前記受付手段により受け付けられた前記操作に応じた仮想視点に対応する仮想視点映像を生成する生成手段と、
サーバから受信した仮想視点映像を表示させる第1モードから、前記操作に基づいて前記生成手段により生成された仮想視点映像を表示させる第2モードへ切り替える切替処理を、前記第1モードにおける所定の操作に応じて実行する切替手段と、を有し、
前記切替手段は、前記第2モードにおいて仮想視点を指定するための操作が一定時間行われない場合には、前記第2モードから前記第1モードへ切り替える切替処理を実行することを特徴とする表示制御装置。 - 前記切替手段は、前記サーバから受信した仮想視点映像を前記受付手段により受け付けられた前記操作に基づいて変換することによって生成される変換済み仮想視点映像を表示させる第3モードを、前記第1モードから前記第2モードへの切り替えの間の少なくとも一部の期間に設定することを特徴とする請求項1に記載の表示制御装置。
- 撮影対象空間を異なる方向から撮影する複数の撮影装置により得られる複数の撮影画像に基づいて生成される仮想視点映像の表示を制御する表示制御装置であって、
仮想視点映像に対応する仮想視点を指定するための操作を受け付ける受付手段と、
前記受付手段により受け付けられた前記操作に応じた仮想視点に対応する仮想視点映像を生成する生成手段と、
サーバから受信した仮想視点映像を表示させる第1モードから、前記操作に基づいて前記生成手段により生成された仮想視点映像を表示させる第2モードへ切り替える切替処理を、前記第1モードにおける所定の操作に応じて実行する切替手段と、を有し、
前記切替手段は、前記サーバから受信した仮想視点映像を前記受付手段により受け付けられた前記操作に基づいて変換することによって生成される変換済み仮想視点映像を表示させる第3モードを、前記第1モードから前記第2モードへの切り替えの間の少なくとも一部の期間に設定することを特徴とする表示制御装置。 - 前記切替手段は、前記所定の操作に応じた前記第1モードから前記第2モードへの切り替え後における操作に応じて、前記第2モードから前記第1モードへ切り替えることを特徴とする請求項3に記載の表示制御装置。
- 前記所定の操作は、前記仮想視点の変更に関する操作であることを特徴とする請求項1乃至4のいずれか1項に記載の表示制御装置。
- 前記所定の操作は、前記第1モードから前記第2モードへの変更を指示する操作であることを特徴とする請求項1乃至4のいずれか1項に記載の表示制御装置。
- 前記切替手段は、前記所定の操作として、前記仮想視点の位置の変化量が閾値以上となる操作を前記受付手段が受け付けた場合に、前記第1モードから前記第2モードへ切り替えることを特徴とする請求項1乃至5のいずれか1項に記載の表示制御装置。
- 前記所定の操作に応じて前記第1モードから前記第2モードへ切り替えることが決定されたことに応じて、前記撮影対象空間内の所定オブジェクトの3Dデータを取得するデータ取得手段を有し、
前記生成手段は、前記受付手段により受け付けられた前記操作に応じた仮想視点に対応する仮想視点映像を、前記データ取得手段により取得された3Dデータに基づいて生成することを特徴とする請求項1乃至7の何れか1項に記載の表示制御装置。 - 前記サーバから受信した仮想視点映像は、予め設定された仮想視点の移動経路に応じた仮想視点映像であることを特徴とする請求項1乃至8の何れか1項に記載の表示制御装置。
- 前記所定の操作に応じて前記第1モードから前記第2モードへ切り替えることが決定されたことに応じて、前記撮影対象空間内の所定オブジェクトの3Dデータを取得するデータ取得手段を有し、
前記切替手段は、予め定められた仮想視点の移動経路に応じた仮想視点映像であって、前記3Dデータに基づいて生成される仮想視点映像を表示させる第4モードを、前記第2モードから前記第1モードへの切り替えの間の少なくとも一部の期間に設定することを特徴とする請求項1乃至7の何れか1項に記載の表示制御装置。 - 前記仮想視点映像には複数の仮想視点画像が含まれ、所定の動画圧縮の方式、静止画圧縮の方式、又は非圧縮の状態で処理されることを特徴とする請求項1乃至10の何れか1項に記載の表示制御装置。
- 撮影対象空間を異なる方向から撮影する複数の撮影装置により得られる複数の撮影画像に基づいて仮想視点映像を生成する生成手段を有する表示制御装置により実行される表示制御方法であって、
仮想視点映像に対応する仮想視点を指定するための操作を受け付ける受付工程と、
予め定められた仮想視点の移動経路に従ってサーバにより生成された仮想視点映像を前記サーバから受信して表示画面上に表示させる第1モードから、前記受付工程において受け付けられた前記操作に基づいて前記生成手段により生成された仮想視点映像を前記表示画面上に表示させる第2モードへ切り替える切替処理を、前記第1モードにおける所定の操作に応じて実行する第1切替工程と、
前記第2モードにおいて仮想視点を指定するための操作が一定時間行われない場合には、前記第2モードから前記第1モードへ切り替える切替処理を実行する第2切替工程と、を有することを特徴とする表示制御方法。 - 撮影対象空間を異なる方向から撮影する複数の撮影装置により得られる複数の撮影画像に基づいて仮想視点映像を生成する生成手段を有する表示制御装置により実行される表示制御方法であって、
仮想視点映像に対応する仮想視点を指定するための操作を受け付ける受付工程と、
予め定められた仮想視点の移動経路に従ってサーバにより生成された仮想視点映像を前記サーバから受信して表示画面上に表示させる第1モードから、前記受付工程において受け付けられた前記操作に基づいて前記生成手段により生成された仮想視点映像を前記表示画面上に表示させる第2モードへ切り替える切替処理を、前記第1モードにおける所定の操作に応じて実行する切替工程と、
前記サーバから受信した仮想視点映像を前記受付工程において受け付けられた前記操作に基づいて変換することによって生成される変換済み仮想視点映像を表示させる第3モードを、前記第1モードから前記第2モードへの切り替えの間の少なくとも一部の期間に設定する設定工程と、を有することを特徴とする表示制御方法。 - コンピュータを、請求項1乃至11の何れか1項に記載の表示制御装置の各手段として動作させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017146339A JP6991768B2 (ja) | 2017-07-28 | 2017-07-28 | 表示制御装置および表示制御方法 |
US16/045,568 US11196974B2 (en) | 2017-07-28 | 2018-07-25 | Display control apparatus and display control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017146339A JP6991768B2 (ja) | 2017-07-28 | 2017-07-28 | 表示制御装置および表示制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019028652A JP2019028652A (ja) | 2019-02-21 |
JP2019028652A5 JP2019028652A5 (ja) | 2020-08-20 |
JP6991768B2 true JP6991768B2 (ja) | 2022-01-13 |
Family
ID=65039123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017146339A Active JP6991768B2 (ja) | 2017-07-28 | 2017-07-28 | 表示制御装置および表示制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11196974B2 (ja) |
JP (1) | JP6991768B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021086189A (ja) * | 2019-11-25 | 2021-06-03 | キヤノン株式会社 | 情報処理装置、情報処理方法、映像処理システム、およびプログラム |
CN111158775B (zh) * | 2019-12-30 | 2021-09-14 | 联想(北京)有限公司 | 处理方法和电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002262178A (ja) | 2001-02-28 | 2002-09-13 | Hitachi Ltd | 映像表示装置 |
JP2003199074A (ja) | 2001-12-25 | 2003-07-11 | Nec Corp | ビデオ映像提示システム、ビデオ映像送出装置、ビデオ映像提示装置、ビデオ映像処理プログラム |
JP2013054569A (ja) | 2011-09-05 | 2013-03-21 | Nintendo Co Ltd | 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法 |
JP2017012397A (ja) | 2015-06-30 | 2017-01-19 | 株式会社セガゲームス | プログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3500027B2 (ja) * | 1997-01-29 | 2004-02-23 | 日本電信電話株式会社 | 映像統合装置 |
JP4933164B2 (ja) * | 2005-07-01 | 2012-05-16 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラムおよび記憶媒体 |
US20070238981A1 (en) * | 2006-03-13 | 2007-10-11 | Bracco Imaging Spa | Methods and apparatuses for recording and reviewing surgical navigation processes |
WO2009128181A1 (ja) * | 2008-04-18 | 2009-10-22 | 株式会社ソニー・コンピュータエンタテインメント | 画像表示装置、画像表示装置の制御方法及び情報記憶媒体 |
US8593558B2 (en) * | 2010-09-08 | 2013-11-26 | Apple Inc. | Camera-based orientation fix from portrait to landscape |
US9922356B1 (en) * | 2013-01-22 | 2018-03-20 | Carvana, LLC | Methods and systems for online transactions |
JP2015187797A (ja) | 2014-03-27 | 2015-10-29 | シャープ株式会社 | 画像データ生成装置および画像データ再生装置 |
-
2017
- 2017-07-28 JP JP2017146339A patent/JP6991768B2/ja active Active
-
2018
- 2018-07-25 US US16/045,568 patent/US11196974B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002262178A (ja) | 2001-02-28 | 2002-09-13 | Hitachi Ltd | 映像表示装置 |
JP2003199074A (ja) | 2001-12-25 | 2003-07-11 | Nec Corp | ビデオ映像提示システム、ビデオ映像送出装置、ビデオ映像提示装置、ビデオ映像処理プログラム |
JP2013054569A (ja) | 2011-09-05 | 2013-03-21 | Nintendo Co Ltd | 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法 |
JP2017012397A (ja) | 2015-06-30 | 2017-01-19 | 株式会社セガゲームス | プログラム |
Also Published As
Publication number | Publication date |
---|---|
US11196974B2 (en) | 2021-12-07 |
JP2019028652A (ja) | 2019-02-21 |
US20190037199A1 (en) | 2019-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10447874B2 (en) | Display control device and display control method for automatic display of an image | |
JP6433559B1 (ja) | 提供装置および提供方法、プログラム | |
JP6062512B2 (ja) | 撮像装置、情報処理システム、および画像データ送出方法 | |
JP7253279B2 (ja) | 映像配信装置、映像配信システム、映像配信方法並びに映像配信プログラム | |
US10798305B2 (en) | Control apparatus, imaging system, control method, and recording medium | |
JP7073128B2 (ja) | 通信装置、通信方法、及びプログラム | |
JP2009147824A (ja) | 撮像装置及び撮像方法 | |
JP4816704B2 (ja) | 指示システム、指示プログラム | |
JP2006287597A (ja) | カメラ装置 | |
JP6632681B2 (ja) | 制御装置、制御方法、及びプログラム | |
JP6991768B2 (ja) | 表示制御装置および表示制御方法 | |
US9621880B2 (en) | Image processor for displaying images in a 2D mode and a 3D mode | |
JP6572368B2 (ja) | 生成装置および生成方法、プログラム | |
JP3727711B2 (ja) | 画像情報処理装置 | |
US20140118513A1 (en) | Image processor | |
JP4750634B2 (ja) | 画像処理システム、画像処理装置、情報処理装置並びにプログラム | |
JP7434385B2 (ja) | 制御装置、制御方法、及びプログラム | |
JP5385953B2 (ja) | 画像処理装置 | |
WO2020250726A1 (ja) | 画像処理装置および画像処理方法 | |
JP5323117B2 (ja) | 画像処理装置および画像処理方法 | |
JP2016065958A (ja) | 表示制御システム、表示制御装置、及びプログラム | |
JP2017168984A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP5854019B2 (ja) | 端末装置、及びプログラム | |
CN117768766A (zh) | 拍摄方法、视频处理方法和拍摄设备 | |
JP4364294B2 (ja) | カメラ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200710 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200710 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210528 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211208 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6991768 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |