JP7245013B2 - 制御装置及び制御方法 - Google Patents
制御装置及び制御方法 Download PDFInfo
- Publication number
- JP7245013B2 JP7245013B2 JP2018167210A JP2018167210A JP7245013B2 JP 7245013 B2 JP7245013 B2 JP 7245013B2 JP 2018167210 A JP2018167210 A JP 2018167210A JP 2018167210 A JP2018167210 A JP 2018167210A JP 7245013 B2 JP7245013 B2 JP 7245013B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- virtual camera
- virtual
- control
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
- User Interface Of Digital Computer (AREA)
Description
仮想視点画像に対応する仮想視点を移動させるための入力を受け付ける受付手段と、
前記受付手段により受け付けられた入力に応じて前記仮想視点を制御する制御手段であって、前記仮想視点からの視線方向が特定の範囲内である場合には、所定の領域内から前記所定の領域外へ向かって前記仮想視点を移動させるための入力に応じて前記仮想視点を前記所定の領域外へ移動させ、前記仮想視点からの視線方向が前記特定の範囲外である場合には、前記所定の領域内から前記所定の領域外へ向かって前記仮想視点を移動させるための入力に応じた前記仮想視点の移動を制限する制御手段と、を有する。
図1(a)は、第1実施形態による画像処理システム10の全体構成を説明する図である。画像処理システム10は、撮影システム101、画像生成サーバ102、情報処理装置103を備える。画像処理システム10は、仮想視点画像を生成することが可能である。撮影システム101は、複数のカメラを異なる位置に配置し、多視点からの複数画像を同期撮影する。撮影システム101は、多視点から同期撮影した複数画像を、画像生成サーバ102に送信する。
第1実施形態では、境界面の法線ベクトルと移動後の仮想カメラの方向ベクトルとの間の角度を用いて解除条件を満たすか否かを判断した。第2実施形態では、移動後の仮想カメラにより取得される仮想視点画像の状態(例えば、被写体の描画比率)に基づいて解除条件を満たすか否かを判断する。以下、第2実施形態について説明する。なお、第2実施形態による画像処理システム10、情報処理装置103の構成は第1実施形態(図1(a)、(b)、(c))と同様である。
第1実施形態、第2実施形態では、ユーザ操作による仮想カメラの操作後において解除条件が満たされないと判断した場合に、制約部152によるユーザ操作の制約状態が維持される。第3実施形態では、解除条件を満たしていないと判断された場合であって、あらかじめ定められた自動操縦条件が満たされる場合には、仮想カメラが自動的に所定の規則に従って移動する。
(a)3軸コントローラ202aまたは202b上の操作により自動操縦が有効に設定されている場合、
(b)ステップS1102で、所定時間内で所定回数にわたり連続でNOと判定された場合、などがあげられる。
・移動可能範囲内に仮想カメラの位置を戻す動作、
・仮想カメラの姿勢を、例えばグラウンドの中心、世界座標の原点、あるいはあらかじめ設定した点の方向に向くように移動する動作、などがあげられる。
(a)3軸コントローラ202aまたは202b上の自動操縦ボタンをユーザが操作したこと、
(b)一定時間にわたってユーザからの操作入力が無いこと、
(c)ステップ1102において、所定時間内で所定回数にわたり連続でNOと判定されたこと、
(d)被写体の描画比率が閾値未満である状態が一定時間継続したこと、などが考えられる。
以上、本発明の実施形態について上述してきたが、本発明はこれらの特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。また、上述の実施形態の一部を適宜組み合わせてもよい。
Claims (19)
- 仮想視点画像に対応する仮想視点を移動させるための入力を受け付ける受付手段と、
前記受付手段により受け付けられた入力に応じて前記仮想視点を制御する制御手段であって、前記仮想視点からの視線方向が特定の範囲内である場合には、所定の領域内から前記所定の領域外へ向かって前記仮想視点を移動させるための入力に応じて前記仮想視点を前記所定の領域外へ移動させ、前記仮想視点からの視線方向が前記特定の範囲外である場合には、前記所定の領域内から前記所定の領域外へ向かって前記仮想視点を移動させるための入力に応じた前記仮想視点の移動を制限する制御手段と、を有することを特徴とする制御装置。 - 前記特定の範囲は、前記所定の領域の境界面の法線方向と前記仮想視点からの視線方向との成す角が所定値よりも小さい範囲であることを特徴とする請求項1に記載の制御装置。
- 前記特定の範囲は、前記仮想視点からの視線方向の仰角が所定値よりも大きい範囲であることを特徴とする請求項1に記載の制御装置。
- 前記入力が前記所定の領域内から前記所定の領域外への前記仮想視点の移動を示す場合、前記制御手段は、移動先の前記仮想視点に対応する仮想視点画像の描画範囲に存在する描画対象のオブジェクトの描画領域の前記描画範囲に占める割合が閾値よりも大きい場合に前記視線方向が前記特定の範囲内であると判定することを特徴とする請求項1に記載の制御装置。
- 前記描画領域は、3次元空間中における前記描画対象のオブジェクトの3次元モデルが存在する領域であることを特徴とする請求項4に記載の制御装置。
- 前記描画領域は、前景オブジェクトの3次元モデル、背景オブジェクトの3次元モデル、及び仮想オブジェクトの3次元モデルの少なくとも何れかが存在する領域であることを特徴とする請求項5に記載の制御装置。
- 前記仮想視点画像は、複数の撮影装置により複数の方向から撮影することで得られる複数の撮影画像に基づいて生成されることを特徴とする請求項1乃至6の何れか1項に記載の制御装置。
- 前記所定の領域は、前記複数の撮影画像の少なくとも何れかに含まれる領域であることを特徴とする請求項7に記載の制御装置。
- 前記制御手段による前記仮想視点の移動を制限する制御には、前記仮想視点を移動させるための入力を無効にする制御が含まれることを特徴とする請求項1乃至8の何れか1項に記載の制御装置。
- 前記制御手段による前記仮想視点の移動を制限する制御には、前記仮想視点の移動速度を低下させる制御が含まれることを特徴とする請求項1乃至9の何れか1項に記載の制御装置。
- 前記制御手段による前記仮想視点の移動を制限する制御には、前記仮想視点の前記所定の領域外への移動の開始を遅らせる制御が含まれることを特徴とする請求項1乃至10の何れか1項に記載の制御装置。
- 前記所定の領域外は、地中に対応する領域であることを特徴とする請求項1乃至11の何れか1項に記載の制御装置。
- 前記制御手段は、前記仮想視点が前記所定の領域外に位置する場合の前記仮想視点からの視線方向を制限することを特徴とする請求項1乃至12の何れか1項に記載の制御装置。
- 前記制御手段は、前記仮想視点が前記所定の領域外に位置し且つ前記仮想視点からの視線方向が前記特定の範囲外である状況において所定の条件が満たされた場合に、前記仮想視点からの視線方向を前記特定の範囲内の視線方向に変更することを特徴とする請求項1乃至12の何れか1項に記載の制御装置。
- 前記制御手段は、前記仮想視点が前記所定の領域外に位置する状況において所定の条件が満たされた場合に、前記仮想視点の位置を前記所定の領域内の位置に変更することを特徴とする請求項1乃至12の何れか1項に記載の制御装置。
- 仮想視点画像に対応する仮想視点を移動させるための入力を受け付ける受付工程と、
前記受付工程において受け付けられた入力に応じて前記仮想視点を制御する制御工程であって、前記仮想視点からの視線方向が特定の範囲内である場合には、所定の領域内から前記所定の領域外へ向かって前記仮想視点を移動させるための入力に応じて前記仮想視点を前記所定の領域外へ移動させ、前記仮想視点からの視線方向が前記特定の範囲外である場合には、前記所定の領域内から前記所定の領域外へ向かって前記仮想視点を移動させるための入力に応じた前記仮想視点の移動を制限する制御工程と、
を有することを特徴とする制御方法。 - 前記特定の範囲は、前記所定の領域の境界面の法線方向と前記仮想視点からの視線方向との成す角が所定値以下となる範囲であることを特徴とする請求項16に記載の制御方法。
- 前記仮想視点画像は、複数の撮影装置により複数の方向から撮影することで得られる複数の撮影画像に基づいて生成され、
前記所定の領域は、前記複数の撮影画像の少なくとも何れかに含まれる領域であることを特徴とする請求項16又は17に記載の制御方法。 - コンピュータを、請求項1乃至15のいずれか1項に記載の制御装置として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018167210A JP7245013B2 (ja) | 2018-09-06 | 2018-09-06 | 制御装置及び制御方法 |
PCT/JP2019/033550 WO2020050103A1 (ja) | 2018-09-06 | 2019-08-27 | 仮想視点の制御装置及びその制御方法 |
US17/182,416 US11558598B2 (en) | 2018-09-06 | 2021-02-23 | Control apparatus and control method for same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018167210A JP7245013B2 (ja) | 2018-09-06 | 2018-09-06 | 制御装置及び制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020042362A JP2020042362A (ja) | 2020-03-19 |
JP2020042362A5 JP2020042362A5 (ja) | 2021-10-21 |
JP7245013B2 true JP7245013B2 (ja) | 2023-03-23 |
Family
ID=69722679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018167210A Active JP7245013B2 (ja) | 2018-09-06 | 2018-09-06 | 制御装置及び制御方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11558598B2 (ja) |
JP (1) | JP7245013B2 (ja) |
WO (1) | WO2020050103A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10600245B1 (en) * | 2014-05-28 | 2020-03-24 | Lucasfilm Entertainment Company Ltd. | Navigating a virtual environment of a media content item |
JP2022051972A (ja) * | 2019-02-06 | 2022-04-04 | ソニーグループ株式会社 | 情報処理装置および方法、並びにプログラム |
CN112076470B (zh) * | 2020-08-26 | 2021-05-28 | 北京完美赤金科技有限公司 | 虚拟对象的展示方法、装置、设备 |
US12028507B2 (en) * | 2021-03-11 | 2024-07-02 | Quintar, Inc. | Augmented reality system with remote presentation including 3D graphics extending beyond frame |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012252661A (ja) | 2011-06-06 | 2012-12-20 | Nintendo Co Ltd | 画像生成プログラム、画像生成方法、画像生成装置及び画像生成システム |
JP2017212592A (ja) | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | 制御装置、制御方法、及び、プログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6226008B1 (en) * | 1997-09-04 | 2001-05-01 | Kabushiki Kaisha Sega Enterprises | Image processing device |
JP2004341572A (ja) * | 2003-05-12 | 2004-12-02 | Namco Ltd | 画像生成システム、プログラム及び情報記憶媒体 |
JP4671873B2 (ja) * | 2006-01-23 | 2011-04-20 | シャープ株式会社 | 合成映像生成システム |
JP5174522B2 (ja) * | 2008-04-18 | 2013-04-03 | 株式会社ソニー・コンピュータエンタテインメント | 画像表示装置、画像表示装置の制御方法及びプログラム |
WO2009128181A1 (ja) * | 2008-04-18 | 2009-10-22 | 株式会社ソニー・コンピュータエンタテインメント | 画像表示装置、画像表示装置の制御方法及び情報記憶媒体 |
WO2011121920A1 (ja) * | 2010-03-30 | 2011-10-06 | パナソニック株式会社 | 撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法 |
JP6309749B2 (ja) * | 2013-12-09 | 2018-04-11 | シャープ株式会社 | 画像データ再生装置および画像データ生成装置 |
WO2015184187A2 (en) | 2014-05-28 | 2015-12-03 | Children's Hospital Los Angeles | Method, system and software for assessing extubation failure |
JP6808357B2 (ja) * | 2016-05-25 | 2021-01-06 | キヤノン株式会社 | 情報処理装置、制御方法、及び、プログラム |
JP6878014B2 (ja) * | 2017-01-13 | 2021-05-26 | キヤノン株式会社 | 画像処理装置及びその方法、プログラム、画像処理システム |
JP2018167210A (ja) * | 2017-03-30 | 2018-11-01 | 株式会社Ihi | 蒸留装置 |
JP6878177B2 (ja) * | 2017-07-04 | 2021-05-26 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7366563B2 (ja) | 2019-03-26 | 2023-10-23 | キヤノン株式会社 | 画像生成装置、画像生成方法、及びプログラム |
-
2018
- 2018-09-06 JP JP2018167210A patent/JP7245013B2/ja active Active
-
2019
- 2019-08-27 WO PCT/JP2019/033550 patent/WO2020050103A1/ja active Application Filing
-
2021
- 2021-02-23 US US17/182,416 patent/US11558598B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012252661A (ja) | 2011-06-06 | 2012-12-20 | Nintendo Co Ltd | 画像生成プログラム、画像生成方法、画像生成装置及び画像生成システム |
JP2017212592A (ja) | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | 制御装置、制御方法、及び、プログラム |
Also Published As
Publication number | Publication date |
---|---|
US11558598B2 (en) | 2023-01-17 |
JP2020042362A (ja) | 2020-03-19 |
WO2020050103A1 (ja) | 2020-03-12 |
US20210176450A1 (en) | 2021-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7245013B2 (ja) | 制御装置及び制御方法 | |
JP7045218B2 (ja) | 情報処理装置および情報処理方法、プログラム | |
KR101334637B1 (ko) | 가상 카메라의 성능 시뮬레이션 | |
JP6340017B2 (ja) | 被写体と3次元仮想空間をリアルタイムに合成する撮影システム | |
JP7349793B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
JPH0785312A (ja) | 3次元動画作成装置 | |
US20210304509A1 (en) | Systems and methods for virtual and augmented reality | |
US11521346B2 (en) | Image processing apparatus, image processing method, and storage medium | |
US11847735B2 (en) | Information processing apparatus, information processing method, and recording medium | |
CA3089311A1 (en) | Calibration to be used in an augmented reality method and system | |
JP2021135776A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JPH11259685A (ja) | 3次元cg実写映像融合装置 | |
JP7514346B2 (ja) | 画像処理装置及び方法、プログラム | |
JP7296735B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7387286B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7341674B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
TWI610565B (zh) | 立體影像物件互動方法、系統與立體互動影片後製方法 | |
Yu et al. | A two-view VR shooting theater system | |
JP7494153B2 (ja) | 生成装置、生成方法、及び、プログラム | |
US11917117B2 (en) | Processing system, processing method and non-transitory computer-readable storage medium | |
EP4400954A1 (en) | Image processing apparatus, image processing method, and program | |
WO2024070762A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP2023184358A (ja) | 画像処理システム、画像処理システムの制御方法、及びプログラム | |
JP2023019727A (ja) | 撮影制御システム及びその動作方法 | |
JP2023163060A (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210903 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210903 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230310 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7245013 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |