JP6627935B2 - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents
情報処理装置、情報処理方法、および情報処理プログラム Download PDFInfo
- Publication number
- JP6627935B2 JP6627935B2 JP2018160378A JP2018160378A JP6627935B2 JP 6627935 B2 JP6627935 B2 JP 6627935B2 JP 2018160378 A JP2018160378 A JP 2018160378A JP 2018160378 A JP2018160378 A JP 2018160378A JP 6627935 B2 JP6627935 B2 JP 6627935B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information processing
- unit
- dimensional
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 75
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000003384 imaging method Methods 0.000 claims description 22
- 238000010586 diagram Methods 0.000 description 25
- 238000000034 method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/06—Curved planar reformation of 3D line structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Studio Circuits (AREA)
- Cameras In General (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
Description
θ=arccos((2r2−d2)/4r) ・・・式(2)
12 情報処理装置
16 表示部
18C UI部
58 貼付部
60 取得部
62 生成部
64 算出部
66 表示制御部
Claims (10)
- 複数の撮像素子によって得られた複数の画像から全天球パノラマ画像を生成する全天球パノラマ画像生成部と、
前記全天球パノラマ画像と共に表示する平面画像を生成する平面画像生成部と、
前記全天球パノラマ画像及び前記全天球パノラマ画像の前面に前記平面画像を表示部に表示する表示制御部と、
を備え、
前記全天球パノラマ画像生成部は、前記複数の撮像素子によって得られた複数の画像を仮想三次元空間の内壁に沿って貼り付けて前記全天球パノラマ画像を生成し、
前記平面画像生成部は、前記全天球パノラマ画像と共に表示する埋込画像を二次元平面に貼り付けて前記平面画像を生成し、
前記二次元平面を、前記仮想三次元空間の内部に配置する、
情報処理装置。 - 前記平面画像は、ユーザによる操作指示によって指定される画像である、
請求項1に記載の情報処理装置。 - 前記全天球パノラマ画像生成部は、前記複数の撮像素子によって得られた複数の画像を前記仮想三次元空間に配置した仮想三次元球体の内壁に沿って貼り付けて前記全天球パノラマ画像を生成する、請求項1に記載の情報処理装置。
- 前記仮想三次元球体の中心点から前記内壁へ向かう視線方向と前記平面画像の垂線とが平行となる姿勢で、前記平面画像を前記内壁より前記中心点側に配置する配置位置を算出する算出部、
をさらに備える請求項3に記載の情報処理装置。 - 前記表示制御部は、前記仮想三次元球体の内壁に沿って前記全天球パノラマ画像を貼り付け、且つ前記配置位置に前記平面画像を配置した状態を、前記中心点から前記視線方向に視認した二次元画像に変換した表示画像を表示部に表示する、請求項4に記載の情報処理装置。
- 前記仮想三次元球体は、断面が真円形状の球体、または断面が楕円形状の楕円体である、請求項3に記載の情報処理装置。
- 前記平面画像は、文字画像を含む、請求項1〜請求項6の何れか1項に記載の情報処理装置。
- 前記埋込画像を前記埋込画像の形状の前記二次元平面に貼り付けた前記平面画像を生成する生成部を備える、請求項1に記載の情報処理装置。
- 複数の撮像素子によって得られた複数の画像から全天球パノラマ画像を生成する第1生成ステップと、
前記全天球パノラマ画像と共に表示する平面画像を生成する第2生成ステップと、
前記全天球パノラマ画像及び前記全天球パノラマ画像の前面に前記平面画像を表示部に表示する表示ステップと、
を含み、
前記第1生成ステップは、前記複数の撮像素子によって得られた複数の画像を仮想三次元空間の内壁に沿って貼り付けて前記全天球パノラマ画像を生成し、
前記第2生成ステップは、前記全天球パノラマ画像と共に表示する埋込画像を二次元平面に貼り付けて前記平面画像を生成し、
前記二次元平面を、前記仮想三次元空間の内部に配置する、
情報処理方法。 - 複数の撮像素子によって得られた複数の画像から全天球パノラマ画像を生成する第1生成ステップと、
前記全天球パノラマ画像と共に表示する平面画像を生成する第2生成ステップと、
前記全天球パノラマ画像及び前記全天球パノラマ画像の前面に前記平面画像を表示部に表示する表示ステップと、
をコンピュータに実行させるための情報処理プログラムであって、
前記第1生成ステップは、前記複数の撮像素子によって得られた複数の画像を仮想三次元空間の内壁に沿って貼り付けて前記全天球パノラマ画像を生成し、
前記第2生成ステップは、前記全天球パノラマ画像と共に表示する埋込画像を二次元平面に貼り付けて前記平面画像を生成し、
前記二次元平面を、前記仮想三次元空間の内部に配置する、
情報処理プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015077766 | 2015-04-06 | ||
JP2015077766 | 2015-04-06 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017510980A Division JP6394794B2 (ja) | 2015-04-06 | 2016-04-05 | 情報処理装置、情報処理方法、および情報処理プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019218331A Division JP6816812B2 (ja) | 2015-04-06 | 2019-12-02 | プログラムおよび記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019024203A JP2019024203A (ja) | 2019-02-14 |
JP6627935B2 true JP6627935B2 (ja) | 2020-01-08 |
Family
ID=57072602
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017510980A Expired - Fee Related JP6394794B2 (ja) | 2015-04-06 | 2016-04-05 | 情報処理装置、情報処理方法、および情報処理プログラム |
JP2018160378A Active JP6627935B2 (ja) | 2015-04-06 | 2018-08-29 | 情報処理装置、情報処理方法、および情報処理プログラム |
JP2019218331A Active JP6816812B2 (ja) | 2015-04-06 | 2019-12-02 | プログラムおよび記録媒体 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017510980A Expired - Fee Related JP6394794B2 (ja) | 2015-04-06 | 2016-04-05 | 情報処理装置、情報処理方法、および情報処理プログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019218331A Active JP6816812B2 (ja) | 2015-04-06 | 2019-12-02 | プログラムおよび記録媒体 |
Country Status (6)
Country | Link |
---|---|
US (2) | US10692409B2 (ja) |
EP (1) | EP3282687B1 (ja) |
JP (3) | JP6394794B2 (ja) |
CN (1) | CN107431765B (ja) |
CA (1) | CA2981134A1 (ja) |
WO (1) | WO2016163342A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10242474B2 (en) | 2015-07-15 | 2019-03-26 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
US11095869B2 (en) | 2015-09-22 | 2021-08-17 | Fyusion, Inc. | System and method for generating combined embedded multi-view interactive digital media representations |
US10147211B2 (en) | 2015-07-15 | 2018-12-04 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
US10222932B2 (en) | 2015-07-15 | 2019-03-05 | Fyusion, Inc. | Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations |
US11006095B2 (en) | 2015-07-15 | 2021-05-11 | Fyusion, Inc. | Drone based capture of a multi-view interactive digital media |
US11783864B2 (en) | 2015-09-22 | 2023-10-10 | Fyusion, Inc. | Integration of audio into a multi-view interactive digital media representation |
US11202017B2 (en) | 2016-10-06 | 2021-12-14 | Fyusion, Inc. | Live style transfer on a mobile device |
US10339627B2 (en) | 2016-10-10 | 2019-07-02 | Gopro, Inc. | Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image |
US10437879B2 (en) | 2017-01-18 | 2019-10-08 | Fyusion, Inc. | Visual search using multi-view interactive digital media representations |
US10313651B2 (en) | 2017-05-22 | 2019-06-04 | Fyusion, Inc. | Snapshots at predefined intervals or angles |
CN107169924B (zh) * | 2017-06-14 | 2020-10-09 | 歌尔科技有限公司 | 三维全景图像的建立方法和*** |
US11069147B2 (en) | 2017-06-26 | 2021-07-20 | Fyusion, Inc. | Modification of multi-view interactive digital media representation |
US10592747B2 (en) | 2018-04-26 | 2020-03-17 | Fyusion, Inc. | Method and apparatus for 3-D auto tagging |
CN111954054B (zh) * | 2020-06-05 | 2022-03-04 | 筑觉绘(上海)科技有限公司 | 图像处理方法、***、存储介质及计算机设备 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6317127B1 (en) * | 1996-10-16 | 2001-11-13 | Hughes Electronics Corporation | Multi-user real-time augmented reality system and method |
JP3199231B2 (ja) | 1997-05-27 | 2001-08-13 | 日本アイ・ビー・エム株式会社 | 3次元形状モデルへの情報の埋め込み方法及びシステム |
JP2004214830A (ja) * | 2002-12-27 | 2004-07-29 | Iwane Kenkyusho:Kk | 一部リアルタイム画像表示装置 |
JP4980617B2 (ja) * | 2005-08-26 | 2012-07-18 | 株式会社岩根研究所 | 二次元図面と映像の合成表示装置 |
JP2009187306A (ja) * | 2008-02-06 | 2009-08-20 | G1 Systems Inc | 映像閲覧システム |
CN102129717A (zh) * | 2011-03-09 | 2011-07-20 | 上海诚明融鑫科技有限公司 | 一种实现三维全景空间中通过热点浏览全景的方法和*** |
JP6003135B2 (ja) | 2012-03-22 | 2016-10-05 | 株式会社リコー | 画像処理装置、画像処理方法及び撮像装置 |
US9215448B2 (en) * | 2013-01-31 | 2015-12-15 | Here Global B.V. | Stereo panoramic images |
JP6079297B2 (ja) | 2013-02-26 | 2017-02-15 | 株式会社リコー | 編集装置、編集方法、及び編集プログラム |
US9618747B2 (en) * | 2013-03-13 | 2017-04-11 | Jason Villmer | Head mounted display for viewing and creating a media file including omnidirectional image data and corresponding audio data |
-
2016
- 2016-04-05 EP EP16776508.0A patent/EP3282687B1/en active Active
- 2016-04-05 WO PCT/JP2016/061059 patent/WO2016163342A1/ja active Application Filing
- 2016-04-05 JP JP2017510980A patent/JP6394794B2/ja not_active Expired - Fee Related
- 2016-04-05 CN CN201680019781.6A patent/CN107431765B/zh active Active
- 2016-04-05 CA CA2981134A patent/CA2981134A1/en not_active Abandoned
-
2017
- 2017-09-22 US US15/712,285 patent/US10692409B2/en active Active
-
2018
- 2018-08-29 JP JP2018160378A patent/JP6627935B2/ja active Active
-
2019
- 2019-12-02 JP JP2019218331A patent/JP6816812B2/ja active Active
-
2020
- 2020-05-15 US US16/875,230 patent/US10923004B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN107431765A (zh) | 2017-12-01 |
CN107431765B (zh) | 2020-11-27 |
EP3282687A1 (en) | 2018-02-14 |
EP3282687B1 (en) | 2020-11-11 |
CA2981134A1 (en) | 2016-10-13 |
JP6816812B2 (ja) | 2021-01-20 |
WO2016163342A1 (ja) | 2016-10-13 |
US20200279515A1 (en) | 2020-09-03 |
JPWO2016163342A1 (ja) | 2017-11-16 |
US10923004B2 (en) | 2021-02-16 |
JP2020053080A (ja) | 2020-04-02 |
US10692409B2 (en) | 2020-06-23 |
EP3282687A4 (en) | 2018-03-21 |
JP6394794B2 (ja) | 2018-09-26 |
US20180012529A1 (en) | 2018-01-11 |
JP2019024203A (ja) | 2019-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6627935B2 (ja) | 情報処理装置、情報処理方法、および情報処理プログラム | |
CN105979123B (zh) | 图像处理***、图像处理方法 | |
JP2014131215A (ja) | 画像管理システム、画像管理方法、及びプログラム | |
JP2016048856A (ja) | 画像表示システム、画像表示装置、画像表示方法、およびプログラム | |
JP6455474B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2021039468A (ja) | 撮影装置、通信システム、通信方法およびプログラム | |
JP2013027021A (ja) | 全方位撮像装置及び全方位撮像方法 | |
US20180124310A1 (en) | Image management system, image management method and recording medium | |
JP2022008799A (ja) | 画像管理システム、及び画像管理方法 | |
US10147160B2 (en) | Image management apparatus and system, and method for controlling display of captured image | |
US11195295B2 (en) | Control system, method of performing analysis and storage medium | |
JP2016194783A (ja) | 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム | |
JP6256513B2 (ja) | 撮像システム、撮像装置、方法およびプログラム | |
JP2016194784A (ja) | 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム | |
JP2018026642A (ja) | 画像管理システム、画像通信システム、画像管理方法、及びプログラム | |
JP6586819B2 (ja) | 画像管理システム、画像通信システム、画像管理方法、及びプログラム | |
JP6610741B2 (ja) | 画像表示システム、画像表示装置、画像表示方法、およびプログラム | |
JP2017184025A (ja) | 通信端末、画像通信システム、画像送信方法、画像表示方法、及びプログラム | |
JP2020088571A (ja) | 管理システム、情報処理システム、情報処理方法およびプログラム | |
US20240257301A1 (en) | Information processing apparatus and information processing system | |
JP6879350B2 (ja) | 画像表示システム、画像表示装置、画像表示方法、およびプログラム | |
JP6816403B2 (ja) | 画像管理システム、画像通信システム、画像管理方法、及びプログラム | |
JP2022130180A (ja) | 画像処理方法、プログラム、画像処理装置および画像処理システム | |
JP2020086860A (ja) | 管理システム、情報処理システム、情報処理方法およびプログラム | |
JP2013078038A (ja) | 撮像装置、画像処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190827 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191118 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6627935 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |