JP6394794B2 - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents
情報処理装置、情報処理方法、および情報処理プログラム Download PDFInfo
- Publication number
- JP6394794B2 JP6394794B2 JP2017510980A JP2017510980A JP6394794B2 JP 6394794 B2 JP6394794 B2 JP 6394794B2 JP 2017510980 A JP2017510980 A JP 2017510980A JP 2017510980 A JP2017510980 A JP 2017510980A JP 6394794 B2 JP6394794 B2 JP 6394794B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- virtual
- dimensional
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims description 67
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000003384 imaging method Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 22
- 238000000034 method Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/06—Curved planar reformation of 3D line structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Studio Circuits (AREA)
- Cameras In General (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
Description
本発明は、情報処理装置、情報処理方法、および情報処理プログラムに関する。
全方位の範囲の撮影によって得た全天球パノラマ画像を、仮想三次元球体の内壁に貼り付けて表示する技術が開示されている。
また、全天球パノラマ画像に、日時、作成者、バージョンなどを示す各種画像を埋め込んで表示する技術が開示されている。
しかしながら、従来では、全天球パノラマ画像に他の画像を埋め込む場合、埋め込む埋込画像が三次元球体に沿って歪んで表示されるという問題があった。
上述した課題を解決し、目的を達成するために、本発明に係る情報処理装置は、全方位の範囲の撮影によって得られた全天球パノラマ画像を、仮想三次元空間に配置した仮想三次元球体の内壁に沿って貼り付ける貼付部と、前記全天球パノラマ画像に埋め込む埋込画像を取得する取得部と、前記埋込画像を二次元平面に貼り付けた平面画像を生成する生成部と、前記仮想三次元球体の中心点から前記内壁へ向かう視線方向と前記平面画像の垂線とが平行となる姿勢で、前記平面画像を前記内壁より前記中心点側に配置するための配置位置を算出する算出部と、前記仮想三次元球体の内壁に沿って前記全天球パノラマ画像を貼り付け、且つ前記配置位置に前記平面画像を配置した状態を、前記中心点から前記視線方向に視認した二次元画像に変換した表示画像を表示部に表示する表示制御部と、を備える。
本発明によれば、全天球パノラマ画像に埋め込む埋込画像を、歪みなく表示することができる、という効果を奏する。
以下、本発明の実施の形態について説明する。
図1は、本実施の形態の情報処理システム10の概略図である。
情報処理システム10は、情報処理装置12、表示部16、及び操作部18を備える。これらの情報処理装置12、表示部16、及び操作部18は、ネットワーク等の無線または有線の通信部を介して通信可能に接続される。
通信部には、例えば、短距離無線技術、移動通信システムによる無線通信網、及びインターネット等を用いる。短距離無線技術は、Bluetooth(登録商標)等が挙げられる。移動通信システムによる無線通信網には、3G(3rd Generation)や、WiMAX(Worldwide Interoperability for Microwave Access)等が挙げられる。
表示部16は、画像を表示する一般的な表示装置である。例えば、液晶ディスプレイや、有機ELディスプレイなどである。
操作部18は、ユーザから各種操作指示を受け付ける機能を有するものである。図1に示す例では、操作部18は、キーボード18A、マウス18B、UI部18Cを備える。
UI部18Cは、ユーザからの操作入力を受け付けると共に各種画像を表示するタッチパネル機能を備えた装置である。すなわち、UI部18Cは、表示部としての機能を備える。
UI部18Cには、例えば、スマートフォン、タブレット端末、ノート型パソコン、デスクトップ型パソコン、またはPDA(Personal Data Assistant)等のコンピュータを用いる。UI部18Cと、情報処理装置12とは、図1では有線で接続されているように示されているが、無線接続であっても良い。特に、無線接続の場合には、インターネット上に情報処理装置12を置き、ネットワーク越しに、UI部18Cが情報処理装置12を操作し、編集がなされても良い。
本実施の形態では、UI部18Cとして、スマートフォンまたはタブレット端末を用いる場合を説明するが、タッチパネル機能を備えた構成であればよい。
なお、情報処理システム10は、キーボード18A、マウス18B、UI部18C以外の他の種類の操作部を備えた構成であってもよいし、更に複数の撮影装置14を備えた構成であってもよい。
情報処理装置12は、素材の表示や編集を実行するコンピュータである。本実施の形態では、表示部16やUI部18Cへ画像を表示する制御を行う。
なお、UI部18Cがスマートフォンまたはタブレット端末などのコンピュータである場合、情報処理装置12の機能を、UI部18Cへ設けた構成としてもよい。
本実施の形態では、情報処理装置12は、全天球パノラマ画像を表示部16またはUI部18Cへ表示する。
全天球パノラマ画像とは、全天球(360°の全方位)の範囲の撮影によって得られるパノラマ画像である。言い換えると、全天球パノラマ画像とは、4πラジアンの立体角内の像を得て、全天球の範囲の撮影によって得られるパノラマ画像である。パノラマ画像とは、画角が最終出力する表示装置のアスペクト比より広い画像である。
以下、説明を簡略化するために、情報処理装置12は、表示部16に全天球パノラマ画像を表示する場合を説明する。しかし、情報処理装置12は、UI部18Cへ全天球パノラマ画像を表示してもよい。また、UI部18Cが情報処理装置12の機能を備えた構成である場合、UI部18Cは、UI部18Cに設けられた表示部に、全天球パノラマ画像を表示すればよい。
情報処理装置12は、例えば、全天球パノラマ画像を予め記憶部に記憶し、記憶部から全天球パノラマ画像を取得してもよい。また、情報処理装置12は、全天球パノラマ画像を、撮影装置から取得してもよい。
全天球パノラマ画像を撮影する撮影装置について説明する。図2(図2A〜図2C)は、撮影装置14の外観模式図である。なお、図2Aは撮影装置14の側面図である。図2Bは、撮影装置14の、図2Aとは反対側の側面図である。図2Cは、撮影装置14の平面図である。
図2Aに示すように、撮影装置14は、例えば、人間が片手で持つことができる大きさである。なお、撮影装置14の大きさは、このような大きさに限られない。撮影装置14は、全天球パノラマ画像を得る撮影装置である。
図2(図2A〜図2C)に示すように、撮影装置14の上部には、正面側(一方の面側)にレンズ20A及び背面側(他方の面側)にレンズ20Bが設けられている。この各々の180度以上の画角を有する広角レンズを介して、像が導かれ、各々の撮像素子に像が形成される。なお、撮像素子としては、CCDや、CMOS等が挙げられる。また、図2Bに示されるように、撮影装置14の正面側には、シャッターボタン等の操作部14Cが設けられている。
全天球パノラマ画像を得る撮影装置14としては、例えば、特開2014−165764号公報に示される撮影装置を用いればよい。
次に、図3を用いて、撮影装置14の使用状況の一例を説明する。図3は、撮影装置14の使用状況の一例を示す図である。撮影装置14は、図3に示すように、ユーザが手に持ってユーザの周りの被写体を撮影する。この場合、レンズ20A及びレンズ20Bから導かれた像を各々の撮像素子によって、ユーザの周りの被写体が撮像され、2つの半球画像が得られ、4πラジアンの立体角内の像が得られる。
次に、図4を用いて、撮影装置14で撮影された画像を説明する。図4(図4A〜図4C)は、撮影装置14で撮影された画像の説明図である。図4Aはレンズ20Aで撮影された半球画像42A、図4Bはレンズ20Bで撮影された半球画像42B、図4Cはメルカトル図法により表された全天球パノラマ画像42を示した図である。
図4Aに示すように、レンズ20Aは広角レンズの一つである魚眼レンズであるため、このレンズ20Aによって得られた画像は、湾曲した半球画像42Aとなる。また、図4Bに示されているように、レンズ20Bは広角レンズの一つである魚眼レンズであるため、このレンズ20Bによって得られた画像は、湾曲した半球画像42Bとなる。そして、半球画像42Aと、半球画像42Bとは、撮影装置14によって合成され、図4Cに示される、全天球パノラマ画像42が作成される。
図1へ戻り、撮影装置14で得られた全天球パノラマ画像42は、情報処理装置12と接続されると、撮影装置14から情報処理装置12へ送信される。なお、本実施の形態では、撮影装置14は、全天球パノラマ画像42を、情報処理装置12へ送信する。
情報処理装置12では、全天球パノラマ画像42を撮影装置14から取得する。
そして、情報処理装置12では、OpenGL(Open Graphics Library)を利用することで、取得した全天球パノラマ画像42を表示部16やUI部18C等へ表示する。
次に、情報処理装置12のハードウェア構成を説明する。
図5は、情報処理装置12のハードウェア構成の説明図である。
情報処理装置12は、情報処理装置12全体の動作を制御するCPU(Central Processing Unit)30、IPL等のCPU30の駆動に用いられるプログラムを記憶したROM32、CPU30のワークエリアとして使用されるRAM34、情報処理装置12用のプログラム等の各種データを記憶するHD38、CPU30の制御にしたがってHD38に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)36を備える。
また、情報処理装置12は、フラッシュメモリ等の記録メディア506に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ507、各種画像を表示するディスプレイ508、撮影装置14及び操作部18(キーボード18A、マウス18B、UI部18C)と通信するためのI/F509、着脱可能な記録媒体の一例としてのCD−ROM(Compact Disc Read Only Memory)513に対する各種データの読み出し又は書き込みを制御するCD−ROMドライブ514、及び、上記各構成要素を電気的に接続するバスライン510を備える。
情報処理装置12で実行される情報処理を実行するための情報処理プログラムは、ROM32やその他の不揮発性記憶媒体に予め組み込まれて提供される。また、情報処理装置12で実行される情報処理プログラムは、インストール可能な形式または実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体(例えば、CD−ROM513)に記録し提供することも可能である。
また、情報処理装置12で実行される情報処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供または配布するように構成してもよい。
また、情報処理装置12で実行される情報処理プログラムを、ROM32等に予め組み込んで提供するように構成してもよい。
次に、情報処理装置12の機能的構成を説明する。
図6は、情報処理装置12の機能的構成を示す模式図である。情報処理装置12は、制御部52と、UI部18C等の操作部18と、HD(ハードディスクドライブ)38と、を備える。制御部52は、撮影装置14、表示部16、UI部18C等の操作部18、及びHD38に電気的に接続されている。
制御部52は、情報処理装置12の全体を制御し、上述したCPU30、ROM32、RAM34等を含むコンピュータである。なお、制御部52は、回路などで構成してもよい。
制御部52は、接続部54、取込部56、貼付部58、取得部60、生成部62、算出部64、および表示制御部66を備える。
接続部54、取込部56、貼付部58、取得部60、生成部62、算出部64、および表示制御部66の一部またはすべては、例えば、CPUなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現すればよい。なお、これらの接続部54、取込部56、貼付部58、取得部60、生成部62、算出部64、および表示制御部66の一部またはすべては、IC(Integrated Circuit)などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
具体的には、情報処理装置12で実行される情報処理プログラムは、上述した各部(接続部54、取込部56、貼付部58、取得部60、生成部62、算出部64、および表示制御部66)を含むモジュール構成となっており、実際のハードウェアとしてはCPU30が記憶媒体から情報処理プログラムを読み出して実行することにより、上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。
接続部54は、撮影装置14との接続を確立する。接続部54は、例えば、情報処理装置12に撮影装置14が有線または無線により接続された状態で、撮影装置14との間で予め定めた通信プロトコルに従って接続確立のための通信制御を行う。これによって、接続部54は、撮影装置14との接続を確立する。
取込部56は、撮影装置14から全天球パノラマ画像42を取り込む。なお、撮影装置14から取り込んだ全天球パノラマ画像42をHD38へ記憶してもよい。この場合、取込部56は、HD38から全天球パノラマ画像42を取り込んでもよい。
貼付部58は、全方位の範囲の撮影によって得られた全天球パノラマ画像42を、仮想三次元空間に配置した仮想三次元球体の内壁に沿って貼り付ける。図7は、貼り付けの説明図である。
貼付部58は、仮想三次元空間に仮想三次元球体CSを配置する。仮想三次元球体CSは、断面が真円形状の球体であってもよいし、断面が楕円形状の楕円体であってもよい。図7には、一例として、断面が真円形状の球体の仮想三次元球体CSを示した。
そして、貼付部58は、この仮想三次元球体CSの内壁Aに全天球パノラマ画像42を貼り付ける。貼り付けた全天球パノラマ画像42を、全天球パノラマ画像40と称して説明する。なお、貼付部58は、仮想三次元球体CSへの全天球パノラマ画像42の貼り付けを、OpenGLなどの3Dグラフィックエンジンにより実現すればよい。
図8は、全天球パノラマ画像40の一例を示す図である。図8に示すように、全天球パノラマ画像40は、全天球パノラマ画像42(図4C参照)を仮想三次元球体CSの内壁Aに貼り付けたことで得られる。なお、図8は、仮想三次元球体CS(図7参照)の中心点Pからある視線方向に内壁Aを観察した状態を示す、全天球パノラマ画像40である。
図6に戻り、取得部60は、全天球パノラマ画像42に埋め込む埋込画像を取得する。
埋込画像は、全天球パノラマ画像42に埋め込む対象の画像であればよく、ユーザによる操作部18などの操作指示によって指定される。埋込画像は、例えば、文字を示す文字画像などである。
生成部62は、埋込画像を二次元平面に貼り付けた形状の平面画像を生成する。すなわち、生成部62は、仮想三次元空間に二次元平面(例えば、板状部材)を配置し、この二次元平面に埋込画像を貼り付けることで、平面画像を生成する。
図9は、埋込画像44および平面画像46の一例を示す模式図である。図9に示すように埋込画像44は、例えば、「○○ビル」などの文字画像である。生成部62は、例えば、埋込画像44を二次元平面に貼り付けた平面画像46を生成する。
また、取得部60は、埋込画像44の形状を示す形状情報を更に取得してもよい。例えば、ユーザは、UI部18Cを操作することで、埋め込む対象の画像、および埋込画像44の形状を示す形状情報を入力する。取得部60は、UI部18Cから、埋め込む対象の画像である埋込画像44と、形状情報と、を取得すればよい。また、取得部60は、埋込画像44のサイズを示すサイズ情報を更に取得してもよい。サイズについても、ユーザによるUI部18Cの操作指示によって適宜入力可能とすればよい。サイズ情報は、埋込画像44の表示サイズを示す情報である。
平面画像46の形状は、埋込画像44が入る形状であればよい。取得部60が、埋込画像44の形状を示す形状情報を取得した場合、生成部62は、埋込画像44を形状情報によって示される形状の二次元平面に貼り付けた平面画像46を生成すればよい。
このため、例えば、形状情報が四角形の矩形状を示す場合、生成部62は、埋込画像44を四角形の矩形状の二次元平面に貼り付けた平面画像46を生成する。また、例えば、形状情報が楕円状を示す場合、生成部62は、埋込画像44を楕円形状の二次元平面に貼り付けた平面画像46を生成すればよい。
また、取得部60がサイズ情報を取得した場合、生成部62は、サイズ情報によって示される表示サイズの平面画像46を生成すればよい。
図6に戻り、算出部64は、平面画像46を仮想三次元球体CSの内壁Aより中心点P側に配置するための配置位置を算出する。このとき、算出部64は、仮想三次元球体CSの中心点Pから内壁Aへ向かう視線方向と、平面画像46の垂線と、が平行となる姿勢で、且つ、平面画像46が仮想三次元球体CSの内壁Aより中心点P側に配置されるように(仮想三次元球体CS内に収まるように)、配置位置を算出する。
図10は、配置位置の算出の説明図である。
まず、算出部64は、中心点Pから内壁Aへ向かう視線方向Lと、平面画像46の垂線と、が平行となるように、平面画像46を配置する。
そして、算出部64は、この姿勢を維持したままで平面画像46の全体が仮想三次元球体CS内に収まるように配置するためには、平面画像46を視線方向Lに沿って内壁A側から中心点P側にどのくらい移動させる必要があるかを算出する。
詳細には、算出部64は、平面画像46のサイズを取得する。算出部64は、取得部60が取得したサイズ情報によって示されるサイズを取得してもよいし、生成部62が生成した平面画像46からサイズを取得してもよい。
具体的には、算出部64は、平面画像46の最大長をサイズdとして取得する。最大長とは、平面画像46を構成する辺や対角線の内の最大の長さを示す。平面画像46が矩形状である場合、算出部64は、平面画像46の対角線の長さをサイズdとして取得する。また、平面画像46が円状(真円形状)である場合、算出部64は、平面画像46の直径をサイズdとして取得する。
次に、算出部64は、仮想三次元球体CSの半径rと、取得したサイズdと、から、該半径rの2辺と、サイズdの1辺と、の3辺からなる三角形の、中心点Pを中心とした半径rの2辺により形成される角度θを下記式(1)および式(2)から算出する。
cosθ=(2r2−d2)/4r ・・・式(1)
θ=arccos((2r2−d2)/4r) ・・・式(2)
θ=arccos((2r2−d2)/4r) ・・・式(2)
次に、算出部64は、仮想三次元球体CSの半径rと、算出した角度θと、から、平面画像46を視線方向Lに沿って内壁A側から中心点P側に移動させる移動量hを、下記式(3)から算出する。
h=r×(1−cos(θ/2)) ・・・式(3)
そして、算出部64は、平面画像46の垂線が視線方向Lに対して平行となる姿勢を維持しつつ、平面画像46を、内壁Aから視線方向Lに沿って中心点Pに移動量h移動させた位置(すなわち、中心点Pから(r−h)の位置)を、平面画像46の配置位置として算出する。
このため、図10に示すように、算出した配置位置(内壁Aから移動量hの位置)に配置した平面画像46は、垂線が視線方向Lに対して平行で、且つ、仮想三次元球体CS内に収まった状態となる。また、平面画像46は、仮想三次元球体CSの内壁Aより中心点P側の位置に配置された状態となる。
図6に戻り、表示制御部66は、仮想三次元球体CSの内壁Aに全天球パノラマ画像40を貼り付け、且つ、算出部64で算出した配置位置に平面画像46を配置した状態を、中心点Pから視線方向Lに視認した二次元画像に変換した表示画像を生成する。
該状態の、二次元画像への変換には、3Dグラフィックエンジン(OpenGLなど)を用いればよい。
そして、表示制御部66は、生成した表示画像を表示部16または(UI部18C)へ表示する。
図11は、表示画像48の一例を示す図である。図11に示すように、表示制御部66は、表示画像48を表示部16またはUI部18Cへ表示する。
表示画像48は、全天球パノラマ画像40上に、埋込画像44を二次元平面に貼り付けた平面画像46を合成した画像となる。
ここで、全天球パノラマ画像40は、仮想三次元球体CSの内壁Aに全天球パノラマ画像42を貼り付けた画像である。このため、実際の風景に比べて歪んだ画像となっている(図11参照)。
ここで、表示画像48は、埋込画像44を二次元平面に貼り付けた平面画像46を仮想三次元球体CS内の算出された配置位置に、中心点Pから内壁Aへ向かう視線方向Lと平面画像46の垂線とが平行となる姿勢で配置し、中心点Pから視線方向Lに視認した状態を示す画像である。すなわち、埋込画像44は、全天球パノラマ画像40による三次元モデルの手前側(中心点P側)に配置されている。
このため、表示画像48に含まれる平面画像46は、視線方向Lに対して垂直に視認した状態を示す画像となる。すなわち、平面画像46は、歪みのない状態で表示される。
次に、情報処理装置12の制御部52で実行する編集処理を説明する。
図12は、情報処理装置12の制御部52で実行する情報処理の手順を示すフローチャートである。
まず、取込部56が、表示部16に表示する対象の全天球パノラマ画像42を取得する(ステップS100)。例えば、ユーザは、UI部18Cを操作することで、表示対象の全天球パノラマ画像42を指示する。取込部56は、UI部18Cから受け付けた表示対象の全天球パノラマ画像42を、HD38から取得する。なお、取込部56は、撮影装置14から全天球パノラマ画像42を取得してもよい。
次に、貼付部58が、ステップS100で取得した全天球パノラマ画像42を、仮想三次元空間に配置した仮想三次元球体CSの内壁Aに沿って貼り付ける(ステップS102)(図7、図8参照)。
次に、取得部60が、全天球パノラマ画像42に埋め込む埋込画像44を取得する(ステップS104)。次に、生成部62が、埋込画像44を二次元平面に貼り付けることで、平面画像46を生成する(ステップS106)。
次に、算出部64が、平面画像46を仮想三次元球体CSの内壁Aより中心点P側に配置するための配置位置を算出する(ステップS108)(詳細後述)。
次に、表示制御部66が、仮想三次元球体CSの内壁Aに全天球パノラマ画像40を貼り付け、且つ、ステップS108で算出した配置位置に平面画像46を配置する(ステップS110)。そして、表示制御部66は、この状態を、中心点Pから視線方向Lに視認した二次元画像に変換した表示画像48を生成する。
そして、表示制御部66は、生成した表示画像を表示部16または(UI部18C)へ表示する(ステップS112)。そして、本ルーチンを終了する。
次に、図12のステップS108の配置位置算出処理を説明する。図13は、配置位置算出処理の手順を示すフローチャートである。
まず、算出部64は、中心点Pから内壁Aへ向かう視線方向Lと、平面画像46の垂線と、が平行となるように、平面画像46を配置する。そして、算出部64は、平面画像46のサイズを取得する(ステップS200)。例えば、算出部64は、平面画像46の最大長をサイズdとして取得する。
次に、算出部64は、仮想三次元球体CSの半径rと、取得したサイズdと、から、該半径rの2辺と、サイズdの1辺と、の3辺からなる三角形の、中心点Pを中心とした半径rの2辺により形成される角度θを上記式(1)および上記式(2)から算出する(ステップS202)。
次に、算出部64は、平面画像46を内壁Aから視線方向Lに沿って中心点Pに移動量h移動させた位置(すなわち、中心点Pから(r−h)の位置)を、平面画像46の配置位置として算出する(ステップS204)。そして、本ルーチンを終了する。
以上説明したように、本実施の形態の情報処理装置12は、貼付部58と、取得部60と、生成部62と、算出部64と、表示制御部66と、を備える。貼付部58は、全方位の範囲の撮影によって得られた全天球パノラマ画像42を、仮想三次元空間に配置した仮想三次元球体CSの内壁Aに沿って貼り付ける。取得部60は、全天球パノラマ画像42に埋め込む埋込画像44を取得する。生成部62は、埋込画像44を二次元平面に貼り付けた平面画像46を生成する。算出部64は、仮想三次元球体CSの中心点Pから内壁Aへ向かう視線方向Lと平面画像46の垂線とが平行となる姿勢で、平面画像46を仮想三次元球体CSの内壁Aより中心点P側に配置するための配置位置を算出する。表示制御部66は、仮想三次元球体CSの内壁Aに沿って全天球パノラマ画像42を貼り付けて全天球パノラマ画像40とし、且つ配置位置に平面画像46を配置した状態を、中心点Pから視線方向Lに視認した二次元画像に変換した表示画像48を表示部16に表示する。
このため、表示画像48に含まれる平面画像46は、視線方向Lに対して垂直に視認した状態を示す画像となる。すなわち、全天球パノラマ画像40に埋め込まれた平面画像46は、歪みのない状態で表示される。
従って、本実施の形態の情報処理装置12では、全天球パノラマ画像42に埋め込む埋込画像44を、歪みなく表示することができる。
ここで、従来では、仮想三次元球体CSの内壁Aに沿って配置した全天球パノラマ画像42による全天球パノラマ画像40上に、内壁Aに沿って埋込画像44を埋め込んでいた。このため、従来では、埋込画像44は、仮想三次元球体CSの内壁Aに沿って歪んで表示されていた。
一方、本実施の形態では、情報処理装置12は、全天球パノラマ画像42に埋め込む埋込画像44を、二次元平面に貼り付けた平面画像46とし、仮想三次元球体CSの内壁Aより中心点P側に配置する。このため、全天球パノラマ画像40に埋め込まれた平面画像46は、歪みのない状態で表示される。
また、仮想三次元球体CSは、断面が真円形状の球体、または断面が楕円形状の楕円体であることが好ましい。
また、埋込画像44は、文字画像を含むことが好ましい。
また、取得部60は、埋込画像44の形状を示す形状情報を取得し、生成部62は、埋込画像44を形状情報によって示される形状の二次元平面に貼り付けた平面画像46を生成してもよい。
以上、発明を実施するための実施の形態について説明を行ったが、本発明は、上述した実施の形態に限定されるものではない。本発明の主旨を損なわない範囲で変更することが可能である。
10 情報処理システム
12 情報処理装置
16 表示部
18C UI部
58 貼付部
60 取得部
62 生成部
64 算出部
66 表示制御部
12 情報処理装置
16 表示部
18C UI部
58 貼付部
60 取得部
62 生成部
64 算出部
66 表示制御部
Claims (6)
- 全方位の範囲の撮影によって得られた全天球パノラマ画像を、仮想三次元空間に配置した仮想三次元球体の内壁に沿って貼り付ける貼付部と、
前記全天球パノラマ画像に埋め込む埋込画像を取得する取得部と、
前記埋込画像を二次元平面に貼り付けた平面画像を生成する生成部と、
前記仮想三次元球体の中心点から前記内壁へ向かう視線方向と前記平面画像の垂線とが平行となる姿勢で、前記平面画像を前記内壁より前記中心点側に配置するための配置位置を算出する算出部と、
前記仮想三次元球体の内壁に沿って前記全天球パノラマ画像を貼り付け、且つ前記配置位置に前記平面画像を配置した状態を、前記中心点から前記視線方向に視認した二次元画像に変換した表示画像を表示部に表示する表示制御部と、
を備えた情報処理装置。 - 前記仮想三次元球体は、断面が真円形状の球体、または断面が楕円形状の楕円体である、請求項1に記載の情報処理装置。
- 前記埋込画像は、文字画像を含む、請求項1に記載の情報処理装置。
- 前記取得部は、前記埋込画像の形状を示す形状情報を取得し、
前記生成部は、前記埋込画像を前記形状情報によって示される形状の前記二次元平面に貼り付けた前記平面画像を生成する、
請求項1に記載の情報処理装置。 - 全方位の範囲の撮影によって得られた全天球パノラマ画像を、仮想三次元空間に配置した仮想三次元球体の内壁に沿って貼り付けるステップと、
前記全天球パノラマ画像に埋め込む埋込画像を取得するステップと、
前記埋込画像を二次元平面に貼り付けた平面画像を生成するステップと、
前記仮想三次元球体の中心点から前記内壁へ向かう視線方向と前記平面画像の垂線とが平行となる姿勢で、前記平面画像を前記内壁より前記中心点側に配置するための配置位置を算出するステップと、
前記仮想三次元球体の内壁に沿って前記全天球パノラマ画像を貼り付け、且つ前記配置位置に前記平面画像を配置した状態を、前記中心点から前記視線方向に視認した二次元画像に変換した表示画像を表示部に表示するステップと、
を含む情報処理方法。 - 全方位の範囲の撮影によって得られた全天球パノラマ画像を、仮想三次元空間に配置した仮想三次元球体の内壁に沿って貼り付けるステップと、
前記全天球パノラマ画像に埋め込む埋込画像を取得するステップと、
前記埋込画像を二次元平面に貼り付けた平面画像を生成するステップと、
前記仮想三次元球体の中心点から前記内壁へ向かう視線方向と前記平面画像の垂線とが平行となる姿勢で、前記平面画像を前記内壁より前記中心点側に配置するための配置位置を算出するステップと、
前記仮想三次元球体の内壁に沿って前記全天球パノラマ画像を貼り付け、且つ前記配置位置に前記平面画像を配置した状態を、前記中心点から前記視線方向に視認した二次元画像に変換した表示画像を表示部に表示するステップと、
をコンピュータに実行させるための情報処理プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015077766 | 2015-04-06 | ||
JP2015077766 | 2015-04-06 | ||
PCT/JP2016/061059 WO2016163342A1 (ja) | 2015-04-06 | 2016-04-05 | 情報処理装置、情報処理方法、および情報処理プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018160378A Division JP6627935B2 (ja) | 2015-04-06 | 2018-08-29 | 情報処理装置、情報処理方法、および情報処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016163342A1 JPWO2016163342A1 (ja) | 2017-11-16 |
JP6394794B2 true JP6394794B2 (ja) | 2018-09-26 |
Family
ID=57072602
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017510980A Expired - Fee Related JP6394794B2 (ja) | 2015-04-06 | 2016-04-05 | 情報処理装置、情報処理方法、および情報処理プログラム |
JP2018160378A Active JP6627935B2 (ja) | 2015-04-06 | 2018-08-29 | 情報処理装置、情報処理方法、および情報処理プログラム |
JP2019218331A Active JP6816812B2 (ja) | 2015-04-06 | 2019-12-02 | プログラムおよび記録媒体 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018160378A Active JP6627935B2 (ja) | 2015-04-06 | 2018-08-29 | 情報処理装置、情報処理方法、および情報処理プログラム |
JP2019218331A Active JP6816812B2 (ja) | 2015-04-06 | 2019-12-02 | プログラムおよび記録媒体 |
Country Status (6)
Country | Link |
---|---|
US (2) | US10692409B2 (ja) |
EP (1) | EP3282687B1 (ja) |
JP (3) | JP6394794B2 (ja) |
CN (1) | CN107431765B (ja) |
CA (1) | CA2981134A1 (ja) |
WO (1) | WO2016163342A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10242474B2 (en) | 2015-07-15 | 2019-03-26 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
US11095869B2 (en) | 2015-09-22 | 2021-08-17 | Fyusion, Inc. | System and method for generating combined embedded multi-view interactive digital media representations |
US10147211B2 (en) | 2015-07-15 | 2018-12-04 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
US10222932B2 (en) | 2015-07-15 | 2019-03-05 | Fyusion, Inc. | Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations |
US11006095B2 (en) | 2015-07-15 | 2021-05-11 | Fyusion, Inc. | Drone based capture of a multi-view interactive digital media |
US11783864B2 (en) | 2015-09-22 | 2023-10-10 | Fyusion, Inc. | Integration of audio into a multi-view interactive digital media representation |
US11202017B2 (en) | 2016-10-06 | 2021-12-14 | Fyusion, Inc. | Live style transfer on a mobile device |
US10339627B2 (en) | 2016-10-10 | 2019-07-02 | Gopro, Inc. | Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image |
US10437879B2 (en) | 2017-01-18 | 2019-10-08 | Fyusion, Inc. | Visual search using multi-view interactive digital media representations |
US10313651B2 (en) | 2017-05-22 | 2019-06-04 | Fyusion, Inc. | Snapshots at predefined intervals or angles |
CN107169924B (zh) * | 2017-06-14 | 2020-10-09 | 歌尔科技有限公司 | 三维全景图像的建立方法和*** |
US11069147B2 (en) | 2017-06-26 | 2021-07-20 | Fyusion, Inc. | Modification of multi-view interactive digital media representation |
US10592747B2 (en) | 2018-04-26 | 2020-03-17 | Fyusion, Inc. | Method and apparatus for 3-D auto tagging |
CN111954054B (zh) * | 2020-06-05 | 2022-03-04 | 筑觉绘(上海)科技有限公司 | 图像处理方法、***、存储介质及计算机设备 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6317127B1 (en) * | 1996-10-16 | 2001-11-13 | Hughes Electronics Corporation | Multi-user real-time augmented reality system and method |
JP3199231B2 (ja) | 1997-05-27 | 2001-08-13 | 日本アイ・ビー・エム株式会社 | 3次元形状モデルへの情報の埋め込み方法及びシステム |
JP2004214830A (ja) * | 2002-12-27 | 2004-07-29 | Iwane Kenkyusho:Kk | 一部リアルタイム画像表示装置 |
JP4980617B2 (ja) * | 2005-08-26 | 2012-07-18 | 株式会社岩根研究所 | 二次元図面と映像の合成表示装置 |
JP2009187306A (ja) * | 2008-02-06 | 2009-08-20 | G1 Systems Inc | 映像閲覧システム |
CN102129717A (zh) * | 2011-03-09 | 2011-07-20 | 上海诚明融鑫科技有限公司 | 一种实现三维全景空间中通过热点浏览全景的方法和*** |
JP6003135B2 (ja) | 2012-03-22 | 2016-10-05 | 株式会社リコー | 画像処理装置、画像処理方法及び撮像装置 |
US9215448B2 (en) * | 2013-01-31 | 2015-12-15 | Here Global B.V. | Stereo panoramic images |
JP6079297B2 (ja) | 2013-02-26 | 2017-02-15 | 株式会社リコー | 編集装置、編集方法、及び編集プログラム |
US9618747B2 (en) * | 2013-03-13 | 2017-04-11 | Jason Villmer | Head mounted display for viewing and creating a media file including omnidirectional image data and corresponding audio data |
-
2016
- 2016-04-05 EP EP16776508.0A patent/EP3282687B1/en active Active
- 2016-04-05 WO PCT/JP2016/061059 patent/WO2016163342A1/ja active Application Filing
- 2016-04-05 JP JP2017510980A patent/JP6394794B2/ja not_active Expired - Fee Related
- 2016-04-05 CN CN201680019781.6A patent/CN107431765B/zh active Active
- 2016-04-05 CA CA2981134A patent/CA2981134A1/en not_active Abandoned
-
2017
- 2017-09-22 US US15/712,285 patent/US10692409B2/en active Active
-
2018
- 2018-08-29 JP JP2018160378A patent/JP6627935B2/ja active Active
-
2019
- 2019-12-02 JP JP2019218331A patent/JP6816812B2/ja active Active
-
2020
- 2020-05-15 US US16/875,230 patent/US10923004B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN107431765A (zh) | 2017-12-01 |
CN107431765B (zh) | 2020-11-27 |
EP3282687A1 (en) | 2018-02-14 |
EP3282687B1 (en) | 2020-11-11 |
CA2981134A1 (en) | 2016-10-13 |
JP6816812B2 (ja) | 2021-01-20 |
WO2016163342A1 (ja) | 2016-10-13 |
US20200279515A1 (en) | 2020-09-03 |
JPWO2016163342A1 (ja) | 2017-11-16 |
JP6627935B2 (ja) | 2020-01-08 |
US10923004B2 (en) | 2021-02-16 |
JP2020053080A (ja) | 2020-04-02 |
US10692409B2 (en) | 2020-06-23 |
EP3282687A4 (en) | 2018-03-21 |
US20180012529A1 (en) | 2018-01-11 |
JP2019024203A (ja) | 2019-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6394794B2 (ja) | 情報処理装置、情報処理方法、および情報処理プログラム | |
TWI523517B (zh) | 影像擷取裝置、影像對齊方法及用於執行該方法之儲存媒體 | |
JP4763847B1 (ja) | 画像変換装置、画像処理装置、ならびに、画像処理システム | |
WO2017056942A1 (ja) | 画像処理装置及び撮像装置及び画像処理方法及びプログラム | |
JP2022537614A (ja) | マルチ仮想キャラクターの制御方法、装置、およびコンピュータプログラム | |
JP2014131215A (ja) | 画像管理システム、画像管理方法、及びプログラム | |
TW201320631A (zh) | 具可卸式相機模組之行動裝置 | |
JP2016048856A (ja) | 画像表示システム、画像表示装置、画像表示方法、およびプログラム | |
JP6954410B2 (ja) | 管理システム | |
JP2013027021A (ja) | 全方位撮像装置及び全方位撮像方法 | |
JP2017175507A (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR102003383B1 (ko) | 전자 장치에서 이미지를 촬영하는 위한 장치 및 방법 | |
EP3328073A1 (en) | Image management system, image management method and program | |
CN114529606A (zh) | 位姿检测方法及装置、电子设备和存储介质 | |
JP6071670B2 (ja) | 撮像画像表示装置、撮像システム、撮像画像表示方法およびプログラム | |
JP6586819B2 (ja) | 画像管理システム、画像通信システム、画像管理方法、及びプログラム | |
KR20190061165A (ko) | 광고를 포함하는 360°비디오 생성 시스템 및 방법 | |
JP2013206365A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2019024206A (ja) | 画像表示システム、画像表示装置、画像表示方法、およびプログラム | |
US20240203012A1 (en) | Electronic device for generating three-dimensional photo based on images acquired from plurality of cameras, and method therefor | |
JP4783859B1 (ja) | 画像変換装置、画像処理システム、画像変換方法、プログラム、ならびに、情報記録媒体 | |
US20240257301A1 (en) | Information processing apparatus and information processing system | |
JP6816403B2 (ja) | 画像管理システム、画像通信システム、画像管理方法、及びプログラム | |
JP2022130180A (ja) | 画像処理方法、プログラム、画像処理装置および画像処理システム | |
JP2013078038A (ja) | 撮像装置、画像処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170803 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180731 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180813 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6394794 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |