JP2019518977A - 反射式サラウンド表示システム - Google Patents

反射式サラウンド表示システム Download PDF

Info

Publication number
JP2019518977A
JP2019518977A JP2018536126A JP2018536126A JP2019518977A JP 2019518977 A JP2019518977 A JP 2019518977A JP 2018536126 A JP2018536126 A JP 2018536126A JP 2018536126 A JP2018536126 A JP 2018536126A JP 2019518977 A JP2019518977 A JP 2019518977A
Authority
JP
Japan
Prior art keywords
surround
image
reflective
display system
reflective surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018536126A
Other languages
English (en)
Inventor
鎮邦 羅
鎮邦 羅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Solved By Technology Co Ltd
Original Assignee
Solved By Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Solved By Technology Co Ltd filed Critical Solved By Technology Co Ltd
Publication of JP2019518977A publication Critical patent/JP2019518977A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/60Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images involving reflecting prisms and mirrors only
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/005Projectors using an electronic spatial light modulator but not peculiar thereto
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/28Reflectors in projection beam
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Lenses (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Optical Elements Other Than Lenses (AREA)

Abstract

本発明は、360度または360度未満(例えば、180度や、270度など)のパノラマサラウンド画像を観察者に提供するコスト効率の高いサラウンド表示システムを開示する。サラウンド画像は、動くビデオまたは静止の写真を含む。
【選択図】図1

Description

本発明は、反射式サラウンド表示システムに関し、特に、ミラー反転処理がなされた魚眼画像をソース画像として用い、前記ソース画像とサラウンド反射面との間の特定の配置を利用し、光学反射を通じてサラウンド虚像を形成することにより、仮想現実の体験を観察者に与える反射式パノラマサラウンド表示システムに関する。
パノラマサラウンド表示システムは、様々な用途に好適に用いられることが可能である。例えば、コンピュータシステムのスクリーンの拡張、遠隔通信の提供、ワイドスクリーンのパノラマ映画の再生、及びシミュレーション、トレーニング、仮想旅行またはビデオゲームのための仮想現実を作成することなどに用いられることが可能である。現在、従来技術における利用可能な関連解決方法は、1)VR HMD(ヘッドマウントディスプレイ)を利用した仮想現実システムと、2)複数の平面ディスプレイを有するサラウンド表示システムと、3)複数台のプロジェクタを用いて部屋の内壁または他の表面に投影するパノラマ投影システムと、4)曲面テレビと、を含む。方法1)について、観察者がゴーグルなどのようなヘッドマウントディスプレイを着用しなければならず、仮想現実を裸眼で直接体験できないため、ユーザの体験はよくない。方法2)について、特定のサプライヤーのソフトウェアまたはハードウェアを利用してパノラマ画像を分割し、さらに複数の平面LEDディスプレイにそれぞれ表示させる必要がある。このため、方法2)では、数多くの平面ディスプレイを備えてはじめて360度のサラウンド体験効果を実現できる場合が多い。実際には、方法2)を用いた多くの具体的な適用において、画角が180度未満である。方法3)は、投影スクリーンまたは壁面にサラウンド画像を投射することに依存するため、特定の現場環境(例えば、部屋内)が要求され、さらに特定の現場にプロジェクタを取り付けるまたは配置することが要求される。なお、方法3)では、ソフトウェアおよび予備処理ツールを用いて分割処理を行い、現場の次元に基づいて投影された画像を組み合わせることなどが要求される場合が多いので、その適用範囲は大きく制限され、コストも比較的に高い。方法4)について、水平方向の画角が180度を遥かに下回ると同時に、適用範囲が制限される問題とコストが高い問題も存在する。
また、魚眼レンズは、焦点距離が短く(f=6〜16mm)、視野が極めて広いという利点があり(画角は約180度〜270度)、仮想現実、全天周映画、遠隔テレビ会議、パイプ検出、医療の内視鏡検査、ロボットによるナビゲーション等の分野で幅広く適用されている。また、パノラマ監視の面では、マルチレンズシステムと比べて、魚眼レンズは、さらに構造がコンパクトで、体積が比較的に小さく、損傷されにくい、技術的要求が低い、などの特徴があるため、魚眼レンズを中心としたパノラマ監視システムも、近年、パノラマ監視に関する研究の焦点の一つとなっている。しかし、魚眼レンズで撮影した画像は歪みがあり、人の目での観察効果が悪いだけではなく、画像の認識効果も非常に悪く、魚眼レンズの実用性を低下させてしまう。このため、写真芸術分野以外、魚眼画像が人の目での観察に適するように補正され、又は、画像認識技術で魚眼レンズの実用性を大きくしなければならない。魚眼画像補正は、2D補正と3D補正に分けられ、2D魚眼画像補正では、魚眼画像における画素を補正画像に直接マッピングし、3D魚眼画像補正では、魚眼画像における画素を空間中に投影させてから補正モデルに従って補正画像にマッピングする。
現在、市場には優れた魚眼レンズは少なくないが、魚眼画像に対する補正には多くの欠陥がある。魚眼画像補正は計算量が大きいため、多くのソフトウェアの方法では精確な補正が実現できるが、普通のプロセッサーは補正速度が遅く、より優れたプロセッサーはコストが比較的高く、消費電力が比較的大きい。一方、ハードウェアの方法では迅速な補正ができるが、その補正は柔軟性が足りないか、システム構造が合理的ではない。よって、仮想現実、遠隔テレビ会議及びパノラマ監視などの様々な用途が実現できるように、システム構造が簡単で、アップグレードしやすく、かつ魚眼画像を低コストで補正できるパノラマサラウンド表示システムは求められている。
本発明は、上記の従来技術に存在する多くの課題を解決しようとし、コスト効率が高く、構造が簡単で、幅広く適用できる反射式サラウンド表示システムを提供することを目的とする。以下の説明は、本発明の実施形態を簡潔にまとめることを目的とし、本発明の範囲を制限するものではない。
本発明の実施形態は、ソース画像を表示するための平面表示パネルと、前記平面表示パネルに対向して設けられ、前記ソース画像を反射するためのサラウンド反射面と、を含み、観察者が前記ソース画像に対応するサラウンド画像を観察できるように、前記サラウンド反射面を通じて前記ソース画像を反射する、反射式サラウンド表示システムを提供する。好ましくは、上記の本発明に係る実施形態において、前記サラウンド画像は、前記観察者に対して前記サラウンド反射面の後に形成された虚像であり、前記サラウンド画像は、いかなるスクリーンにも形成されない。好ましくは、上記の本発明に係る実施形態において、前記観察者は、前記サラウンド反射面に囲まれ、かつ前記サラウンド反射面の内周に位置し、前記観察者は、カメラまたは人の裸眼でもよい。
好ましくは、上記の本発明に係る実施形態において、前記ソース画像は、ミラー反転処理がなされた魚眼画像であり、前記魚眼画像は、動くビデオまたは静止の写真でもよく、前記サラウンド画像は、パノラマサラウンド画像である。
好ましくは、上記の本発明に係る実施形態において、前記サラウンド反射面は、母線が中心軸線の周りに回転して形成した軸対称形状であり、前記サラウンド反射面の中心軸線は、前記平面表示パネルに垂直し、かつ前記魚眼画像の中心を通る。
好ましくは、上記の本発明に係る実施形態において、前記サラウンド反射面の母線は、直線または曲線である。
好ましくは、上記の本発明に係る実施形態において、前記曲線は、放物線または弧線である。
好ましくは、上記の本発明に係る実施形態において、前記サラウンド反射面のサラウンド角度は、360度以下であり、前記ソース画像の有効画像領域は、前記サラウンド反射面のサラウンド角度に対応している。
好ましくは、上記の本発明に係る実施形態において、前記サラウンド角度は、360度、270度、180度または90度である。
好ましくは、上記の本発明に係る実施形態において、1層または多層の前記サラウンド反射面を同軸方式で配置し、前記サラウンド反射面が1層を超えた場合、前記サラウンド反射面は、透明な材料で作製されるべきであり、前記ソース画像の有効画像領域は、2層またはより多くの層の前記サラウンド反射面と一々対応している。
本発明によって提供された反射式パノラマサラウンド表示システムは、構造が簡単で、コスト効率が高く、360度の範囲内(例えば、180度や、270度など)のパノラマサラウンド画像(動的なビデオまたは静的な写真)を表示し、その場に身をおくような疑似体験を観察者に提供することができる。
本発明に係る反射式サラウンド表示システムは、魚眼画像をソース画像として用いることができ、特に、市場にありふれた360度カメラまたは魚眼カメラで撮影した写真またはビデオを用いることができる。
本発明に係る反射式サラウンド表示システムは、ソース画像を反射し、かつソフトウェアによる処理を必要とせずにパノラマサラウンド画像をリアルタイムで形成することができる。ソース画像の解像度がどのようなものでもパノラマサラウンド画像をリアルタイムで形成することができる。
本発明に係る反射式サラウンド表示システムは、快適な裸眼仮想現実体験を提供することができる。観察者にとって、仮想現実に用いられる従来のヘッドマウントデバイスのように特定のメガネを着用する必要がないので、体験の快適さを大幅に向上させた。
本発明に係る反射式サラウンド表示システムは、遠隔テレビ会議や仮想現実などを含む、サラウンド表示システムを必要とする各種の用途に幅広く適用できる。
本発明に係る反射式パノラマサラウンド表示システムは、例えば、パノラマサラウンドディスプレイを第2ディスプレイとしたデスクトップコンピュータの、デバイスの内部を遠隔的に表示するパノラマサラウンド表示装置、及びこのようなパノラマサラウンド表示装置を用いた小型映画館等、様々な製品やサイズに用いることができる。
本発明の特徴、技術効果及び他の利点は、以下のように図面を組み合わせて更に説明することによって明らかになる。
本発明の実施例をより良く理解させるために図面を組み合わせて詳しく説明する。図中の構成部品が割合に従って作成されたものではない。以下、図面を参照して例示の形で本発明を説明する。
本発明の好ましい実施例に係る反射式パノラマサラウンド表示システムの断面構造配置を示す図であり、図中に円筒状のパノラマサラウンド図が示されている。 図1に示す反射式パノラマサラウンド表示システムにおけるサラウンド反射面の幾何構造略図であり、図中のサラウンド反射面の母線は直線である。 図1に示す反射式パノラマサラウンド表示システムの平面図である。 図1に示す反射式パノラマサラウンド表示システムにおける平面表示パネルに表示されている魚眼画像の一例である(ソース画像の出典:https://theta360.com/en/gallery/videos.html)。 本発明の好ましい実施例に係る反射式パノラマサラウンド表示システムにおいて、観察者が見た、図4に示す魚眼画像に対応するサラウンド画像の一部を示す図である。 図1に示す反射式パノラマサラウンド表示システムにおける平面表示パネルに表示されている魚眼画像のもう一例である(ソース画像の出典:https://www.youtube.com/watch?v=H6SsB3JYqQg)。 本発明の好ましい実施例に係る反射式パノラマサラウンド表示システムにおいて、観察者が見た、図6に示す魚眼画像に対応するサラウンド画像の一部を示す図である。 本発明の変形例に係る反射式パノラマサラウンド表示システムにおけるサラウンド反射面の幾何構造略図であり、図中のサラウンド反射面の母線が曲線である。 本発明の変形例に係る反射式パノラマサラウンド表示システムの局所の断面構造配置の略図であり、図中に球状サラウンド効果が示されている。 本発明の変形例に係る反射式パノラマサラウンド表示システムの局所の断面構造配置の略図であり、図中により大きい垂直画角を有する球状サラウンド効果が示されている。 本発明の変形例に係る反射式サラウンド表示システムの局所の断面構造配置の略図であり、図中に錐状サラウンド効果が示されている。 本発明の変形例に係る反射式サラウンド表示システムの局所の断面構造配置の略図であり、図中に逆錐状サラウンド効果が示されている。 本発明の変形例に係る反射式サラウンド表示システムの局所の断面構造配置の略図であり、図中にサラウンド反射面の中心回転軸が平面表示パネルに垂直していない配置様態が示されている。 本発明の変形例に係る反射式サラウンド表示システムにおける非360度サラウンド反射面の略図であり、図中に180度サラウンドの例が示されている。 本発明の変形例に係る反射式サラウンド表示システムにおける180度サラウンド反射面の適用例を示す図であり、サラウンド反射面の母線として45度の直線(逆円錐形の面)にする構造と曲線(例えば、放物線)にする構造の両者が16:9のビデオ放送方式における適用例を示している。
以下、本発明の好ましい実施例に係る技術内容、構造特徴及び達成しようとする技術目的と技術効果について、図面を組み合わせて詳しく説明する。次の本発明に対する詳細な説明において、「一実施例/変形例」や「ある実施例/変形例」などに言及したのは、全て説明された実施例/変形例がある特定の特徴、構造または特性を含む可能性があることを意味する。ただし、必ずしも実施例/変形例はいずれもこの特定の特徴、構造または特性を含む必要があるというわけではない。また、このような用語は必ずしも同じ実施例を指すとは限らない。なお、ある実施例/変形例を組み合わせて特定の特徴、構造または特性を説明する場合、明確に説明されるされないにかかわらず、実施例/変形例を組み合わせて当該特徴、構造または特性に影響を及ぼすことは、当業者の理解範囲内では認識されるべきである。
本発明に係る反射式パノラマサラウンド表示システムは、物理的構造上に次の2つの部品を具備しなければならない:
(i)画像ソースを表示する側が(ii)のサラウンド反射面に臨んで取り付けられる(例えば、いくつかのファームウェア構造上に置かれている)平面表示パネル;
(ii)内反射面が(i)の平面表示パネルに臨んで取り付けられる(例えば、いくつかのファームウェア構造上に置かれている)サラウンド反射面。
図1は、本発明の好ましい実施例に係る反射式パノラマサラウンド表示システムの断面構造配置を示す図であり、図中に円筒状のパノラマサラウンド図3が示されている。図2は、図1に示す反射式パノラマサラウンド表示システムにおけるサラウンド反射面の幾何構造略図であり、図中のサラウンド反射面の母線は直線である。図3は、図1に示す反射式パノラマサラウンド表示システムの平面図である。
図1〜図3は、本発明の基本とした好ましい実施例の構造と配置を示している。そのうち、平面表示パネル1は、サラウンド反射面2に臨む側に、ソース画像としての魚眼画像12が表示されている。当該サラウンド反射面2の形状は、逆な切頭円錐面であり、その母線22は、図中の矢印に示すようにソース画像を反射し、サラウンド反射面2の外周に1層の円柱形のパノラマサラウンド画像3を形成できるように、中心回転軸21に対して適切な傾斜角度(45度が好ましい)を有する。光学反射原理によれば、観察者Oが見た当該パノラマサラウンド画像3は虚像であり、いかなるスクリーンにも形成されない。また、当業者は、図2に示すように、直線を母線として形成した切頭円錐面をサラウンド反射面としたほうは、以下の図8、図9、及び図10における他の変形例と比べて、コストがより低くて製造しやすいことを容易に理解できる。
好ましくは、図3に示すように、サラウンド反射面2の中心回転軸21は、平面表示パネル1の法線11と重なり、ソース画像としての魚眼画像12の中心を通る。図3を参照して、平面表示パネル1には魚眼画像12(例えば、動くビデオまたは静的な写真)が表示されており、魚眼画像12の中心とサラウンド反射面2の中心回転軸がXで重なる。
図4は、図1に示す反射式パノラマサラウンド表示システムにおける平面表示パネル1に表示されている魚眼画像12の一例である。図5は、本発明の好ましい実施例に係る反射式パノラマサラウンド表示システムにおいて、観察者が見た、図4に示す魚眼画像に対応するサラウンド画像の一部を示す図である。図4に示す魚眼画像は、現実場面の俯角の位置から撮影したものであり、図中の円形の破線は、サラウンド反射面の外周に対応している。本発明の好ましい実施例に係る反射式パノラマサラウンド表示システムは、そのサラウンド反射面が、360度のパノラマ(水平方向の視野が連続している)サラウンド画像を形成するために当該魚眼画像を反射する。この場合では、当該サラウンド画像は、オリジナルの現実場面のサラウンドパノラマ視野を再現した。観察者の見ての通り、当該サラウンド画像はサラウンド反射面の後に位置し、人が平面鏡を見る場合と同様である。言い換えれば、当該サラウンド画像は虚像であり、いかなるスクリーンにも形成されない。観察者(例えば、裸眼またはカメラ)は、サラウンド反射面の内周に位置し、良好な観賞効果を得るために、観察者は、サラウンド反射面の中心軸付近に位置すべきである。図6は、図1に示す反射式パノラマサラウンド表示システムにおける平面表示パネル1に表示されている魚眼画像12のもう一例であり、図中の円形の破線は、サラウンド反射面の外周に対応している。図7は、本発明の好ましい実施例に係る反射式パノラマサラウンド表示システムにおいて、観察者が見た、図6に示す魚眼画像に対応するサラウンド画像の一部を示す図である。
以下、本発明に係る反射式パノラマサラウンド表示システムを構成した各部品または要素について、図面を組み合わせて更に説明する。
<平面表示パネル(Flat Display Plane)>
本発明に係る反射式パノラマサラウンド表示システムに適用する平面表示パネルは、
LEDディスプレイ;
ビデオまたは画像プロジェクタから画像を投影するリアプロジェクションスクリーン;
2つ以上の平面パネルLEDディスプレイを1つの平面で組み合わせて形成した装置;
及び、
光の十分な画像(例えば、公告のライトボックス)が生成できるあらゆる他の平面表示デバイス、
を含み、これらに限定されない。
<サラウンド反射面(Surrounding Reflective Surface)>
当該サラウンド反射面の幾何形状は、1本の母線に1つの中心回転軸の周りに回転させて形成するように記述または構造されることができる。図2において、この母線として直線22にするのが好ましく、かつ、母線と中心回転軸の間の傾斜角を45度に特に設けることができ、すなわち、図1に示すように、観察者を囲んでいる円柱形パノラマサラウンド画像を形成する。図8において、図2における直線の代わりに曲線22を用いて母線とし、中心回転軸21の周りに回転させて変形例としてのサラウンド反射面2を形成する。図9〜図12に示す変形例のように、異なる形状を有する母線は、異なる形状を有するサラウンド反射面2を生成し、異なる形状を有するサラウンド反射面2及びサラウンド反射面2と平面表示パネル1の間の異なる配置により、異なる幾何形状を有するサラウンド視野効果が生成する。
図9は、本発明の変形例に係る反射式パノラマサラウンド表示システムの局所の断面構造配置の略図であり、図中に球状サラウンド効果が示されている。図10は、本発明の変形例に係る反射式サラウンド表示システムの局所の断面構造配置の略図であり、図中により大きい垂直画角を有する球状サラウンド効果が示されている。図11は、本発明の変形例に係る反射式サラウンド表示システムの局所の断面構造配置の略図であり、図中に錐状サラウンド効果が示されている。図12は、本発明の変形例に係る反射式サラウンド表示システムの局所の断面構造配置の略図であり、図中に逆錐状サラウンド効果が示されている。言い換えれば、図9では球状視野の虚像を生成する。図10では同様に球状視野の虚像を生成するが、垂直方向により大きい画角を有するため、劇場等の適用場所にも理想的に用いることができる。当業者は、観察者が虚像を見るときに最適な視覚的体験を取得できるように、図9〜図12に示す異なるサラウンド効果を生成するための配置方法について、魚眼画像を生成するための魚眼レンズまたはソフトウェアの具体的なパラメータを選択できることを容易に理解できる。
図13は、本発明の変形例に係る反射式サラウンド表示システムの局所の断面構造配置を示す図であり、図中にサラウンド反射面の中心軸が平面表示パネルに非垂直に配置されている様態が示されている。図13の変形例では図1におけるサラウンド反射面2の幾何形状を用いたが、その中心回転軸(及び観察者の位置)は平面表示パネル1と傾斜角度θを有する。これは観察者が傾いたベッドに横たわる場面である可能性があり、この傾いたベッドには本発明に係るサラウンド表示システムが配置されている。この場合では、観察者が依然としてパノラマサラウンド効果を体験できるが、サラウンド反射面2の外周に形成されたパノラマサラウンド画像3の幾何形状は、対称な円柱状でもなければ、円錐形でもない。ひいては、この特定の場合において、反射式サラウンド表示システムによってサラウンド視野に適切にマッピングされるように、ソース画像も一般的な魚眼画像でなくてもよく、当該傾斜角度に応じて調整される必要がある。例えば、ソフトウェアによって調節されたソース画像の形式。
特定の視覚効果(一般的な用途ではない)に対して、サラウンド反射面は固定の母線(定線)を有する対称的形状に限定されないことを理解するのは当業者にとって難しくない。しかしながら、一般的な使用の場合では、水平に亘る視野に一致した360度パノラマサラウンド視覚効果を有させるために、固定の母線(曲線または直線)を有する対称的形状を採用すべきである。
<ソース画像(Source Image)>
本発明の好ましい実施例によれば、対称的幾何構造を有するサラウンド反射面の中心回転軸が平面表示パネルに垂直にしている場合、ソース画像として用いられる魚眼画像は、例えば、
360度カメラ(例えば、Ricoh Theta)で撮影したビデオまたは写真;
魚眼レンズを備えるビデオカメラまたはカメラで記録したビデオまたは写真;
平面パノラマ画像を魚眼画像に変換するコンピュータソフトウェアによって生成された魚眼画像;
でもよい。
ここで、以下のことを特に説明しなければならない。すなわち、本発明に係る反射式パノラマサラウンド表示システムにおいて、鏡面反射効果を相殺するために、平面表示パネルに表示されている魚眼画像は、ミラー反転(Mirror−reversal)がなされた画像であるべきである。これは、画像再生ハードウェアまたはソフトウェアの画像ロールオーバー機能を介して実現することができる。例えば、LED TV、デスクトップコンピュータまたはメディアプロジェクタは、サラウンド反射面の鏡面反射効果を相殺するために、画像を平面表示パネルに表示、再生または投影する。
なお、魚眼画像を生成する360度カメラまたはソフトウェアは、種類の異なる魚眼レンズまたは魚眼関数(Function)を用いてもよい。しかしながら、比較的良い実際視覚効果を提供するために、反射面に適した特定の魚眼レンズまたは魚眼関数を選択してもよい。
<サラウンド角度は360度未満(Less−than−360−degree)>
当業者は、上記の反射式パノラマサラウンド表示を容易に適用して、サラウンド角度が360度未満のパノラマサラウンド表示を実現することで、コスト効率がより高い製品を作製できることを容易に理解できる。図14は、本発明の変形例に係る反射式パノラマサラウンド表示システムにおける非360度サラウンド反射面の略図であり、図中に180度サラウンドの例が示されている。この場合では、1つの180度サラウンド反射面2を用い、かつ比較的小さい平面表示パネル1を用いて魚眼画像の半分を表示すればよい。図14の実施例は、16:9のLEDディスプレイを用いて平面表示パネル1とする場合に適する。これは、個人用のための180度パノラマサラウンド画像システムを提供するための、コスト効率が非常に高い方法になる。現在よく用いられる16:9のビデオ放送様式に基づいた適用例について、図15に示すように、ミラー反転がなされた180度(半円)等距離(線形)魚眼画像を規格として送信する(Mirror flipped 180−degree equidistant fisheye image is used for transmission)。送信媒体としては、テレビやインターネット放送チャンネル、ブルーレイディスク、または他のデジタルメディアなどを選択してもよい。図15に示すように、パノラマサラウンド表示システムのサラウンド反射面2の母線としては、45度の直線(逆円錐形の面)と曲線(例えば、放物線)の2つの構造が挙げられた。図中、平面表示パネル1(例えば、16:9のLED TV)と母線が45度の直線であるサラウンド反射面2とを含む構造を符号aで表し、平面表示パネル1(例えば、16:9のLED TV)と母線が曲線(例えば、放物線)であるサラウンド反射面2とを含む構造を符号bで表す。また、母線が45度の直線(逆円錐形の面)であるサラウンド反射面2の構造について、受信した等距離魚眼画像を直接用いて表示することができる。母線が曲線(例えば、放物線)であるサラウンド反射面2の構造について、魚眼画像変換を通じて、例えば、外付けコンピュータまたはTVかプロジェクタに内蔵した画像変換チップを通じて、当該曲線反射面に適した特定の魚眼関数画像を生成することができる。このようにして、メーカーは、異なるコストおよび応用場合に対して、異なる形状と大きさを有するサランウド反射面を生産できる。
<多層サランウド反射面(Multiple−layer reflective surface)>
本発明の変形例によれば、1層を超えたパノラマサラウンド画像を生成するために、同一中心回転軸の周りに取り付けられた2層または多層のサランウド反射面(サラウンド角度は360度以下である)をさらに用いてもよく、サランウド反射面の材料が透明さえであればよく、例えば、PVCであればよい。この場合では、ソース画像としての魚眼画像は、それに応じて同一円心を有する複数の同心円によって構成されるようになり、そのうち、各リング状の魚眼画像は対応層のサランウド反射面に反射されることで、観察者からの距離の異なる位置に2層または多層の虚像が形成されることによって、特別な3D視覚効果が構成される。更なる変形例では、図2及び図8に基づいて、ここの多層サランウド反射面は、さらに中心軸から外側に向けて複数回螺旋運動することによって形成されてもよい。言うまでもなく、この場合では、この特殊構造を有する反射面に適合するように、ソース画像の形式をカスタマイズする必要がある。
<本発明の利点及び広範囲での適用>
本発明に係る反射式サラウンド表示システムは、平面表示パネルまたはソース画像の解像度に依存するものではない。例えば、製品がLEDパネルディスプレイを平面表示パネルとして用いた場合、LEDパネルディスプレイを取り替えるだけで解像度のアップグレードを完了することができ、サラウンド反射面を変える必要なく、製品のケースまたは治具を変える必要さえもなく、同一サイズを有するLEDパネルディスプレイさえ用いればよい。
本反射式サラウンド表示システムは、物理的反射面を利用した純粋な光学反射を介してパノラマサラウンド画像を形成し、あらゆるソフトウェア分割または混合処理も必要としない。
利用者または観察者は、装着型デバイスに被せられていないため、視覚体験がより快適になる。
本反射式サラウンド表示システムは、眩光(反射面によって生成された眩光)に抵抗でき、ほとんどの場合、観察者にとって眩光はほぼ存在しない。これにより、パノラマ画像の鮮明なビデオまたは写真を得ることが可能になる。
本反射式サラウンド表示システムの反射面の後に形成された画像(虚像)は、空間/奥行き効果の感覚を観察者に与える。
反射による部分的分極(Partial Polarization)効果は、観察者の目を楽にさせる。
本発明は、パノラマサラウンドディスプレイを第2ディスプレイとしたデスクトップコンピュータ、遠隔通信施設内部におけるパノラマテレビ会議用ディスプレイ、及びこのようなサラウンド表示システムを用いた小型映画館を含む、様々な製品やサイズに用いることができる。なお、いくつかの小型ビデオカメラ(例えば、腹腔鏡カメラ)を介して観察できるミクロパノラマ画像を生成するために、本発明は、さらに携帯電話スクリーンの上方におけるパノラマドッキングアダプタとしてもよい。
上記に披露したのは、本発明に係る好ましい実施例に過ぎず、もちろんこれによって本発明の特許請求の範囲を限定することができない。よって、本特許出願の範囲に従ってなした同等の変更は依然として本発明の範囲内に属する。上記の記述の目的は制限ではなく説明であると理解すべきである。例えば、上記の実施例(および/またはその態様)を互いに組み合わせて使用することができる。また、本発明の示唆によれば、具体的な状況または材料に合わせるように多くの変形を行ってもよく、本発明の範囲を逸脱することはない。上記の記述を読んだ上で、特許請求の範囲と精神内における他の多くの実施例および変形は当業者にとって自明である。

Claims (10)

  1. ソース画像を表示するための平面表示パネルと、前記平面表示パネルに対向して設けられ、前記ソース画像を反射するためのサラウンド反射面と、を含み、観察者が前記ソース画像に対応するサラウンド画像を観察できるように、前記サラウンド反射面を通じて前記ソース画像を反射し、前記サラウンド画像は、前記観察者に対して前記サラウンド反射面の後に形成された虚像であり、前記サラウンド画像は、いかなるスクリーンにも形成されず、前記観察者は、前記サラウンド反射面に囲まれ、かつ前記サラウンド反射面の内周に位置することを特徴とする反射式サラウンド表示システム。
  2. 前記観察者は、カメラまたは人の裸眼であることを特徴とする請求項1に記載の反射式サラウンド表示システム。
  3. 前記ソース画像は、魚眼画像であり、前記魚眼画像は、動くビデオまたは静止の写真であり、前記サラウンド画像は、パノラマサラウンド画像であることを特徴とする請求項2に記載の反射式サラウンド表示システム。
  4. 前記ソース画像は、ミラー反転処理がなされた魚眼画像であることを特徴とする請求項3に記載の反射式サラウンド表示システム。
  5. 前記サラウンド反射面は、母線が中心軸線の周りに回転して形成した軸対称形状であり、前記サラウンド反射面の中心軸線は、前記平面表示パネルに垂直し、かつ前記魚眼画像の中心を通ることを特徴とする請求項4に記載の反射式サラウンド表示システム。
  6. 前記サラウンド反射面の母線は、直線または曲線であることを特徴とする請求項5に記載の反射式サラウンド表示システム。
  7. 前記曲線は、放物線または弧線であることを特徴とする請求項6に記載の反射式サラウンド表示システム。
  8. 前記サラウンド反射面のサラウンド角度は、360度以下であり、前記ソース画像の有効画像領域は、前記サラウンド反射面のサラウンド角度に対応していることを特徴とする請求項1から7のいずれか1項に記載の反射式サラウンド表示システム。
  9. 前記サラウンド反射面のサラウンド角度は、360度、270度、180度または90度であることを特徴とする請求項8に記載の反射式サラウンド表示システム。
  10. 1層または多層の前記サラウンド反射面を同軸方式で配置し、前記サラウンド反射面が1層を超えた場合、前記サラウンド反射面は、透明な材料で作製されるべきであり、前記ソース画像の有効画像領域は、2層またはより多くの層の前記サラウンド反射面と一々対応していることを特徴とする請求項1から7のいずれか1項に記載の反射式サラウンド表示システム。
JP2018536126A 2017-03-29 2018-02-06 反射式サラウンド表示システム Pending JP2019518977A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201720316246.9U CN206594372U (zh) 2017-03-29 2017-03-29 一种反射式环绕显示***
CN201720316246.9 2017-03-29
PCT/CN2018/075414 WO2018177031A1 (zh) 2017-03-29 2018-02-06 一种反射式环绕显示***

Publications (1)

Publication Number Publication Date
JP2019518977A true JP2019518977A (ja) 2019-07-04

Family

ID=60122727

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018536126A Pending JP2019518977A (ja) 2017-03-29 2018-02-06 反射式サラウンド表示システム

Country Status (7)

Country Link
US (1) US20200233233A1 (ja)
EP (1) EP3605200A4 (ja)
JP (1) JP2019518977A (ja)
KR (1) KR20190075056A (ja)
CN (1) CN206594372U (ja)
TW (1) TWI679451B (ja)
WO (1) WO2018177031A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206594372U (zh) * 2017-03-29 2017-10-27 迎刃而解有限公司 一种反射式环绕显示***
WO2020065756A1 (ja) * 2018-09-26 2020-04-02 オリンパス株式会社 内視鏡装置、内視鏡画像処理装置及び内視鏡画像処理装置の作動方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6444910A (en) * 1987-08-13 1989-02-17 Canon Kk Displaying device
US5990941A (en) * 1991-05-13 1999-11-23 Interactive Pictures Corporation Method and apparatus for the interactive display of any portion of a spherical image
WO2000049804A1 (en) * 1999-02-17 2000-08-24 University Of Washington A halo display system generating a panoramic virtual image surrounding the use
US20100020254A1 (en) * 2008-07-23 2010-01-28 Zheng Jason Geng Multi-panel virtual image display
JP2010250275A (ja) * 2009-03-23 2010-11-04 Olympus Corp 視覚表示装置
CN102385238A (zh) * 2010-09-03 2012-03-21 深圳华强数码电影有限公司 球幕投影放映的实现方法及***
JP2014026012A (ja) * 2012-07-25 2014-02-06 Akira Oba 裸眼立体(3d)映像装置及びそのアダプター
CN104252046A (zh) * 2014-08-12 2014-12-31 深圳创锐思科技有限公司 多层显示设备及游戏机
JP2015215817A (ja) * 2014-05-13 2015-12-03 ソニー株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6905218B2 (en) * 2001-04-12 2005-06-14 Luc Courchesne Panoramic and horizontally immersive image display system and method
US6871958B2 (en) * 2003-08-18 2005-03-29 Evans & Sutherland Computer Corporation Wide angle scanner for panoramic display
WO2006108141A2 (en) * 2005-04-06 2006-10-12 Elumens Corporation Optical projection system and methods for configuring the same
CN201060307Y (zh) * 2007-01-26 2008-05-14 西北工业大学 垂直平面显示器
CN202067505U (zh) * 2011-05-05 2011-12-07 同济大学 一种360度全景照片展示装置
KR101320477B1 (ko) * 2012-03-30 2013-10-23 세종대학교산학협력단 카메라 간격 및 이동속도 조절이 가능한 건축물 내비게이션 장치 및 방법
JP2014081510A (ja) * 2012-10-17 2014-05-08 Sony Corp 表示装置
CN105093551B (zh) * 2015-09-07 2016-04-27 武汉理工大学 景观环境实时表现中的真三维立体显示***及显示方法
CN105137605B (zh) * 2015-09-28 2018-04-20 清华大学 三维立体成像装置及其三维立体成像的方法
CN206594372U (zh) * 2017-03-29 2017-10-27 迎刃而解有限公司 一种反射式环绕显示***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6444910A (en) * 1987-08-13 1989-02-17 Canon Kk Displaying device
US5990941A (en) * 1991-05-13 1999-11-23 Interactive Pictures Corporation Method and apparatus for the interactive display of any portion of a spherical image
WO2000049804A1 (en) * 1999-02-17 2000-08-24 University Of Washington A halo display system generating a panoramic virtual image surrounding the use
US20100020254A1 (en) * 2008-07-23 2010-01-28 Zheng Jason Geng Multi-panel virtual image display
JP2010250275A (ja) * 2009-03-23 2010-11-04 Olympus Corp 視覚表示装置
CN102385238A (zh) * 2010-09-03 2012-03-21 深圳华强数码电影有限公司 球幕投影放映的实现方法及***
JP2014026012A (ja) * 2012-07-25 2014-02-06 Akira Oba 裸眼立体(3d)映像装置及びそのアダプター
JP2015215817A (ja) * 2014-05-13 2015-12-03 ソニー株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム
CN104252046A (zh) * 2014-08-12 2014-12-31 深圳创锐思科技有限公司 多层显示设备及游戏机

Also Published As

Publication number Publication date
EP3605200A1 (en) 2020-02-05
WO2018177031A1 (zh) 2018-10-04
EP3605200A4 (en) 2021-01-27
TWI679451B (zh) 2019-12-11
TW201837542A (zh) 2018-10-16
KR20190075056A (ko) 2019-06-28
CN206594372U (zh) 2017-10-27
US20200233233A1 (en) 2020-07-23

Similar Documents

Publication Publication Date Title
JP6489482B2 (ja) 3次元画像メディアを生成するシステム及び方法
US7123777B2 (en) System and method for panoramic imaging
US7168809B2 (en) Stereoscopic display apparatus
US8233032B2 (en) Systems and methods for creating a three-dimensional image
US20050168568A1 (en) Displaying a wide field of view video image
KR20150068299A (ko) 다면 영상 생성 방법 및 시스템
JP2020092450A (ja) スクリーンプロジェクターシステム、方法、および装置
CN111105735A (zh) 一种全固态全息投影器
TWI465827B (zh) 投影系統
Naimark Elements of real-space imaging: a proposed taxonomy
JP2019518977A (ja) 反射式サラウンド表示システム
CN102103266B (zh) 3d影像形成的方法与设备
US8717425B2 (en) System for stereoscopically viewing motion pictures
CN100334481C (zh) 基于机电光一体的成像装置
US20190394436A1 (en) Image display system
Bogner An introduction to panospheric imaging
TWI608286B (zh) 360-degree multi-view projection imaging device
JP2006085135A (ja) 立体表示装置
JP2005091449A (ja) 画像投影装置
WO2021143640A1 (zh) 一种全固态全息拍摄器及全固态全息投影器
JP4199940B2 (ja) 撮像装置及び撮像システム
JPH0743664A (ja) 投写型画像表示装置
Xing et al. P‐75: Tabletop Integral Imaging 3D Display with Annular Viewing Zone
JP3140117B2 (ja) 広角で表示可能な画像表示装置
JP2005057801A (ja) パノラマ立体画像方式

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190709

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191009

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200429

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220405