JP2018113653A - 視聴装置、水中空間視聴システム及び水中空間視聴方法 - Google Patents
視聴装置、水中空間視聴システム及び水中空間視聴方法 Download PDFInfo
- Publication number
- JP2018113653A JP2018113653A JP2017004568A JP2017004568A JP2018113653A JP 2018113653 A JP2018113653 A JP 2018113653A JP 2017004568 A JP2017004568 A JP 2017004568A JP 2017004568 A JP2017004568 A JP 2017004568A JP 2018113653 A JP2018113653 A JP 2018113653A
- Authority
- JP
- Japan
- Prior art keywords
- viewing
- video
- underwater
- omnidirectional
- display screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/214—Specialised server platform, e.g. server located in an airplane, hotel, hospital
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Devices (AREA)
Abstract
Description
また、特許文献2に開示された技術を用いて3次元画像の視聴装置を実現しようとすると、視る側の目の動きが特殊となるため、小さい子供にとって好ましくない影響を与えるおそれがある。
「全天球映像」とは、360度の全方位を撮像した映像をいう。
図1は、第1実施形態に係る水中空間視聴システムの全体構成図である。この水中空間視聴システムは、それぞれ複数台の水中撮像装置10と、それぞれ視聴者が着用する複数台の視聴装置20と、管理装置30とを備えて構成される。水中撮像装置10と視聴装置20は、管理装置30を介して無線通信により接続される。以下、各装置の構成例を説明する。
図2は、水中撮像装置10の構成例を示す模式図である。水中撮像装置10は、移動ブイ110、防水ケーブルホルダ120及び全天球カメラ133を収容したカメラボックス130を含んで構成される。全天球カメラ133は、360度の全方位を撮像できるカメラであり、全方位カメラとも呼ばれる。移動ブイ110は、水面を移動しながらカメラボックス130(全天球カメラ133)を深さ方向に変位自在に吊持するものである。移動ブイ110は、水に浮かぶ電波透過性の硬質樹脂製であり、空洞を有する。空洞内には、アンテナを有する通信装置1101、推進機構1102、ケーブル巻取機構1103及び制御装置1104が設置されている。なお、図示を省略したが、移動ブイ110の所定部位には、大容量の充電式のリチウムイオン電池が、通信装置1101、推進機構1102、制御装置1104の電源として配置されている。
移動ブイ110の水平方向の変位制御は、通信装置1101で受信した緯度・経度と、管理装置30からの変位指示に基づいて推進機構1102を制御することにより行う。全天球カメラ133の深さ方向の変位制御は、通信装置1101で受信した管理装置30からの変位指示に基づいてケーブル巻取機構1103を制御することにより行う。深さ方向の変位制御に際しては、変位量を通信ケーブル121の巻取量に換算する。すなわち、予め通信ケーブル121の外径とケーブル巻取機構1103のリール径に基づき、実際にカメラボックス130を昇降させたときの移動ブイ110からカメラボックス130までの距離を計測し、計測結果を記録しておく。
上記処理手順は概ねルーチン化が可能なので、ワンチップコンピュータあるいはFPGA(Field-Programmable Gate Array)などで構成することができる。
全天球カメラ133は、水中空間の全天球映像を撮像するカメラであり、光学系部品、録音系部品、各種センサ、ストレージのほかこれらの部品の動作を制御する制御ユニットを備えて構成される。光学系部品は、ハウジング部131の透明ガラス付近に設置される。制御ユニットの詳細構成については、後述する。
防水ケーブルホルダ120は、長さ方向の軸部が中空であり、この軸部に通信ケーブル121が変位自在に収容される。上記のとおり、通信ケーブル121は同軸線路であり、その基端部芯線は移動ブイ110に設置される制御装置1104と電気的に接続される。先端部芯線は、全天球カメラ133の制御ユニットと電気的に接続される。通信ケーブル121は、その先端部がジョイント部材132に固定されるが、基端部以外の部分は第1コネクタ部121を貫通し、移動ブイ110のケーブル巻取機構1103に巻き取られ、あるいは、巻き戻される。巻き取られると蛇腹部123が短くなり、カメラボックス130が水面方向に引き上げられる。巻き戻されると蛇腹部123が長くなり、カメラボックス130が水中に引き下げられる。
音処理ブロック308は、音センサで集音されたデータを管理装置30側で認識可能なデジタルの音データに変換し、CPU301へ伝えるとともに、RAM302及び外部記憶装置304へ記録させる。
次に、管理装置30について説明する。管理装置30は、水中撮像装置10及び視聴装置20の動作を監視制御する装置であり、無線通信機能を備えたコンピュータ及び管理用プログラムにより実現される。図4は、管理装置30のハードウエア構成図である。管理装置30は、バスB2を介して接続されたCPU401、RAM402、ROM403を有する。バスB2には、さらに、大容量ストレージ404、画像処理ブロック405、動画圧縮ブロック406、音処理ブロック407、通信I/F408が接続されている。なお、図示を省略したが、管理装置30は、電源回路又はバッテリーが設けられている。
通信I/F408は、水中撮像装置10及び視聴装置20との間で無線通信を行うためのインタフェースである。
認証処理部521は、視聴装置20のログイン時に当該視聴装置20の認証処理を行う。認証処理は、当該視聴装置20のID等が予め登録されたものかどうかを確認する処理である。リンク設定部521は、水中撮像装置10と視聴装置20とをそれらのIDをもとにリンクさせる。水中撮像装置10と視聴装置20とを1対1でリンクさせる場合、つまり一台の視聴装置20において特定の一台の水中撮像装置10からの全天球映像及び音データを視聴できるようにする場合は、視聴装置20からの指示に基づいてペアリンクを設定する。また、1対N(Nは2以上の自然数)でリンクさせる場合は、一台の水中撮像装置10からの全天球映像及び音データをN台の視聴装置20で視聴できるようにリンクを設定する。
次に、視聴装置20について説明する。視聴装置20は、視聴者が着用する装置であり、視聴者の意図に即して全天球カメラ133で撮像した全天球映像のうち注目点を包含する部分映像と、その全天球カメラ133で集音した音とを管理装置30から取得して視聴者に視聴させる装置である。部分映像については、それ以外の視界を遮る態様で視聴者に視聴させるように構成される。本実施形態では、所定のアプリケーションプログラム(以下、「AP」と略す)が予めインストールされたスマートフォンと、交換レンズ板と、これらを離脱自在に収容するゴーグルとで視聴装置20を構成する場合の例を説明する。
また、視聴者が小さい子供の場合は単眼レンズ板271を装着し、大人の場合は双眼レンズ板272に切り替えて装着できることから、子供用にも大人用にも対応できる視聴装置20を実現することができる。
図9は、視聴装置20に収容されるスマートフォンの機能構成図である。これらの機能は、APを読み込んで実行するスマートフォンのCPUにより実現される。スマートフォンは、姿勢検出部231を有する。姿勢検出部231は姿勢センサの検出結果を通信制御部232を介してリアルタイムに管理装置30へ送信する。すなわち、管理装置30において、スマートフォンが向いている方位・方向・変化状態に対応した注目点を特定する際に必要なデータが取得され、送信される。
次に、上記のように構成される水中撮像装置10、視聴装置20及び管理装置30の運用形態例について説明する。図10は、各装置のシーケンス図であり、図11は水中撮像装置10の水中における状態説明図である。
図10を参照し、管理装置30には、複数の水中撮像装置10からそれぞれ全天球映像のうち所定方向の所定部位を注目点とする、つまり全天球カメラ133にデフォルトで設定された方向・部位の部分映像と、当該全天球カメラ133で集音された音データとが入力されている(ST00)。
例えば視聴者が視聴装置20を装着し、表示画面280の部分映像を視聴している状態で、頭部を鉛直下方向へ所定速度で変化させ、そのまま所望の時間だけ姿勢を維持した後に水平に戻したとする。所定速度は、例えば表示画面280への映像が途切れる速度である。管理装置30は、視聴装置20のこのような姿勢変化を深さ方向の変位制御指示と認識し、全天球カメラ133の変位制御を行う(ST10)。具体的には、水中撮像装置10の制御装置1104に、ケーブル巻取機構1103に通信ケーブル121の巻き戻しをさせる。巻き戻し量は、視聴者が鉛直下方向の姿勢を維持した時間が長くなるにつれて多くなる。これにより、全天球カメラ133の位置が当該時点から深さ方向へ変位する。全天球カメラ133は、変位した位置で全天球映像の撮像及び集音を行い(ST12)、その結果得られたデータをリアルタイムに管理装置30へ送信する。
管理装置30は受信したデータに対して画像編集及び音処理を行い、その結果データを視聴装置20へ送信する(ST13)。視聴装置20は、管理装置30から受信した結果データに基づいて部分映像の出力及び音出力を行う(ST14)。
管理装置30は、受信したデータに対して画像編集及び音処理を行い、その結果データを視聴装置20へ送信する(ST13)。視聴装置20は、管理装置30から受信した結果データに基づいて部分映像の出力及び音出力を行う(ST14)。
一方、視聴者が視聴装置20を装着し、表示画面280の部分映像の表示が途切れない速度で、頭部を鉛直上下方向、左右方向、斜め方向へ徐々に変化させたとする。また、このような変化が継続された後に停止し、かつ、停止状態が所定時間を超えて継続したとする。スマートフォンの姿勢センサは、このような姿勢変化(変化後の停止状態を含む)を検出し、管理装置30へ伝える(ST09)。管理装置30は、姿勢の変化が継続している状態を視聴装置20からの注目点変更指示と認識し、注目点変更(ST11)を行う。この場合、管理装置30は、変化した注目点を包含する部分映像の画像編集を行うとともに、音処理を行い、その結果データを視聴装置20へ送信する(ST13)。管理装置30は、また、視聴装置20の姿勢の停止状態が所定時間を超えて継続された場合、当該部分映像の撮像倍率を拡大させるための画像編集を行う。そして、管理装置30は、これらの処理の結果データを視聴装置20に向けて出力する。視聴装置20は、管理装置30から受信した結果データに基づいて部分映像の出力及び音出力を行う(ST14)。
このように、本実施形態の水中空間撮像システムでは、視聴者による視聴態様(姿勢変化など)を視聴装置20が管理装置30へ伝え、管理装置30が、その視聴態様に応じて全天球カメラ133の変位制御や注目点変更の処理を行う。また、全天球映像から部分映像を抽出し、視聴者の視聴態様に応じて部分映像の画像編集を行う。例えば注目点が変化後に停止した状態が一定時間以上維持される場合、注目点を中心として部分映像の表示倍率を大きくする。
これにより、例えば図11に示すように、海の岩礁の窪み部分の近くまで全天球カメラ133を変位させ、当該部位の部分映像及び当該部位で集音した音を視聴することができる。そのため、例えば岩陰に隠れる習性の生物を視聴することが容易になる。また、見たい生物が近づいてこなくとも、あるいは、生物が小さい場合であっても、それらを注目点として部分映像の中心位置にとらえた状態で一定時間以上停止させることにより、撮像倍率が拡大するため、あたかも、それらの生物を間近で視聴しているような体験が可能となる。このように、本実施形態によれば、水中空間を視聴者が自分の意思で探検するような景観の映像を提供することができる。
本発明は、以下の工程を有する水中空間視聴方法としての実施が可能である。
(1)水中撮像装置10を水中に配置して水中空間の全天球映像を撮像する撮像工程。
(2)水中撮像装置10が撮像した全天球映像をリアルタイムに取得し、取得した全天球映像から所定の注目点を包含する部分映像を抽出するとともに、抽出した部分映像を、視聴者が外光を遮断した状態で視聴可能な視聴装置20に表示させる表示工程。
(3)視聴装置20の3次元姿勢の変化状態に応じて注目点を連続的に変更し、これにより視聴装置20に表示される部分画像を変更させる変更工程。
バーチャルリアリティ技術ではなく、実際に水中を撮像した全天球映像から注目点を包含する部分映像を視聴装置20に表示させるので、この実施形態によっても、水中空間を視聴者が自分の意思で探検するような景観の映像を提供することができる。この場合、水中撮像装置10は、第1実施形態のように水平方向及び深さ方向へ移動可能としてもよいが、景観のよい特定部位に据え付けるようにしてもよい。
第1実施形態及び第2実施形態では、移動ブイ110の推進機構1102やケーブル巻取機構1103を視聴装置20の姿勢の変化に応じて制御することにより水中撮像装置10の撮像位置や撮像方向、及び全天球映像から部分映像を抽出するための注目点を変位させる場合の例について説明したが、本発明は、このような制御態様に限定されるものではない。例えば、視聴装置20の表示画面がタッチパネルで構成され、あるいは表示画面にポインティングデバイスが接続されている場合、視聴装置20の姿勢はそのままで、タッチ操作やポインティングデバイスの操作によって注目点等を変位させるようにしてもよい。あるいは、視聴装置20の姿勢や表示画面の操作のほかに、移動部位110の推進機構102、ケーブル巻取機構1103、制御装置1104を独自に制御するコントローラを設け、このコントローラによって注目点等を変位させるようにしてもよい。
第1実施形態では、水中撮像装置10及び視聴装置20をそれぞれ複数台備えた場合の例を説明したが、1台ずつで水中空間視聴システムを構成してもよい。また、第1実施形態では、水中撮像装置10と視聴装置20との間に管理装置30が介在する場合の例を説明したが、図4に示したハードウエア部品及び図5に示した管理装置30の機能ブロックを水中撮像装置10の制御装置1104又は視聴装置20のスマートフォンの機能として設けることで、管理装置30を省略してもよい。
第1実施形態では、陸上において視聴者が外光を遮断した状態で視聴可能な表示画面を有する視聴装置20として、ゴーグルにスマートフォンを挿入した場合の例を説明したが、タブレット端末の表示画面やパーソナルコンピュータに接続された液晶ディスプレイを所定の筐体ないし膜で囲う構造にしてもよい。この場合、上記のAPはタブレット端末やパーソナルコンピュータにインストールすることになる。
第1実施形態の水中空間視聴システムにおいて、部分映像に映った物体の振動を検知する1つ又は複数の検知手段を各水中撮像装置10に設けるとともに、各視聴装置20に振動伝達媒体を設け、水中撮像装置10で検知した振動をそれぞれ当該部分映像を映した視聴装置20の視聴者に振動伝達媒体を通じて伝える構成にしてもよい。このような構成にすることで、視覚及び聴覚のみならず、触覚を通じて水中空間の様子を視聴者に伝達することができる。
第1実施形態では、視聴装置20同士が通話する場合に管理装置30を介在させる例について説明したが、少なくとも二つの視聴装置20に、相互に通話可能な通信手段を備えるようにしてもよい。このような構成にすることで、親子やカップル同士で、視聴装置20を装着した状態で会話しながら、同一の部分映像の視聴を楽しむことができる。
なお、第1実施形態では、海中で生息する生物及びその生息環境を視聴する場合の例について説明したが、本発明は、湖、ダムあるいは水族館の大型水槽などの水中空間の視聴においても適用が可能なものである。また、全天球映像及び部分映像は、動画像のみならず静止画像をも含むものである。
また、視聴者が小さい子供の場合は単眼レンズ板271を装着し、大人の場合は双眼レンズ板272に切り替えて装着できることから、子供用にも大人用にも対応できる視聴装置20を実現することができる。
本発明の視聴装置は、視聴者が頭部に装着可能なゴーグルと、表示画面を有する携帯端末とを含み、前記ゴーグルは、前記視聴者が外光を遮断した状態で前記表示画面を視聴可能な位置に前記携帯端末を離脱自在に収容する端末収容部と、前記表示画面を拡大させる単眼レンズを有する単眼レンズ板と前記表示画面を拡大させる双眼レンズを有する双眼レンズ板とを交換自在に収容するレンズ収容部と、前記レンズ収容部に前記双眼レンズ板を収容したときに前記表示画面の視聴空間を二つに分割する仕切板を離脱自在に収容する仕切板収容部とを備えており、前記携帯端末は、前記表示画面における特定部位である注目点、当該注目点の3次元姿勢及び該3次元姿勢の変化状態を検出する検出手段と、水中空間を撮像した全天球映像から前記注目点を包含する部分の映像である部分映像を抽出するとともに前記3次元姿勢及びその変化状態に応じて前記部分映像の抽出部位を変更させる所定の管理装置に対して、前記検出手段の検出結果を送信し、該管理装置から前記部分映像を取得する通信手段と、前記取得した部分映像を前記表示画面に表示させる表示制御手段と、を備えて成る。
「全天球映像」とは、360度の全方位を撮像した映像をいう。
また、本発明の水中空間視聴システムは、水中空間を撮像した全天球映像を取得する取得手段と、視聴者が外光を遮断した状態で視聴可能な表示画面を有する視聴装置と、前記視聴装置から前記表示画面における特定部位である注目点、当該注目点の3次元姿勢及び該3次元姿勢の変化状態を検出する検出手段と、前記取得手段で取得した前記全天球映像から前記検出手段で検出した前記注目点を包含する部分の映像である部分映像を抽出し、抽出した前記部分映像を前記表示画面へ表示させるとともに前記検出手段で検出した前記3次元姿勢及びその変化状態に応じて前記部分映像の抽出部位を変更する制御手段と、を有し、前記視聴装置は、前記表示画面を拡大させる単眼レンズを有する単眼レンズ板と前記表示画面を拡大させる双眼レンズを有する双眼レンズ板とを交換自在に収容するレンズ収容部と、前記レンズ収容部に前記双眼レンズ板を収容したときに前記表示画面の視聴空間を二つに分割する仕切板を離脱自在に収容する仕切板収容部と、を備えて成る。
「全天球映像」とは、360度の全方位を撮像した映像をいう。
また、本発明の水中空間視聴システムは、水中空間を撮像した全天球映像を取得する取得手段と、視聴者が外光を遮断した状態で視聴可能な表示画面を有する視聴装置と、前記視聴装置から前記表示画面における特定部位である注目点、前記視聴装置の3次元姿勢及び該3次元姿勢の変化状態を検出する検出手段と、前記取得手段で取得した前記全天球映像から前記検出手段で検出した前記注目点を包含する部分の映像である部分映像を抽出し、抽出した前記部分映像を前記表示画面へ表示させるとともに前記検出手段で検出した前記3次元姿勢及びその変化状態に応じて前記部分映像の抽出部位を変更する制御手段と、を有し、前記視聴装置は、前記表示画面を拡大させる単眼レンズを有する単眼レンズ板と前記表示画面を拡大させる双眼レンズを有する双眼レンズ板とを交換自在に収容するレンズ収容部と、前記レンズ収容部に前記双眼レンズ板を収容したときに前記表示画面の視聴空間を二つに分割する仕切板を離脱自在に収容する仕切板収容部と、を備えて成る。
Claims (11)
- 水中空間の全天球映像を撮像する水中撮像装置と、
陸上において視聴者が外光を遮断した状態で視聴可能な表示画面を有する視聴装置と、
前記水中撮像装置から前記全天球映像を取得する取得手段と、
前記視聴装置から前記表示画面における特定部位である注目点を検出する検出手段と、
前記取得手段で取得した前記全天球映像から前記検出手段で検出した注目点を包含する部分の映像である部分映像を抽出し、抽出した部分映像を前記視聴装置の表示画面へ表示させる制御手段と、
を備えて成る水中空間視聴システム。 - 前記制御手段は、前記全天球映像の3次元座標系における前記注目点の3次元座標系の相対位置を演算により求め、この演算結果に基づいて前記全天球映像から前記部分映像を抽出する、
請求項1に記載の水中空間視聴システム。 - 前記検出手段は、前記注目点の3次元姿勢の変化状態をも検出するものであり、
前記制御手段は、前記変化状態が所定の第1条件を満たす場合は前記水中撮像装置の位置を変位させる変位制御を行い、前記変化状態が前記第1条件と異なる第2条件を満たす場合は前記部分映像の抽出部位を連続的に変化させるための注目点変更制御を行う、
請求項1に記載の水中空間視聴システム。 - 前記制御手段は、前記注目点の3次元姿勢が変化した後に停止した状態が所定時間を超えて維持される場合、当該注目点の表示倍率を拡大させる、
請求項3に記載の水中空間視聴システム。 - 前記部分映像に映った被写体の振動を検知する振動検知手段と、
検知した振動をそれぞれ当該部分映像を映した前記視聴装置の視聴者に伝える振動伝達媒体と、をさらに備えて成る、
請求項1ないし4のいずれか一項に記載の水中空間視聴システム。 - 前記水中撮像装置は、前記全天球映像の撮像と同期して水中の音を集音する集音手段を備えており、
前記視聴装置は、音データに基づいて音を出力する音出力手段を備えており、
前記取得手段は、前記全天球映像と共に前記集音された音を取得し、
前記制御手段は、前記取得した音を、前記全天球映像に対する当該部分映像における相対的な位置に対応した音量の音データに補正し、補正した音データを前記部分映像と共に前記視聴装置へ出力する、
請求項1ないし5のいずれか一項に記載の水中空間視聴システム。 - 前記水中撮像装置と前記視聴装置とをそれぞれ複数台備えており、
個々の水中撮像装置は、それぞれ当該水中撮像装置とリンクされた視聴装置の前記注目点の3次元姿勢に応じて、独立にその位置が変化する、
請求項1ないし6のいずれか一項に記載の水中空間視聴システム。 - 水中空間の全天球映像を撮像する全天球カメラと、
水面を移動しながら前記全天球カメラを深さ方向に変位自在に吊持する移動ブイとを含み、
前記移動ブイには、前記全天球カメラにより撮像された全天球映像を外部に伝達するとともに、外部からの変位指示を受信する通信装置と、
前記通信装置で受信した変位指示に従って前記移動ブイ又は前記全天球の位置を変位させる制御装置とが収容されている、
水中撮像装置。 - 視聴者が頭部に装着可能なゴーグルと、表示画面を有する携帯端末とを含み、
前記ゴーグルは、前記視聴者が外光を遮断した状態で前記表示画面を視聴可能な位置に前記携帯端末を離脱自在に収容する端末収容部を備えており、
前記携帯端末は、前記表示画面における特定部位である注目点、当該注目点の3次元姿勢及び該3次元姿勢の変化状態を検出する検出手段と、
水中空間を撮像した全天球映像から前記注目点を包含する部分の映像である部分映像を抽出するとともに前記3次元姿勢及びその変化状態に応じて前記部分映像の抽出部位を変更させる所定の管理装置に対して、前記検出手段の検出結果を送信し、該管理装置から前記部分映像を取得する通信手段と、
前記取得した部分映像を前記表示画面に表示させる表示制御手段と、を備えている、
視聴装置。 - 前記ゴーグルは、前記表示画面を拡大させる単眼レンズを有する単眼レンズ板と前記表示画面を拡大させる双眼レンズを有する双眼レンズ板とを交換自在に収容するレンズ収容部と、前記レンズ収容部に前記双眼レンズ板を収容したときに前記表示画面の視聴空間を二つに分割する仕切板を離脱自在に収容する仕切板収容部とをさらに備えている、
請求項9に記載の視聴装置。 - 水中撮像装置を水中に配置して水中空間の全天球映像を撮像する撮像工程と、
前記水中撮像装置が撮像した全天球映像をリアルタイムに取得し、取得した全天球映像から所定の注目点を包含する部分映像を抽出するとともに、抽出した部分映像を、視聴者が外光を遮断した状態で視聴可能な視聴装置に表示させる表示工程と、
前記視聴装置の3次元姿勢の変化状態に応じて前記注目点を連続的に変更し、これにより前記視聴装置に表示される部分画像を変更させる変更工程とを有することを特徴とする、
水中空間視聴方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017004568A JP6262890B1 (ja) | 2017-01-13 | 2017-01-13 | 視聴装置、水中空間視聴システム及び水中空間視聴方法 |
PCT/JP2018/000699 WO2018131688A1 (ja) | 2017-01-13 | 2018-01-12 | 視聴装置、水中空間視聴システム及び水中空間視聴方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017004568A JP6262890B1 (ja) | 2017-01-13 | 2017-01-13 | 視聴装置、水中空間視聴システム及び水中空間視聴方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6262890B1 JP6262890B1 (ja) | 2018-01-17 |
JP2018113653A true JP2018113653A (ja) | 2018-07-19 |
Family
ID=60989228
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017004568A Active JP6262890B1 (ja) | 2017-01-13 | 2017-01-13 | 視聴装置、水中空間視聴システム及び水中空間視聴方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6262890B1 (ja) |
WO (1) | WO2018131688A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017220824A (ja) * | 2016-06-08 | 2017-12-14 | 株式会社ザクティ | 全天球カメラ |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021192471A (ja) * | 2018-09-14 | 2021-12-16 | ソニーグループ株式会社 | 表示制御装置および表示制御方法、並びにプログラム |
Citations (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS628895A (ja) * | 1985-07-06 | 1987-01-16 | Kaiken:Kk | ラジオコントロ−ル潜水ロボツト |
JPH03169796A (ja) * | 1989-11-29 | 1991-07-23 | Kansai Electric Power Co Inc:The | 水質測定用ロボット装置 |
JPH04225478A (ja) * | 1990-12-27 | 1992-08-14 | Fujitsu Ltd | 視線検出装置 |
JPH04238296A (ja) * | 1991-01-22 | 1992-08-26 | Nuclear Fuel Ind Ltd | 水中遊泳検査装置 |
JPH10304351A (ja) * | 1997-02-25 | 1998-11-13 | Masanobu Kujirada | 動物移動映像等提供システム |
JP2001354193A (ja) * | 2000-06-14 | 2001-12-25 | Mitsubishi Heavy Ind Ltd | 捜索用水中航走体システム、水中航走体、船舶用捜索指令装置、および画像処理方法 |
JP2003134505A (ja) * | 2001-10-22 | 2003-05-09 | Ishikawajima Harima Heavy Ind Co Ltd | 宇宙展望台 |
JP2003319418A (ja) * | 2002-04-24 | 2003-11-07 | Hitachi Zosen Corp | ステレオ画像表示方法およびステレオ画像表示装置 |
JP2011157795A (ja) * | 2010-02-04 | 2011-08-18 | Nec Corp | 鉱物採取システムおよび鉱物採取方法 |
JP2011191384A (ja) * | 2010-03-12 | 2011-09-29 | Panasonic Corp | 表示装置 |
JP2012220859A (ja) * | 2011-04-13 | 2012-11-12 | Fujita Corp | 全方位撮影システム |
JP2012257021A (ja) * | 2011-06-08 | 2012-12-27 | Sony Corp | 表示制御装置および方法、プログラム、並びに記録媒体 |
JP2013190451A (ja) * | 2010-09-30 | 2013-09-26 | Panasonic Corp | ステレオビューア及び表示装置 |
JP2014113209A (ja) * | 2012-12-06 | 2014-06-26 | Toshiba Corp | X線診断装置及び制御プログラム |
WO2015126987A1 (en) * | 2014-02-18 | 2015-08-27 | Merge Labs, Inc. | Head mounted display goggles for use with mobile computing devices |
WO2015145863A1 (ja) * | 2014-03-28 | 2015-10-01 | 国立研究開発法人理化学研究所 | 表示システム、アタッチメント、表示方法、ならびに、プログラム |
JP2016005125A (ja) * | 2014-06-17 | 2016-01-12 | 株式会社ネクストシステム | ヘッドマウント型装置及びヘッドマウント型情報表示システム |
JP2016084021A (ja) * | 2014-10-27 | 2016-05-19 | 三菱電機株式会社 | 車両用表示装置及び車両用表示システム |
JP2016092691A (ja) * | 2014-11-07 | 2016-05-23 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム、並びに記憶媒体 |
JP2016171577A (ja) * | 2016-04-13 | 2016-09-23 | 株式会社リコー | 撮像装置および撮像システム |
JP2016213808A (ja) * | 2015-04-29 | 2016-12-15 | パナソニックIpマネジメント株式会社 | カメラ選択方法及び映像配信システム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007075300A (ja) * | 2005-09-13 | 2007-03-29 | Konami Digital Entertainment:Kk | 立体視眼鏡 |
-
2017
- 2017-01-13 JP JP2017004568A patent/JP6262890B1/ja active Active
-
2018
- 2018-01-12 WO PCT/JP2018/000699 patent/WO2018131688A1/ja active Application Filing
Patent Citations (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS628895A (ja) * | 1985-07-06 | 1987-01-16 | Kaiken:Kk | ラジオコントロ−ル潜水ロボツト |
JPH03169796A (ja) * | 1989-11-29 | 1991-07-23 | Kansai Electric Power Co Inc:The | 水質測定用ロボット装置 |
JPH04225478A (ja) * | 1990-12-27 | 1992-08-14 | Fujitsu Ltd | 視線検出装置 |
JPH04238296A (ja) * | 1991-01-22 | 1992-08-26 | Nuclear Fuel Ind Ltd | 水中遊泳検査装置 |
JPH10304351A (ja) * | 1997-02-25 | 1998-11-13 | Masanobu Kujirada | 動物移動映像等提供システム |
JP2001354193A (ja) * | 2000-06-14 | 2001-12-25 | Mitsubishi Heavy Ind Ltd | 捜索用水中航走体システム、水中航走体、船舶用捜索指令装置、および画像処理方法 |
JP2003134505A (ja) * | 2001-10-22 | 2003-05-09 | Ishikawajima Harima Heavy Ind Co Ltd | 宇宙展望台 |
JP2003319418A (ja) * | 2002-04-24 | 2003-11-07 | Hitachi Zosen Corp | ステレオ画像表示方法およびステレオ画像表示装置 |
JP2011157795A (ja) * | 2010-02-04 | 2011-08-18 | Nec Corp | 鉱物採取システムおよび鉱物採取方法 |
JP2011191384A (ja) * | 2010-03-12 | 2011-09-29 | Panasonic Corp | 表示装置 |
JP2013190451A (ja) * | 2010-09-30 | 2013-09-26 | Panasonic Corp | ステレオビューア及び表示装置 |
JP2012220859A (ja) * | 2011-04-13 | 2012-11-12 | Fujita Corp | 全方位撮影システム |
JP2012257021A (ja) * | 2011-06-08 | 2012-12-27 | Sony Corp | 表示制御装置および方法、プログラム、並びに記録媒体 |
JP2014113209A (ja) * | 2012-12-06 | 2014-06-26 | Toshiba Corp | X線診断装置及び制御プログラム |
WO2015126987A1 (en) * | 2014-02-18 | 2015-08-27 | Merge Labs, Inc. | Head mounted display goggles for use with mobile computing devices |
WO2015145863A1 (ja) * | 2014-03-28 | 2015-10-01 | 国立研究開発法人理化学研究所 | 表示システム、アタッチメント、表示方法、ならびに、プログラム |
JP2016005125A (ja) * | 2014-06-17 | 2016-01-12 | 株式会社ネクストシステム | ヘッドマウント型装置及びヘッドマウント型情報表示システム |
JP2016084021A (ja) * | 2014-10-27 | 2016-05-19 | 三菱電機株式会社 | 車両用表示装置及び車両用表示システム |
JP2016092691A (ja) * | 2014-11-07 | 2016-05-23 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム、並びに記憶媒体 |
JP2016213808A (ja) * | 2015-04-29 | 2016-12-15 | パナソニックIpマネジメント株式会社 | カメラ選択方法及び映像配信システム |
JP2016171577A (ja) * | 2016-04-13 | 2016-09-23 | 株式会社リコー | 撮像装置および撮像システム |
Non-Patent Citations (1)
Title |
---|
丹羽健太(外6名): "スマートホンを用いた全天球映像音声配信・視聴系の実装", 日本音響学会 2016年 春季研究発表会講演論文集CD−ROM, JPN6017020600, 24 February 2016 (2016-02-24), JP, pages 1609 - 1610, ISSN: 0003658625 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017220824A (ja) * | 2016-06-08 | 2017-12-14 | 株式会社ザクティ | 全天球カメラ |
Also Published As
Publication number | Publication date |
---|---|
JP6262890B1 (ja) | 2018-01-17 |
WO2018131688A1 (ja) | 2018-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6094190B2 (ja) | 情報処理装置および記録媒体 | |
WO2020192458A1 (zh) | 一种图像处理的方法及头戴式显示设备 | |
US9927948B2 (en) | Image display apparatus and image display method | |
CN110506249B (zh) | 信息处理设备、信息处理方法和记录介质 | |
JP6252849B2 (ja) | 撮像装置および方法 | |
JP2009118134A (ja) | 自動撮像装置、自動撮像制御方法、画像表示システム、画像表示方法、表示制御装置、表示制御方法 | |
JP2017060078A (ja) | 画像録画システム、ユーザ装着装置、撮像装置、画像処理装置、画像録画方法、及びプログラム | |
JP6580516B2 (ja) | 処理装置および画像決定方法 | |
JP6262890B1 (ja) | 視聴装置、水中空間視聴システム及び水中空間視聴方法 | |
JP6564975B2 (ja) | 仮想空間表示システム | |
JP2019040005A (ja) | 読み上げシステム及び読み上げ方法 | |
CN110199519A (zh) | 用于多相机设备的方法 | |
GB2558283A (en) | Image processing | |
CN110809148A (zh) | 一种海域搜索***及三维环境沉浸式体验vr智能眼镜 | |
KR20070113067A (ko) | 휴대용 입체 카메라 | |
CN213028363U (zh) | 一种虚拟现实眼镜 | |
GB2571286A (en) | Virtual reality | |
JP2022022871A (ja) | 処理装置および没入度導出方法 | |
JPWO2016002322A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
WO2022220305A1 (ja) | 映像表示システム、情報処理方法、及び、プログラム | |
CN217987951U (zh) | 一种智能助盲仪 | |
JP2009017106A (ja) | 撮像装置 | |
JP2021068296A (ja) | 情報処理装置、ヘッドマウントディスプレイ、およびユーザ操作処理方法 | |
GB2556114A (en) | Virtual reality | |
JP2012013924A (ja) | 立体表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6262890 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |