JP7006912B2 - 画像処理装置、画像表示装置及び画像処理プログラム - Google Patents
画像処理装置、画像表示装置及び画像処理プログラム Download PDFInfo
- Publication number
- JP7006912B2 JP7006912B2 JP2017183910A JP2017183910A JP7006912B2 JP 7006912 B2 JP7006912 B2 JP 7006912B2 JP 2017183910 A JP2017183910 A JP 2017183910A JP 2017183910 A JP2017183910 A JP 2017183910A JP 7006912 B2 JP7006912 B2 JP 7006912B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- perspective projection
- virtual
- image pickup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/66—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light electrically excited, e.g. electroluminescence
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03K—PULSE TECHNIQUE
- H03K4/00—Generating pulses having essentially a finite slope or stepped portions
- H03K4/02—Generating pulses having essentially a finite slope or stepped portions having stepped portions, e.g. staircase waveform
- H03K4/026—Generating pulses having essentially a finite slope or stepped portions having stepped portions, e.g. staircase waveform using digital techniques
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
- Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
Description
以下、図面を参照し、本発明の実施形態について説明する。まず、図20及び図21を参照して従来技術について説明する。
近年、スポーツ中継や映画などの様々な分野に多視点映像技術が用いられ始めている。被写体の周囲に複数のカメラを配置し、撮影した画像をカメラの配置に従って順に切り替えることで、視点の移動感を提示する映像効果のバレットタイムは、その代表例である。撮影した画像をほぼそのままの状態で提示するため、3次元復元処理の誤差の影響を受けやすい自由視点映像と比べて、高い画質の映像を生成提示可能である。バレットタイム映像で滑らかな視点移動を実現するためには、多視点カメラの光軸が交わる地点(注視点)の設定処理が必要となる。あるバレットタイム処理では、提示映像生成時に多視点画像に注視点が画面中央で観察されるよう各画像に射影変換処理を施すことで、任意の位置に注視点を再設定することを可能にしている。しかし、一定の画角を有する(画角が有限な)透視投影カメラを用いて多視点映像を撮影した場合、注視点の再設定位置によっては、図20に示すように、多視点カメラで撮影されていない領域を観測するような射影変換が施され、結果として提示画像上に余白領域が発生してしまう。
図21は、従来技術の全方位カメラによる撮像結果の一例を示す図である。図21に示すように、全方位カメラは、上下左右360度(全天球)の空間を一つの画像面に記録するため、一般的なコンピュータビジョンで取り扱われる透視投影(ピンホールカメラモデル)とは異なる射影幾何となる。カメラパラメータを推定するカメラキャリブレーション処理は透視投影幾何に基づいているため、全方位画像を一旦透視投影画像に射影変換した後、カメラキャリブレーションを行うのが一般的である。また、最終的に映像を観察する人間の目のも透視投影モデルであるため、撮影した全方位画像を提示する際には、透視投影画像に変換したものを表示するのが自然である。全方位カメラの普及により、全方位映像を用いたVR環境構築プラットフォームに注目が集まっている。全方位画像をVR環境中のCG物体にマッピングし、それをバーチャルカメラで撮影した画像をHMDなどの提示デバイス上に表示することで、撮影シーンに没入したような見え方の再現を可能としている。
一例として、アメリカンフットボールや野球などの大規模空間で行われるイベントを対象としたバレットタイム映像生成提示手法(Eye Vision)が開発されている。撮影者が操作するカメラの位置姿勢情報から被写体の3次元位置を推定し、その被写体を画面中央で捉えるように他のカメラの姿勢を自動制御することで、滑らかな視点切り替えを実現している。しかし、単眼画像から3次元位置を推定するために被写体は常に地面に接しているという条件が存在し、3次元空間中の任意の位置に注視点を設定することは困難であった。
また、3次元物体追跡技術とロボットカメラ制御技術を統合することにより、3次元的かつ動的に注視点の設定が可能なバレットタイム映像生成法が提案されている。これらのようにロボットカメラを用いる場合、注視点は映像制作時に固定されるため、映像閲覧者が自由に注視点を設定することは困難である。
また、固定したカメラで多視点映像を撮影し、それらに対して空間中のある1点が画像上の同一箇所で観察されるような射影変換を施すことにより、任意位置の注視点に対して滑らかに視点が移動するバレットタイム映像生成法が提案されている。ロボットカメラを使用しないため一般的な機材で撮影できること、注視点を映像閲覧時に設定可能(後付けできる)というメリットを有するが、一定の画角を有する透視投影カメラで多視点撮影を行う場合、注視点の再設定箇所によっては提示画像上に大きな余白領域が発生し、提示映像品質が低下する。
被写体の多面的な観測が可能な多視点映像は、映画やテレビ中継などの映像メディアからスマートフォンアプリまで広く活用されつつある。また、遠隔作業指示、技能教育、スポーツトレーニングのような「相手の視線を含め、色々な角度から見て学ぶ」ことが重要な協調作業においても多視点映像の導入が進んでいる。多視点映像の閲覧法として、(1)撮影した映像を一覧提示する方法(ディスプレイマトリックス)、(2)コンピュータビジョン(CV)技術を用いて一度計算機内部で統合し、コンピュータグラフィックス(CG)技術を用いて任意視点からの映像を提示する方法(自由視点映像)がある。(1)は、撮影映像をそのまま提示するため映像品質は高いが、同時に観察可能な視覚情報チャンネルが1系統であるため、視点数の増加に伴い観察が困難になるという問題が存在する。(2)は、閲覧者が自由に視点を操作しながら必要な視覚情報を選択的に獲得することができるが、提示映像の品質は、3次元形状推定などの処理過程で生じる誤差の影響を受けやすい。
バレットタイムは、(1)と(2)の長所を合わせ持つ映像提示法である。被写体の周囲に複数のカメラを、各カメラの光軸が3次元空間内の一点で交わる状態で配置し、撮影映像をカメラ配置に従って順番に切り替えることにより視点の移動感を再現する。撮影した映像をほぼそのままの状態で提示するため画質が高い。さらに、我々の開発した拡張バレットタイム処理では、CV技術を部分的に導入することで、視点移動中に注視し続ける領域(注視点)を撮影空間中の自由な位置に設定することを可能としている。自由視点映像やバレットタイム映像を撮影するバーチャルカメラの操作は、マウスやタブレット端末を用いたポインティングやストローク入力によって実装されることが多い。しかし、スポーツトレーニングやリハビリテーションでは身体を動かすためにカメラ操作が困難である。また、手術現場では衛生的な問題により手でデバイスを触れることが困難な状況が考えられる。
以下、図面を参照し、本発明の実施形態について説明する。
図1は、本実施形態の画像処理装置1の機能構成の概要を示す図である。「多視点全方位画像撮影部」は、撮影対象空間中の複数箇所に全方位カメラを設置し多視点全方位画像を撮影する。この全方位カメラとは、撮像部10の一例である。この撮像部10は、実空間内に複数台配置される。なお、以下の説明では、撮像部10が全方位カメラであるとして説明するが、撮像部10は、必ずしも全方位カメラでなくてもよい。撮像部10は、比較的画角の広いレンズ(例えば、広角レンズや魚眼レンズ)を備えていればよい。
(1)多視点全方位画像撮影部
撮影対象シーンの複数箇所に全方位カメラ(撮像部10)を配置し、多視点全方位画像を撮影する。ここで全方位カメラを配置した箇所がバレットタイム映像の視点位置となる。バレットタイムの滑らかな視点移動を実現するために、三脚等を用いてカメラの高さを揃えるとよい。
画像取得部100は、実空間内に複数配置された撮像部10によってそれぞれ撮像される画像PMを、撮像部10毎に取得する(画像取得ステップ)。
VR空間内に球体CGモデルを配置し、その内側に撮影した全方位画像をテクスチャとしてマッピングする。球体モデルの中心にバーチャルカメラを配置してレンダリングすることで、歪みの少ない透視投影された画像を取得することができる。バーチャルカメラを球体の中心周りに回転させながら(すなわち、光軸方向を変化させながら)レンダリング処理を繰り返すことにより、多視点画像を生成する。同様の処理を撮影した全ての全方位画像について行うことで、撮影位置毎に多視点透視投影画像群が生成される。
すなわち、透視投影画像群生成部20は、仮想空間内に配置される仮想立体SPの内面に対して画像取得部100が取得する画像をマッピングし、マッピングされた画像を複数の光軸方向でレンダリングした複数の透視投影画像群を、撮像部10毎に生成する(透視投影画像群生成ステップ)。
図2は、本実施形態の基準透視投影カメラ座標系の一例を示す図である。
全方位カメラのパラメータ(位置、姿勢)を推定する。前述した透視投影画像群生成ステップで生成した多視点透視投影画像群をSfMに適用することで、個々の透視投影カメラのパラメータを推定する。
なお、同一の全方位映像から生成した透視投影カメラの推定位置はほぼ同じ値となるため、推定されたカメラ位置によって透視投影カメラをクラスタリングし、その代表値を全方位カメラの位置とする。理想的には、推定位置はクラスタごとに1点に定まるが、推定誤差を考慮してクラスタに含まれるカメラの推定位置の中央値などを代表値とする。
全方位カメラの姿勢は、基準となる(例えば、光軸が全方位画像の中心を通過するように設定した)透視投影カメラの姿勢として求める。この場合、図2に示すように基準透視投影カメラ座標系のZ軸を全方位カメラの前方(正面)ベクトル、Y軸を上方ベクトルとする。
すなわち、撮像位置姿勢推定部30は、透視投影画像群生成部20が生成する透視投影画像に基づいて、撮像部10の撮像位置及び撮像姿勢を推定する(撮像位置姿勢推定ステップ)。
図3は、本実施形態の仮想空間内における仮想立体SPの配置の一例を示す図である。図3に示すように、上述の(2)において全方位画像をマッピングした球体モデルを、上述の(3)において推定したカメラパラメータ(位置、姿勢)を用いて再配置する。
すなわち、配置部40は、撮像位置姿勢推定部30が推定する撮像部10の撮像位置及び撮像姿勢と、透視投影画像群生成部20が生成する仮想立体SPとに基づいて、実空間内の撮像部10の撮像位置に、透視投影画像がマッピングされた仮想立体SPを配置する(配置ステップ)。
図4は、本実施形態のバレットタイム映像の注視点TargetとバーチャルカメラVCとの位置関係の一例を示す図である。上述の(3)において推定した全ての全方位カメラの位置(球体中央)がバーチャルカメラの設置となる。図4に示すように、バレットタイム映像の注視点の3次元座標と全方位カメラの位置情報から、各バーチャルカメラの姿勢を算出する。それらのバーチャルカメラを順番に切り替えることにより、バレットタイム映像を生成する。
すなわち、出力画像生成部50は、仮想空間内の注視点の位置と、配置部40によって配置される仮想立体SPの仮想空間内の位置との相対関係に基づいて、仮想立体SPにマッピングされている透視投影画像の少なくとも一部を出力画像として生成する(出力画像生成ステップ)。
ここで、注視点と全方位カメラまでの距離によって、バレットタイム映像上での見かけの大きさが変化する。本システムでは、バーチャルカメラの画角を変更することで、被写体の見かけの大きさを一定にし、注視点を中心として視点が円状に回っているような視覚効果を再現する。カメラが2台の場合を例に、被写体の見かけの大きさを一定にするための距離と画角の関係を図5と式(1)とに示す。
図6は、撮影実験の環境の一例を示す図である。撮影実験を行った結果を示す。図6に示すように34か所において40cm間隔で撮像部10を配置した。撮像部10によって撮影して得られた全方位画像の解像度は、5376画素×2688画素である。図6中の物体objectと扉doorを注視点Targetとし、それらの3次元座標を計測した。また、見かけの大きさの補正処理を適用し、その効果を検証する。
図8は、物体objectを注視点Targetとした場合の、見かけの大きさの補正後のバレットタイム映像生成結果の一例を示す図である。カメラ(撮像部10)が注視点Targetを取り囲むように配置されているため、物体objectを中心にカメラ視点が等距離で円状に回っているような視覚効果がなされていることがわかる。
図10は、扉doorを注視点Targetとした場合の、見かけの大きさの補正後のバレットタイム映像生成結果の一例を示す図である。図10より、見かけの大きさ補正をすると注視点Targetがより強調された結果となることが確認できる。
次に、本発明の第2の実施形態について説明する。なお以下では、ディスプレイ(表示部)を備えるタブレットTBを、画像表示装置2の一例として説明する。
この画像表示装置2は、ディスプレイ(表示部)と、姿勢検出部と、表示制御部とを備える。表示部は、上述した画像処理装置1が出力する出力画像を表示する。姿勢検出部は、姿勢検出センサ(不図示)を備えており、表示部の姿勢を検出する。ここで、姿勢検出部は、タブレットTB本体の姿勢を、表示部の姿勢として検出してもよい。表示制御部(不図示)は、姿勢検出部が検出する姿勢に基づいて、表示部に表示される出力画像の表示状態を制御する。
被写体の周囲に等間隔で並べたカメラで多視点映像を撮影し、多視点画像群に対してStructure from Motion(SfM)を適用し、各カメラのカメラパラメータを推定する。バレットタイムの注視点を再設定する場合は、ユーザが閲覧中の画像上で注目点の位置(2次元座標)を入力する。その点と他の多視点画像との間の対応点情報に基づいたステレオ法により注目点の3次元位置が算出される。注視点の3次元位置情報とカメラパラメータから、新たに指定された注視点が画像中央で観察されるよう撮影画像の見え方を射影するホモグラフィ行列を、全ての多視点画像に対して算出し、各々に対して射影変換を施す。
このバレットタイム映像の生成は、上述した画像処理装置1によって行われる。
画像表示装置2の姿勢検出部は、バレットタイム映像を閲覧する際のカメラ操作として“注視点再設定”、“視点切り替え”、“首振り”にそれぞれ対応するタブレットTBの姿勢変化を検出する。表示制御部は、映像を提示するタブレットTBに搭載されている加速度・角速度センサ(姿勢検出部)から推定されるタブレットTBの姿勢に基づいて、表示部に表示される画像の変換を行う。
“注視点再設定”では、提示デバイスを一定時間静止させると、ディスプレイの中心で観察されている領域を新たな注視点とみなして再設定処理が行われる。“視点切り替え”は、ディスプレイ面の法線周りの回転(ロール)値によって制御する。“首ふり”は、デバイスのパンチルト回転角度に応じたバーチャルカメラの姿勢制御によって実現する。
以下、表示制御部の制御の具体例について説明する。
図11は、本実施形態の注視点Targetの再設定操作の一例を示す図である。タブレットTBを一定時間静止させると中心座標に注視点ターゲットを明示するアイコンを描画し、さらに一定時間その状態が維持された場合、注視点ターゲットが示す領域を新たな注視点Targetとする再設定処理を行う。
例えば、画像表示装置2は、注視点位置情報出力部(不図示)を備えている。この注視点位置情報出力部は、姿勢検出部が検出する姿勢の変化が所定の条件を満たした場合に、表示部の所定の位置に表示される出力画像内の物体の位置を、仮想空間内の注視点の位置として画像処理装置1の出力画像生成部50に出力する。
画像処理装置1の出力画像生成部50は、注視点位置情報出力部が出力する仮想空間内の注視点の位置を、新たな注視点Targetとして出力画像を生成する。
図12は、本実施形態のタブレットTBの姿勢センサの座標系の一例を示す図である。タブレットTBの姿勢変動による視点切り替えは、タブレットTBのロール回転(z軸周りの回転)を検知し、その回転方向に対応した方向に視点の切り替えを行う。例えば、自動車のハンドルを連想させるのであれば、z軸の正の向きに対して右回りに回転した場合、視点は左隣のカメラに移動する。
例えば、画像表示装置2は、出力画像選択部(不図示)を備えている。この出力画像選択部は、姿勢検出部が検出する姿勢の変化が所定の条件を満たした場合に、撮像部10にそれぞれ対応する複数の出力画像のうちから、表示部に表示される出力画像を選択する。
図14は、本実施形態のタブレットTBの姿勢の変化による注視点移動操作の一例を示す図である。
パンチルト操作は、図14に示すように、タブレットTBが向いている方向(z軸)に合わせてバーチャルカメラの首振りを行う操作である。タブレットTBの方向は、角速度センサの値を積分することで回転角度を算出し取得する。
首ふり操作による見え方の変化は、提示デバイスの向きに応じた2次元射影変換を画像に適用することで生成されるが、その後に視点切り替え操作を行う場合、注視点が画像上の同位置で観測されるよう、閲覧中の画像以外の多視点画像に対しても射影変換を施す必要がある。
まず、提示デバイスの向きに合わせて注視点の3次元位置を移動させる。その際、注目点はバーチャルカメラの光軸方向に存在するとし、パンチルト操作に合わせてレンズ中心を原点として注視点を回転させる。移動後の注視点が全ての多視点映像において画面中央で観測されるような射影変換処理を施すことにより、パンチルト操作後に視点切り替え処理を行う場合の連続性を維持する。
図16は、本実施形態のタブレットTBの姿勢の変化による注視点の回転移動の様子の一例を示す図である。
注視点Targetがカメラの光軸上に存在しているカメラ座標系を定義する。カメラから注視点へのベクトルZcをz軸、z軸とワールド座標系のy軸方向に直交するベクトルXcをx軸、x軸とz軸の外積をy軸とする。これらのベクトルから得られる回転行列をRiとする。またデバイスの回転角度から求まる回転行列をRGとする。各カメラの並進ベクトルをti、ワールド座標上の注視点をVw、カメラ座標系上の注視点をVc、各座標系における移動後の注視点をVw*、Vc*とする。まず、式(2)による注視点の座標変換を行い、カメラ座標系から見た注視点の座標をワールド座標系に変換する。式(3)ではワールド座標系上で回転処理を行い、移動後の注視点を得る。最後に式(4)を用いてワールド座標系上の新たな注視点を得る。
図17は、本実施形態の画像表示装置2による実験結果の一例を示す図である。
図18は、本実施形態の画像表示装置2による実験結果の他の一例を示す図である。
閲覧者がタブレットTBを両手で持ち、その姿勢を変えることにより映像閲覧を行っている。ポインティング操作などを要さないハンズフリー操作で注目物体を多方向から観察可能であることを確認した。またデバイス操作に合わせて注視点がリアルタイムで移動し、操作と提示映像間に遅れがないことも確認した。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
Claims (6)
- 実空間内に複数配置された撮像部によってそれぞれ撮像される画像を、前記撮像部毎に取得する画像取得部と、
仮想空間内に配置される仮想立体の内面に対して前記画像取得部が取得する前記画像をマッピングし、マッピングされた画像を複数の光軸方向でレンダリングした複数の透視投影画像群を、前記撮像部毎に生成する透視投影画像群生成部と、
前記透視投影画像群生成部が生成する前記透視投影画像に基づいて、前記撮像部の撮像位置及び撮像姿勢を推定する撮像位置姿勢推定部と、
前記撮像位置姿勢推定部が推定する前記撮像部の撮像位置及び撮像姿勢と、前記透視投影画像群生成部が生成する前記仮想立体とに基づいて、前記実空間内の前記撮像部の撮像位置に、前記透視投影画像がマッピングされた前記仮想立体を配置する配置部と、
前記仮想空間内の注視点の位置と、前記配置部によって配置される前記仮想立体の前記仮想空間内の位置との相対関係に基づいて、前記仮想立体にマッピングされている前記透視投影画像の少なくとも一部を出力画像として生成する出力画像生成部と、
を備える画像処理装置。 - 前記撮像部とは、全方位を撮像可能な全方位カメラであり、
前記透視投影画像群生成部は、
前記仮想立体としての仮想球体の中心を回転中心として前記画像がマッピングされた画像を、前記透視投影画像として生成する、
請求項1に記載の画像処理装置。 - 請求項1又は請求項2に記載の画像処理装置が出力する前記出力画像を表示する表示部と、
前記表示部の姿勢を検出する姿勢検出部と、
前記姿勢検出部が検出する姿勢に基づいて、前記表示部に表示される前記出力画像の表示状態を制御する表示制御部と、
を備える画像表示装置。 - 前記姿勢検出部が検出する姿勢の変化が所定の条件を満たした場合に、前記表示部の所定の位置に表示される前記出力画像内の物体の位置を、前記仮想空間内の注視点の位置として前記画像処理装置の前記出力画像生成部に出力する注視点位置情報出力部
を更に備える請求項3に記載の画像表示装置。 - 前記姿勢検出部が検出する姿勢の変化が所定の条件を満たした場合に、前記撮像部にそれぞれ対応する複数の前記出力画像のうちから、前記表示部に表示される前記出力画像を選択する出力画像選択部
を更に備える請求項3又は請求項4に記載の画像表示装置。 - コンピュータに、
実空間内に複数配置された撮像部によってそれぞれ撮像される画像を、前記撮像部毎に取得する画像取得ステップと、
仮想空間内に配置される仮想立体の内面に対して前記画像取得ステップにおいて取得される前記画像をマッピングし、マッピングされた画像を複数の光軸方向でレンダリングした複数の透視投影画像群を生成する透視投影画像群生成ステップと、
前記透視投影画像群生成ステップにおいて生成される前記透視投影画像に基づいて、前記撮像部の撮像位置及び撮像姿勢を推定する撮像位置姿勢推定ステップと、
前記撮像位置姿勢推定ステップにおいて推定される前記撮像部の撮像位置及び撮像姿勢と、前記透視投影画像群生成ステップにおいて生成される前記仮想立体とに基づいて、前記実空間内の前記撮像部の撮像位置に対応する前記仮想空間内の仮想撮像位置に、前記透視投影画像がマッピングされた前記仮想立体を配置する配置ステップと、
前記仮想空間内の注視点の位置と、前記配置ステップにおいて配置される前記仮想立体の前記仮想空間内の位置との相対関係に基づいて、前記仮想立体にマッピングされている前記透視投影画像の少なくとも一部を出力画像として生成する出力画像生成ステップと、
を実行させるための画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017183910A JP7006912B2 (ja) | 2017-09-25 | 2017-09-25 | 画像処理装置、画像表示装置及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017183910A JP7006912B2 (ja) | 2017-09-25 | 2017-09-25 | 画像処理装置、画像表示装置及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019062302A JP2019062302A (ja) | 2019-04-18 |
JP7006912B2 true JP7006912B2 (ja) | 2022-01-24 |
Family
ID=66177692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017183910A Active JP7006912B2 (ja) | 2017-09-25 | 2017-09-25 | 画像処理装置、画像表示装置及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7006912B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020262391A1 (ja) * | 2019-06-28 | 2020-12-30 | 富士フイルム株式会社 | 表示制御装置、表示制御方法、及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014027528A (ja) | 2012-07-27 | 2014-02-06 | Nippon Hoso Kyokai <Nhk> | 射影変換映像生成装置及びそのプログラム、並びに、多視点映像表現装置 |
JP2014239384A (ja) | 2013-06-10 | 2014-12-18 | ヤフー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
WO2017038541A1 (ja) | 2015-09-03 | 2017-03-09 | ソニー株式会社 | 映像処理装置、映像処理方法、及び、プログラム |
JP2017103613A (ja) | 2015-12-01 | 2017-06-08 | 日本電信電話株式会社 | 情報取得装置、情報取得方法及び情報取得プログラム |
JP2017163245A (ja) | 2016-03-08 | 2017-09-14 | 日本放送協会 | 多視点映像生成システム、多視点映像生成装置およびそのプログラム |
-
2017
- 2017-09-25 JP JP2017183910A patent/JP7006912B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014027528A (ja) | 2012-07-27 | 2014-02-06 | Nippon Hoso Kyokai <Nhk> | 射影変換映像生成装置及びそのプログラム、並びに、多視点映像表現装置 |
JP2014239384A (ja) | 2013-06-10 | 2014-12-18 | ヤフー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
WO2017038541A1 (ja) | 2015-09-03 | 2017-03-09 | ソニー株式会社 | 映像処理装置、映像処理方法、及び、プログラム |
JP2017103613A (ja) | 2015-12-01 | 2017-06-08 | 日本電信電話株式会社 | 情報取得装置、情報取得方法及び情報取得プログラム |
JP2017163245A (ja) | 2016-03-08 | 2017-09-14 | 日本放送協会 | 多視点映像生成システム、多視点映像生成装置およびそのプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2019062302A (ja) | 2019-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105678693B (zh) | 全景视频浏览播放方法 | |
Onoe et al. | Telepresence by real-time view-dependent image generation from omnidirectional video streams | |
WO2015122108A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US9756277B2 (en) | System for filming a video movie | |
Tomioka et al. | Approximated user-perspective rendering in tablet-based augmented reality | |
JP7182920B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US11627251B2 (en) | Image processing apparatus and control method thereof, computer-readable storage medium | |
US20190045125A1 (en) | Virtual reality video processing | |
Thatte et al. | Depth augmented stereo panorama for cinematic virtual reality with head-motion parallax | |
JP7378243B2 (ja) | 画像生成装置、画像表示装置および画像処理方法 | |
JP6310898B2 (ja) | 画像処理装置、情報処理装置、および画像処理方法 | |
JP4406824B2 (ja) | 画像表示装置、画素データ取得方法、およびその方法を実行させるためのプログラム | |
JP6609112B2 (ja) | 多視点映像表現装置及びそのプログラム | |
US11847735B2 (en) | Information processing apparatus, information processing method, and recording medium | |
JP6411244B2 (ja) | 映像提示方法及び映像提示装置 | |
JP7006912B2 (ja) | 画像処理装置、画像表示装置及び画像処理プログラム | |
KR101222153B1 (ko) | 어안렌즈를 이용한 증강현실 구현 시스템 및 그 구현 방법 | |
CN110060349B (zh) | 一种扩展增强现实头戴式显示设备视场角的方法 | |
KR101222155B1 (ko) | 어안렌즈를 이용한 증강현실 구현 시스템 및 그 구현 방법 | |
JP7395296B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN113822936A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
JP2012191380A (ja) | カメラ、画像変換装置、及び画像変換方法 | |
JP5656809B2 (ja) | 会話映像表示システム | |
JP2018129785A (ja) | 決定装置、画像処理装置、決定方法及び決定プログラム | |
CN116246044A (zh) | 一种全景六自由度的vr体验方法、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200813 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211224 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7006912 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |