JP2019511016A - フレームのパノラマフレームへのステッチング - Google Patents

フレームのパノラマフレームへのステッチング Download PDF

Info

Publication number
JP2019511016A
JP2019511016A JP2017549069A JP2017549069A JP2019511016A JP 2019511016 A JP2019511016 A JP 2019511016A JP 2017549069 A JP2017549069 A JP 2017549069A JP 2017549069 A JP2017549069 A JP 2017549069A JP 2019511016 A JP2019511016 A JP 2019511016A
Authority
JP
Japan
Prior art keywords
frame
frames
pair
imaging
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017549069A
Other languages
English (en)
Inventor
バー,アントン
トゥルボビック,イツチャク
ファイン,シュムエル
Original Assignee
ヒューマンアイズ テクノロジーズ リミテッド
ヒューマンアイズ テクノロジーズ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヒューマンアイズ テクノロジーズ リミテッド, ヒューマンアイズ テクノロジーズ リミテッド filed Critical ヒューマンアイズ テクノロジーズ リミテッド
Publication of JP2019511016A publication Critical patent/JP2019511016A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • G03B35/10Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • G06T3/047Fisheye or wide-angle transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38Registration of image sequences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

複数の視野角で捕捉されたフレームをステッチする方法であって、撮像素子によって捕捉されたフレームのセットを受け取ることと、隣接フレームのペアの各々において識別することとを備え、各隣接フレームは、互いに重複する視野を有する撮像素子によって他方とほぼ同時に捕捉される。各重複エリアについて、隣接フレームのペアそれぞれの中心を結ぶ中心連結軸が識別され、隣接フレームのペアの各フレームについて動き勾配が計算され、少なくとも1つの重複エリアにおける隣接フレームのペアの画素が中心連結軸に沿って動き勾配のうちの対応する値に基づいて適合され、適合された隣接フレームのペアは、共通中心を取り囲む環境を少なくとも部分的に画像化するパノラマフレームにステッチされる。
【選択図】図3A

Description

[0001] 本発明は、いくつかの実施形態において画像処理に関し、限定ではないが特に、フレームのステッチングに関する。
[0002] 仮想現実(VR)は、特別な種類の画像またはビデオコンテンツである。VRは、その名称が示すように、ビデオおよびオーディオを含む記録コンテンツの没入感を視聴者に提供するために、現実に代替するように設計される。視聴者は、一般的にVRヘッドセット、VRゴーグル、またはVRグラスと称される特別な種類のディスプレイグラスを使用する。VRヘッドセットは、視聴者の自然の視野を効果的に遮断し、記録または生放送コンテンツと置き換える。
[0003] VRは自然の視野に代替するように設計されるので、VRコンテンツは、平坦なスクリーンに提示されるように設計された通常のデジタルコンテンツとは異なる。VRは、ステレオビジョンを提供しながら広い視野(FOV)に提示されるように設計される。
[0004] 本発明のいくつかの実施形態によると、共通中心の周囲に取り付けられた複数の撮像素子によって複数の視野角で捕捉された複数のフレームを、共通中心を取り囲む環境を少なくとも部分的に画像化するパノラマフレームにステッチする方法が提供される。方法は、共通中心領域を取り囲む環境を撮像するために、共通中心領域の周囲に取り付けられた複数の撮像素子によって複数の視野角で捕捉された複数のフレームのセットを受け取ることと、複数のフレームにおける隣接フレームの複数のペアの各々において少なくとも1つの重複エリアを識別することであって、隣接フレームの各ペアは、複数の撮像素子のうちの重複する視野を有する2つの撮像素子によってほぼ同時に捕捉されたフレームを備えることと、少なくとも1つの重複エリアの各々について、各隣接フレームのペアの中心を結ぶ中心連結軸を特定することと、隣接フレームのペアの各フレームについて動き勾配を計算することであって、動き勾配の値は、各フレームの側縁に向かって増加することと、少なくとも1つの重複エリアにおける隣接フレームのペアの画素を中心連結軸に沿って動き勾配のうちの対応する値に基づいて適合することと、適合された隣接フレームのペアを、共通中心を取り囲む環境を少なくとも部分的に画像化するパノラマフレームにステッチすることとを備える。
[0005] 任意選択的に、パノラマフレームは左目用パノラマフレームであり、複数の撮像素子は、右目用パノラマフレームに組み合わされる複数の追加のフレームを捕捉する複数の追加の撮像素子と交錯する。方法は、立体フレームを作成するために、右目用パノラマフレームを左目用パノラマフレームと組み合わせることを更に備える。
[0006] 更に任意選択的に、複数の撮像素子のメンバおよび複数の追加のフレームは、共通中心を取り囲む仮想円に沿って交互に配置される。
[0007] 任意選択的に、パノラマフレームは右目用パノラマフレームであり、複数の撮像素子は、左目用パノラマフレームに組み合わされる複数の追加のフレームを捕捉する複数の追加の撮像素子と交錯する。方法は、立体フレームを作成するために、左目用パノラマフレームを右目用パノラマフレームと組み合わせることを更に備える。
[0008] 任意選択的に、複数の撮像素子は、共通中心を取り囲む仮想円に沿って配置され、複数の撮像素子の各々は、それらの光軸が、共通中心および各撮像素子の視野の起点の正接点を通る軸に対して傾斜するように取り付けられる。
[0009] 任意選択的に、パノラマフレームは、共通中心の周囲の環境を画像化する360度の球形パノラマフレームである。
[0010] 更に任意選択的に、パノラマフレームは、立体フレームを備える2つのフレームの1つとして用いられる。
[0011] 任意選択的に、方法は、複数の連続的に捕捉されたセットの各々の各フレームにおける少なくとも1つの重複エリアの各々を適合するために反復される。
[0012] 任意選択的に、複数のフレームの仮想表現の球体スケルトンへの投影を推定することを更に備える。
[0013] 任意選択的に、少なくとも1つの重複エリアは、複数の撮像素子の少なくとも1つに関して定義された少なくとも1つの較正モデルによるパラメータを用いて識別される。
[0014] 任意選択的に、少なくとも1つの較正モデルは、主点パラメータ、焦点距離パラメータ、および魚眼歪みパラメータから成るグループの少なくとも1つのメンバに従って、複数の撮像素子の各々について定義される。
[0015] 更に任意選択的に、少なくとも1つの較正モデルは、画素の座標を、各撮像素子の結像面の対称軸に従って定義された補正座標にマップする魚眼補正マトリクスおよび付帯的カメラ較正マトリクスを備える。
[0016] 更に任意選択的に、複数のフレームの各々において、少なくとも1つの重複エリアは、魚眼補正マトリクスに従って生成された結合マトリクスに基づいて計算され、付帯的カメラ較正マトリクスは、連結マトリクスに組み合わされ、連結マトリクスは、各2つの連続フレームを各画素が3Dベクトルになるように球体に投影し、連結されたフル較正マトリクスに従って3Dベクトルを補正することによって、各2つの連続フレーム間で重複する少なくとも1つの重複エリアを計算するために用いられる。
[0017] 任意選択的に、複数の撮像素子の各々は、魚眼レンズを備えるカメラである。
[0018] 任意選択的に、複数の撮像素子の各々は、カメラリグ較正を用いて較正される。
[0019] 任意選択的に、適合することは、重複エリアに位置する画素をそれぞれの軸に沿って側縁の方へシフトすることを備える。
[0020] 更に任意選択的に、方法は、シフトの結果として形成された複数のブランク画素を補間によって補正することを更に備える。
[0021] 本発明のいくつかの実施形態によると、共通中心の周囲に取り付けられた複数の撮像素子によって複数の視野角で捕捉された複数のフレームを、共通中心を取り囲む環境を少なくとも部分的に画像化するパノラマフレームにステッチするシステムが提供される。システムは、共通中心領域を取り囲む環境を撮像するために、共通中心領域の周囲に取り付けられた複数の撮像素子によって複数の視野角でほぼ同時に捕捉された複数のフレームのセットを受け取るように適合されたインタフェースと、コードを格納するように適合されたコードストアと、複数のフレームにおける隣接フレームの複数のペアの各々において少なくとも1つの重複エリアを識別することであって、隣接フレームの各ペアは、複数の撮像素子のうちの重複する視野を有する2つの撮像素子によってほぼ同時に捕捉されたフレームを備えること、少なくとも1つの重複エリアの各々について、隣接フレームの各ペアの中心を結ぶ中心連結軸を識別すること、隣接フレームのペアの各フレームについて動き勾配を計算することであって、動き勾配の値は、各フレームの側縁に向かって増加すること、少なくとも1つの重複エリアにおける隣接フレームのペアの画素を中心連結軸に沿って動き勾配のうちの対応する値に基づいて適合すること、および、適合された隣接フレームのペアを、共通中心を取り囲む環境を少なくとも部分的に画像化するパノラマフレームにステッチすることのためにコードを実行するように適合されたプロセッサとを備える。
[0022] 例外が明記されない限り、本明細書で用いられる全ての技術用語および/または科学用語は、本発明が関与する技術の当業者によって一般的に理解されるものと同じ意味を有する。本明細書で説明されるものと同様または同等の方法および材料が本発明の実施形態の実施または試験において用いられ得るが、典型的な方法および/または材料が以下で説明される。抵触する場合、定義を含む本特許明細書はこれを規制するものである。また、材料、方法、および例は例示的なものにすぎず、必ずしも限定的であることは意図されない。
[0023] 本発明のいくつかの実施形態は、本明細書において、添付図面を参照して単に例として説明される。ここでの図面への詳しい明確な言及により、図示された事項は本発明の実施形態を例示的に説明することを目的としており一例にすぎないことが強調される。この点に関して、図面を用いた説明は、本発明の実施形態が実施され得る方法を当業者に対し明らかにする。
[0024]本発明のいくつかの実施形態に係る、共通中心領域の周囲で複数の視野角で捕捉されたフレームをパノラマフレームにステッチングする方法のフローチャートである。 [0025]本発明のいくつかの実施形態に係る、複数の視野角で捕捉されたフレームをパノラマフレームにステッチするシステムの構成要素のブロック図である。 [0026]本発明のいくつかの実施形態に係る、本明細書で説明されるシステムおよび/または方法を用いてパノラマフレームにステッチされるフレームを複数の視野角で捕捉する撮像素子の典型的な配置の略図である。 [0027]本発明のいくつかの実施形態に係る、本明細書で説明される方法を用いて、複数の視野角でフレームを捕捉し、捕捉したフレームをパノラマフレームにステッチするための撮像素子の配置を有する仮想現実(VR)撮像デバイスの略側面図である。 [0028]本発明のいくつかの実施形態に係る、撮像素子の取付け点を通る仮想円の径に対して傾斜した光軸および傾斜していない光軸をそれぞれ有する撮像素子の視野間の重複の略図である。 [0028]本発明のいくつかの実施形態に係る、撮像素子の取付け点を通る仮想円の径に対して傾斜した光軸および傾斜していない光軸をそれぞれ有する撮像素子の視野間の重複の略図である。 [0029]本発明のいくつかの実施形態に係る、推定重複エリア、およびステッチングのために適合されるフレームを取得した隣接撮像素子の2つの中心間に伸長する軸を描く略図である。 [0030]本発明のいくつかの実施形態に係る、複数の視野角で捕捉されたフレームの取得、フレームの適合、および作成されたパノラマフレームのプロセスを描く典型的な画像である。 [0030]本発明のいくつかの実施形態に係る、複数の視野角で捕捉されたフレームの取得、フレームの適合、および作成されたパノラマフレームのプロセスを描く典型的な画像である。 [0030]本発明のいくつかの実施形態に係る、複数の視野角で捕捉されたフレームの取得、フレームの適合、および作成されたパノラマフレームのプロセスを描く典型的な画像である。
[0031] 本発明は、いくつかの実施形態において画像処理に関し、限定ではないが特に、フレームのステッチングに関する。
[0032] 本発明のいくつかの実施形態の態様は、配置された複数の撮像素子(たとえばカメラ、画像センサ)によって複数の視野角で、任意選択的には共通中心領域の周囲で捕捉された(簡潔性のために本明細書において相互置換的に称される)画像またはフレームを、簡潔性のために本明細書において共通中心とも称される共通中心領域を取り巻く環境を描画するパノラマフレームまたはパノラマフレーム画像にステッチするためのシステムおよび/または方法(たとえば、コンピューティングデバイスのプロセッサによって実行されるコード)に関する。ステッチングは、ステッチングの継目の可視性を低減し、かつ捕捉された周囲環境により近い改善されたパノラマフレーム視聴体験をユーザにもたらすように実行される。
[0033] 本発明の実施形態によってステッチされるフレームは、アライメントおよびレジストレーションに関して事前(すなわちステッチ前に)処理されてよい。本明細書において隣接撮像素子とも称される、環境の共通部分を撮像する視野を有することによって捕捉された2つの連続するフレーム間の重複エリアが識別される。重複エリアは、必ずしも視野内の重複エリアの分析によって識別されるのではなく、外部方法を用いて推定されてもよい。
[0034] 任意選択的に、重複エリアは、仮想球体スケルトンモデルにフレームの視覚表現を投影することによって推定される。代替または追加として、重複エリアは、重複フレームを捕捉する撮像素子の一方または両方に関して定義された較正モデル(たとえば数学的モデル)に基づいて推定される。較正モデルは、主点パラメータ(複数も可)、焦点距離パラメータ(複数も可)、および/または魚眼歪みパラメータ(複数も可)に基づいて定義され得る。
[0035] アライメントおよびレジストレーションの微細修正が重複エリア内で実行される。隣接撮像素子によって捕捉された隣接フレームのペアの中心を結ぶ軸が識別される。各連結軸は、それぞれの識別された重複エリアを通る。各重複エリアについて動き勾配が計算され、動き値は、重複エリアの各フレームの側縁に向かって(かつ、任意選択的に魚眼視野である視野の中心から離れるにつれ)増加する。動き勾配は任意選択的に、少なくとも重複エリアまたはその一部における画素のオプティカルフロー分析によって計算される。
[0036] それぞれの重複エリアにおける各フレームの領域(複数も可)は、各軸に沿って動き勾配に従って適合され、適合フレームのセットが作成される。領域は、各フレームの側縁に向かって各軸に沿って画素をシフトすることによって適合されてよく、ここでシフト強度は、動き勾配に従って決定される(画素が縁部に近いほど、シフトは強い)。シフト中に形成されたブランク画素は、任意選択的に、たとえば隣接画素に基づいて値を補間することによって埋められてよい。適合されたフレームは、パノラマフレームにステッチされる。
[0037] 本明細書で説明されるシステムおよび/または方法は、複数の視野角で捕捉されたフレームを組み合わせることによってパノラマフレームが作成される場合、共通中心を取り囲む環境を描画するパノラマフレームにおける継目の可視性をどのように低減するかという技術的問題に対する技術的解決策を提供する。ステッチされるフレームは、VRファイルのフレームであってよい。そのようなVRファイルは、仮想現実システム内で用いられ、たとえばVRビデオを視聴するためのVRヘッドセット内でユーザに提示され得る。互いにステッチするために取得されたフレームは、様々なパースペクティブおよび/または様々な焦点、露出、ホワイトバランスなどの特性を有する様々なカメラによって捕捉される。撮像素子に用いられるレンズ(たとえば広角および/または魚眼レンズ)は、フレームのステッチングに更なる難題をもたらす、たとえばバレル、ピンクッション、およびビネットなどの視覚的歪みを与え得る。継目の可視性を低減または除去するような方法で様々なカメラによって捕捉された、様々な特性および(たとえば固定または調節可能カメラの小さな動きによる)配向の変化を有するフレームのステッチングが副技術的問題となり得る。可視の継目は、VRビデオが提供することができる自然な外観または現実感を低下させる。(たとえば各々がそれぞれ左目および右目で見るように設計された左右のパノラマフレームにおける)ステッチングの歪みおよび/または様々な乱れを低減または除去することは、視聴者の不快感および/または悪心の原因となる不調和な非水平視差を除去または低減することによってVRビデオを改善する。
[0038] 本明細書で説明されるシステムおよび/または方法は、数学的演算(たとえば、フレームの重複エリアの推定、動き勾配(複数も可)の計算、およびフレームステッチング)と、たとえば共通中心の周囲で複数の視野角において取得されたフレームをパノラマフレームにステッチすることによってデジタル画像を処理するプロセッサの能力とを結び付けるものである。
[0039] 本明細書で説明されるシステムおよび/または方法は、共通中心の周囲に取り付けられた撮像素子によって複数の視野角で取得されたフレームを処理することに関する。取得されたフレームをステッチすることによって、新たなデータがパノラマフレーム形式で作成される。パノラマフレームはメモリデバイスに格納され、任意選択的に、たとえばVTヘッドギアに表示されるなど、ユーザに向けて再生され得る。パノラマフレームは、複数の連続したパノラマフレームを含むビデオに組み込まれ得る。
[0040] 本明細書で説明されるシステムおよび/または方法は、たとえば、より少ないメモリの使用および/または改善されたデジタル画像の生成における計算時間の改善によって、コンピュータの性能を改善する。
[0041] したがって、本明細書で説明されるシステムおよび/または方法は必然的に、デジタル画像処理において生じる実際の技術的問題を克服するためのコンピュータ技術に根差したものである。
[0042] 本発明の少なくとも1つの実施形態を詳細に説明する前に、本発明は、その応用において、以下の説明に記載され、および/または図面および/または例に示された構成要素および/または方法の構造および構成の細部に必ずしも限定されるものではないことを理解すべきである。本発明は、他の実施形態を受け入れる余地があり、あるいは様々な方法で実施または実行することができる。
[0043] 本発明は、システム、方法、および/またはコンピュータプログラム製品であってよい。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体(複数も可)を含んでよい。
[0044] コンピュータ可読記憶媒体は、命令実行デバイスによって使用するための命令を保持および格納することができる有形デバイスであってよい。コンピュータ可読記憶媒体は、たとえば電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、またはそれらの任意の適切な組み合わせであってよいが、これに限定されない。コンピュータ可読記憶媒体のより具体的な例の非限定的リストは、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、消去可能プログラマブル読取専用メモリ(EPROMまたはフラッシュメモリ)、スタティックランダムアクセスメモリ(SRAM)、ポータブルコンパクトディスク読取専用メモリ(CD‐ROM)、デジタルバーサタイルディスク(DVD)、メモリスティック、フロッピーディスク、およびそれらの任意の適切な組み合わせを含む。コンピュータ可読記憶媒体は、本明細書で用いられる場合、たとえばラジオ波または他の自由に伝搬する電磁波、導波管または他の伝送媒体(たとえば、光ファイバケーブルを通過する光パルス)を介して伝搬する電磁波、またはワイヤを介して送信される電気信号などのようにそれ自体が一時的な信号として解釈されるものではない。
[0045] 本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング/処理デバイスにダウンロードされ、あるいは、たとえばインターネット、ローカルエリアネットワーク、広域ネットワーク、および/または無線ネットワークなどのネットワークを介して外部コンピュータまたは外部記憶デバイスにダウンロードされ得る。ネットワークは、銅製伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイヤウォール、スイッチ、ゲートウェイコンピュータ、および/またはエッジサーバを備えてよい。各コンピューティング/処理デバイスにおけるネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからのコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング/処理デバイス内のコンピュータ可読記憶媒体に格納するためにコンピュータ可読プログラム命令を転送する。
[0046] 本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、または、たとえばSmalltalk、C++などのオブジェクト指向プログラミング言語およびたとえば「C」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む1または複数のプログラミング言語の任意の組み合わせで書かれたソースコードまたはオブジェクトコードのいずれかであってよい。コンピュータ可読プログラム命令は、全体がユーザのコンピュータで、一部がユーザのコンピュータで、スタンドアロンソフトウェアパッケージとして、一部がユーザのコンピュータおよび一部が遠隔コンピュータで、または全体が遠隔コンピュータまたはサーバで実行してよい。後者のシナリオにおいて、遠隔コンピュータは、ローカルエリアネットワーク(LAN)または広域ネットワーク(WAN)を含む任意の種類のネットワークを介してユーザのコンピュータに接続されてよく、あるいは外部コンピュータとの接続が(たとえばインターネットサービスプロバイダを用いるインターネットを介して)なされてもよい。いくつかの実施形態において、たとえばプログラマブル論理回路、フィールドプログラマブルゲートアレイ(FPGA)、またはプログラマブル論理アレイ(PLA)を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を用いて電子回路を個人化することによって、コンピュータ可読プログラム命令を実行してよい。
[0047] 本発明の態様は、本発明の実施形態に係る方法、装置(システム)、およびコンピュータプログラム製品のフローチャート図および/またはブロック図を参照して本明細書で説明される。フローチャート図および/またはブロック図の各ブロック、およびフローチャート図および/またはブロック図におけるブロックの組み合わせは、コンピュータ可読プログラム命令によって実装され得ることが理解される。
[0048] これらのコンピュータ可読プログラム命令は、機械を製造するための汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供されてもよく、それによって、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行する命令は、フローチャートおよび/またはブロック図のブロックまたは複数のブロックに記載された機能/動作を実装するための手段を作成する。これらのコンピュータ可読プログラム命令は、コンピュータ、プログラマブルデータ処理装置、および/または他のデバイスに特定の方法で機能するように指示することができるコンピュータ可読記憶媒体に格納されてもよく、それによって、命令が格納されたコンピュータ可読記憶媒体は、フローチャートおよび/またはブロック図のブロックまたは複数のブロックに記載された機能/動作の態様を実装する命令を含む製品を備える。
[0049] コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスにロードされてもよく、コンピュータ、他のプログラマブル装置、または他のデバイスで実行される一連の動作ステップに、コンピュータ実装プロセスを生成させ、それによって、コンピュータ、他のプログラマブル装置、または他のデバイスで実行する命令は、フローチャートおよび/またはブロック図のブロックまたは複数のブロックに記載された機能/動作を実装する。
[0050] 図面におけるフローチャートおよびブロック図は、本発明の様々な実施形態に係るシステム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、および動作を示す。この点に関して、フローチャートまたはブロック図における各ブロックは、記載された論理機能(複数も可)を実装するための1または複数の実行可能命令を備えるモジュール、セグメント、または命令の一部を表してよい。いくつかの代替の実装において、ブロックに記載された機能は、図内に記載された順序以外で生じてもよい。たとえば連続して示される2つのブロックは、実際はほぼ同時に実行されてもよく、またはブロックは場合によっては、含まれる機能に依存して逆の順序で実行されてもよい。ブロック図および/またはフローチャート図の各ブロック、およびブロック図および/またはフローチャート図におけるブロックの組み合わせは、特定の機能または動作を実行する、または専用ハードウェアおよびコンピュータ命令の組み合わせを実行する専用ハードウェアシステムによって実装され得ることにも留意する。
[0051] ここで、本発明のいくつかの実施形態に係る、複数の視野角で捕捉されたフレームをパノラマフレームにステッチする方法のフローチャートである図1が参照される。方法は、結果として生じるパノラマフレームにおけるステッチングの継目の可視性を低減するために、動き勾配の値に従ってフレーム内の重複エリアを適合する。また、共通中心領域の周囲で各々が様々な角度に向けられた複数の撮像素子を用いて、共通中心領域を(少なくとも部分的に)取り囲む環境のパノラマフレームのシーケンスのビデオまたは個々のパノラマフレームをユーザが補足することを可能にするシステム200の構成要素のブロック図である図2も参照される。ユーザは、たとえばVRヘッドセットの使用など、仮想現実セッティングにおける再生のためにビデオを記録し得る。請求項1の方法は、図2のシステム200によって実装され得る。
[0052] システム200は、たとえば本明細書においてVR撮像デバイスと称されるカスタム設計ユニットなど、撮像素子212とともに収容されたコンピューティングユニット202(たとえばVR撮像デバイスの典型的な筐体である図3Bを参照)、または、たとえばパーソナルコンピュータ、サーバ、モバイルデバイス、装着型コンピュータ、または他の実装など、撮像素子212を含む筐体から独立したコンピューティングユニット202を含む。コンピューティングユニット202は、1または複数のプロセッサ(複数も可)204と、プロセッサ(複数も可)204によって実行するためのコード命令を格納するプログラムストア206とを含む。命令は任意選択的に、図1において説明される方法を実装するものである。
[0053] プロセッサ(複数も可)204は、たとえば、処理ユニット(複数も可)(CPU)、1または複数のグラフィック処理ユニット(GPU)、フィールドプログラマブルゲートアレイ(複数も可)(FPGA)、デジタル信号プロセッサ(複数も可)(DSP)、および特定用途向け集積回路(複数も可)(ASIC)であってよい。プロセッサ(複数も可)は、並列処理のために構成された複数のプロセッサ(同種または異種)をクラスタとして、および/または1または複数のマルチコア処理ユニットとして含む処理ユニットの一部であってよい。
[0054] プログラムストア206は、たとえばランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、および/または、たとえば不揮発性メモリ、磁気媒体、半導体メモリデバイス、ハードドライブ、リムーバブルストレージ、および光媒体(たとえばDVD、CD‐ROM)などのストレージデバイスなど、プロセッサ(複数も可)204によって実装可能なコード命令を格納する。
[0055] コンピューティングユニット202は、たとえばメモリ、ストレージユニット、ハードドライブ、光ディスク、遠隔ストレージサーバ、および/または(たとえばネットワーク接続を介してアクセスされる)クラウドサーバといったデータリポジトリ208を含むか、またはそれらと通信状態にある。データリポジトリ208は、取得された生フレームを(たとえば生フレームリポジトリ208Aに)格納し、本明細書で説明されるシステムおよび/または方法によって説明されるように適合されたフレームを(たとえば適合フレームリポジトリ208Bに)格納し、および/または作成されたパノラマフレームを(たとえばパノラマフレームリポジトリ208Cに)格納してよい。
[0056] コンピューティングユニット202は、複数の撮像素子212(たとえばデジタルカメラ)の各々から取得されたフレームを受信するためのデータインタフェース210(たとえば物理、仮想、および/またはソフトウェアインタフェース)を含む。撮像素子212(たとえば赤、緑、青(RGB)撮像素子)は、たとえば以下で詳述される図3Aに参照されるように、共通中心領域の周囲に任意選択的に少なくとも180度、任意選択的に360度(水平および/または垂直に)、環境を描画するフレームのセットを取得するように配置される。
[0057] 任意選択的に、撮像素子212は、たとえばVTヘッドセットを用いて異なる目に提示され得る、左目または右目用のフレームを捕捉するようにペアになっている。そのような実施形態において、撮像素子は、左目グループおよび右目グループの2つのグループに分けられ得る。左目グループのメンバは偶数位置にあり、右目グループのメンバは奇数位置にあり(この位置は、共通中心領域を取り囲む円に順番に配置されるものとする)、またはその逆でもよい。そのような実施形態において、左目グループの撮像素子によって捕捉されたフレームは、左目パノラマ画像を形成するためにステッチされ、右目グループの撮像素子によって捕捉されたフレームは、右目パノラマ画像を形成するためにステッチされる。左目パノラマ画像および右目パノラマ画像の各々のステッチングは、たとえば後述するように別々に行われる(重複エリアはグループメンバによって捕捉されたフレーム間にある)。左目パノラマ画像および右目パノラマ画像は、立体パノラマ画像を作成するために組み合わされる。たとえば、図3Aの構成304、306において、点線で示す長方形は左目グループのメンバであってよく、実線で示す長方形は右目グループのメンバである。
[0058] 代替または追加として、撮像素子212は、たとえば180度の劇場に投影されるなど、両目に同時に表示されるフレームを捕捉する。
[0059] 撮像素子212の各々は、たとえば魚眼レンズなど、広い視野を捕捉するように設計された広角レンズを有してよい。典型的な撮像素子212は、水平に約120度かつ垂直に約175度、または他の値を捕捉する超広角および/または頂角レンズを有するカメラである。
[0060] 撮像素子212の数は、設計された環境をカバーするように選択され(立体パノラマフレームが作成される実施形態においては2倍)、たとえば4つの撮像素子、または8つの撮像素子、10の撮像素子、16の撮像素子、および/または任意の中間の数またはより多い数の撮像素子など、カメラのレンズによって捕捉され得る視野に基づいてよい。
[0061] ここで、本発明のいくつかの実施形態に係る、(たとえば図2に関して説明されたような撮像素子212に対応する)撮像素子312の配置に関する典型的な実装を示す図3Aが参照される。撮像素子312は、共通中心302の周囲に取り付けられる。撮像素子312は、複数の視野角でフレームを取得するように配置される。フレームは、共通中心302を取り囲む環境を描画するパノラマフレームに(本明細書で説明されるシステムおよび/または方法を用いて)ステッチされる。
[0062] 配置304および306の各々は、共通中心302の周囲を360度カバーするように配置された8つの撮像素子312を含む。実装304は、正方形308(または長方形)状に配置された撮像素子312を示し、正方形308の各辺に、左目および右目のためのフレームを捕捉するためのペアであってよい2つの撮像素子312を含む。また図3Bも参照され、これは、4ペアの側面撮像素子1312を含むカスタム設計ユニットの切頭コーナーを有する典型的な四角筐体の側面図であり、各ペアは、典型的な四角筐体の別の切頭コーナーに位置する。配置306は、円310の周に沿って間隔を有する、円310(または楕円形)形状に配置された撮像素子312を含む。撮像素子312は、左目および右目のためのフレームを捕捉してよい。ただし、他の実装形状が用いられてもよい。
[0063] 本発明のいくつかの実施形態によると、撮像素子はペアに分けられ、各ペアが立体フレームを捕捉するように設計される。そのような実施形態において、立体フレームのペアにおける重複エリアが識別され、後述するようにパノラマ画像を作成するために用いられる。簡潔性のために、立体フレームは本明細書においてフレームと称され、立体フレームを捕捉するように設計された撮像素子のペアは本明細書において撮像素子と称される。たとえば、立体フレームを捕捉するための撮像素子のペアの配置を有するVR撮像デバイスが用いられ、その場合、視野は図3Cに示すとおりである。任意選択的に、撮像素子のペアにおける各撮像素子の光軸は、撮像素子のペアの他方の撮像素子に向かって、たとえばその光軸に向かって傾く。任意選択的に、光軸の傾きは、たとえば図3Cおよび図3Dに示す円に参照されるように、全ての撮像素子の視野の起点全てを通る仮想円における各撮像素子の視野の起点の各正接点を通り、かつ共通中心を通る軸に関連する。任意選択的に、傾きは20〜30度であり、たとえば図3Cに示すように22度である。撮像素子の傾きは、視野間の重複エリアを低減する。これは、各撮像素子がペアの撮像素子に向かって傾く撮像素子の配置を示す図3Cにおける撮像素子と、各撮像素子の光軸が全ての撮像素子の取付け点、たとえば撮像素子の光軸の起点を通る仮想円の径を延長するように位置合わせされた別の撮像素子の配置を示す図3Dとを比較すると分かる。図3Cと図3Dとを比較すると、撮像素子の視野の交差部分である暗いエリアは、上述したように撮像素子の光軸が傾いている場合により大きくなることが分かる。
[0064] 実装304および306は、ほぼ円盤形状を有してよく、撮像素子312は平面に沿って配置される。ただし、たとえば球状、半球状など、他の実装外形が用いられてもよい。
[0065] 追加の撮像素子312が表を上または下にするように位置付けられてよい(不図示)。
[0066] コンピューティングユニット202および撮像素子312は、たとえば、家庭内で消費者によって用いられ得るスタンドアロンポータブルユニットとして、実装304および/または306に基づくケーシング内に収容されてよい。
[0067] 再び図2を参照すると、コンピューティングユニット202は、たとえばWi‐Fi(登録商標)モジュールまたはブルートゥース(登録商標)モジュールなど、作成されたパノラマフレーム(たとえばビデオ)を格納および/または提示するための1または複数の外部デバイスと通信するための通信インタフェース214(たとえば物理、ソフトウェア、および/または仮想)を含む。典型的な外部デバイスは、パーソナルディスプレイデバイス216(たとえばVRヘッドセット)、今後の再生のためにビデオを格納するためのストレージデバイス218、およびネットワーク222を介して通信され得るサーバ220(たとえばウェブサーバ、ストレージサーバ、ビデオサーバ)を含む。ただし、記録されたビデオは、たとえば劇場、室内、または家庭で、たとえばプロジェクタ(不図示)によってパノラマスクリーンに投影されるなど、公に再生されてもよい。
[0068] コンピューティングユニット202は、たとえばタッチスクリーン、キーボード、マウス、およびスピーカおよびマイクロフォンを用いる音声起動ソフトウェアなど、(コンピューティングユニット202を含む筐体内に統合され得る、ソフトウェアとしてクライアント端末に実装され得る、および/またはパノラマフレームを表示するディスプレイデバイスの一部として実装され得る)ユーザインタフェース224を含み、またはそれと通信状態にある。ユーザインタフェース224は、ユーザ入力に基づいてパノラマフレームの作成をカスタマイズするために(たとえばクライアント端末および/またはコンピューティングユニット202に格納された)コードにアクセスしてよい。
[0069] 本発明のいくつかの実施形態によると、撮像素子は、画像アライメントとともに視差歪みの低減のためにカメラ較正モデルを計算するために較正される。任意選択的に、カメラ較正モデルは、たとえば主点パラメータ(複数も可)、焦点距離パラメータ(複数も可)、および/または魚眼歪みパラメータ(複数も可)など各撮像素子に固有のパラメータに基づいて、および任意選択的に付帯的なパラメータ(複数も可)に基づいて計算される。たとえば付帯的パラメータは、魚眼歪みパラメータを含んでよい。
[0070] 使用中、パラメータは、VR撮像デバイスが回転する間、VR撮像デバイスの撮像素子を碁盤パターンの正面に載置し、フレームのシーケンス(複数も可)を捕捉することによって計算され得る。
[0071] 任意選択的にプロセッサ(複数も可)204を用いて実行されるカメラ較正モデルの計算中、碁盤タイルのパターンn×mのコーナーが、たとえばパターンの線形最小2乗ホモグラフィを発見することによって検出される。上記の撮像素子パラメータ、および碁盤のいくつかのビューの検出されたホモグラフィを生じる撮像素子の回転および変換を発見するために、ガウスニュートン法が適用され得る。ヤコビアン行列が計算され、平均2乗誤差法に基づいて品質判定基準が計算される。それによって、遠隔物体が撮影されたフレームへのバンドル調整によって相互回転、カメラ較正モデルの計算のためのそれぞれのリグの付帯的パラメータを較正することができる。たとえば、付帯的パラメータは、3D空間(たとえば、チルト、パン、およびロール)における各撮像素子の回転角度(たとえば光軸角度)である。水平に配置されることによって(ステレオペア)同じ方向を向いた各2つの撮像素子の間のオプティカルフローを計算することによって、遠隔コンテンツが検出され得る。遠隔コンテンツを含むフレームのペアの視差は、非常に低い視差でなければならない。たとえばスケール不変特徴変換(SIFT)プロセスまたは高速化ロバスト特徴(SURF)プロセスを用いて、特徴点を合致させることによってホモグラフィが検出され得る。回転は、Levenerg‐Macart法によって発見され得る。ヤコビアン行列は、数値的に概算される。固有パラメータは、この段階では変更されなくてよい。較正は、最初に、撮像素子ごとの碁盤パターンの20フレームを用いて実行され得る。任意選択的に、低い画素再投影誤差を保証するために、閾値を上回る品質を有するフレームのみが較正に用いられることを確実にするため、較正コーナーの高い画素再投影誤差を有する不鮮明なフレームは除去される。上述したように、較正は、碁盤パターンアイテムのコーナーで行われる。任意選択的に、盤は動かないものであり、(0,0,0)で始まる正方形を有する世界座標系(XY平面)における一定の座標を保つことが前提とされる。バンドル調整アルゴリズムが適用され得る。
[0072] 任意選択的に、以下の疑似コードは、固有パラメータを計算するために反復的にフレームを収集する。
[0073] 各フレームについて、フレーム内に碁盤が検出されると、
[RMS,K,DistortionCoeffs,rotation_vectors_of_cameras,translation_vectors_of_cameras]=較正(これまで収集された全ての画像における碁盤目世界座標、碁盤目画像座標、スキューを0に固定)であり、(較正が成功した)かつ(RMS<3pixまたはこれが碁盤を描く最初のフレームである)場合、現在の画像による画像収集を更新する。
[0074] 最後に、これまで捕捉された全てのフレームから導かれた解を戻す。
[0075] 任意選択的に、以下の疑似コードは、付帯的パラメータを計算するために用いられる。
開始
元の歪み画像ごとに、
1.歪んだ特徴を発見する。
2.各特徴(たとえば碁盤のコーナー)について、(固有パラメータからの)歪み係数を用いて歪みのない位置が計算される。
3.全ての特徴を(歪みのない特徴点位置と)合致させる。
4.ステップ3から受け取った合致にバンドル調整を用いて付帯的配向を解く。
5.ステップ4に対して受け取った解の2乗平均平方根(RMS)を計算する(任意選択的に、RMSが閾値を上回る場合のみフレームが追加される)。
6.所望の「前方カメラ」回転マトリクスがI3x3になるように撮像素子を回転させる。
終了
[0076] 任意選択的に、2〜5は、較正プロセス中に計算されたそれぞれの撮像素子の固有パラメータを用いて、標準的なコンピュータビジョンルーティンを用いて実行される。
[0077] 任意選択的に、撮像素子がペアで配置される場合、各撮像素子は別々に較正される。たとえば、8つの撮像素子が用いられる場合、較正プロセスは、4つの偶数(左側)撮像素子に実行され、その後、4つの奇数(右側)撮像素子に実行される。0番目の撮像素子は、較正のために疑似的かつ一時的に奇数撮像素子に追加されてよい。このように、偶数および奇数撮像素子の両方が共通視野を有する。
[0078] ここで、図1が再び参照される。この図は、フレームのセットが連続的に受け取られる反復プロセスを説明する。フレームの各セットは任意選択的に、たとえば上述した配置を用いて、たとえば図2に示すシステム、および任意選択的に図3Aに示す配置のいずれかを用いて、共通中心の周囲に取り付けられた複数の撮像素子によって同時に、または(たとえば技術上の小さな時間ドリフトを伴い)ほぼ同時に捕捉されたフレームを含む。それによって、写真で捕捉されたパノラマの作成およびビューイングおよび複数の視野角で撮像された画像を通した物体の探査のための複数の連続パノラマフレームを有するVRファイルを作成することができる。パノラマフレームまたは画像(相互置換的に言及される)は任意選択的に、中心エリアを取り囲む環境を記録して視聴者(内側で外を向いている)の周囲環境を模倣し、場所感覚および任意選択的に場所の経時的変化をもたらすVRパノラマフレームである。
[0079] 各反復において、102に示すように、フレームのセットは、たとえば上述したように、たとえば図2に示すようなシステムおよび/または図3Aに示すような配置を用いて、複数の視野角において同時に(本明細書で用いられるこの用語は、たとえば1秒未満の小さい時間ずれを伴う場合など、ほぼ同時であることも表す)捕捉される。
[0080] 104に示すように、各フレームは前処理されてよい。
[0081] 106に示すように、推定重複エリアは、隣接撮像素子によって捕捉されたフレームのペアごとに識別される。たとえば、1〜8の撮像素子が円状に配置される場合、推定重複は、撮像素子1および2によって同時に捕捉されたフレームのペア、撮像素子1および2によって同時に捕捉されたフレームのペア、撮像素子2および3によって同時に捕捉されたフレームのペア、撮像素子3および4によって同時に捕捉されたフレームのペア、撮像素子4および5によって同時に捕捉されたフレームのペア、撮像素子5および6によって同時に捕捉されたフレームのペア、撮像素子6および7によって同時に捕捉されたフレームのペア、撮像素子7および8によって同時に捕捉されたフレームのペア、および撮像素子8および1によって同時に捕捉されたフレームのペアについて識別される。推定重複エリアは、他の撮像素子によって同時に捕捉された1または複数の他のフレームにおいて表される、たとえば上述した中心領域などの中心領域を取り囲む環境の一部を描画する。
[0082] 任意選択的に、重複エリアは、上述したカメラ較正モデルを用いて計算される。任意選択的に、隣接撮像素子(たとえば、他の任意の撮像素子よりも時計回り方向または反時計回り方向に近くに位置するVR撮像デバイスの他の撮像素子とペアであるVR撮像デバイスの撮像素子)を用いて捕捉されたフレームのペア間の重複エリアの縁部の座標は、以下のとおりである。
1.各撮像素子の(たとえば上述したように計算された)固有パラメータに基づいて魚眼補正マトリクス(たとえば、画素ごとの補正座標を指定するルックアップテーブル)を計算する。
2.フレームの画素(1または複数の画素が本明細書においてフレームの領域と称され得る)を、(たとえば上述したように計算された)付帯的パラメータに基づいて撮像素子(複数も可)のパン(ヨー)角、チルト(ピッチ)角、およびロール角に従って補正座標にマップする、付帯的カメラ較正マトリクスを計算する。
3.連結マトリクス(たとえばルックアップテーブル)の計算は、魚眼補正マトリクスと付帯的カメラ較正マトリクスとを組み合わせることによって計算される。連結較正マトリクスは、魚眼の補正および遠近の補正のために用いられ、任意選択的に、各画素の位置シフトを定義する。
4.各画素が光線(球径)および/または3Dベクトルを用いて中心領域に連結されるように、ペアになったフレームを球体に投影する。
5.結合較正マトリクスに従って光線および/または3Dベクトルを補正する。
6.補正された光線および/または3Dベクトルに基づいて重複エリアを識別する、ここで、ペアになったフレームの補正光線は、同様の値を有する(ほぼ「同じ方向を指す」)光線と比較され、重複エリアを定義する。
[0083] 108に示すように、シフト軸、たとえばフレームの各ペアの中心を通る直線が、重複エリアが計算された各ペアフレームの中心間で識別される。各中心の座標は任意選択的に、各フレームのX軸の中間部およびY軸の中間部にあるように計算される。
[0084] ここで、110に示すように、それぞれのシフト軸に沿った各重複エリアに関して動き勾配が計算される。動き勾配は、計算されたグローバル動きおよび/または局所動きに基づいて画素(複数も可)値シフトに与えられた重みを定義することを可能にする。動き勾配の値は、重複エリアの側縁からの距離の関数として定義される。重複エリアの画素または画素のクラスタが重複エリアの側縁に近いほど、小さい動きを示す値が画素に割り当てられる。そのようにして、動き勾配の値に基づくシフト関数が画素(または重複エリアの端に近い画素のクラスタ)に適用されると、画素は、重複エリアの中心または重複エリアの中心のより近くに位置する他の画素(または他の画素のクラスタ)よりも小さくシフトされる。たとえば、最大シフト(たとえば重複エリアの中心から最も遠い位置にある画素)は、1/nとして定義されてよく、ここでnは、任意選択的な値に反応するユーザ入力(たとえば1〜100)に基づいて選択される。たとえば、100フレームを作成するために1〜100の間でnが定義され、ユーザ(複数も可)はフレームの各々に投票し、所望のn値を選択することができる。
[0085] ここで、112に示すように、フレーム内の重複エリアが、各々それぞれの動き勾配に基づいて処理される。たとえばここで、本発明のいくつかの実施形態に係る、推定された重複エリア402、およびステッチングのために適合される隣接フレーム408A、408Bを取得した隣接撮像素子の2つの中心406間に伸長する軸404の略図である図4が参照される。図4において、重複エリア内に位置するフレーム1(左側の408A)の画素は、たとえば以下のように、動き勾配を用いてシフトされる。
・重複エリアの左側境界線上に位置する最も左の画素はそのままである。
・たとえば値「n」に従って、左端縁部から遠ざかるほど大きくシフトされるように、離れた画素がシフトされる。
[0086] フレーム2(右側の408B)の画素は、重複エリアの端、この場合は右端からの距離との同様の依存関係を用いて反対方向へシフトされる。
[0087] ここで、114に示すように、重複エリアが後処理される。任意選択的に、シフトすることによって形成された穴は、たとえば隣接画素の規則的補間に基づいて閉じられるなど、処理される。
[0088] 116において、適合フレームは、少なくとも部分的に共通中心を取り囲む環境を撮像するパノラマフレームにステッチされる。ステッチングは、適合された重複エリアに基づく。パノラマフレームは、共通中心の周囲の環境を撮像する球形パノラマフレームであってよい。ステッチングは任意選択的に、同発明人による、パノラマフレームを作成するプロセスにおけるフレームの適合ステッチングと題された同時出願において説明されたように実行される。
[0089] 118および120に示すように、VRファイルを作成するための複数の連続的に捕捉されたフレームのセットの各々におけるフレームのペアの少なくとも1つの推定された重複エリアをそれぞれ適合するために102〜116が反復される。
[0090] 122に示すように、それによってVRファイルを出力することができる。
[0091] ここで、典型的なフレーム撮像である図5A〜図5Cが参照され、ここで、複数の視野角で撮像素子によって捕捉されたフレームのプロセスは、システム200を用いる、図1に示す方法に従って、パノラマフレームを作成するためにステッチされる。
[0092] 図5Aは、撮像素子212によって取得される典型的なフレームのセットである。4つの個々のフレームが、図3Aの実装304に示すように配置された4つの異なる撮像素子212によって取得される。4つのフレームは、左目または右目のために用いられ(各対応する撮像素子のペアではない撮像素子の1セットによって捕捉され)てよい。図5Bは、図1のブロック104〜114に関して説明されたように、図5Aに示す対応するフレームを適合することによって作成された適合フレームを示す。図5Cは、図1のブロック116に関して説明されたように、図5Bの適合フレームをステッチすることによって作成されたパノラマフレームを示す。
[0093] 本発明の様々な実施形態の説明は例示を目的として提示され、網羅的であること、または開示された実施形態に限定されることは意図されない。当業者には、説明された実施形態の範囲および主旨から逸脱することなく多数の変更例および変形例が明らかである。本明細書で用いられた用語は、実施形態の原理、実用化、または市場で見出される技術に対する技術的改善を最も良く説明するため、あるいは本明細書に開示された実施形態を当業者が理解することができるように選択されている。
[0094] 本出願に由来する特許権の有効期間中に多くの関連技術が開発されることが予想されるが、フレームという用語の範囲は、そのような新たな技術の全てを先験的に含むことが意図される。
[0095] 本明細書で用いられる場合、「約」という用語は±10%を指す。
[0096] 「備える」、「備えている」、「含む」、「含んでいる」、「有する」という用語およびそれらの活用形は、「含むが限定されない」ことを意味する。この用語は、「〜から成る」および「主に〜から成る」という表現を包含する。
[0097] 「主に〜から成る」という表現は、構成物または方法が追加の成分および/またはステップを含んでよいが、追加の成分および/またはステップが特許請求された構成物または方法の基本的かつ新規特徴を実質的に変更するものではない場合を意味する。
[0098] 本明細書で用いられる場合、単数形の「a」、「an」、および「the」は、文脈が明確に例外を示さない限り、複数形への言及を含む。たとえば、「化合物」または「少なくとも1つの化合物」という用語は、それらの混合物を含む複数の化合物を含んでよい。
[0099] 「典型的な」という用語は本明細書において、「例、実例、または例証となる」ことを意味するように用いられる。「典型的」として説明された任意の実施形態は、必ずしも他の実施形態よりも好適または有利であると解釈されず、および/または他の実施形態からの特徴を組み込むことを除外するものではない。
[0100] 「任意選択的に」という用語は本明細書において、「いくつかの実施形態には提供されるが他の実施形態には提供されない」ことを意味するように用いられる。本発明の任意の特定の実施形態は、それらが矛盾しない限り、複数の「任意選択的な」特徴を含んでよい。
[0101] 本出願を通して、本発明の様々な実施形態は、範囲形式で提示され得る。範囲形式での記載は単に利便性および簡潔性のためであり、本発明の範囲を変更不可能に限定するものとして解釈されてはならないことを理解すべきである。したがって、範囲の記載は、具体的に開示された全ての可能な部分範囲ならびに範囲内の個々の数値を有するものと考えるべきである。たとえば1〜6などの範囲の記載は、たとえば1〜3、1〜4、1〜5、2〜4、2〜6、3〜6などの具体的に開示された部分範囲ならびにたとえば1、2、3、4、5、および6など範囲内の個々の数を有するものと考えるべきである。これは、範囲の大きさにかかわらず適用される。
[0102] 本明細書において数的範囲が示される場合、それは、示された範囲内の任意の記載数値(分数または整数)を含むことを意味する。第1に示す数と第2に示す数との「間の領域/範囲」および第1に示す数「から」第2に示す数「までの領域/範囲」という表現は、本明細書において相互置換的に用いられ、示された第1および第2の数、およびそれらの間にある全ての分数および整数とを含むことを意味する。
[0103] 明確性のために別々の実施形態の文脈で説明された本発明の特定の特徴は、単一の実施形態に組み合わせて提供されてもよいことが理解される。逆に、簡潔性のために単一の実施形態の文脈で説明された本発明の様々な特徴は、別々に、または任意の適切な部分的組み合わせで、または本発明の他の任意の説明された実施形態に適したように提供されてもよい。様々な実施形態の文脈で説明された特定の特徴は、実施形態がそれらの要素なしでは動作不可能でない限り、それらの実施形態に不可欠な特徴として解釈されるものではない。
[0104] 本発明は、特定の実施形態に関連して説明されたが、多数の代替例、変更例、および変形例が当業者には明らかであることが明白である。したがって、そのような代替例、変更例、および変形例の全てを、特許請求の範囲の主旨および広い範囲に収まるように包含することが意図される。
[0105] 本明細書において言及された全ての出版物、特許文献、および特許出願書類は、個々の出版物、特許文献、または特許出願書類が参照によって本明細書に組み込まれるように明示的かつ個々に示された場合と同じ範囲まで、参照によってその全体が本明細書に組み込まれるものである。また、本出願における任意の参照文献の引用または識別は、そのような参照文献が本発明に対する従来技術として利用可能であることを認めるものとして解釈されるものではない。セクションの見出しが用いられるという点で、それらは必ずしも限定的なものとして解釈されてはならない。

Claims (20)

  1. 共通中心の周囲に取り付けられた複数の撮像素子によって複数の視野角で捕捉された複数のフレームを、前記共通中心を取り囲む環境を少なくとも部分的に画像化するパノラマフレームにステッチする方法であって、
    共通中心領域を取り囲む環境を撮像するために、前記共通中心領域の周囲に取り付けられた複数の撮像素子によって複数の視野角で捕捉された複数のフレームのセットを受け取ることと、
    前記複数のフレームにおける隣接フレームの複数のペアの各々において少なくとも1つの重複エリアを識別することであって、前記隣接フレームの各ペアは、前記複数の撮像素子のうちの重複する視野を有する2つの撮像素子によってほぼ同時に捕捉されたフレームを備えることと、
    前記少なくとも1つの重複エリアの各々について、
    前記隣接フレームの各ペアの中心を結ぶ中心連結軸を特定することと、
    前記隣接フレームのペアの各フレームについて動き勾配を計算することであって、前記動き勾配の値は、それぞれの前記フレームの側縁に向かって増加することと、
    前記少なくとも1つの重複エリアにおける前記隣接フレームのペアの画素を前記中心連結軸に沿って前記動き勾配のうちの対応する値に基づいて適合することと、
    前記適合された隣接フレームのペアを、前記共通中心を取り囲む環境を少なくとも部分的に画像化するパノラマフレームにステッチすることと
    を備える方法。
  2. 前記パノラマフレームは左目用パノラマフレームであり、前記複数の撮像素子は、右目用パノラマフレームに組み合わされる複数の追加のフレームを捕捉する複数の追加の撮像素子と交錯しており、
    立体フレームを作成するために、前記右目用パノラマフレームを前記左目用パノラマフレームと組み合わせることを更に備える、請求項1に記載の方法。
  3. 前記複数の撮像素子のメンバおよび前記複数の追加のフレームは、前記共通中心を取り囲む仮想円に沿って交互に配置される、請求項2に記載の方法。
  4. 前記パノラマフレームは右目用パノラマフレームであり、前記複数の撮像素子は、左目用パノラマフレームに組み合わされる複数の追加のフレームを捕捉する複数の追加の撮像素子と交錯しており、
    立体フレームを作成するために、前記左目用パノラマフレームを前記右目用パノラマフレームと組み合わせることを更に備える、請求項1に記載の方法。
  5. 前記複数の撮像素子は、前記共通中心を取り囲む仮想円に沿って配置され、前記複数の撮像素子の各々は、それらの光軸が、前記共通中心およびそれぞれの前記撮像素子の視野の起点の正接点を通る軸に対して傾斜するように取り付けられる、請求項1に記載の方法。
  6. 前記パノラマフレームは、前記共通中心の周囲の前記環境を画像化する360度の球形パノラマフレームである、請求項1に記載の方法。
  7. 前記パノラマフレームは、立体フレームを備える2つのフレームの1つとして用いられる、請求項6に記載の方法。
  8. 前記方法は、複数の連続的に捕捉されたセットの各々の各フレームにおける前記少なくとも1つの重複エリアの各々を適合するために反復される、請求項1に記載の方法。
  9. 前記複数のフレームの仮想表現の球体スケルトンへの投影を推定することを更に備える、請求項1に記載の方法。
  10. 前記少なくとも1つの重複エリアは、前記複数の撮像素子の少なくとも1つに関して定義された少なくとも1つの較正モデルによるパラメータを用いて識別される、請求項1に記載の方法。
  11. 前記少なくとも1つの較正モデルは、主点パラメータ、焦点距離パラメータ、および魚眼歪みパラメータから成るグループの少なくとも1つのメンバに従って、前記複数の撮像素子の各々について定義される、請求項10に記載の方法。
  12. 前記少なくとも1つの較正モデルは、画素の座標を、前記撮像素子の各々の結像面の対称軸に従って定義された補正座標にマップする魚眼補正マトリクスおよび付帯的カメラ較正マトリクスを備える、請求項10に記載の方法。
  13. 前記複数のフレームの各々において、前記少なくとも1つの重複エリアは、前記魚眼補正マトリクスに従って生成された結合マトリクスに基づいて計算され、前記付帯的カメラ較正マトリクスは連結マトリクスに組み合わされ、連結マトリクスは、各2つの連続フレームを各画素が3Dベクトルになるように球体に投影し、連結されたフル較正マトリクスに従って3Dベクトルを補正することによって、各2つの連続フレーム間で重複する前記少なくとも1つの重複エリアを計算するために用いられる、請求項12に記載の方法。
  14. 前記複数の撮像素子の各々は、魚眼レンズを備えるカメラである、請求項1に記載の方法。
  15. 前記複数の撮像素子の各々は、カメラリグ較正を用いて較正される、請求項1に記載の方法。
  16. 前記適合することは、前記重複エリアに位置する画素を前記それぞれの軸に沿って前記側縁の方へシフトすることを備える、請求項1に記載の方法。
  17. 前記シフトの結果として形成された複数のブランク画素を補間によって補正することを更に備える、請求項16に記載の方法。
  18. 共通中心の周囲に取り付けられた複数の撮像素子によって複数の視野角で捕捉された複数のフレームを、前記共通中心を取り囲む環境を少なくとも部分的に画像化するパノラマフレームにステッチするシステムであって、
    共通中心領域を取り囲む環境を撮像するために、前記共通中心領域の周囲に取り付けられた複数の撮像素子によって複数の視野角でほぼ同時に捕捉された複数のフレームのセットを受け取るように適合されたインタフェースと、
    コードを格納するように適合されたコードストアと、
    前記複数のフレームにおける隣接フレームの複数のペアの各々において少なくとも1つの重複エリアを識別することであって、前記隣接フレームの各ペアは、前記複数の撮像素子のうちの重複する視野を有する2つの撮像素子によってほぼ同時に捕捉されたフレームを備えること、
    前記少なくとも1つの重複エリアの各々について、
    前記隣接フレームの各ペアの中心を結ぶ中心連結軸を識別すること、
    前記隣接フレームのペアの各フレームについて動き勾配を計算することであって、前記動き勾配の値は、前記各フレームの側縁に向かって増加すること、
    前記少なくとも1つの重複エリアにおける前記隣接フレームのペアの画素を前記中心連結軸に沿って前記動き勾配のうちの対応する値に基づいて適合すること、および
    前記適合された隣接フレームのペアを、前記共通中心を取り囲む環境を少なくとも部分的に画像化するパノラマフレームにステッチすること
    のために前記コードを実行するように適合されたプロセッサと
    を備えるシステム。
  19. 前記複数の撮像素子は、仮想現実撮像デバイスの筐体の側面に取り付けられる、請求項18に記載のシステム。
  20. 共通中心の周囲に取り付けられた複数の撮像素子によって複数の視野角で捕捉された複数のフレームを、前記共通中心を取り囲む環境を少なくとも部分的に画像化するパノラマフレームにステッチするためのソフトウェアプログラム製品であって、
    非一時的コンピュータ可読記憶媒体と、
    共通中心領域を取り囲む環境を撮像するために、前記共通中心領域の周囲に取り付けられた複数の撮像素子によって複数の視野角で捕捉された複数のフレームのセットを受け取るための第1のプログラム命令と、
    前記複数の撮像素子のうちの重複する視野を有する2つの撮像素子によってほぼ同時に捕捉されたフレームを備える、前記複数のフレームにおける隣接フレームの複数のペアの各々において、少なくとも1つの重複エリアを識別するための第2のプログラム命令と、
    前記少なくとも1つの重複エリアの各々について、
    前記隣接フレームの各ペアの中心を結ぶ中心連結軸を識別すること、
    前記隣接フレームのペアの各フレームについて動き勾配を計算することであって、前記動き勾配の値は前記各フレームの側縁に向かって増加すること、
    前記少なくとも1つの重複エリアにおける前記隣接フレームのペアの画素を前記中心連結軸に沿って前記動き勾配のうちの対応する値に基づいて適合すること、および
    前記適合された隣接フレームのペアを、前記共通中心を取り囲む環境を少なくとも部分的に画像化するパノラマフレームにステッチすること
    を実行するための第3のプログラム命令と
    を備え、前記第1、第2、および第3のプログラム命令は、前記非一時的コンピュータ可読記憶媒体から、少なくとも1つのコンピュータ化プロセッサによって実行される、ソフトウェアプログラム製品。
JP2017549069A 2016-01-03 2016-12-12 フレームのパノラマフレームへのステッチング Pending JP2019511016A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662274321P 2016-01-03 2016-01-03
US201662274317P 2016-01-03 2016-01-03
US62/274,317 2016-01-03
US62/274,321 2016-01-03
PCT/IL2016/051329 WO2017115349A1 (en) 2016-01-03 2016-12-12 Stitching frames into a panoramic frame

Publications (1)

Publication Number Publication Date
JP2019511016A true JP2019511016A (ja) 2019-04-18

Family

ID=59224696

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017549069A Pending JP2019511016A (ja) 2016-01-03 2016-12-12 フレームのパノラマフレームへのステッチング
JP2018534905A Pending JP2019511024A (ja) 2016-01-03 2016-12-12 パノラマフレームを生成するプロセスにおけるフレームの適応ステッチング

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018534905A Pending JP2019511024A (ja) 2016-01-03 2016-12-12 パノラマフレームを生成するプロセスにおけるフレームの適応ステッチング

Country Status (6)

Country Link
US (2) US10460459B2 (ja)
EP (2) EP3398163A4 (ja)
JP (2) JP2019511016A (ja)
KR (2) KR20180101165A (ja)
CN (2) CN107960121A (ja)
WO (2) WO2017115348A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017115348A1 (en) 2016-01-03 2017-07-06 Humaneyes Technologies Ltd. Adaptive stitching of frames in the process of creating a panoramic frame
EP3403403B1 (en) * 2016-01-12 2023-06-07 Shanghaitech University Calibration method and apparatus for panoramic stereo video system
JP6545229B2 (ja) * 2017-08-23 2019-07-17 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
US11748952B2 (en) * 2017-09-27 2023-09-05 Intel Corporation Apparatus and method for optimized image stitching based on optical flow
JP2019080174A (ja) * 2017-10-25 2019-05-23 株式会社リコー 画像処理装置、撮像システム、通信システム、画像処理方法、およびプログラム
KR102025735B1 (ko) * 2017-11-23 2019-09-26 전자부품연구원 복수의 촬영 영상을 이용한 360 vr 영상 변환 시스템 및 방법
GB2572956B (en) * 2018-04-16 2021-09-08 Sony Interactive Entertainment Inc Calibration system and method
TWI678920B (zh) * 2018-05-23 2019-12-01 宏碁股份有限公司 影片處理裝置、其影片處理方法及電腦程式產品
CN108900817A (zh) * 2018-08-23 2018-11-27 重庆加河科技有限公司 一种基于vr的教育实时监测***
EP3667414B1 (en) * 2018-12-14 2020-11-25 Axis AB A system for panoramic imaging
KR20200081527A (ko) * 2018-12-19 2020-07-08 삼성전자주식회사 전자 장치 및 그 제어 방법
US10832377B2 (en) * 2019-01-04 2020-11-10 Aspeed Technology Inc. Spherical coordinates calibration method for linking spherical coordinates to texture coordinates
CN211018942U (zh) * 2019-03-25 2020-07-14 人眼科技有限公司 具有相同高度的传感器的成像装置
JP7165820B2 (ja) * 2019-05-15 2022-11-04 株式会社Nttドコモ 画像処理装置
CN112099616A (zh) * 2019-06-17 2020-12-18 深圳市黑电科技有限公司 一种体控ar眼镜360度全视角实现方法、***及ar眼镜
WO2020256517A2 (ko) * 2019-06-21 2020-12-24 주식회사 쓰리아이 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
KR102384177B1 (ko) * 2019-06-21 2022-04-29 주식회사 쓰리아이 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
CN114287126A (zh) * 2019-08-22 2022-04-05 深圳市铂岩科技有限公司 视频处理方法和装置、存储介质和电子设备
CN112927238B (zh) * 2019-12-06 2022-07-01 四川大学 结合光流与分水岭分割的岩心序列图像标注方法
KR102617222B1 (ko) * 2019-12-24 2023-12-26 주식회사 쓰리아이 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
GB2591278A (en) * 2020-01-24 2021-07-28 Bombardier Transp Gmbh A monitoring system of a rail vehicle, a method for monitoring and a rail vehicle
CN111476716B (zh) * 2020-04-03 2023-09-26 深圳力维智联技术有限公司 一种实时视频拼接方法和装置
CN111738923B (zh) * 2020-06-19 2024-05-10 京东方科技集团股份有限公司 图像处理方法、设备及存储介质
KR20220025600A (ko) 2020-08-24 2022-03-03 삼성전자주식회사 영상 생성 방법 및 장치
CN112085814B (zh) * 2020-09-07 2024-05-14 北京百度网讯科技有限公司 电子地图显示方法、装置、设备及可读存储介质
CN112102307B (zh) * 2020-09-25 2023-10-20 杭州海康威视数字技术股份有限公司 全局区域的热度数据确定方法、装置及存储介质
US20230377115A1 (en) * 2020-10-09 2023-11-23 Arizona Board Of Regents On Behalf Of Arizona State University Anti-tamper protection using dendrites
US20220253988A1 (en) * 2021-02-05 2022-08-11 Motorola Solutions, Inc. Device, method and system for identifying objects in warped images from a fisheye camera
KR102431955B1 (ko) * 2021-02-09 2022-08-18 브라이튼코퍼레이션 주식회사 비주얼콘텐츠 제작관리를 위한 비주얼콘텐츠 리뷰기능 제공방법 및 제공장치
WO2024090674A1 (en) * 2022-10-29 2024-05-02 Samsung Electronics Co., Ltd. Method and apparatus for stitching frames of image comprising moving objects
CN116563186A (zh) * 2023-05-12 2023-08-08 中山大学 一种基于专用ai感知芯片的实时全景感知***及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120133780A1 (en) * 2010-11-29 2012-05-31 Microsoft Corporation Camera calibration with lens distortion from low-rank textures
JP2013541884A (ja) * 2010-09-09 2013-11-14 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 携帯型装置でのステレオスコピック(3d)のパノラマ生成
US20140104378A1 (en) * 2011-04-08 2014-04-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Capturing panoramic or semi-panoramic 3d scenes
WO2015085406A1 (en) * 2013-12-13 2015-06-18 8702209 Canada Inc. Systems and methods for producing panoramic and stereoscopic videos
WO2015094298A1 (en) * 2013-12-19 2015-06-25 Intel Corporation Bowl-shaped imaging system
US20150278988A1 (en) * 2014-04-01 2015-10-01 Gopro, Inc. Image Taping in a Multi-Camera Array

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7259784B2 (en) * 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
CN1830004A (zh) * 2003-06-16 2006-09-06 戴纳皮克斯智能成像股份有限公司 凝胶电泳图像的分割和数据挖掘
US7730406B2 (en) * 2004-10-20 2010-06-01 Hewlett-Packard Development Company, L.P. Image processing system and method
US9035968B2 (en) * 2007-07-23 2015-05-19 Humaneyes Technologies Ltd. Multi view displays and methods for producing the same
JP5894602B2 (ja) * 2010-10-19 2016-03-30 ヒューマンアイズ テクノロジーズ リミテッド インタレース合成画像を形成する方法およびシステム
US9361717B2 (en) 2010-10-19 2016-06-07 Humaneyes Technologies Ltd. Methods and systems of generating an interlaced composite image
US8581961B2 (en) * 2011-03-31 2013-11-12 Vangogh Imaging, Inc. Stereoscopic panoramic video capture system using surface identification and distance registration technique
WO2013069049A1 (ja) 2011-11-07 2013-05-16 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
JP2015156523A (ja) * 2012-06-06 2015-08-27 ソニー株式会社 画像処理装置、画像処理方法、プログラム
CN104335569B (zh) * 2012-06-11 2017-08-25 索尼电脑娱乐公司 图像生成设备以及图像生成方法
WO2013186804A1 (ja) * 2012-06-11 2013-12-19 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US9413930B2 (en) 2013-03-14 2016-08-09 Joergen Geerds Camera system
US9451162B2 (en) * 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
CN203632790U (zh) * 2013-10-18 2014-06-04 中国民用航空总局第二研究所 一种可同时进行全景显示与局部查看的分布式联动***
WO2015127535A1 (en) * 2014-02-26 2015-09-03 Searidge Technologies Inc. Image stitching and automatic-color correction
WO2017115348A1 (en) 2016-01-03 2017-07-06 Humaneyes Technologies Ltd. Adaptive stitching of frames in the process of creating a panoramic frame

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013541884A (ja) * 2010-09-09 2013-11-14 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 携帯型装置でのステレオスコピック(3d)のパノラマ生成
US20120133780A1 (en) * 2010-11-29 2012-05-31 Microsoft Corporation Camera calibration with lens distortion from low-rank textures
US20140104378A1 (en) * 2011-04-08 2014-04-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Capturing panoramic or semi-panoramic 3d scenes
WO2015085406A1 (en) * 2013-12-13 2015-06-18 8702209 Canada Inc. Systems and methods for producing panoramic and stereoscopic videos
WO2015094298A1 (en) * 2013-12-19 2015-06-25 Intel Corporation Bowl-shaped imaging system
US20150278988A1 (en) * 2014-04-01 2015-10-01 Gopro, Inc. Image Taping in a Multi-Camera Array

Also Published As

Publication number Publication date
KR20180111798A (ko) 2018-10-11
WO2017115349A1 (en) 2017-07-06
EP3398016A1 (en) 2018-11-07
US10460459B2 (en) 2019-10-29
US20190019299A1 (en) 2019-01-17
CN108700798A (zh) 2018-10-23
EP3398163A1 (en) 2018-11-07
JP2019511024A (ja) 2019-04-18
CN107960121A (zh) 2018-04-24
WO2017115348A1 (en) 2017-07-06
KR20180101165A (ko) 2018-09-12
US20180063513A1 (en) 2018-03-01
EP3398016A4 (en) 2019-08-28
EP3398163A4 (en) 2019-10-16

Similar Documents

Publication Publication Date Title
JP2019511016A (ja) フレームのパノラマフレームへのステッチング
KR101944050B1 (ko) 파노라마 가상 현실 콘텐츠의 캡쳐 및 렌더링
KR102023587B1 (ko) 카메라 리그 및 입체 이미지 캡쳐
KR102458339B1 (ko) 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
US9877016B2 (en) Omnistereo capture and render of panoramic virtual reality content
US10038887B2 (en) Capture and render of panoramic virtual reality content
US20170363949A1 (en) Multi-tier camera rig for stereoscopic image capture
JP2020525912A (ja) デジタル画像を適応的にスティッチするシステムおよび方法
JP2016511968A (ja) 全周囲立体イメージング
US11812009B2 (en) Generating virtual reality content via light fields
US20190266802A1 (en) Display of Visual Data with a Virtual Reality Headset
KR101725024B1 (ko) 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법
Gurrieri et al. Stereoscopic cameras for the real-time acquisition of panoramic 3D images and videos
KR20170059879A (ko) 입체 영상 촬영 장치
KR101947799B1 (ko) 가상현실 콘텐츠 서비스를 위한 360도 vr 어안 렌더링 방법
Ramachandrappa Panoramic 360◦ videos in virtual reality using two lenses and a mobile phone
TW201926293A (zh) 影像解析度的調整方法及使用該方法的顯示系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201223

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210225

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210830