JP2018160917A - モバイル装置の全方向立体撮影 - Google Patents
モバイル装置の全方向立体撮影 Download PDFInfo
- Publication number
- JP2018160917A JP2018160917A JP2018107823A JP2018107823A JP2018160917A JP 2018160917 A JP2018160917 A JP 2018160917A JP 2018107823 A JP2018107823 A JP 2018107823A JP 2018107823 A JP2018107823 A JP 2018107823A JP 2018160917 A JP2018160917 A JP 2018160917A
- Authority
- JP
- Japan
- Prior art keywords
- mobile device
- shooting
- path
- image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 51
- 239000002131 composite material Substances 0.000 claims abstract description 13
- 238000003384 imaging method Methods 0.000 claims description 55
- 230000015654 memory Effects 0.000 claims description 34
- 230000004044 response Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 description 23
- 238000003860 storage Methods 0.000 description 22
- 238000009877 rendering Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 238000010408 sweeping Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 8
- 238000012937 correction Methods 0.000 description 7
- 238000002156 mixing Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
- H04N1/00183—Photography assistance, e.g. displaying suggestions to the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
Description
本願は、2015年5月26日に出願され、「Omnistereo Capture For Mobile Devices」と題された米国特許出願第14/721612号の優先権および利益を主張するもの
であり、その開示が引用により本明細書に援用される。
本願は、一般に、全方向立体パノラマの生成に関する。具体的には、本願は、モバイル装置を用いて撮影した画像から、全方向立体パノラマを生成することに関する。
画像およびビデオに対してパノラマ撮影技術を行うことによって、広い視界で撮影シーンを形成することができる。従来、パノラマ撮影技術および画像化技術を使用して、従来のカメラで撮影したいくつかの隣接する写真から、パノラマ画像を形成することができる。これらの写真を一列にマウントすることによって、完全なパノラマ画像を形成することができる。
1つ以上のコンピュータからなるシステムに、作動されると、システムに動作を実行させるソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせがインストールされているため、このようなシステムは、特定の操作または動作を実行するように構成することができる。1つ以上のコンピュータプログラムは、実行されたと、データ処理装置に動作を実行させる命令を含むため、特定の操作または動作を実行するように構成することができる。
イル装置の向きおよび位置角に関連する移動に対応するジャイロ測定値のグラフ表現を含むことができる。モバイル装置の位置角は、基面およびソース撮影経路に関連する平面に対する方位角を形成する半透明画像内の図形として表されてもよく、半透明画像は、合成画像に結合されてもよい。いくつかの実現例において、モバイル装置の位置角は、モバイル装置上のカメラレンズの前面と直交する平面から回転された角度の測定値と、モバイル装置上のカメラレンズの前面と平行する平面から回転された角度の測定値とを含む。
クを表示する動作とを実行させ、グラフィックは、ターゲット撮影経路とモバイル装置の移動に関連するソース撮影経路に対応する整列情報を提供する標識とを提供するように構成され、画像撮影中に、モバイル装置の移動に関連するソース撮影経路がターゲット撮影経路と異なることを検出することに応答して、画面に更新された標識を提供する動作を実行させ、更新された標識は、ソース撮影経路をターゲット撮影経路に合わせるように、モバイル装置のユーザにモバイル装置を調整させるためのプロンプトを含む。
様々な図面において、同様の参照符号は、同様の要素を示す。
関する指示、通知、または他の通信を受信することができる。例えば、モバイル装置上で動作するアプリケーションは、撮影中に、装置の向きが斜めになっているまたはコンテンツを取得していないことをユーザに通知することができる。これに応答して、ユーザは、モバイル装置の向きを変更することによって撮影を修正することができる。特定の撮影が完了すると、本開示に記載のアルゴリズムは、モバイル装置からの撮影コンテンツを使用して、3D全方向立体画像を形成することができる。
て、ユーザは、画像の撮影中に変更を行うことができる。指示は、ユーザが画像を撮影している向きおよび/または角度を変更するような指示であってもよい。一例において、指示は、装置102の画面に表示されてもよい。一例において、指示は、装置102によって撮影されているコンテンツと共に、装置102の画面に表示されてもよい。非限定的な例において、指示は、撮影されているコンテンツに重ねられて表示され、合成画像を形成する。この合成画像は、撮影されている画像と、撮影設定を変更するための指示とを示している。いくつかの実現例において、合成画像は、撮影されている画像と、撮影されている画像上に重ねられた(例えば、可視的に重ねられ、透明に重ねられまたh半透明に重ねられた)指示とを含むことができる。装置102の画面に示されたように、アプリケーションコンテンツは、標識103を用いて、能動的に画像を撮影し、撮影設定に関するフィードバックを受信する画像撮影アプリケーションを表現している。
い。絵入りグラフィックは、撮影された画像と並んで、撮影された画像に重ねて、または撮影された画像に結合された形で、画面上に提示されてもよい。絵入りグラフィックは、撮影経路の候補と、モバイル装置102の移動に関連する撮影経路に対応する整列情報を提供する標識とを与えるように構成することができる。整列情報を提供する標識は、モバイル装置102の撮影方向または位置を調整するように、ユーザを支援することができる指示に関するテキストまたはグラフィックを提供する修正標識であってもよい。例えば、撮影経路の候補を示すグラフィックは、モバイル装置102の掃引動作によって通過した実際の撮影経路を示すグラフィックと重なることができる。モバイル装置102を用いて撮影シーンを掃引するユーザは、これらの経路を視認しながら、実際の撮影経路の一部を撮影経路の候補の一部に合わせるように、手動でモバイル装置の向きまたは位置を調整することができる。いくつかの実現例において、グラフィックは、撮影経路に沿って撮影シーンの特定の部分を再掃引するように、ユーザに指示することができる。例えば、グラフィックは、ビデオをバックアップし、その一部を再撮影するように、ユーザに指示することができる。別の例において、グラフィックは、特定の撮影シーンの撮影経路の全体を再掃引するように、ユーザに指示することができる。このような例において、グラフィックまたはグラフィックと並んだテキストは、再撮影の角度を示すことができる。いくつかの例において、グラフィックは、追加の撮影を行う前に、カメラの詳細設定を調整するように、ユーザに指示することができる。
の間の偏差または不一致をユーザに表示することができる。このような偏差または不一致は、撮影経路の候補の1つ以上の部分が実際の撮影経路の(対応)部分と一致しない場合に生じ得る。このようにして、画像の撮影品質を向上させることができる。その目的のために、1つ以上の例において、ユーザへの指示は、撮影経路の候補と実際の撮影経路とを再度一致させるように、カメラの位置および/または向きおよび/または角度を修正する方法を示す指示を含むことができる。
をレンダリングすることによって、コンテンツをVR環境において表示することができる。
ッチすることによって撮影シーンを提供するポイント/列を決定することができる。モバイル装置102は、スティッチングに選択された各ポイント/列に対して、ポイント/列の配置データを取得し、適切なポイント/列を線状にスティッチすることによって、最終画像を形成することができる。このような最適化は、露出の不一致を修正し、カメラの位置ずれ/姿勢誤差を修正し、および/または欠落した画像フレームを修正するように機能することができる。
できる。これによって、撮影および処理を同時に行う場合よりも、立体画像コンテンツをより早く利用することができる。
装置を横方向に保持する場合、垂直視界が狭くなる。装置102上に撮影提案を提供するアプリケーションは、場合に応じて、装置の向きを提案することができる。
、アプリケーションコンテンツ502および標識506、508は、装置102を撮影経路の候補または装置の位置角に整列させることに関する静止画または動画、グラフもしくはテキストを含むことができる。モバイル装置102の位置角は、モバイル装置上のカメラレンズの前面と直交する平面から回転された角度の測定値と、モバイル装置上のカメラレンズの前面と平行する平面から回転された角度の測定値とによって表すことができる。例えば、標識は、整列情報を提供することができ、モバイル装置102上のカメラレンズの前面と直交する平面に対してモバイル装置を約30°の傾斜角から0°の傾斜角まで移動するように、ユーザに与える指示を含むことができる。いくつかの実現例において、モバイル装置102の位置角は、基面512aおよび撮影面512bに対する方位角(標識506および508によって示される)を提供するグラフとして、装置102の画面に表示される。一般に、モバイル装置の位置角は、基面およびソース撮影経路に関連する平面に対する方位角を提供する半透明画像を示すグラフとして、装置102の画面に表示される。いくつかの実現例において、半透明画像は、上述した合成画像に結合される。
とができる。これによって、以前の掃引とほぼ同様の向きおよび異なる傾斜角で後続の掃引を行うことを保証することができる。これらの類似掃引は、各々の全方向立体画像/パノラマを提供する。これらの全方向立体画像/パノラマは、例えば、画像内の水平画素ライン上のステッチ線に沿ってスティッチすることができる。複数の掃引に差があった場合、(本明細書に記載の)オプティカルフロー技術を使用して、撮影シーンに対する掃引の間の対応関係を見付けることができる。オプティカルフローを使用して、複数の掃引をブレンドすることができる。
は、ユーザが装置102にとって好ましくない方法で画像の撮影を行っていることをユーザに通知することができる。記号610を受信するための1つの例示的な理由は、撮影速度違反を挙げることができる。この場合、ユーザが撮影シーンの周りの撮影経路を掃引する速度が速すぎるため、装置は、特定の風景を撮影および処理することができない。
している。
に、モバイル装置のユーザを促すプロンプトを含むことができる。
とができる。第1部分および第2部分は、特定のコースに沿って第2部分を第1部分に整列させるように、ユーザに指示または通知することができる。この例において、第1部分は、円の一部または全円であってもよく、第2部分は、円の一部からの偏差または全円からの偏差であってもよい。本明細書において、円は、ユーザがモバイル装置を用いて撮影シーンの画像を撮影するために通過すべきである理想的な円形の掃引経路を表すことができる。
を含むがこれに限定されない。いくつかの実現例において、プロセス1000は、(i)撮影時に発生した横方向ロール移動、(ii)撮影時に発生したカメラの非共形円弧移動、または(iii)撮影時に発生した一貫性のない半径測定を補正することによって、3D空間においてレンダリングするための画像を調整するステップを含むことができる。
提供することができる。複数のインターフェイスを使用することもできる。
ームウェア、ソフトウェアおよび/またはそれらの組み合わせで実現することができる。これらの様々な実装は、プログラム可能なシステム上で実行可能および/または解釈可能な1つ以上のコンピュータプログラムにおける実装を含むことができる。このプログラム可能なシステムは、記憶システムからデータおよび命令を受信し、データおよび命令を記憶システムに送信するように記憶システムに連結された少なくとも1つのプログラム可能な専用または汎用のプロセッサ、少なくとも1つの入力装置、および少なくとも1つの出力装置を含む。
よび上述した請求項の例を任意に組み合わせることによって、更なる例示的実施形態を生み出すことができる。
Claims (20)
- コンピュータによって実施される方法であって、
モバイル装置を用いて、撮影シーンの複数の画像を撮影するための指示を受信するステップと、
前記モバイル装置に備えられたカメラを用いて、前記複数の画像を撮影するステップと、
前記複数の画像の撮影中に前記複数の画像の表現を前記モバイル装置の画面に表示し、前記複数の画像の撮影中にターゲット撮影経路と前記モバイル装置に関連するソース撮影経路に対応する整列情報を提供する標識とを含む合成画像を前記画面に提示するステップと、
撮影中に、前記ソース撮影経路の一部が前記ターゲット撮影経路の一部に一致していないことを検出することに応答して、更新された標識を前記画面に提供するステップとを含み、前記一致は、少なくとも部分的に閾値条件に基づき、
前記更新された標識は、前記ソース撮影経路を前記ターゲット撮影経路に合わせるように、前記モバイル装置のユーザに前記モバイル装置を調整させるためのプロンプトを含む、方法。 - 前記ソース撮影経路は、前記撮影シーンの前記複数の画像を撮影するために、前記モバイル装置によって行った掃引動作を含み、
前記ソース撮影経路は、前記モバイル装置の向きおよび角度に関連する、請求項1に記載の方法。 - 前記ターゲット撮影経路は、円形経路を含み、
前記複数の画像を撮影するステップは、前記モバイル装置が約10cm〜約75cmの直径を有する前記ターゲット撮影経路を横移動するように、前記モバイル装置を整列させることによって、前記モバイル装置を用いて画像コンテンツを記録することに対応する、請求項1に記載の方法。 - 前記整列情報は、前記モバイル装置の向きおよび位置角に関連する移動に対応するジャイロ測定値のグラフ表現を含む、請求項1〜3のいずれか1項に記載の方法。
- 前記モバイル装置の前記位置角は、基面および前記ソース撮影経路に関連する平面に対する方位角を形成する半透明画像内の図形として表され、
前記半透明画像は、前記合成画像に結合される、請求項4に記載の方法。 - 前記モバイル装置の前記位置角は、前記モバイル装置上のカメラレンズの前面と直交する平面から回転された角度の測定値と、前記モバイル装置上の前記カメラレンズの前面と平行する平面から回転された角度の測定値とを含む、請求項4に記載の方法。
- 撮影中に、より遅い速度で前記画像を撮影するための指示を前記画面で受け取るステップをさらに含む、請求項1〜6のいずれか1項に記載の方法。
- 前記撮影シーン内の追加の画像コンテンツを撮影するための更新された位置角を用いて前記撮影シーンの追加の画像撮影を実行するための指示を前記画面で受け取るステップをさらに含む、請求項1〜7のいずれか1項に記載の方法。
- 前記画面内の前記指示は、前記追加の画像撮影を実行している間に、前記モバイル装置を前記更新された位置角に維持することを前記モバイル装置のユーザに指示し、
前記追加の画像撮影は、前記モバイル装置のカメラレンズを前記撮影シーンに関連する基面と直交するときに、実行され、
前記更新された位置角は、(i)カメラレンズに対して約40°の後方傾斜、または(ii)カメラレンズに対して約40°の前方傾斜を含む、請求項8に記載の方法。 - 命令を含むコンピュータプログラムであって、これらの命令は、プロセッサによって実行されると、コンピュータシステムに以下のステップを実行させ、当該ステップは、
モバイル装置を用いて、撮影シーンの複数の画像を撮影するための指示を受信するステップと、
前記モバイル装置に備えられたカメラを用いて、前記複数の画像を撮影するステップと、
前記複数の画像の撮影中に前記複数の画像の表現を前記モバイル装置の画面に表示し、前記複数の画像の撮影中にターゲット撮影経路と前記モバイル装置に関連するソース撮影経路に対応する整列情報を提供する標識とを含む合成画像を前記画面に提示するステップと、
撮影中に、前記ソース撮影経路の一部が前記ターゲット撮影経路の一部に一致していないことを検出することに応答して、更新された標識を前記画面に提供するステップとを含み、前記一致は、少なくとも部分的に閾値条件に基づき、
前記更新された標識は、前記ソース撮影経路を前記ターゲット撮影経路に合わせるように、前記モバイル装置のユーザに前記モバイル装置を調整させるためのプロンプトを含む、プログラム。 - 前記ソース撮影経路は、前記撮影シーンの前記複数の画像を撮影するために、前記モバイル装置によって行った掃引動作を含み、
前記ソース撮影経路は、前記モバイル装置の向きおよび角度に関連する、請求項10に記載のプログラム。 - 前記整列情報は、前記モバイル装置の向きおよび位置角に関連する移動に対応するジャイロ測定値のグラフ表現を含む、請求項10または11に記載のプログラム。
- 前記撮影シーン内の追加の画像コンテンツを撮影するための更新された位置角を用いて前記撮影シーンの追加の画像撮影を実行するための指示を前記画面で受け取るステップをさらに含む、請求項10〜12のいずれか1項に記載のプログラム。
- 前記画面内の前記指示は、前記追加の画像撮影を実行している間に、前記モバイル装置を前記更新された位置角に維持することを前記モバイル装置のユーザに指示し、
前記追加の画像撮影は、前記モバイル装置のカメラレンズを前記撮影シーンに関連する基面と直交するときに、実行され、
前記更新された位置角は、(i)カメラレンズに対して約40°の後方傾斜、または(ii)カメラレンズに対して約40°の前方傾斜を含む、請求項13に記載のプログラム。 - システムであって、
少なくとも1つのプロセッサと、
命令を記憶するメモリとを備え、これらの命令は、前記少なくとも1つのプロセッサによって実行されると、前記システムに以下の動作、すなわち、
撮影中にモバイル装置の画面に表示されるコンテンツを撮影する動作と、
撮影中に前記モバイル装置の前記画面に絵入りグラフィックを表示する動作とを実行させ、前記絵入りグラフィックは、ターゲット撮影経路と前記モバイル装置の移動に関連するソース撮影経路に対応する整列情報を提供する標識とを提供するように構成され、
画像撮影中に、前記モバイル装置の移動に関連する前記ソース撮影経路が前記ターゲット撮影経路と異なることを検出することに応答して、前記画面に更新された標識を提供する動作を実行させ、前記更新された標識は、前記ソース撮影経路を前記ターゲット撮影経路に合わせるように、前記モバイル装置のユーザに前記モバイル装置を調整させるためのプロンプトを含む、システム。 - 前記絵入りグラフィックは、前記モバイル装置の移動を検出したことに応答して、リアルタイムで動的に更新する、請求項15に記載のシステム。
- 前記絵入りグラフィックは、前記ターゲット撮影経路を示す第1部分と、前記モバイル装置の移動に関連する前記ソース撮影経路を示す第2部分とを含み、
前記第1部分および第2部分は、前記第2部分を前記第1部分に合わせるコースを示す、請求項15に記載のシステム。 - 前記第1部分は、円を示し、
前記第2部分は、前記円からの偏差を示す、請求項17に記載のシステム。 - 前記整列情報は、前記モバイル装置の位置角に沿った移動に対応するジャイロ測定値の絵入りグラフィックを含む、請求項15〜18のいずれか1項に記載のシステム。
- 前記絵入りグラフィックは、前記モバイル装置の前記移動に関連する前記ソース撮影経路を前記ターゲット撮影経路に合わせるためのコースを提供する少なくとも1つの標識を含む、請求項15〜19のいずれか1項に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/721,612 US9813621B2 (en) | 2015-05-26 | 2015-05-26 | Omnistereo capture for mobile devices |
US14/721,612 | 2015-05-26 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017549605A Division JP6351870B1 (ja) | 2015-05-26 | 2016-05-26 | モバイル装置の全方向立体撮影 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018160917A true JP2018160917A (ja) | 2018-10-11 |
JP6704014B2 JP6704014B2 (ja) | 2020-06-03 |
Family
ID=56108727
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017549605A Active JP6351870B1 (ja) | 2015-05-26 | 2016-05-26 | モバイル装置の全方向立体撮影 |
JP2018107823A Active JP6704014B2 (ja) | 2015-05-26 | 2018-06-05 | モバイル装置の全方向立体撮影 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017549605A Active JP6351870B1 (ja) | 2015-05-26 | 2016-05-26 | モバイル装置の全方向立体撮影 |
Country Status (6)
Country | Link |
---|---|
US (2) | US9813621B2 (ja) |
EP (2) | EP3413556A1 (ja) |
JP (2) | JP6351870B1 (ja) |
KR (2) | KR101899531B1 (ja) |
CN (2) | CN109035128A (ja) |
WO (1) | WO2016191554A1 (ja) |
Families Citing this family (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9084058B2 (en) | 2011-12-29 | 2015-07-14 | Sonos, Inc. | Sound field calibration using listener localization |
US9106192B2 (en) * | 2012-06-28 | 2015-08-11 | Sonos, Inc. | System and method for device playback calibration |
US9219460B2 (en) | 2014-03-17 | 2015-12-22 | Sonos, Inc. | Audio settings based on environment |
US9264839B2 (en) | 2014-03-17 | 2016-02-16 | Sonos, Inc. | Playback device configuration based on proximity detection |
USD780777S1 (en) | 2014-04-22 | 2017-03-07 | Google Inc. | Display screen with graphical user interface or portion thereof |
US9972121B2 (en) * | 2014-04-22 | 2018-05-15 | Google Llc | Selecting time-distributed panoramic images for display |
US9934222B2 (en) | 2014-04-22 | 2018-04-03 | Google Llc | Providing a thumbnail image that follows a main image |
USD781317S1 (en) | 2014-04-22 | 2017-03-14 | Google Inc. | Display screen with graphical user interface or portion thereof |
US9952825B2 (en) | 2014-09-09 | 2018-04-24 | Sonos, Inc. | Audio processing algorithms |
JP6359774B2 (ja) | 2014-12-12 | 2018-07-18 | ケアベイ・ヨーロッパ・リミテッドCarebay Europe Limited | 投与量設定機構および投与量設定機構を含む薬剤送達装置 |
US9813621B2 (en) | 2015-05-26 | 2017-11-07 | Google Llc | Omnistereo capture for mobile devices |
US10582125B1 (en) * | 2015-06-01 | 2020-03-03 | Amazon Technologies, Inc. | Panoramic image generation from video |
WO2016203282A1 (en) * | 2015-06-18 | 2016-12-22 | The Nielsen Company (Us), Llc | Methods and apparatus to capture photographs using mobile devices |
US10491806B2 (en) * | 2015-08-03 | 2019-11-26 | Light Labs Inc. | Camera device control related methods and apparatus |
TWI547177B (zh) * | 2015-08-11 | 2016-08-21 | 晶睿通訊股份有限公司 | 視角切換方法及其攝影機 |
US9693165B2 (en) | 2015-09-17 | 2017-06-27 | Sonos, Inc. | Validation of audio calibration using multi-dimensional motion check |
CN108028985B (zh) | 2015-09-17 | 2020-03-13 | 搜诺思公司 | 用于计算设备的方法 |
US9743207B1 (en) | 2016-01-18 | 2017-08-22 | Sonos, Inc. | Calibration using multiple recording devices |
US10003899B2 (en) | 2016-01-25 | 2018-06-19 | Sonos, Inc. | Calibration with particular locations |
US11106423B2 (en) | 2016-01-25 | 2021-08-31 | Sonos, Inc. | Evaluating calibration of a playback device |
WO2017161192A1 (en) * | 2016-03-16 | 2017-09-21 | Nils Forsblom | Immersive virtual experience using a mobile communication device |
US9860662B2 (en) | 2016-04-01 | 2018-01-02 | Sonos, Inc. | Updating playback device configuration information based on calibration data |
US9864574B2 (en) | 2016-04-01 | 2018-01-09 | Sonos, Inc. | Playback device calibration based on representation spectral characteristics |
US9763018B1 (en) | 2016-04-12 | 2017-09-12 | Sonos, Inc. | Calibration of audio playback devices |
US9794710B1 (en) | 2016-07-15 | 2017-10-17 | Sonos, Inc. | Spatial audio correction |
US10372406B2 (en) | 2016-07-22 | 2019-08-06 | Sonos, Inc. | Calibration interface |
KR20180012064A (ko) * | 2016-07-26 | 2018-02-05 | 엘지전자 주식회사 | 디스플레이 장치 |
US10459684B2 (en) | 2016-08-05 | 2019-10-29 | Sonos, Inc. | Calibration of a playback device based on an estimated frequency response |
US10628661B2 (en) | 2016-08-09 | 2020-04-21 | Daon Holdings Limited | Methods and systems for determining user liveness and verifying user identities |
US10210380B2 (en) | 2016-08-09 | 2019-02-19 | Daon Holdings Limited | Methods and systems for enhancing user liveness detection |
US11115408B2 (en) | 2016-08-09 | 2021-09-07 | Daon Holdings Limited | Methods and systems for determining user liveness and verifying user identities |
US10217009B2 (en) * | 2016-08-09 | 2019-02-26 | Daon Holdings Limited | Methods and systems for enhancing user liveness detection |
US10665024B2 (en) * | 2016-12-12 | 2020-05-26 | Fyusion, Inc. | Providing recording guidance in generating a multi-view interactive digital media representation |
JP6974873B2 (ja) * | 2017-02-06 | 2021-12-01 | フォトニック センサーズ アンド アルゴリズムス,エセ.エレ. | シーンから深度情報を取得するための装置および方法 |
US10313651B2 (en) | 2017-05-22 | 2019-06-04 | Fyusion, Inc. | Snapshots at predefined intervals or angles |
US11069147B2 (en) * | 2017-06-26 | 2021-07-20 | Fyusion, Inc. | Modification of multi-view interactive digital media representation |
EP3496387A1 (en) * | 2017-12-05 | 2019-06-12 | Koninklijke Philips N.V. | Apparatus and method of image capture |
CN108449546B (zh) * | 2018-04-04 | 2020-03-31 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
WO2019205083A1 (zh) * | 2018-04-27 | 2019-10-31 | 深圳市柔宇科技有限公司 | 一种3d影像拍摄方法、3d拍摄设备及存储介质 |
US10587807B2 (en) * | 2018-05-18 | 2020-03-10 | Gopro, Inc. | Systems and methods for stabilizing videos |
WO2019241772A1 (en) * | 2018-06-15 | 2019-12-19 | Google Llc | Smart-home device placement and installation using augmented-reality visualizations |
US11206484B2 (en) | 2018-08-28 | 2021-12-21 | Sonos, Inc. | Passive speaker authentication |
US10299061B1 (en) | 2018-08-28 | 2019-05-21 | Sonos, Inc. | Playback device calibration |
US10750092B2 (en) | 2018-09-19 | 2020-08-18 | Gopro, Inc. | Systems and methods for stabilizing videos |
DE112019004977T5 (de) | 2018-10-05 | 2021-08-12 | Google Llc | Herunterskalierte Aufnahmevorschau für eine Panoramaaufnahmen-Benutzeroberfläche |
KR101990252B1 (ko) * | 2018-10-26 | 2019-06-19 | 주식회사 비포유플랫폼 | Vr 이미지 획득 방법, 이를 수행하기 위한 vr 촬영 프로그램이 설치된 휴대 단말기, 그리고 이 vr 촬영 프로그램을 휴대 단말기에 제공하는 서버 |
US10602062B1 (en) * | 2018-12-20 | 2020-03-24 | 3I Corporation | System and method for generating 360° video including advertisement |
US11092456B2 (en) * | 2019-03-08 | 2021-08-17 | Aptiv Technologies Limited | Object location indicator system and method |
US10706624B1 (en) | 2019-03-11 | 2020-07-07 | Amazon Technologies, Inc. | Three-dimensional room model generation using panorama paths with augmented reality guidance |
CN109934772B (zh) * | 2019-03-11 | 2023-10-27 | 影石创新科技股份有限公司 | 一种图像融合方法、装置及便携式终端 |
US10643344B1 (en) | 2019-03-11 | 2020-05-05 | Amazon Technologies, Inc. | Three-dimensional room measurement process |
US10645275B1 (en) | 2019-03-11 | 2020-05-05 | Amazon Technologies, Inc. | Three-dimensional room measurement process with augmented reality guidance |
US10937247B1 (en) | 2019-03-11 | 2021-03-02 | Amazon Technologies, Inc. | Three-dimensional room model generation using ring paths and photogrammetry |
US11024079B1 (en) | 2019-03-11 | 2021-06-01 | Amazon Technologies, Inc. | Three-dimensional room model generation using panorama paths and photogrammetry |
US10734965B1 (en) | 2019-08-12 | 2020-08-04 | Sonos, Inc. | Audio calibration of a portable playback device |
CN110658674B (zh) * | 2019-09-16 | 2022-09-09 | 忆备缩微科技(北京)有限公司 | 一种将电子文件输出至缩微胶片上的方法及装置 |
CN110906830B (zh) * | 2019-12-17 | 2022-02-11 | 美国西北仪器公司 | 智能测距轮***及其测距方法 |
US11417050B2 (en) * | 2019-12-19 | 2022-08-16 | Jvckenwood Corporation | Image adjustment device, virtual reality image display system, and image adjustment method |
US11176752B1 (en) * | 2020-03-31 | 2021-11-16 | Amazon Technologies, Inc. | Visualization of a three-dimensional (3D) model in augmented reality (AR) |
CN111464749B (zh) * | 2020-05-07 | 2021-05-25 | 广州酷狗计算机科技有限公司 | 进行图像合成的方法、装置、设备及存储介质 |
US20230206393A1 (en) * | 2021-12-28 | 2023-06-29 | MFTB Holdco., Inc. | Automated Building Information Determination Using Inter-Image Analysis Of Multiple Building Images |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11352568A (ja) * | 1998-06-11 | 1999-12-24 | Casio Comput Co Ltd | カメラ及びその制御方法 |
JP2010124088A (ja) * | 2008-11-18 | 2010-06-03 | Panasonic Corp | 撮像装置 |
JP2011142483A (ja) * | 2010-01-07 | 2011-07-21 | Panasonic Corp | 画像生成手法および画像生成装置 |
JP2012099917A (ja) * | 2010-10-29 | 2012-05-24 | Sanyo Electric Co Ltd | 撮像装置 |
WO2013069050A1 (ja) * | 2011-11-07 | 2013-05-16 | 株式会社ソニー・コンピュータエンタテインメント | 画像生成装置および画像生成方法 |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5495576A (en) | 1993-01-11 | 1996-02-27 | Ritchey; Kurtis J. | Panoramic image based virtual reality/telepresence audio-visual system and method |
JP2000032379A (ja) * | 1998-07-08 | 2000-01-28 | Olympus Optical Co Ltd | 電子カメラ |
US7015954B1 (en) * | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
US7224382B2 (en) | 2002-04-12 | 2007-05-29 | Image Masters, Inc. | Immersive imaging system |
EP1931945B1 (en) * | 2005-09-12 | 2011-04-06 | Trimble Jena GmbH | Surveying instrument and method of providing survey data using a surveying instrument |
JP5039922B2 (ja) * | 2008-03-21 | 2012-10-03 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 画像描画システム、画像描画サーバ、画像描画方法およびコンピュータ・プログラム |
JP5464955B2 (ja) * | 2009-09-29 | 2014-04-09 | 株式会社ソニー・コンピュータエンタテインメント | パノラマ画像表示装置 |
US20120019614A1 (en) * | 2009-12-11 | 2012-01-26 | Tessera Technologies Ireland Limited | Variable Stereo Base for (3D) Panorama Creation on Handheld Device |
JP2011135246A (ja) * | 2009-12-24 | 2011-07-07 | Sony Corp | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
JP5390707B2 (ja) * | 2010-06-24 | 2014-01-15 | 富士フイルム株式会社 | 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム |
JP2012068380A (ja) * | 2010-09-22 | 2012-04-05 | Sony Corp | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
JP5510238B2 (ja) * | 2010-09-22 | 2014-06-04 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
CN107105157B (zh) * | 2010-11-29 | 2020-02-14 | 快图有限公司 | 从手持设备所捕获的多个图像进行肖像图像合成 |
KR101777354B1 (ko) * | 2011-06-20 | 2017-09-11 | 삼성전자주식회사 | 디지털 촬영 장치, 그 제어 방법, 및 상기 방법을 수행하기 위한 컴퓨터 판독가능 저장매체 |
US9041734B2 (en) * | 2011-07-12 | 2015-05-26 | Amazon Technologies, Inc. | Simulating three-dimensional features |
JP5996169B2 (ja) * | 2011-07-27 | 2016-09-21 | オリンパス株式会社 | 画像処理システム、情報処理装置及びプログラム |
US9191649B2 (en) * | 2011-08-12 | 2015-11-17 | Qualcomm Incorporated | Systems and methods to capture a stereoscopic image pair |
CN104145474A (zh) * | 2011-12-07 | 2014-11-12 | 英特尔公司 | 引导式图像拍摄 |
US8872898B2 (en) * | 2011-12-14 | 2014-10-28 | Ebay Inc. | Mobile device capture and display of multiple-angle imagery of physical objects |
US10681304B2 (en) * | 2012-06-08 | 2020-06-09 | Apple, Inc. | Capturing a panoramic image using a graphical user interface having a scan guidance indicator |
US20150124047A1 (en) | 2012-07-20 | 2015-05-07 | Google Inc. | Panoramic video acquisition guidance |
US8965121B2 (en) * | 2012-10-04 | 2015-02-24 | 3Dmedia Corporation | Image color matching and equalization devices and related methods |
US20140156416A1 (en) * | 2012-12-03 | 2014-06-05 | Google Inc. | Previewing, approving and testing online content |
WO2014140660A1 (en) * | 2013-03-14 | 2014-09-18 | Silicon Image, Inc. | Driving data of multiple protocols through a single set of pins |
KR102003383B1 (ko) * | 2013-03-14 | 2019-07-24 | 삼성전자주식회사 | 전자 장치에서 이미지를 촬영하는 위한 장치 및 방법 |
US20150156416A1 (en) * | 2013-03-14 | 2015-06-04 | Google Inc. | Systems and Methods for Updating Panoramic Images |
US20140267618A1 (en) | 2013-03-15 | 2014-09-18 | Google Inc. | Capturing and Refocusing Imagery |
US9398215B2 (en) * | 2013-04-16 | 2016-07-19 | Eth Zurich | Stereoscopic panoramas |
KR102089432B1 (ko) * | 2013-06-20 | 2020-04-14 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
US9551461B2 (en) * | 2013-07-11 | 2017-01-24 | Boyer, Inc. | CNG/LNG filling station |
KR102021857B1 (ko) * | 2013-07-23 | 2019-09-17 | 엘지전자 주식회사 | 이동 단말기 및 그의 파노라마 촬영방법 |
KR102089614B1 (ko) | 2013-08-28 | 2020-04-14 | 삼성전자주식회사 | 구면 파노라마 이미지 촬영 방법 및 그 전자 장치 |
KR102120764B1 (ko) * | 2013-09-16 | 2020-06-09 | 엘지전자 주식회사 | 포터블 디바이스 및 그 제어 방법 |
US9972121B2 (en) * | 2014-04-22 | 2018-05-15 | Google Llc | Selecting time-distributed panoramic images for display |
US20160065842A1 (en) * | 2014-09-02 | 2016-03-03 | Honeywell International Inc. | Visual data capture feedback |
US9813621B2 (en) | 2015-05-26 | 2017-11-07 | Google Llc | Omnistereo capture for mobile devices |
-
2015
- 2015-05-26 US US14/721,612 patent/US9813621B2/en active Active
-
2016
- 2016-05-26 EP EP18185736.8A patent/EP3413556A1/en not_active Ceased
- 2016-05-26 JP JP2017549605A patent/JP6351870B1/ja active Active
- 2016-05-26 WO PCT/US2016/034317 patent/WO2016191554A1/en active Application Filing
- 2016-05-26 KR KR1020177027065A patent/KR101899531B1/ko active IP Right Grant
- 2016-05-26 CN CN201810915800.4A patent/CN109035128A/zh active Pending
- 2016-05-26 CN CN201680020085.7A patent/CN107466474B/zh active Active
- 2016-05-26 KR KR1020187024794A patent/KR102217204B1/ko active IP Right Grant
- 2016-05-26 EP EP16727605.4A patent/EP3304883B1/en active Active
-
2017
- 2017-10-03 US US15/723,670 patent/US10334165B2/en active Active
-
2018
- 2018-06-05 JP JP2018107823A patent/JP6704014B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11352568A (ja) * | 1998-06-11 | 1999-12-24 | Casio Comput Co Ltd | カメラ及びその制御方法 |
JP2010124088A (ja) * | 2008-11-18 | 2010-06-03 | Panasonic Corp | 撮像装置 |
JP2011142483A (ja) * | 2010-01-07 | 2011-07-21 | Panasonic Corp | 画像生成手法および画像生成装置 |
JP2012099917A (ja) * | 2010-10-29 | 2012-05-24 | Sanyo Electric Co Ltd | 撮像装置 |
WO2013069050A1 (ja) * | 2011-11-07 | 2013-05-16 | 株式会社ソニー・コンピュータエンタテインメント | 画像生成装置および画像生成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107466474A (zh) | 2017-12-12 |
EP3413556A1 (en) | 2018-12-12 |
JP2018524830A (ja) | 2018-08-30 |
EP3304883A1 (en) | 2018-04-11 |
CN107466474B (zh) | 2019-07-26 |
US20160353018A1 (en) | 2016-12-01 |
EP3304883B1 (en) | 2020-10-28 |
US10334165B2 (en) | 2019-06-25 |
KR20180099935A (ko) | 2018-09-05 |
US20180048816A1 (en) | 2018-02-15 |
KR101899531B1 (ko) | 2018-09-17 |
KR20180006368A (ko) | 2018-01-17 |
CN109035128A (zh) | 2018-12-18 |
US9813621B2 (en) | 2017-11-07 |
WO2016191554A1 (en) | 2016-12-01 |
JP6351870B1 (ja) | 2018-07-04 |
KR102217204B1 (ko) | 2021-02-18 |
JP6704014B2 (ja) | 2020-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6351870B1 (ja) | モバイル装置の全方向立体撮影 | |
EP3323109B1 (en) | Camera pose estimation for mobile devices | |
US9729788B2 (en) | Image generation apparatus and image generation method | |
JP6359644B2 (ja) | コンピュータビジョンアプリケーション初期化を容易にするための方法 | |
US9560274B2 (en) | Image generation apparatus and image generation method | |
US8330793B2 (en) | Video conference | |
US9894272B2 (en) | Image generation apparatus and image generation method | |
US10284776B2 (en) | Image generation apparatus and image generation method | |
US10404915B1 (en) | Method and system for panoramic video image stabilization | |
US20200351485A1 (en) | Systems and methods for stabilizing views of videos | |
TWI814624B (zh) | 環景影像的地標識別標註系統及其方法 | |
TW202418226A (zh) | 環景影像的地標識別標註系統及其方法 | |
TW202403509A (zh) | 用於擴增實境裝置之平滑物件校正 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180608 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190806 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200414 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200511 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6704014 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |