JP2018513433A - 携帯型デバイスの位置を決定するための方法 - Google Patents
携帯型デバイスの位置を決定するための方法 Download PDFInfo
- Publication number
- JP2018513433A JP2018513433A JP2017534811A JP2017534811A JP2018513433A JP 2018513433 A JP2018513433 A JP 2018513433A JP 2017534811 A JP2017534811 A JP 2017534811A JP 2017534811 A JP2017534811 A JP 2017534811A JP 2018513433 A JP2018513433 A JP 2018513433A
- Authority
- JP
- Japan
- Prior art keywords
- frame rate
- image
- portable device
- determining
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000005070 sampling Methods 0.000 claims abstract description 54
- 230000001133 acceleration Effects 0.000 claims description 22
- 230000008859 change Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 230000003190 augmentative effect Effects 0.000 abstract description 7
- 230000000007 visual effect Effects 0.000 description 47
- 101100118004 Arabidopsis thaliana EBP1 gene Proteins 0.000 description 23
- 101150052583 CALM1 gene Proteins 0.000 description 23
- 102100025580 Calmodulin-1 Human genes 0.000 description 23
- 101100459256 Cyprinus carpio myca gene Proteins 0.000 description 23
- 101150091339 cam-1 gene Proteins 0.000 description 23
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 22
- 101000836337 Homo sapiens Probable helicase senataxin Proteins 0.000 description 19
- 101000930354 Homo sapiens Protein dispatched homolog 1 Proteins 0.000 description 19
- 102100027178 Probable helicase senataxin Human genes 0.000 description 19
- 102100035622 Protein dispatched homolog 1 Human genes 0.000 description 19
- 102100027867 FH2 domain-containing protein 1 Human genes 0.000 description 18
- 101001060553 Homo sapiens FH2 domain-containing protein 1 Proteins 0.000 description 18
- 238000004891 communication Methods 0.000 description 17
- 101001012154 Homo sapiens Inverted formin-2 Proteins 0.000 description 16
- 101000615747 Homo sapiens tRNA-splicing endonuclease subunit Sen2 Proteins 0.000 description 16
- 102100030075 Inverted formin-2 Human genes 0.000 description 16
- 102100021774 tRNA-splicing endonuclease subunit Sen2 Human genes 0.000 description 16
- 101100417240 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) RPN2 gene Proteins 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 210000001747 pupil Anatomy 0.000 description 8
- 101100338893 Arabidopsis thaliana HHO5 gene Proteins 0.000 description 7
- 239000004606 Fillers/Extenders Substances 0.000 description 7
- 101001020548 Homo sapiens LIM/homeobox protein Lhx1 Proteins 0.000 description 6
- 101000976913 Homo sapiens Lens fiber major intrinsic protein Proteins 0.000 description 6
- 102100036133 LIM/homeobox protein Lhx1 Human genes 0.000 description 6
- 101000685663 Homo sapiens Sodium/nucleoside cotransporter 1 Proteins 0.000 description 5
- 102100023116 Sodium/nucleoside cotransporter 1 Human genes 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 5
- 102000012677 DET1 Human genes 0.000 description 4
- 101150113651 DET1 gene Proteins 0.000 description 4
- 210000001525 retina Anatomy 0.000 description 4
- 101000746134 Homo sapiens DNA endonuclease RBBP8 Proteins 0.000 description 3
- 101000969031 Homo sapiens Nuclear protein 1 Proteins 0.000 description 3
- 102100021133 Nuclear protein 1 Human genes 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 102100036464 Activated RNA polymerase II transcriptional coactivator p15 Human genes 0.000 description 2
- 101000713904 Homo sapiens Activated RNA polymerase II transcriptional coactivator p15 Proteins 0.000 description 2
- 101001005166 Homo sapiens Lens fiber membrane intrinsic protein Proteins 0.000 description 2
- 101000908580 Homo sapiens Spliceosome RNA helicase DDX39B Proteins 0.000 description 2
- 102100026038 Lens fiber membrane intrinsic protein Human genes 0.000 description 2
- 229910004444 SUB1 Inorganic materials 0.000 description 2
- 101150080287 SUB3 gene Proteins 0.000 description 2
- 102100024690 Spliceosome RNA helicase DDX39B Human genes 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101100219315 Arabidopsis thaliana CYP83A1 gene Proteins 0.000 description 1
- 102100037373 DNA-(apurinic or apyrimidinic site) endonuclease Human genes 0.000 description 1
- 101000806846 Homo sapiens DNA-(apurinic or apyrimidinic site) endonuclease Proteins 0.000 description 1
- 101000835083 Homo sapiens Tissue factor pathway inhibitor 2 Proteins 0.000 description 1
- 101000854862 Homo sapiens Vacuolar protein sorting-associated protein 35 Proteins 0.000 description 1
- 101150097504 LHX1 gene Proteins 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 101100269674 Mus musculus Alyref2 gene Proteins 0.000 description 1
- 101100140580 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) REF2 gene Proteins 0.000 description 1
- 102100020822 Vacuolar protein sorting-associated protein 35 Human genes 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 229910052987 metal hydride Inorganic materials 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- PXHVJJICTQNCMI-UHFFFAOYSA-N nickel Substances [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 1
- -1 nickel metal hydride Chemical class 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3679—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
− 携帯型デバイスのカメラから捕捉された画像フレームのシーケンスを取得するステップと、
− 携帯型デバイスの慣性センサーを使用することにより運動データを取得するステップと、
− 運動データにしたがってサンプリング・フレーム・レートを決定するステップと、
− サンプリング・フレーム・レートにしたがって捕捉された画像フレームから追跡画像を選択するステップと、
− 追跡画像をポイント・クラウドと比較することにより、携帯型デバイスの位置を決定するステップと、
− 決定された位置に基づいてデバイスのディスプレイ上に情報を表示するステップと、
を含む方法が提供されている。
− ディスプレイと、
− 画像フレーム・シーケンスを捕捉するように整えられたカメラと、
− 運動データを提供するための慣性センサーと、
− 運動データにしたがってサンプリング・フレーム・レートを決定し、追跡画像とポイント・クラウドを比較することによって携帯型デバイスの位置を決定し、決定された位置に基づいたディスプレイ上の情報の表示を制御するための制御ユニットと、
を備えた、携帯型デバイスが提供されている。
− 携帯型デバイスのカメラから捕捉された画像フレームのシーケンスを取得させ、
− 携帯型デバイスの慣性センサーから運動データを取得させ、
− 運動データにしたがってサンプリング・フレーム・レートを決定させ、
− サンプリング・フレーム・レートにしたがって捕捉された画像フレームから追跡画像を選択させ、
− 追跡画像をポイント・クラウドと比較することにより、携帯型デバイスの位置を決定させ、
− 決定された位置に基づいてデバイスのディスプレイ上に情報を表示させる、
ように構成されたコンピュータ・プログラム・コードを含むコンピュータ・プログラムが提供されている。
− 携帯型デバイスのカメラから捕捉された画像フレームのシーケンスを取得するための手段と、
− 携帯型デバイスの慣性センサーから運動データを取得するための手段と、
− 運動データにしたがってサンプリング・フレーム・レートを決定するための手段と、
− サンプリング・フレーム・レートにしたがって捕捉された画像フレームから追跡画像を選択するための手段と、
− 追跡画像をポイント・クラウドと比較することにより、携帯型デバイスの位置を決定するための手段と、
− 決定された位置に基づいてデバイスのディスプレイ上に情報を表示するための手段と、
を含む、手段が提供されている。
− 携帯型デバイス500のカメラCAM1から捕捉された画像フレームFj、Fj+1、Fj+2のシーケンスSEQを取得するステップと、
− 携帯型デバイス500の慣性センサーSEN1を使用することによって、慣性センサーSEN2を使用することによって、および/またはコンパスSEN3を使用することによって、運動データMDATを取得するステップと、
− 運動データMDATにしたがってサンプリング・フレーム・レートFAを決定するステップと、
− サンプリング・フレーム・レートFAにしたがって捕捉された画像フレームFj、Fj+1、Fj+2から追跡画像IMGKを選択するステップと、
− 追跡画像IMGKをポイント・クラウドPCKと比較することにより、携帯型デバイス500の位置POSk、POS2kを決定するステップと、
を含む方法によって決定することができる。
− 前記ポイントPの位置に基づいて、および運動データMDATに基づいて、ポイント・クラウドPCkのポイントPについてぶれ値BVを決定するステップ、
− ぶれ値BVが所定の制限BVBLURを超えた場合、ポイント・クラウドPCkのサブセットSCkから前記ポイントPを拒絶するステップ、および
− 追跡画像IMGkをサブセットSCkと比較することにより、携帯型デバイス500の位置POSkを決定するステップ。
− ポイント・クラウドPCkのポイントPの位置に基づいておよび運動データMDATに基づいてこのポイントPについてのぶれ値BVを決定するステップ、
− 前記ぶれ値BVを所定の制限BVBLURと比較するステップ、
− 比較に基づいて、ポイント・クラウドPCkのサブセットSCkに対し前記ポイントを選択するか、またはポイント・クラウドPCkのサブセットから前記ポイントを拒絶するステップ、および
− 追跡画像IMGkをサブセットSCkと比較することにより、携帯型デバイス500の位置POSkを決定するするステップ。
− 運動データMDATを使用することにより、位置変化DPOSを決定するステップ、
− 前記変化DPOSおよび先行の決定された位置POSkを使用して、補正された位置POS(t)を決定するステップ。
− 画像フレーム中に出現するマッチングする特徴の数を標示する指標値NMPを決定するステップおよび、
− マッチングする特徴の数NMPが所定の制限NMP、LIM1よりも小さい場合に、サンプリング・フレーム・レートfAを増大させるステップ。
Claims (20)
- 携帯型デバイスのカメラから捕捉された画像フレームのシーケンスを取得するステップと、
前記携帯型デバイスの慣性センサーを使用することにより運動データを取得するステップと、
前記運動データにしたがってサンプリング・フレーム・レートを決定するステップと、
前記サンプリング・フレーム・レートにしたがって前記捕捉された画像フレームから追跡画像を選択するステップと、
前記追跡画像をポイント・クラウドと比較することにより、前記携帯型デバイスの位置を決定するステップと、
前記決定された位置に基づいて前記デバイスのディスプレイの上に情報を表示するステップと、
を含む方法。 - 前記シーケンスは第1フレーム・レートで捕捉され、
前記サンプリング・フレーム・レートは、整数で除した前記第1フレーム・レートに等しい、
請求項1に記載の方法。 - 前記整数は、前記デバイスの角速度が第1所定制限より低く、
前記デバイスの加速度が第2所定制限よりも低いとき、2以上である、
請求項2に記載の方法。 - 前記サンプリング・フレーム・レートは、前記デバイスの角速度が第3所定制限以上である、および/または、前記デバイスの加速度が第4所定制限以上であるとき、前記第1フレーム・レートに等しい、請求項1ないし3のいずれか1項に記載の方法。
- 前記ポイント・クラウドのポイントの位置に基づいて、および、前記運動データに基づいて該ポイントについてのぶれ値を決定するステップと、
前記ぶれ値を所定制限と比較するステップと、
前記比較に基づいて、前記ポイント・クラウドのサブセットに対し前記ポイントを選択するか、または前記サブセットから前記ポイントを拒絶するステップと、
前記追跡画像を前記サブセットと比較することにより、前記携帯型デバイスの前記位置を決定するステップと、
を含む、請求項1ないし4のいずれか1項に記載の方法。 - 前記運動データを使用することにより、位置の変化を決定するステップと、
前記変化および先行の決定された位置を使用して、補正された位置を決定するステップと、
を含む、請求項1ないし5のいずれか1項に記載の方法。 - 前記携帯型デバイスは、前記比較を行なうために電力を供給するためのバッテリを備える、請求項1ないし7のいずれか1項に記載の方法。
- 画像フレーム中に出現するマッチングする特徴の数を標示する指標値を決定するステップと、
前記マッチングする特徴の数が所定制限よりも小さいときに、前記サンプリング・フレーム・レートを増加するステップと、
を含む、請求項1ないし7のいずれか1項に記載の方法。 - ディスプレイと、
画像フレーム・シーケンスを捕捉するように整えられたカメラと、
運動データを提供するための慣性センサーと、
前記運動データにしたがってサンプリング・フレーム・レートを決定し、前記追跡画像をポイント・クラウドと比較することによって前記携帯型デバイスの位置を決定し、前記決定された位置に基づいて前記ディスプレイの上の情報の表示を制御するための制御ユニットと、
を備える携帯型デバイス。 - 前記カメラは、第1フレーム・レートで前記画像フレーム・シーケンスを捕捉するように整えられ、
前記サンプリング・フレーム・レートは、整数で除した前記第1フレーム・レートに等しい、
請求項9に記載のデバイス。 - 前記制御ユニットは、前記デバイスの前記角速度が第1所定制限より低く、前記デバイスの前記加速度が第2所定制限よりも低いときに、前記整数が2以上であるように前記サンプリング・フレーム・レートを決定するように構成される、
請求項10に記載のデバイス。 - 前記カメラは、第1フレーム・レートで画像フレーム・シーケンスを捕捉するように整えられ、
前記制御ユニットは、前記デバイスの角速度が第3所定制限以上であり、および/または、前記デバイスの加速度が第4所定制限以上であるときに、前記サンプリング・フレーム・レートが前記第1フレーム・レートに等しいように、サンプリング・フレーム・レートを決定するように構成される、
請求項9ないし11のいずれか1項に記載のデバイス。 - 前記制御ユニットは、
前記ポイント・クラウドのポイントの位置に基づいておよび前記運動データに基づいてこのポイントについてのぶれ値を決定し、
前記ぶれ値を所定制限と比較し、
前記比較に基づいて、前記ポイント・クラウドのサブセットに対し前記ポイントを選択するか、または前記サブセットから前記ポイントを拒絶し、
前記追跡画像を前記サブセットと比較することにより、前記携帯型デバイスの前記位置を決定する、
ように構成される、
請求項9ないし12のいずれか1項に記載のデバイス。 - 前記制御ユニットは、
前記運動データを使用することにより、位置の変化を決定し、
前記変化および前に決定された位置を使用して、補正された位置を決定する、
ように構成される、請求項9ないし13のいずれか1項に記載のデバイス。 - 電力を供給するためのバッテリを備える、請求項9ないし14のいずれか1項に記載のデバイス。
- 前記制御ユニットは、
画像フレーム中に出現するマッチングする特徴の数を標示する指標値を決定し、
前記マッチングする特徴の数が所定制限よりも小さいとき、前記サンプリング・フレーム・レートを増大させる、
ように構成される、
請求項9ないし15のいずれか1項に記載のデバイス。 - 少なくとも1つのプロセッサ上で実行されたとき、装置またはシステムに、
携帯型デバイスのカメラから捕捉された画像フレームのシーケンスを取得させ、
前記携帯型デバイスの慣性センサーから運動データを取得させ、
前記運動データにしたがってサンプリング・フレーム・レートを決定させ、
前記サンプリング・フレーム・レートにしたがって前記捕捉された画像フレームから追跡画像を選択させ、
前記追跡画像をポイント・クラウドと比較することにより、前記携帯型デバイスの位置を決定させ、
前記決定された位置に基づいて前記デバイスのディスプレイの上に情報を表示させる
ように構成されたコンピュータ・プログラム・コードを備えるコンピュータ・プログラム。 - 前記シーケンスは第1フレーム・レートを有し、
前記サンプリング・フレーム・レートは、前記サンプリング・フレーム・レートが、整数で除した前記シーケンスのフレーム・レートに等しいように決定される、
請求項17に記載のコンピュータ・プログラム。 - 非一時的コンピュータ可読媒体上で具体化されたコンピュータ・プログラム・プロダクトであって、少なくとも1つのプロセッサの上で実行されたとき、装置またはシステムに、
携帯型デバイスのカメラから捕捉された画像フレームのシーケンスを取得させ、
前記携帯型デバイスの慣性センサーから運動データを取得させ、
前記運動データにしたがってサンプリング・フレーム・レートを決定させ、
前記サンプリング・フレーム・レートにしたがって前記捕捉された画像フレームから追跡画像を選択させ、
前記追跡画像をポイント・クラウドと比較することにより、前記携帯型デバイスの位置を決定させ、
前記決定された位置に基づいて前記デバイスのディスプレイの上に情報を表示させる
ように構成されたコンピュータ・プログラム・コードを含むコンピュータ・プログラム・プロダクト。 - 情報を表示するための手段であって、
携帯型デバイスのカメラから捕捉された画像フレームのシーケンスを取得するための手段と、
前記携帯型デバイスの慣性センサーから運動データを取得するための手段と、
前記運動データにしたがって、サンプリング・フレーム・レートを決定するための手段と、
前記サンプリング・フレーム・レートにしたがって、前記捕捉された画像フレームから追跡画像を選択するための手段と、
前記追跡画像をポイント・クラウドと比較することにより、前記携帯型デバイスの位置を決定するための手段と、
前記決定された位置に基づいて前記デバイスのディスプレイの上に情報を表示するための手段と、
を含む手段。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1423327.4 | 2014-12-30 | ||
GB1423327.4A GB2533788A (en) | 2014-12-30 | 2014-12-30 | Method for determining the position of a portable device |
PCT/FI2015/050846 WO2016107963A1 (en) | 2014-12-30 | 2015-12-03 | Method for determining the position of a portable device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018513433A true JP2018513433A (ja) | 2018-05-24 |
JP6503070B2 JP6503070B2 (ja) | 2019-04-17 |
Family
ID=52471610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017534811A Expired - Fee Related JP6503070B2 (ja) | 2014-12-30 | 2015-12-03 | 携帯型デバイスの位置を決定するための方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10217021B2 (ja) |
EP (1) | EP3241183B1 (ja) |
JP (1) | JP6503070B2 (ja) |
CN (1) | CN107111885B (ja) |
GB (1) | GB2533788A (ja) |
WO (1) | WO2016107963A1 (ja) |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160109586A (ko) * | 2015-03-12 | 2016-09-21 | 삼성전자주식회사 | 이미지 처리 시스템, 및 이를 포함하는 모바일 컴퓨팅 장치 |
CN106170676B (zh) * | 2015-07-14 | 2018-10-09 | 深圳市大疆创新科技有限公司 | 用于确定移动平台的移动的方法、设备以及*** |
US11314262B2 (en) | 2016-08-29 | 2022-04-26 | Trifo, Inc. | Autonomous platform guidance systems with task planning and obstacle avoidance |
US10366508B1 (en) | 2016-08-29 | 2019-07-30 | Perceptin Shenzhen Limited | Visual-inertial positional awareness for autonomous and non-autonomous device |
US10402663B1 (en) * | 2016-08-29 | 2019-09-03 | Trifo, Inc. | Visual-inertial positional awareness for autonomous and non-autonomous mapping |
US10390003B1 (en) | 2016-08-29 | 2019-08-20 | Perceptln Shenzhen Limited | Visual-inertial positional awareness for autonomous and non-autonomous device |
US10032276B1 (en) | 2016-08-29 | 2018-07-24 | PerceptIn, Inc. | Visual-inertial positional awareness for autonomous and non-autonomous device |
US10043076B1 (en) | 2016-08-29 | 2018-08-07 | PerceptIn, Inc. | Visual-inertial positional awareness for autonomous and non-autonomous tracking |
US10571925B1 (en) | 2016-08-29 | 2020-02-25 | Trifo, Inc. | Autonomous platform guidance systems with auxiliary sensors and task planning |
US10453213B2 (en) * | 2016-08-29 | 2019-10-22 | Trifo, Inc. | Mapping optimization in autonomous and non-autonomous platforms |
US10162362B2 (en) | 2016-08-29 | 2018-12-25 | PerceptIn, Inc. | Fault tolerance to provide robust tracking for autonomous positional awareness |
US10571926B1 (en) | 2016-08-29 | 2020-02-25 | Trifo, Inc. | Autonomous platform guidance systems with auxiliary sensors and obstacle avoidance |
US10395117B1 (en) | 2016-08-29 | 2019-08-27 | Trifo, Inc. | Visual-inertial positional awareness for autonomous and non-autonomous tracking |
US10410328B1 (en) | 2016-08-29 | 2019-09-10 | Perceptin Shenzhen Limited | Visual-inertial positional awareness for autonomous and non-autonomous device |
GB2557212A (en) * | 2016-11-30 | 2018-06-20 | Nokia Technologies Oy | Methods and apparatuses for determining positions of multi-directional image capture apparatuses |
US10241587B2 (en) * | 2016-12-22 | 2019-03-26 | Microsoft Technology Licensing, Llc | Magnetic tracker power duty cycling |
US20180203504A1 (en) * | 2017-01-16 | 2018-07-19 | Htc Corporation | Movement tracking method and movement tracking system |
GB2561368B (en) | 2017-04-11 | 2019-10-09 | Nokia Technologies Oy | Methods and apparatuses for determining positions of multi-directional image capture apparatuses |
US10444761B2 (en) | 2017-06-14 | 2019-10-15 | Trifo, Inc. | Monocular modes for autonomous platform guidance systems with auxiliary sensors |
US10496104B1 (en) | 2017-07-05 | 2019-12-03 | Perceptin Shenzhen Limited | Positional awareness with quadocular sensor in autonomous platforms |
US10462370B2 (en) | 2017-10-03 | 2019-10-29 | Google Llc | Video stabilization |
US10171738B1 (en) * | 2018-05-04 | 2019-01-01 | Google Llc | Stabilizing video to reduce camera and face movement |
WO2019246129A2 (en) | 2018-06-18 | 2019-12-26 | Magic Leap, Inc. | Augmented reality display with frame modulation functionality |
US11624909B2 (en) | 2018-06-18 | 2023-04-11 | Magic Leap, Inc. | Head-mounted display systems with power saving functionality |
CN109099901B (zh) * | 2018-06-26 | 2021-09-24 | 中科微易(苏州)智能科技有限公司 | 基于多源数据融合的全自动压路机定位方法 |
CN109598688A (zh) * | 2018-12-06 | 2019-04-09 | 联想(北京)有限公司 | 一种处理方法及电子设备 |
CN111337039B (zh) * | 2018-12-18 | 2021-07-20 | 北京四维图新科技股份有限公司 | 拥堵路段的地图数据采集方法、装置、***及存储介质 |
US11774983B1 (en) | 2019-01-02 | 2023-10-03 | Trifo, Inc. | Autonomous platform guidance systems with unknown environment mapping |
US11069085B2 (en) * | 2019-02-13 | 2021-07-20 | Toyota Research Institute, Inc. | Locating a vehicle based on labeling point cloud data of a scene |
US11120273B2 (en) * | 2019-06-21 | 2021-09-14 | Gfycat, Inc. | Adaptive content classification of a video content item |
CN110727288A (zh) * | 2019-11-13 | 2020-01-24 | 昆明能讯科技有限责任公司 | 一种基于点云的电力巡检精准三维航线规划方法 |
CN111780774B (zh) * | 2020-06-09 | 2022-05-03 | 北京五一视界数字孪生科技股份有限公司 | 运动轨迹的生成方法、装置、存储介质和电子设备 |
US11190689B1 (en) | 2020-07-29 | 2021-11-30 | Google Llc | Multi-camera video stabilization |
CN114079781B (zh) * | 2020-08-18 | 2023-08-22 | 腾讯科技(深圳)有限公司 | 一种点云媒体的数据处理方法、装置、设备及存储介质 |
WO2022140582A1 (en) * | 2020-12-23 | 2022-06-30 | Magic Leap, Inc. | Eyepiece imaging assemblies for a head mounted display |
US11741631B2 (en) | 2021-07-15 | 2023-08-29 | Vilnius Gediminas Technical University | Real-time alignment of multiple point clouds to video capture |
CN117472068B (zh) * | 2023-12-27 | 2024-05-03 | 深圳市奇航疆域技术有限公司 | 一种不良网络场景下的机器人控制方法及*** |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003316259A (ja) * | 2002-02-25 | 2003-11-07 | Mitsubishi Electric Corp | 撮影映像処理方法及び撮影映像処理システム |
JP2010118019A (ja) * | 2008-11-14 | 2010-05-27 | Sharp Corp | 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体 |
WO2013167901A1 (en) * | 2012-05-09 | 2013-11-14 | Ncam Technologies Limited | A system for mixing or compositing in real-time, computer generated 3d objects and a video feed from a film camera |
WO2014048475A1 (en) * | 2012-09-27 | 2014-04-03 | Metaio Gmbh | Method of determining a position and orientation of a device associated with a capturing device for capturing at least one image |
JP2014126670A (ja) * | 2012-12-26 | 2014-07-07 | Canon Inc | 撮像装置及びその制御方法、並びにプログラム |
US20140241614A1 (en) * | 2013-02-28 | 2014-08-28 | Motorola Mobility Llc | System for 2D/3D Spatial Feature Processing |
JP2014174638A (ja) * | 2013-03-06 | 2014-09-22 | Nippon Telegr & Teleph Corp <Ntt> | 指示位置算出装置、ディスプレイ指示システム、方法及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6952212B2 (en) * | 2000-03-24 | 2005-10-04 | Telefonaktiebolaget Lm Ericsson (Publ) | Frame decimation for structure from motion |
US8798357B2 (en) * | 2012-07-09 | 2014-08-05 | Microsoft Corporation | Image-based localization |
US9161172B2 (en) * | 2012-11-06 | 2015-10-13 | Qualcomm Incorporated | Map-based adaptive sampling of orientation sensors for positioning |
US9699375B2 (en) * | 2013-04-05 | 2017-07-04 | Nokia Technology Oy | Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system |
US9037396B2 (en) * | 2013-05-23 | 2015-05-19 | Irobot Corporation | Simultaneous localization and mapping for a mobile robot |
CN103559711B (zh) * | 2013-11-05 | 2016-04-27 | 余洪山 | 基于三维视觉***图像特征和三维信息的运动估计方法 |
CN103646424B (zh) * | 2013-11-26 | 2016-05-04 | 北京空间机电研究所 | 一种空中无缝虚拟漫游***构建方法 |
-
2014
- 2014-12-30 GB GB1423327.4A patent/GB2533788A/en not_active Withdrawn
-
2015
- 2015-12-03 CN CN201580071659.9A patent/CN107111885B/zh not_active Expired - Fee Related
- 2015-12-03 EP EP15875299.8A patent/EP3241183B1/en not_active Not-in-force
- 2015-12-03 US US15/540,369 patent/US10217021B2/en not_active Expired - Fee Related
- 2015-12-03 WO PCT/FI2015/050846 patent/WO2016107963A1/en active Application Filing
- 2015-12-03 JP JP2017534811A patent/JP6503070B2/ja not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003316259A (ja) * | 2002-02-25 | 2003-11-07 | Mitsubishi Electric Corp | 撮影映像処理方法及び撮影映像処理システム |
JP2010118019A (ja) * | 2008-11-14 | 2010-05-27 | Sharp Corp | 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体 |
WO2013167901A1 (en) * | 2012-05-09 | 2013-11-14 | Ncam Technologies Limited | A system for mixing or compositing in real-time, computer generated 3d objects and a video feed from a film camera |
WO2014048475A1 (en) * | 2012-09-27 | 2014-04-03 | Metaio Gmbh | Method of determining a position and orientation of a device associated with a capturing device for capturing at least one image |
JP2014126670A (ja) * | 2012-12-26 | 2014-07-07 | Canon Inc | 撮像装置及びその制御方法、並びにプログラム |
US20140241614A1 (en) * | 2013-02-28 | 2014-08-28 | Motorola Mobility Llc | System for 2D/3D Spatial Feature Processing |
JP2014174638A (ja) * | 2013-03-06 | 2014-09-22 | Nippon Telegr & Teleph Corp <Ntt> | 指示位置算出装置、ディスプレイ指示システム、方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6503070B2 (ja) | 2019-04-17 |
CN107111885B (zh) | 2020-10-09 |
US20170357873A1 (en) | 2017-12-14 |
EP3241183A4 (en) | 2018-08-15 |
CN107111885A (zh) | 2017-08-29 |
WO2016107963A1 (en) | 2016-07-07 |
EP3241183A1 (en) | 2017-11-08 |
EP3241183B1 (en) | 2019-10-16 |
GB201423327D0 (en) | 2015-02-11 |
GB2533788A (en) | 2016-07-06 |
US10217021B2 (en) | 2019-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6503070B2 (ja) | 携帯型デバイスの位置を決定するための方法 | |
US10754423B2 (en) | Providing virtual reality experience service | |
WO2019223468A1 (zh) | 相机姿态追踪方法、装置、设备及*** | |
KR101885778B1 (ko) | 3 차원 비디오를 위한 이미지 스티칭 | |
US9311883B2 (en) | Recalibration of a flexible mixed reality device | |
KR20180073327A (ko) | 영상 표시 방법, 저장 매체 및 전자 장치 | |
JP2014517569A (ja) | 携帯コンピュータデバイスを用いたパノラマビデオ撮像装置及び方法 | |
Hwang et al. | Monoeye: Multimodal human motion capture system using a single ultra-wide fisheye camera | |
WO2019055388A1 (en) | 4D CAMERA TRACKING AND OPTICAL STABILIZATION | |
CN115690382A (zh) | 深度学习模型的训练方法、生成全景图的方法和装置 | |
EP3087727B1 (en) | An emotion based self-portrait mechanism | |
CN111788538B (zh) | 头戴式显示器以及减少所连接的远程显示器中视觉诱发运动疾病的方法 | |
US20230388632A1 (en) | Dynamic adjustment of exposure and iso to limit motion blur | |
US11765457B2 (en) | Dynamic adjustment of exposure and iso to limit motion blur | |
KR20240008915A (ko) | 모션 블러 완화를 위한 선택적 이미지 피라미드 계산 | |
US20120002086A1 (en) | Optically Projected Mosaic Rendering | |
CN114283243A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
Han et al. | Video stabilization for camera shoot in mobile devices via inertial-visual state tracking | |
CN107426522B (zh) | 基于虚拟现实设备的视频方法和*** | |
US11683585B2 (en) | Direct scale level selection for multilevel feature tracking under motion blur | |
US20170359593A1 (en) | Apparatus, method and computer program for obtaining images from an image capturing device | |
CN111684784B (zh) | 图像处理方法和装置 | |
US20230421717A1 (en) | Virtual selfie stick | |
CN117321635A (zh) | 用于多级别特征跟踪的直接尺度级别选择 | |
CN117441343A (zh) | 曝光和iso的动态调整的相关应用 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190322 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6503070 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |