JP2017223648A - 飛行時間型深度イメージングの際の消費電力の低減 - Google Patents
飛行時間型深度イメージングの際の消費電力の低減 Download PDFInfo
- Publication number
- JP2017223648A JP2017223648A JP2017049970A JP2017049970A JP2017223648A JP 2017223648 A JP2017223648 A JP 2017223648A JP 2017049970 A JP2017049970 A JP 2017049970A JP 2017049970 A JP2017049970 A JP 2017049970A JP 2017223648 A JP2017223648 A JP 2017223648A
- Authority
- JP
- Japan
- Prior art keywords
- image
- scene
- imaging device
- depth
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4868—Controlling received signal intensity or exposure of sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
- H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
飛行時間型カメラを使用した深度検知の際の大きなエネルギー消費源は、場面を照明するレーザに電力供給することからもたらされる。高い信号対ノイズ比(SNR:Signal−to−Noise Ratio)を得るために、カメラセンサは、かなりの光量に露出され、現在では通常、飛行時間検知を、プラグイン式デバイスに限定している。ドローン検知、拡張現実、自動車検知などの多くの用途が、電池式ソリューションを必要とする。
飛行時間型カメラは、各画素がカメラまでの場面内の対応する点の距離に相当する、場面の写真を撮る。距離は、光パルス(たとえば、IR光)を使用し場面を照明し、かつパルスがカメラから面に向かい、面からセンサに戻るのに掛かる時間を測定することによって、推定される。パルスを出射する代わりに、いくつかの飛行時間型カメラは、光の振幅変調連続波を出射し、出射された連続波(CW:Continuous−Wave)と反射波との間の位相シフトを測定する。飛行時間型カメラは、仮想現実(VR:Virtual Reality)、拡張現実(AR:Augmented Reality)、自律カーナビゲーション、ロボットナビゲーション、ドローンナビゲーションなどを含む、数多くの用途に使用され得る。
パルス数を最小限にすることによって信頼できる深度測定値を得ることには、電力の低減、より多くのTOFカメラを同時に使用できるようにさせる、深度画像のより素早い取得を可能にさせる、より速いフレームレートを可能にさせる、などの利点があり得る。
いくつかの実施形態では、TOFカメラを使用して得られる深度マップは、S0、S1とする2つの画像を使用して得られ得ることを思い出してみる。Dとした深度マップの1つの計算結果は、以下に比例する。
コンピュータビジョン技法が、受動的深度決定に使用され得る。受動的深度決定とは、たとえば、電力を節約するために、たとえ直接の(または「能動的な」)深度決定が行われなくても、いくつかのフレームにおいて深度情報を得ることを意味する。コンピュータビジョン技法は、最初に、画像内の剛体をセグメントアウトすることができる。深度推定値が、新しい深度画像を撮る代わりに、フレーム1において与えられた深度マップから外挿され得るように、3次元における剛体の運動を推定するのに、2D画像と最適化を使用した、本明細書に説明される技法が使用され得る。
画像内の既知の物体がどのように位置を変えたかを決定するために、剛体移動が計算され得る。このような情報は、さらなる高額な深度推定値の取得に頼ることなく、深度マップを更新するのに使用され得る(高額とは、高電力のレーザベースの深度マップを意味する)。前の節において説明されたように、剛体運動とは、物体を構成する点のすべてが、同じ変位ベクトルで動くことを意味する。再び、それについての深度情報が望まれる物体が画像内ですでに分かっていると仮定される。
この節では、画素単位の動き推定を使用して深度マップを更新することを説明する。いくつかの(U、V、W)値の三つ組が、何の追加の制約もなく方程式Aを満たすことになるため、方程式Aを使用した、1つの画素に対するU、V、およびWの決定は、劣決定系の問題であり、この場合、剛体運動のケースでは、必要とされる追加の制約は、すべての画素が同じU、V、Wで動くという事実から来ていたことに留意されたい。合理的解法用に方程式Aを制約するための1つの手法は、U、V、Wに「平滑さ」を課すことである。この手法の展開が以下に示される。
慣性計測装置(IMU)を使用したフレーム補間
図19は、本開示の実施形態による、物体の動きの画素単位の推定値を使用して深度マップを更新する際のプロセスフロー図1900である。最初に、第1のフレーム(フレーム1)がキャプチャされ、これは、深度マップを作成するための高電力のキャプチャであり得る(すなわち、高電力の深度推定技法を使用した)(1902)。深度が未知であるかまたはノイズを伴っている、低電力または2D RGB技法によってキャプチャされた1つまたは複数の後のフレームでは(1904)、画像の1つまたは複数のパッチ(または画素ウィンドウ)が評価され、フレーム1にもある対応するパッチを見つけることができる(1906)。たとえば、対応するパッチは、各フレームにある物体または物体の一部を含むことができる。低電力/RGB画像からのパッチは、高電力の画像内のおそらく異なるサイズである、このパッチの近くのパッチと比較され、物体または物体の一部がどの程度動いたか(移動したか)、サイズがどの程度変わったか(拡大縮小したか)、かつ/またはどの程度回転したか、を推定することができる(1908)。比較は、画素値の差の合計などの測定基準を使用して行われることが可能で、この場合、大きな値は、大きな違いに対応するので、人は、違いが最も小さいパッチを探す。実施形態において、隣接したパッチ間の変容の平滑さが強要され得る(1910)。
受動的な深度決定アルゴリズム(剛体運動と画素単位の動きの両方のバージョン)は、場面内の動く物体の深度をモニタするのに使用され得るが、これらの物体の動きは、それについての前のフレームからの前の深度測定値が使用できない背景内の領域も明らかにする。これらの領域を「埋める」ために、考えられる技法は、画像インペインティング、ブロックマッチングなどを含む。たとえば、「安く得られた」フレームにおいてブロックマッチングを使用することによって、明らかにされた背景パッチに最も近いマッチするパッチが特定され、高品質の深度マップからの同じ領域に位置するパッチを使用し、明らかにされた領域を「埋める」ことができる。我々の手法は、これらの「埋める」方法と並んで、受動的な深度決定アルゴリズムを使用し、完全な深度マップを生成することになる。
Claims (22)
- イメージングデバイスを操作する方法であって、
複数のフレームのうちの第1のフレーム中に、第1の電力設定を使用して、場面から第1の組の測定値をキャプチャすることであって、前記第1の組の測定値が、前記場面内の1つまたは複数の物体と前記イメージングデバイスとの間の距離を表す深度マップを含む、ことと、
第2のフレーム中に、第2の電力設定を使用して、前記場面から第2の組の測定値をキャプチャすることであって、前記第2の電力設定が、前記第1の電力設定よりも低い、ことと、
前記第1の組の測定値と前記第2の組の測定値との比較に少なくとも一部基づき、前記第1のフレーム中にキャプチャされた前記深度マップを更新することと、を含む、方法。 - 前記深度マップが第1の深度マップであり、前記第2の組の測定値が、前記第2の電力設定においてキャプチャされた第2の深度マップを含み、前記方法が、
前記第2の深度マップに少なくとも一部基づき、前記第1のマップを更新すること、をさらに含む、請求項1に記載の方法。 - 前記第1の組の測定値が、第1の2次元画像を含み、前記第2の組の測定値が、第2の2次元画像を含み、前記方法が、
前記第1の2次元画像において、場面の少なくとも一部を特定することと、
前記第2の2次元画像から、前記場面の前記少なくとも一部の変容における変化を決定することと、をさらに含み、
前記深度マップを更新することが、前記場面の前記少なくとも一部の変容における前記変化に基づき、前記深度マップを更新することを含む、請求項1に記載の方法。 - 前記場面の前記少なくとも一部の前記変容における前記変化が、位置、向き、または縮尺における変化のうちの1つまたは複数を含む、請求項3に記載の方法。
- 前記場面の前記少なくとも一部の変容を決定することが、
前記イメージングデバイスの焦点距離を特定することと、
前記第1の画像内の物体の前記一部を表す画素集合を特定することと、
前記画素集合のうちの少なくとも1つの深度を特定することと、
前記場面内の前記物体の前記一部の、センサに対する前記位置を決定することと、
前記第2の画像が撮られたときに対応する時点における、前記物体の前記一部に対応する前記画素を決定することと、
前記第2の画像が撮られたときに対応する時点における、前記物体の前記一部の、前記センサに対する前記位置を決定することと、
前記第2のキャプチャされた画像についての前記画素の前記深度を決定することと、を含む、請求項3に記載の方法。 - 前記場面の前記少なくとも一部の変容を決定することが、前記場面の前記少なくとも一部の回転を決定することを含む、請求項3に記載の方法。
- 前記場面の前記少なくとも一部の前記回転を決定することが、
前記第1の画像および前記第2の画像において、前記場面の前記少なくとも一部における画素に、高速フーリエ変換を適用することと、
前記2つの高速フーリエ変換のマグニチュードを決定することと、
前記フーリエ変換の前記マグニチュードの座標を極座標に変換することと、
前記極座標の2つのフーリエ変換の前記マグニチュードのクロスパワースペクトルを計算することと、
それにおいて前記クロススペクトルが最大化される角度を、前記回転角度として決定することと、を含む、請求項6に記載の方法。 - 前記場面の前記少なくとも一部の前記縮尺を決定することが、
前記第1の画像および前記第2の画像において、前記場面の前記少なくとも一部における前記画素に、高速フーリエ変換を適用することと、
前記高速フーリエ変換の少なくともいくつかの座標を、対数目盛極座標に変換することと、
前記対数極座標の高速フーリエ変換のクロスパワースペクトルを計算することと、
それにおいて前記クロススペクトルが最大化される変換の指数を、拡大縮小として決定することと、を含む、請求項6に記載の方法。 - 前記第1の組の測定値と前記第2の組の測定値との前記比較に関連した信頼度測定基準を決定することと、
前記複数のフレームのうちの第3のフレーム中に、第3の電力設定を使用して、第3の組の測定値をキャプチャすることであって、前記第3の電力設定が、前記信頼度測定基準に基づいて決定される、ことと、をさらに含む、請求項1に記載の方法。 - それについての前記深度マップを外挿する方法が、正しい深度推定値を与えないことになる前記画素を特定することと、
それについての前記深度マップを外挿する前記方法が、前記正しい深度推定値を与えないことになる前記画素について前記深度を推定するのに使用され得る、前記正しい深度推定値を有する前記画像内の領域を見つけることと、
それについての前記深度マップを外挿する前記方法が、前記正しい深度推定値を与えないことになる前記画素に、前記正しい深度推定値を有する前記画像内の領域に基づき、背景完成手順を適用することと、をさらに含む、請求項1に記載の方法。 - 前記画像センサの位置、向き、または速度のうちの1つまたは複数を、前記画像センサに結合された慣性計測装置(IMU:Inertial Measurement Unit)によって決定することと、
前記IMUによって示された変容を、前記場面の前記少なくとも一部に適用し、前記場面の前記少なくとも一部が、前記第1のフレームと前記第2のフレームとの間でどのように変化したかを決定することと、をさらに含む、請求項1に記載の方法。 - イメージングデバイスであって、
画像センサと、
光源と、
画像プロセッサと、を備え、
前記画像センサによって、場面から第1の組の測定値をキャプチャすることであって、前記第1の組の測定値が、複数のフレームのうちの第1のフレーム中に、第1の電力設定を使用してキャプチャされ、前記第1の組の測定値が、前記場面内の1つまたは複数の物体と前記画像センサとの間の距離を表す深度マップを含む、ことと、
前記画像センサによって、前記場面から第2の組の測定値をキャプチャすることであって、前記第2の組の測定値が、第2のフレーム中に、第2の電力設定を使用してキャプチャされ、前記第2の電力設定が、前記第1の電力設定よりも低い、ことと、
前記第1の組の測定値と前記第2組の測定値との比較に少なくとも一部基づき、前記第1のフレーム中にキャプチャされた前記深度マップを更新することと、を行うように構成された、イメージングデバイス。 - 前記深度マップが、第1の深度マップであり、前記第2の組の測定値が、前記第2の電力設定においてキャプチャされた第2の深度マップを含み、前記イメージングデバイスが、前記第2の深度マップに少なくとも一部基づき、前記第1のマップを更新するようにさらに構成される、請求項12に記載のイメージングデバイス。
- 前記第1の組の測定値が、第1の2次元画像を含み、前記第2の組の測定値が、第2の2次元画像を含み、前記イメージングデバイスが、
前記第1の2次元画像において、場面の少なくとも一部を特定することと、
前記第2の2次元画像から、前記場面の前記少なくとも一部の変容における変化を決定することと、を行うように、さらに構成され、
前記深度マップを更新することが、前記場面の前記少なくとも一部の前記変容における変化に基づき、前記深度マップを更新することを含む、請求項12に記載のイメージングデバイス。 - 前記場面の前記少なくとも一部の前記変容における前記変化が、位置、向き、または縮尺における変化のうちの1つまたは複数を含む、請求項14に記載のイメージングデバイス。
- 前記イメージングデバイスが、
前記イメージングデバイスの焦点距離を特定することと、
前記第1の画像において、物体の前記一部を表す画素集合を特定することと、
前記画素集合のうちの少なくとも1つの深度を特定することと、
前記場面内の前記物体の前記一部の、前記センサに対する前記位置を決定することと、
前記第2の画像が撮られたときに対応する時点における、前記物体の前記一部に対応する前記画素を決定することと、
前記第2の画像が撮られたときに対応する時点における、前記物体の前記一部の、前記センサに対する前記位置を決定することと、
前記第2のキャプチャされた画像についての前記画素の前記深度を決定することと、によって、前記場面の前記少なくとも一部の変容を決定するようにさらに構成される、請求項14に記載のイメージングデバイス。 - 前記イメージングデバイスが、前記場面の前記少なくとも一部の回転を決定することによって、前記場面の前記少なくとも一部の変容を決定するように構成される、請求項14に記載のイメージングデバイス。
- 前記イメージングデバイスが、
前記第1の画像および前記第2の画像において、前記場面の前記少なくとも一部における画素に、高速フーリエ変換を適用することと、
前記2つの高速フーリエ変換のマグニチュードを決定することと、
前記フーリエ変換の前記マグニチュードの座標を極座標に変換することと、
前記極座標の2つのフーリエ変換の前記マグニチュードのクロスパワースペクトルを計算することと、
前記クロススペクトルが最大化される角度を、前記回転角度として決定することと、によって、前記場面の前記少なくとも一部の前記回転を決定するように構成される、請求項17に記載のイメージングデバイス。 - 前記場面の前記少なくとも一部の前記縮尺を決定することが、
前記第1の画像および前記第2の画像において、前記場面の前記少なくとも一部における前記画素に、高速フーリエ変換を適用することと、
前記高速フーリエ変換の少なくともいくつかの座標を、対数目盛極座標に変換することと、
前記対数極座標の高速フーリエ変換のクロスパワースペクトルを計算することと、
前記クロススペクトルが、最大化される変換の指数を、前記場面の前記少なくとも一部の拡大縮小として決定することと、を含む、請求項17に記載のイメージングデバイス。 - 前記イメージングデバイスが、
前記第1の組の測定値と前記第2の組の測定値との間の前記比較に関連した信頼度測定基準を決定することと、
前記イメージングセンサによって、前記複数のフレームのうちの第3のフレーム中に、第3の電力設定を使用して、第3の組の測定値をキャプチャすることであって、前記第3の電力設定が、前記信頼度測定基準に基づいて決定される、ことと、を行うように構成される、請求項12に記載のイメージングデバイス。 - それについての前記深度マップを外挿する前記方法が、正しい深度推定値を与えないことになる前記画素を特定することと、
それについての前記深度マップを外挿する前記方法が、前記正しい深度推定値を与えないことになる前記画素についての前記深度を推定するのに使用され得る、正しい深度推定値を有する前記画像内の領域を見つけることと、
それについての前記深度マップを外挿する前記方法が、前記正しい深度推定値を与えないことになる前記画素に、前記正しい深度推定値を有する前記画像内の領域に基づき、背景完成手順を適用することと、を行うようにさらに構成される、請求項1に記載のイメージングデバイス。 - 前記イメージングデバイスが、
前記画像センサの位置、向き、または速度のうちの1つまたは複数を、前記画像センサに結合された慣性計測装置(IMU)によって決定することと、
前記IMUによって示された変容を、前記場面の前記少なくとも一部に適用し、前記場面の前記少なくとも一部が、前記第1のフレームと前記第2のフレームとの間でどのように変化したかを決定することと、を行うようにさらに構成される、請求項12に記載のイメージングデバイス。
Applications Claiming Priority (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662309421P | 2016-03-16 | 2016-03-16 | |
US62/309,421 | 2016-03-16 | ||
US201662361488P | 2016-07-12 | 2016-07-12 | |
US62/361,488 | 2016-07-12 | ||
US201662398519P | 2016-09-23 | 2016-09-23 | |
US62/398,519 | 2016-09-23 | ||
US15/458,536 US10841491B2 (en) | 2016-03-16 | 2017-03-14 | Reducing power consumption for time-of-flight depth imaging |
US15/458,536 | 2017-03-14 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017223648A true JP2017223648A (ja) | 2017-12-21 |
Family
ID=59847968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017049970A Pending JP2017223648A (ja) | 2016-03-16 | 2017-03-15 | 飛行時間型深度イメージングの際の消費電力の低減 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10841491B2 (ja) |
JP (1) | JP2017223648A (ja) |
CN (1) | CN107204012B (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019211391A (ja) * | 2018-06-07 | 2019-12-12 | 株式会社東芝 | 距離計測装置、音声処理装置、振動計測装置、産業用コンピュータ断層撮影装置、および距離計測方法 |
WO2020059448A1 (ja) * | 2018-09-18 | 2020-03-26 | パナソニックIpマネジメント株式会社 | 奥行取得装置、奥行取得方法およびプログラム |
WO2020116844A1 (en) * | 2018-12-03 | 2020-06-11 | Samsung Electronics Co., Ltd. | Electronic device and method for acquiring depth information by using at least one of cameras or depth sensor |
KR20210013149A (ko) * | 2018-12-14 | 2021-02-03 | 선전 센스타임 테크놀로지 컴퍼니 리미티드 | 이미지 처리 방법 및 장치, 전자 장치 및 기억 매체 |
WO2021038343A1 (ja) * | 2019-08-23 | 2021-03-04 | 株式会社半導体エネルギー研究所 | 撮像装置、距離推定装置及び移動体 |
JP2021068389A (ja) * | 2019-10-28 | 2021-04-30 | 株式会社デンソー | 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム |
JP2021067649A (ja) * | 2019-10-28 | 2021-04-30 | 株式会社デンソー | 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム |
JP2021517685A (ja) * | 2018-03-13 | 2021-07-26 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 機械学習を使用した画像増強深度感知 |
JP2021523347A (ja) * | 2018-05-17 | 2021-09-02 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 飛行時間カメラの低減された出力動作 |
JP2022521526A (ja) * | 2019-02-22 | 2022-04-08 | プロフェシー | 動体視覚センサおよびパターン投影を用いる3次元撮像および感知 |
JP2022533975A (ja) * | 2019-05-24 | 2022-07-27 | オッポ広東移動通信有限公司 | ユーザ機器及び斜視補正方法 |
JP7515729B2 (ja) | 2020-09-28 | 2024-07-12 | 三菱電機株式会社 | 変形を追跡するためのシステムおよび方法 |
Families Citing this family (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016182502A1 (en) * | 2015-05-14 | 2016-11-17 | Medha Dharmatilleke | Multi purpose mobile device case/cover integrated with a camera system & non electrical 3d/multiple video & still frame viewer for 3d and/or 2d high quality videography, photography and selfie recording |
US10841491B2 (en) | 2016-03-16 | 2020-11-17 | Analog Devices, Inc. | Reducing power consumption for time-of-flight depth imaging |
EP3579021B1 (en) * | 2017-02-06 | 2021-03-03 | Panasonic Intellectual Property Management Co., Ltd. | Three-dimensional motion acquisition device and three-dimensional motion acquisition method |
US10613228B2 (en) * | 2017-09-08 | 2020-04-07 | Microsoft Techology Licensing, Llc | Time-of-flight augmented structured light range-sensor |
WO2019075473A1 (en) * | 2017-10-15 | 2019-04-18 | Analog Devices, Inc. | METHODS AND SYSTEMS FOR PROCESSING FLIGHT TIME DEPTH IMAGE |
US9990767B1 (en) | 2017-10-24 | 2018-06-05 | Lowe's Companies, Inc. | Generation of 3D models using stochastic shape distribution |
US10366531B2 (en) * | 2017-10-24 | 2019-07-30 | Lowe's Companies, Inc. | Robot motion planning for photogrammetry |
WO2019133640A1 (en) * | 2017-12-29 | 2019-07-04 | PlusAI Corp | Method and system for multiple stereo based depth estimation and collision warning/avoidance utilizing the same |
US11244464B2 (en) * | 2018-03-09 | 2022-02-08 | Samsung Electronics Co., Ltd | Method and apparatus for performing depth estimation of object |
US20190293795A1 (en) * | 2018-03-21 | 2019-09-26 | Visteon Global Technologies, Inc. | Light modulating lidar system |
CN108537836A (zh) * | 2018-04-12 | 2018-09-14 | 维沃移动通信有限公司 | 一种深度数据获取方法及移动终端 |
US10663567B2 (en) | 2018-05-04 | 2020-05-26 | Microsoft Technology Licensing, Llc | Field calibration of a structured light range-sensor |
US10924692B2 (en) | 2018-05-08 | 2021-02-16 | Microsoft Technology Licensing, Llc | Depth and multi-spectral camera |
US10767996B2 (en) | 2018-05-08 | 2020-09-08 | Honeywell International Inc. | System and methods for reducing the map search space requirements in a vision-inertial navigation system |
US10996335B2 (en) | 2018-05-09 | 2021-05-04 | Microsoft Technology Licensing, Llc | Phase wrapping determination for time-of-flight camera |
CN109191512B (zh) * | 2018-07-27 | 2020-10-30 | 深圳市商汤科技有限公司 | 双目图像的深度估计方法及装置、设备、程序及介质 |
CN109271847B (zh) * | 2018-08-01 | 2023-04-07 | 创新先进技术有限公司 | 无人结算场景中异常检测方法、装置及设备 |
KR102590900B1 (ko) * | 2018-08-27 | 2023-10-19 | 엘지이노텍 주식회사 | 영상 처리 장치 및 영상 처리 방법 |
WO2020055619A1 (en) * | 2018-09-16 | 2020-03-19 | Nephelai Research Llc | Calibration of a depth sensing array using color image data |
CN112534474A (zh) * | 2018-09-18 | 2021-03-19 | 松下知识产权经营株式会社 | 纵深取得装置、纵深取得方法以及程序 |
WO2020066637A1 (ja) * | 2018-09-28 | 2020-04-02 | パナソニックIpマネジメント株式会社 | 奥行取得装置、奥行取得方法およびプログラム |
US11620044B2 (en) | 2018-10-23 | 2023-04-04 | Lg Electronics Inc. | Mobile terminal |
US11500103B2 (en) | 2018-10-23 | 2022-11-15 | Lg Electronics Inc. | Mobile terminal |
WO2020085525A1 (ko) * | 2018-10-23 | 2020-04-30 | 엘지전자 주식회사 | 이동단말기 및 그 제어 방법 |
KR102641163B1 (ko) | 2018-11-29 | 2024-02-28 | 삼성전자주식회사 | 영상 처리 장치 및 그 영상 처리 방법 |
US11245875B2 (en) | 2019-01-15 | 2022-02-08 | Microsoft Technology Licensing, Llc | Monitoring activity with depth and multi-spectral camera |
US11003947B2 (en) * | 2019-02-25 | 2021-05-11 | Fair Isaac Corporation | Density based confidence measures of neural networks for reliable predictions |
US11341373B1 (en) * | 2019-03-11 | 2022-05-24 | Apple Inc. | End-to-end training of a machine learning node that interfaces with a fixed function node |
JP2020170408A (ja) * | 2019-04-04 | 2020-10-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム |
CN109903324B (zh) * | 2019-04-08 | 2022-04-15 | 京东方科技集团股份有限公司 | 一种深度图像获取方法及装置 |
WO2020221443A1 (en) * | 2019-04-30 | 2020-11-05 | Huawei Technologies Co., Ltd. | Scale-aware monocular localization and mapping |
CN110111582B (zh) * | 2019-05-27 | 2020-11-10 | 武汉万集信息技术有限公司 | 基于tof相机的多车道自由流车辆检测方法及*** |
US10929956B2 (en) * | 2019-07-02 | 2021-02-23 | Microsoft Technology Licensing, Llc | Machine-learned depth dealiasing |
CN110400342B (zh) * | 2019-07-11 | 2021-07-06 | Oppo广东移动通信有限公司 | 深度传感器的参数调整方法、装置以及电子设备 |
EP4004582A1 (en) * | 2019-08-07 | 2022-06-01 | Huawei Technologies Co., Ltd. | Time-of-flight depth enhancement |
EP3789794A1 (de) * | 2019-09-04 | 2021-03-10 | Ibeo Automotive Systems GmbH | Verfahren und vorrichtung zur distanzmessung |
CN112461154B (zh) * | 2019-09-09 | 2023-11-10 | 睿镞科技(北京)有限责任公司 | 3d成像方法、装置和深度相机 |
CN114902330A (zh) * | 2019-10-10 | 2022-08-12 | Dts公司 | 具有深度的空间音频捕获 |
US11343412B2 (en) * | 2019-10-22 | 2022-05-24 | Intel Corporation | User detection and user attention detection using multi-zone depth sensing |
US20210127051A1 (en) * | 2019-10-28 | 2021-04-29 | Byton North America Corporation | Camera fusion and illumination for an in-cabin monitoring system of a vehicle |
CN110944135B (zh) * | 2019-11-18 | 2022-05-31 | 深圳前海达闼云端智能科技有限公司 | 一种功率控制方法、电子设备及存储介质 |
CN111090104B (zh) * | 2019-12-26 | 2022-11-11 | 维沃移动通信有限公司 | 成像处理方法和电子设备 |
CN113096024B (zh) * | 2020-01-09 | 2023-05-09 | 舜宇光学(浙江)研究院有限公司 | 用于深度数据的去飞点方法及其***和电子设备 |
US11694333B1 (en) * | 2020-02-05 | 2023-07-04 | State Farm Mutual Automobile Insurance Company | Performing semantic segmentation of 3D data using deep learning |
CN111311615A (zh) * | 2020-02-11 | 2020-06-19 | 香港光云科技有限公司 | 基于ToF的场景分割方法及***、存储介质及电子设备 |
US20210302587A1 (en) * | 2020-03-24 | 2021-09-30 | Magic Leap, Inc. | Power-efficient hand tracking with time-of-flight sensor |
WO2021231947A1 (en) * | 2020-05-15 | 2021-11-18 | Lumileds Llc | Imaging arrangement and corresponding methods and systems for depth map generation |
US12000931B2 (en) * | 2020-05-15 | 2024-06-04 | Analog Devices International Unlimited Company | Continuous wave time of flight system |
CN111443357A (zh) * | 2020-05-19 | 2020-07-24 | 炬佑智能科技(苏州)有限公司 | 一种测距方法及测距*** |
US11317150B2 (en) * | 2020-06-17 | 2022-04-26 | Netflix, Inc. | Video blurring systems and methods |
US20230290113A1 (en) * | 2020-08-17 | 2023-09-14 | Sony Group Corporation | Information processing device, information processing method, and information processing program |
US11467276B2 (en) * | 2020-08-25 | 2022-10-11 | Volkswagen Aktiengesellschaft | Live point cloud compression with egomotion propagation |
CN112383715B (zh) * | 2020-12-07 | 2022-05-17 | Oppo(重庆)智能科技有限公司 | 图像获取装置、终端和图像获取方法 |
US20240114235A1 (en) * | 2021-01-22 | 2024-04-04 | Airy3D Inc. | Power management techniques in depth imaging |
US20240094400A1 (en) * | 2021-02-11 | 2024-03-21 | Sony Semiconductor Solutions Corporation | Configuration control circuitry and configuration control method |
EP4047389B1 (de) * | 2021-02-18 | 2023-03-29 | Sick Ag | Erfassung dreidimensionaler bilddaten |
US11790531B2 (en) * | 2021-02-24 | 2023-10-17 | Snap Inc. | Whole body segmentation |
US11962912B2 (en) * | 2021-06-16 | 2024-04-16 | Aptiv Technologies AG | Object detection via comparison of synchronized pulsed illumination and camera imaging |
CN113489858A (zh) * | 2021-07-07 | 2021-10-08 | 曜芯科技有限公司 | 成像***以及相关成像方法 |
CN116320746B (zh) * | 2023-05-16 | 2023-08-01 | 武汉昊一源科技有限公司 | Tof对焦装置、对焦方法及拍摄设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013509104A (ja) * | 2009-10-23 | 2013-03-07 | クゥアルコム・インコーポレイテッド | 2dビデオデータの3dビデオデータへの変換のための深度マップ生成技法 |
JP2013545200A (ja) * | 2010-11-23 | 2013-12-19 | クゥアルコム・インコーポレイテッド | グローバル動きに基づく深度の推定 |
WO2014120613A1 (en) * | 2013-01-30 | 2014-08-07 | Qualcomm Incorporated | Real-time 3d reconstruction with power efficient depth sensor usage |
JP2015019204A (ja) * | 2013-07-10 | 2015-01-29 | ソニー株式会社 | 画像処理装置および画像処理方法 |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AUPO894497A0 (en) * | 1997-09-02 | 1997-09-25 | Xenotech Research Pty Ltd | Image processing method and apparatus |
US8509472B2 (en) * | 2004-06-24 | 2013-08-13 | Digimarc Corporation | Digital watermarking methods, programs and apparatus |
CA2553473A1 (en) | 2005-07-26 | 2007-01-26 | Wa James Tam | Generating a depth map from a tw0-dimensional source image for stereoscopic and multiview imaging |
KR101409769B1 (ko) | 2007-08-01 | 2014-06-19 | 삼성전자주식회사 | 영상 데이터 처리 장치 및 그의 영상 데이터 처리 방법 |
US8649592B2 (en) | 2010-08-30 | 2014-02-11 | University Of Illinois At Urbana-Champaign | System for background subtraction with 3D camera |
US20120056982A1 (en) | 2010-09-08 | 2012-03-08 | Microsoft Corporation | Depth camera based on structured light and stereo vision |
JP5887515B2 (ja) | 2010-11-10 | 2016-03-16 | パナソニックIpマネジメント株式会社 | 奥行き情報生成装置、奥行き情報生成方法、および、ステレオ画像変換装置 |
CN102014293B (zh) | 2010-12-20 | 2012-08-22 | 清华大学 | 平面视频的立体渲染方法 |
US8878897B2 (en) * | 2010-12-22 | 2014-11-04 | Cyberlink Corp. | Systems and methods for sharing conversion data |
US8587583B2 (en) | 2011-01-31 | 2013-11-19 | Microsoft Corporation | Three-dimensional environment reconstruction |
US9819879B2 (en) | 2011-07-12 | 2017-11-14 | Samsung Electronics Co., Ltd. | Image filtering apparatus and method based on noise prediction using infrared ray (IR) intensity |
US9363535B2 (en) * | 2011-07-22 | 2016-06-07 | Qualcomm Incorporated | Coding motion depth maps with depth range variation |
US8682087B2 (en) | 2011-12-19 | 2014-03-25 | Cisco Technology, Inc. | System and method for depth-guided image filtering in a video conference environment |
CN103460249B (zh) | 2011-12-21 | 2016-08-17 | 松下知识产权经营株式会社 | 图像处理装置以及图像处理方法 |
US8953024B2 (en) * | 2012-02-21 | 2015-02-10 | Intellectual Ventures Fund 83 Llc | 3D scene model from collection of images |
US9210405B2 (en) * | 2012-03-22 | 2015-12-08 | Qualcomm Technologies, Inc. | System and method for real time 2D to 3D conversion of video in a digital camera |
US20130257851A1 (en) * | 2012-04-01 | 2013-10-03 | Chao-Hua Lee | Pipeline web-based process for 3d animation |
US8659679B2 (en) * | 2012-06-08 | 2014-02-25 | Apple Inc. | Hardware-constrained transforms for video stabilization processes |
US9514522B2 (en) | 2012-08-24 | 2016-12-06 | Microsoft Technology Licensing, Llc | Depth data processing and compression |
US9552673B2 (en) | 2012-10-17 | 2017-01-24 | Microsoft Technology Licensing, Llc | Grasping virtual objects in augmented reality |
US9134114B2 (en) * | 2013-03-11 | 2015-09-15 | Texas Instruments Incorporated | Time of flight sensor binning |
US11172126B2 (en) * | 2013-03-15 | 2021-11-09 | Occipital, Inc. | Methods for reducing power consumption of a 3D image capture system |
US9584790B2 (en) | 2013-06-03 | 2017-02-28 | Microsoft Technology Licensing, Llc | Edge preserving depth filtering |
RU2013135506A (ru) | 2013-07-29 | 2015-02-10 | ЭлЭсАй Корпорейшн | Процессор изображений, сконфигурированный для эффективной оценки и исключения информации фона в изображениях |
US10497140B2 (en) * | 2013-08-15 | 2019-12-03 | Intel Corporation | Hybrid depth sensing pipeline |
EP2871843B1 (en) * | 2013-11-12 | 2019-05-29 | LG Electronics Inc. -1- | Digital device and method for processing three dimensional image thereof |
JP6374690B2 (ja) | 2014-04-01 | 2018-08-15 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
EP3175426B1 (en) | 2014-07-30 | 2019-09-25 | Brainlab AG | Online patient reconstruction and tracking for patient setup in radiation therapy using an iterative closest point algorithm |
US9945946B2 (en) * | 2014-09-11 | 2018-04-17 | Microsoft Technology Licensing, Llc | Ultrasonic depth imaging |
WO2016107962A1 (en) * | 2014-12-30 | 2016-07-07 | Nokia Corporation | Improving focus in image and video capture using depth maps |
CN106144816B (zh) | 2015-04-03 | 2019-11-12 | 奥的斯电梯公司 | 基于深度传感器的乘客检测 |
US10005482B2 (en) | 2015-11-18 | 2018-06-26 | The Boeing Company | Cart apparatus and methods for use |
US11218688B2 (en) * | 2016-01-04 | 2022-01-04 | Occipital, Inc. | Apparatus and methods for three-dimensional sensing |
US10841491B2 (en) | 2016-03-16 | 2020-11-17 | Analog Devices, Inc. | Reducing power consumption for time-of-flight depth imaging |
US10645367B2 (en) * | 2017-04-20 | 2020-05-05 | Wisconsin Alumni Research Foundation | Systems, methods, and media for encoding and decoding signals used in time of flight imaging |
WO2019075473A1 (en) | 2017-10-15 | 2019-04-18 | Analog Devices, Inc. | METHODS AND SYSTEMS FOR PROCESSING FLIGHT TIME DEPTH IMAGE |
-
2017
- 2017-03-14 US US15/458,536 patent/US10841491B2/en active Active
- 2017-03-15 JP JP2017049970A patent/JP2017223648A/ja active Pending
- 2017-03-16 CN CN201710157572.4A patent/CN107204012B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013509104A (ja) * | 2009-10-23 | 2013-03-07 | クゥアルコム・インコーポレイテッド | 2dビデオデータの3dビデオデータへの変換のための深度マップ生成技法 |
JP2013545200A (ja) * | 2010-11-23 | 2013-12-19 | クゥアルコム・インコーポレイテッド | グローバル動きに基づく深度の推定 |
WO2014120613A1 (en) * | 2013-01-30 | 2014-08-07 | Qualcomm Incorporated | Real-time 3d reconstruction with power efficient depth sensor usage |
JP2015019204A (ja) * | 2013-07-10 | 2015-01-29 | ソニー株式会社 | 画像処理装置および画像処理方法 |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021517685A (ja) * | 2018-03-13 | 2021-07-26 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 機械学習を使用した画像増強深度感知 |
JP7418340B2 (ja) | 2018-03-13 | 2024-01-19 | マジック リープ, インコーポレイテッド | 機械学習を使用した画像増強深度感知 |
US11682127B2 (en) | 2018-03-13 | 2023-06-20 | Magic Leap, Inc. | Image-enhanced depth sensing using machine learning |
JP7337091B2 (ja) | 2018-05-17 | 2023-09-01 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 飛行時間カメラの低減された出力動作 |
JP2021523347A (ja) * | 2018-05-17 | 2021-09-02 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 飛行時間カメラの低減された出力動作 |
US11315220B2 (en) | 2018-06-07 | 2022-04-26 | Kabushiki Kaisha Toshiba | Distance measuring apparatus, vibration measuring apparatus, and industrial computed tomography apparatus |
JP2019211391A (ja) * | 2018-06-07 | 2019-12-12 | 株式会社東芝 | 距離計測装置、音声処理装置、振動計測装置、産業用コンピュータ断層撮影装置、および距離計測方法 |
JP7068054B2 (ja) | 2018-06-07 | 2022-05-16 | 株式会社東芝 | 距離計測装置、および距離計測方法 |
US11514595B2 (en) | 2018-09-18 | 2022-11-29 | Panasonic Intellectual Property Management Co., Ltd. | Depth acquisition device and depth acquisition method including estimating a depth of a dust region based on a visible light image |
JP7450163B2 (ja) | 2018-09-18 | 2024-03-15 | パナソニックIpマネジメント株式会社 | 奥行取得装置、奥行取得方法およびプログラム |
WO2020059448A1 (ja) * | 2018-09-18 | 2020-03-26 | パナソニックIpマネジメント株式会社 | 奥行取得装置、奥行取得方法およびプログラム |
JPWO2020059448A1 (ja) * | 2018-09-18 | 2021-09-09 | パナソニックIpマネジメント株式会社 | 奥行取得装置、奥行取得方法およびプログラム |
US11025890B2 (en) | 2018-12-03 | 2021-06-01 | Samsung Electronics Co., Ltd. | Electronic device and method for acquiring depth information by using at least one of cameras or depth sensor |
WO2020116844A1 (en) * | 2018-12-03 | 2020-06-11 | Samsung Electronics Co., Ltd. | Electronic device and method for acquiring depth information by using at least one of cameras or depth sensor |
KR20210013149A (ko) * | 2018-12-14 | 2021-02-03 | 선전 센스타임 테크놀로지 컴퍼니 리미티드 | 이미지 처리 방법 및 장치, 전자 장치 및 기억 매체 |
KR102538164B1 (ko) | 2018-12-14 | 2023-05-30 | 선전 센스타임 테크놀로지 컴퍼니 리미티드 | 이미지 처리 방법 및 장치, 전자 장치 및 기억 매체 |
JP7401550B2 (ja) | 2019-02-22 | 2023-12-19 | プロフェシー | 動体視覚センサおよびパターン投影を用いる3次元撮像および感知 |
JP2022521526A (ja) * | 2019-02-22 | 2022-04-08 | プロフェシー | 動体視覚センサおよびパターン投影を用いる3次元撮像および感知 |
JP2022533975A (ja) * | 2019-05-24 | 2022-07-27 | オッポ広東移動通信有限公司 | ユーザ機器及び斜視補正方法 |
JP7346594B2 (ja) | 2019-05-24 | 2023-09-19 | オッポ広東移動通信有限公司 | ユーザ機器及び斜視補正方法 |
WO2021038343A1 (ja) * | 2019-08-23 | 2021-03-04 | 株式会社半導体エネルギー研究所 | 撮像装置、距離推定装置及び移動体 |
JP7147729B2 (ja) | 2019-10-28 | 2022-10-05 | 株式会社デンソー | 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム |
JP7140091B2 (ja) | 2019-10-28 | 2022-09-21 | 株式会社デンソー | 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム |
JP2021067649A (ja) * | 2019-10-28 | 2021-04-30 | 株式会社デンソー | 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム |
JP2021068389A (ja) * | 2019-10-28 | 2021-04-30 | 株式会社デンソー | 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム |
WO2021084891A1 (ja) * | 2019-10-28 | 2021-05-06 | 株式会社デンソー | 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム |
WO2021084892A1 (ja) * | 2019-10-28 | 2021-05-06 | 株式会社デンソー | 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム |
JP7515729B2 (ja) | 2020-09-28 | 2024-07-12 | 三菱電機株式会社 | 変形を追跡するためのシステムおよび方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107204012A (zh) | 2017-09-26 |
CN107204012B (zh) | 2021-02-12 |
US20170272651A1 (en) | 2017-09-21 |
US10841491B2 (en) | 2020-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2017223648A (ja) | 飛行時間型深度イメージングの際の消費電力の低減 | |
JP7106665B2 (ja) | 単眼深度推定方法およびその装置、機器ならびに記憶媒体 | |
KR102574141B1 (ko) | 이미지 디스플레이 방법 및 디바이스 | |
US9626766B2 (en) | Depth sensing using an RGB camera | |
AU2017324923B2 (en) | Predicting depth from image data using a statistical model | |
US10110881B2 (en) | Model fitting from raw time-of-flight images | |
US11589031B2 (en) | Active stereo depth prediction based on coarse matching | |
US20190122378A1 (en) | Apparatuses and methods for machine vision systems including creation of a point cloud model and/or three dimensional model based on multiple images from different perspectives and combination of depth cues from camera motion and defocus with various applications including navigation systems, and pattern matching systems as well as estimating relative blur between images for use in depth from defocus or autofocusing applications | |
US10554957B2 (en) | Learning-based matching for active stereo systems | |
CN111382613B (zh) | 图像处理方法、装置、设备和介质 | |
US11727576B2 (en) | Object segmentation and feature tracking | |
US10354413B2 (en) | Detection system and picture filtering method thereof | |
Wang et al. | Deep learning for camera autofocus | |
US9886769B1 (en) | Use of 3D depth map with low and high resolution 2D images for gesture recognition and object tracking systems | |
US10679376B2 (en) | Determining a pose of a handheld object | |
US10986287B2 (en) | Capturing a photo using a signature motion of a mobile device | |
JP2018120283A (ja) | 情報処理装置、情報処理方法及びプログラム | |
El Bouazzaoui et al. | Enhancing RGB-D SLAM performances considering sensor specifications for indoor localization | |
US10567635B2 (en) | Three dimensional moving pictures with a single imager and microfluidic lens | |
US10803625B2 (en) | Detection system and picturing filtering method thereof | |
Austvoll et al. | Region covariance matrix-based object tracking with occlusions handling | |
CN115037869A (zh) | 自动对焦方法、装置、电子设备及计算机可读存储介质 | |
CN108062741B (zh) | 双目图像处理方法、成像装置和电子设备 | |
Di Cicco et al. | Nonparametric calibration for depth sensors | |
Yan et al. | Monocular catadioptric panoramic depth estimation via improved end-to-end neural network model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170420 |
|
AA79 | Non-delivery of priority document |
Free format text: JAPANESE INTERMEDIATE CODE: A24379 Effective date: 20170720 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20170726 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180305 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180605 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20181029 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190228 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190307 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20190517 |