RU2791240C1 - DISTANCE CALCULATION BASED ON SPATIAL PHASE MODULATION IN A FOUR STROKE i-ToF SENSOR - Google Patents
DISTANCE CALCULATION BASED ON SPATIAL PHASE MODULATION IN A FOUR STROKE i-ToF SENSOR Download PDFInfo
- Publication number
- RU2791240C1 RU2791240C1 RU2021134667A RU2021134667A RU2791240C1 RU 2791240 C1 RU2791240 C1 RU 2791240C1 RU 2021134667 A RU2021134667 A RU 2021134667A RU 2021134667 A RU2021134667 A RU 2021134667A RU 2791240 C1 RU2791240 C1 RU 2791240C1
- Authority
- RU
- Russia
- Prior art keywords
- separators
- pixel
- scene
- tof sensor
- phase
- Prior art date
Links
Images
Abstract
Description
УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯBACKGROUND OF THE INVENTION
Область техники, к которой относится изобретенияThe field of technology to which the invention belongs
[0001] Настоящее изобретение относится, в общем, к области обработки трехмерных (3D) изображений и, в частности, к способу вычисления расстояний до объектов сцены в 3D-изображении на основе пространственной фазовой модуляции и устройству для его реализации.[0001] The present invention relates generally to the field of three-dimensional (3D) image processing and, in particular, to a method for calculating distances to scene objects in a 3D image based on spatial phase modulation and a device for its implementation.
Описание предшествующего уровня техникиDescription of the Prior Art
[0002] Современная робототехника, применения дополненной реальности (AR)/ виртуальной реальности (VR) и применения для распознавания жестов и лиц требуют быстрой и точной оценки расстояния от устройства до окружающих объектов. Одной из самых популярных технологий, используемых для удовлетворения этой потребности, является определение глубины с помощью непрямого измерения времени пролета светового сигнала (i-ToF). Эта технология обеспечивает довольно быстрое и надежное решение, но эта технология страдает от многолучевой интерференции (MPI). Причиной многолучевой интерференции (MPI) является существование нескольких путей распространения света, в том числе излучаемого камерой. Эти пути распространения света имеют разные длины оптического пути и образуются из-за многократного рассеяния и/или отражения света на реальных объектах сцены. MPI приводит к ошибкам определения глубины для 3D-изображений и искажению формы захваченных объектов. Существующие решения по коррекции MPI требуют довольно много времени либо для получения данных путем захвата нескольких изображений, либо для их обработки, что снижает эффективную частоту кадров датчиков i-ToF и приводит к нежелательным артефактам движения.[0002] Modern robotics, augmented reality (AR)/virtual reality (VR) applications, and applications for gesture and face recognition require fast and accurate estimation of the distance from the device to surrounding objects. One of the most popular technologies used to meet this need is depth determination using indirect time-of-flight (i-ToF) measurements. This technology provides a fairly fast and reliable solution, but this technology suffers from multipath interference (MPI). The cause of multipath interference (MPI) is the existence of several paths for the propagation of light, including that emitted by the camera. These light propagation paths have different optical path lengths and are formed due to multiple scattering and/or reflection of light on real objects in the scene. MPI results in depth errors for 3D images and distortion in the shape of captured objects. Existing MPI correction solutions take quite a long time either to acquire data by capturing multiple images or to process them, which reduces the effective frame rate of i-ToF sensors and leads to unwanted motion artifacts.
[0003] Эффект MPI вызывает большие ошибки (более 10%) при определении глубины и ограничивает точность современных i-ToF датчиков, собственная погрешность глубины которых составляет ~ 0,5%. Ошибки определения глубины приводят к искажению формы отображенных объектов сцены, ошибкам распознавания жестов и лиц, низкой точности одновременной локализации и построения карты (SLAM) и ухудшает навигационные характеристики робота. Искажение формы отображенных объектов сцены приводит к плохому сопоставлению объектов в AR, низкому качеству распознавания объектов, низкому качеству распознавания жестов. Почти все известные решения этой проблемы требуют захвата некоторого количества изображений (кадров) для получения скорректированного изображения (кадра) и приводят к нежелательным артефактам движения на захваченных изображениях. Другие решения требуют сложных вычислений и не могут выполняться в реальном времени. Артефакты движения приводят к низкому качеству изображения, низкому качеству распознавания жестов, плохому распознаванию движущихся объектов и плохому сопоставлению объектов в AR. [0003] The MPI effect causes large errors (greater than 10%) in depth determination and limits the accuracy of modern i-ToF sensors, which have an intrinsic depth error of ~0.5%. Depth determination errors lead to distortion of the shape of the displayed objects of the scene, errors in recognition of gestures and faces, low accuracy of simultaneous localization and mapping (SLAM) and degrades the navigation performance of the robot. Distortion of the shape of the displayed objects of the scene leads to poor matching of objects in AR, low quality of object recognition, low quality of gesture recognition. Almost all known solutions to this problem require capturing a certain number of images (frames) to obtain a corrected image (frame) and result in unwanted motion artifacts in the captured images. Other solutions require complex calculations and cannot be performed in real time. Motion artifacts result in poor image quality, poor quality gesture recognition, poor recognition of moving objects, and poor object matching in AR.
[0004] В предшествующем уровне техники известны технические решения, обеспечивающие улучшение определения глубины изображения.[0004] In the prior art, technical solutions are known to improve the definition of image depth.
[0005] Заявка на патент США US 20190219696 A1, опубликованная 15.01.2018 и озаглавленная «TIME OF FLIGHT CAMERA», предлагает ToF камеру и способ определения расстояний до объектов в сцене, содержащий излучение фазово-структурированного света, модулированного с частотой модуляции для освещения сцены с помощью узора структурированного освещения, и для каждой комбинации сдвига фазы выборки и сдвига фазы искажения модуляцию чувствительности фотодатчика на частоте модуляции излученного света. Такое техническое решение является сложным для реализации и требует значительной модификации ToF камеры.[0005] U.S. Patent Application US 20190219696 A1, published 01/15/2018 and titled "TIME OF FLIGHT CAMERA", proposes a ToF camera and a method for determining the distances to objects in a scene, comprising the emission of phase-structured light modulated with a modulation frequency for scene illumination with a structured illumination pattern, and for each combination of sampling phase shift and distortion phase shift, modulating the sensitivity of the photosensor at the modulation frequency of the emitted light. This technical solution is difficult to implement and requires a significant modification of the ToF camera.
[0006] Патент США US 9989630 B2, выданный 05.06.2018 и озаглавленный «STRUCTURED-LIGHT BASED MULTIPATH CANCELLATION IN TOF IMAGING», предлагает устройства и способы, обеспечивающие подавление многолучевой интерференции для устройств и систем формирования изображения. В различных реализациях структурированный свет используется для уменьшения, если не устранения помех. Например, свет может быть структурирован по амплитуде или фазе на основе угла излучения света. Такое техническое решение требует захвата нескольких кадров для получения скорректированного кадра, что снижает частоту кадров, увеличивает время обработки и может приводить к артефактам движения на захваченном 3D-изображении. [0006] US Patent US 9989630 B2, issued 06/05/2018 and entitled "STRUCTURED-LIGHT BASED MULTIPATH CANCELLATION IN TOF IMAGING", proposes devices and methods that provide multipath interference suppression for imaging devices and systems. In various implementations, structured light is used to reduce, if not eliminate, interference. For example, light may be patterned in amplitude or phase based on the angle of light emission. This solution requires multiple frames to be captured to obtain a corrected frame, which reduces the frame rate, increases processing time, and can lead to motion artifacts in the captured 3D image.
[0007] Патент США US 9874638 B2, выданный 23.01.2018 и озаглавленный «TIME OF FLIGHT CAMERA SYSTEM WHICH RESOLVES DIRECT AND MULTI-PATH RADIATION COMPONENTS», предлагает систему ToF камеры, которая определяет составляющую прямого пути или составляющую многолучевого распространения модулированного излучения, отраженного от цели. Система камеры включает в себя ToF передатчик, предназначенный для передачи модулированного излучения на цель, и по меньшей мере одну структуру формирования узора, работающую между передатчиком и целью. ToF камера выполнена так, чтобы на основании измерений определять вклад отражения прямого излучения источника, отраженного от цели. Такое техническое решение требует захвата нескольких кадров для получения скорректированного кадра, что снижает частоту кадров, увеличивает время обработки и может приводить к артефактам движения на захваченном 3D-изображении. [0007] U.S. Patent US 9874638 B2, issued 01/23/2018 and entitled "TIME OF FLIGHT CAMERA SYSTEM WHICH RESOLVES DIRECT AND MULTI-PATH RADIATION COMPONENTS", proposes a ToF camera system that determines the direct path component or the multipath component of the modulated radiation reflected from the target. The camera system includes a ToF transmitter for transmitting modulated radiation to a target and at least one patterning structure operating between the transmitter and the target. The ToF camera is designed in such a way as to determine, based on the measurements, the reflection contribution of the direct radiation of the source reflected from the target. This solution requires multiple frames to be captured to obtain a corrected frame, which reduces the frame rate, increases processing time, and can lead to motion artifacts in the captured 3D image.
[0008] Патент США US 9405008 B2, выданный 02.08.2016 и озаглавленный «METHODS AND APPARATUS FOR MULTI-FREQUENCY CAMERA», предлагает многочастотную ToF камеру, которая снижает эффект многолучевой интерференции (MPI) и может вычислять точную карту глубины, несмотря на MPI. Источник света в многочастотной камере излучает свет во временной последовательности с разными частотами (по меньшей мере 4 частоты). На каждой частоте датчик синхронизации внутри ToF камеры захватывает 4 кадра. Из этих 4 кадров один или более процессоров вычисляют для каждого пикселя в датчике одно комплексное число. Процессоры складывают все такие комплексные величины (одно такое комплексное число на пиксель на частоту) и определяют глубину и интенсивность, используя метод спектральной оценки. Такое техническое решение является сложным для реализации и требует значительной модификации ToF камеры. Кроме того, это техническое решение требует захвата нескольких кадров для получения скорректированного кадра, что снижает частоту кадров, увеличивает время обработки и может приводить к артефактам движения на захваченном 3D-изображении.[0008] US Patent US 9405008 B2, issued 08/02/2016 and titled "METHODS AND APPARATUS FOR MULTI-FREQUENCY CAMERA", proposes a multi-frequency ToF camera that reduces the effect of multipath interference (MPI) and can compute an accurate depth map despite MPI. The light source in the multi-frequency chamber emits light in time sequence with different frequencies (at least 4 frequencies). At each frequency, the timing sensor inside the ToF camera captures 4 frames. From these 4 frames, one or more processors calculate one complex number for each pixel in the sensor. The processors add up all such complex values (one such complex number per pixel per frequency) and determine the depth and intensity using the spectral estimation method. This technical solution is difficult to implement and requires a significant modification of the ToF camera. In addition, this solution requires multiple frames to be captured to obtain a corrected frame, which lowers the frame rate, increases processing time, and can result in motion artifacts in the captured 3D image.
[0009] Патент США US 10234561 B2, выданный 19.03.2019 и озаглавленный «SPECULAR REFLECTION REMOVAL IN TIME-OF-FLIGHT CAMERA APPARATUS», предлагает способ облегчения удаления шума зеркального отражения из световых данных, который может включать в себя освещение цели источником света с помощью блока освещения. Блок освещения выполнен с возможностью проецирования света с пространственным световым узором на цель. Световые данные могут содержать прямо отраженный пространственный световой узор и зеркально отраженный пространственный световой узор. Прямо отраженный пространственный световой узор и зеркально отраженный пространственный световой узор содержат по меньшей мере одно пространственное различие, которое отличает прямо отраженный пространственный световой узор от зеркально отраженного пространственного светового узора. Такое техническое решение имеет сложную последующую обработку и низкую точность коррекции.[0009] US Patent US 10234561 B2 issued 03/19/2019 and entitled "SPECULAR REFLECTION REMOVAL IN TIME-OF-FLIGHT CAMERA APPARATUS" proposes a method to facilitate the removal of specular reflection noise from light data, which may include illuminating a target with a light source using the lighting unit. The lighting unit is configured to project light with a spatial light pattern onto the target. The light data may comprise a directly reflected spatial light pattern and a specularly reflected spatial light pattern. The directly reflected spatial light pattern and the specularly reflected spatial light pattern comprise at least one spatial difference that distinguishes the directly reflected spatial light pattern from the specularly reflected spatial light pattern. This technical solution has a complex post-processing and low correction accuracy.
[0010] Настоящее изобретение создано для устранения вышеописанных недостатков и для обеспечения нижеописанных преимуществ.[0010] The present invention has been made to overcome the disadvantages described above and to provide the advantages described below.
СУЩНОСТЬ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION
[0011] Для ускорения сбора данных разработан четырехтактный i-ToF датчик. Четырехтактный i-ToF датчик открывает новые возможности для дальнейшего улучшения производительности таких устройств. В настоящей заявке предложен способ для повышения точности оценки расстояния четырехтактного i-ToF датчика за счет коррекции MPI. Этот способ требует минимальной модификации аппаратного обеспечения существующих четырехтактных i-ToF датчиков и обеспечивает высокую эффективность коррекции без сложных вычислений или снижения частоты кадров.[0011] A four-stroke i-ToF sensor has been developed to speed up data collection. The four-stroke i-ToF sensor opens up new possibilities to further improve the performance of such devices. The present application proposes a method for improving the distance estimation accuracy of a four-cycle i-ToF sensor by correcting the MPI. This method requires minimal hardware modification to existing four-cycle i-ToF sensors and provides high correction performance without complex calculations or frame rate degradation.
[0012] Целью настоящего изобретения является обеспечение способа вычисления расстояний до объектов сцены в 3D-изображении на основе пространственной фазовой модуляции и устройству для его реализации, которые обеспечивают улучшение точности определения глубины на 3D-изображении. Улучшение точности определения глубины достигается за счет по меньшей мере одного из: [0012] An object of the present invention is to provide a method for calculating distances to scene objects in a 3D image based on spatial phase modulation and a device for its implementation, which improve the accuracy of depth determination in a 3D image. The improvement in depth accuracy is achieved by at least one of:
- исключения влияния многолучевой интерференции, включающей в себя множественные отражения света от реальных объектов, - exclusion of the influence of multipath interference, which includes multiple reflections of light from real objects,
- отсутствия снижения частоты кадров, вызывающего артефакты движения, и- no frame rate drop causing motion artifacts, and
- выполнения операций с низкими вычислительными затратами в реальном времени за счет применения простых вычислений.- performing operations with low computational costs in real time through the use of simple calculations.
[0013] Настоящее изобретение обеспечивает улучшение точности определения глубины на 3D-изображении выполнение операций в реальном времени, улучшенное качество изображений, улучшенное сопоставление объектов в устройствах дополненной реальности (AR), увеличение точности одновременной локализации и построения карты (SLAM) и, следовательно, улучшение навигации роботов, улучшение распознавания объектов, лиц и жестов. [0013] The present invention provides improved 3D depth accuracy, real-time operations, improved image quality, improved object matching in augmented reality (AR) devices, increased simultaneous localization and mapping (SLAM) accuracy, and therefore improved navigation of robots, improving the recognition of objects, faces and gestures.
[0014] В настоящем изобретении используются традиционные четырехтактные i-Tof датчики формирования изображения при незначительной модификации устройства формирования изображения, что упрощает изготовление устройства формирования изображения.[0014] The present invention uses conventional four-stroke i-Tof imaging sensors with little modification to the imaging device, which simplifies the manufacture of the imaging device.
[0015] Один аспект настоящего изобретения обеспечивает способ вычисления расстояний до объектов сцены в 3D-изображении на основе пространственной фазовой модуляции, причем упомянутый способ содержит этапы, на которых: одновременно освещают сцену первым структурированным светом, имеющим первый фазовый пространственный узор, и вторым структурированным светом, имеющим второй фазовый пространственный узор, при этом каждый из первого и второго структурированного света модулирован по амплитуде с одной и той же несущей, каждый из первого и второго фазовых пространственных узоров образован участками со сдвигом +∆ фазы, чередующимися с участками со сдвигом -Δ фазы, сдвиги фаз участков первого и второго фазовых пространственных узоров равны по модулю и находятся в пределах 0<Δ<π/2, участки первого и второго фазовых пространственных узоров с противоположными по знаку сдвигами фазы накладываются друг на друга, пространственная частота участков первого и второго фазовых пространственных узоров выше, чем пространственная частота расположения объектов сцены, и при этом либо первый и второй структурированный свет имеют разные длины волн и/или разную поляризацию, либо первый и второй структурированный свет дополнительно модулированы по амплитуде с разными несущими; захватывают изображение сцены, одновременно освещенной первым и вторым структурированным светом, четырехтактным i-ToF датчиком в сочетании с массивом сепараторов, при этом массив сепараторов содержит первый набор сепараторов и второй набор сепараторов, отличающийся от первого набора сепараторов, сепараторы первого набора сепараторов расположены с чередованием с сепараторами второго набора сепараторов так, что стороны каждого сепаратора из первого набора сепараторов прилегают к сторонам сепараторов из второго набора сепараторов, один сепаратор из массива сепараторов находится напротив одного пикселя четырехтактного i-ToF датчика, и два соседних пикселя четырехтактного i-ToF датчика образуют сдвоенный пиксель, и при этом если первый и второй структурированный свет имеют разные длины волн и/или разную поляризацию, то изображение сцены захватывают четырехтактным i-ToF датчиком через массив сепараторов, один пиксель четырехтактного i-ToF датчика захватывает изображение через один сепаратор массива сепараторов, первый набор сепараторов пропускает только первый структурированный свет, а второй набор сепараторов пропускает только второй структурированный свет, если первый и второй структурированный свет дополнительно модулированы по амплитуде с разными несущими, то изображение сцены захватывают четырехтактным i-ToF датчиком и затем первый набор сепараторов пропускает только выходные сигналы пикселей четырехтактного i-ToF датчика, полученные из первого структурированного света, а второй набор сепараторов пропускает только выходные сигналы пикселей четырехтактного i-ToF датчика, полученные из второго структурированного света; устраняют для по меньшей мере одной пары последовательных тактов 
где 
где 
[0016] В одном дополнительном аспекте этап устранения фона и глобальной составляющей выполняют для каждой из трех пар тактов, включающих в себя пару тактов 1 и 2, пару тактов 2 и 3, пару тактов 3 и 4 первого и второго пикселя в каждом сдвоенном пикселе; и этап вычисления для каждого сдвоенного пикселя расстояния до объекта сцены дополнительно содержит вычисление расстояния до объекта сцены для каждой из упомянутых трех пар тактов первого и второго пикселя в каждом сдвоенном пикселе, и получение расстояния до объекта сцены для каждого сдвоенного пикселя посредством вычисления среднего значения расстояния до объекта сцены из вычисленных расстояний для упомянутых трех пар тактов для каждого сдвоенного пикселя.[0016] In one additional aspect, the background and global component removal step is performed for each of three pairs of slots, including a pair of slots 1 and 2, a pair of slots 2 and 3, a pair of slots 3 and 4 of the first and second pixels in each dual pixel; and the step of calculating for each dual pixel the distance to the scene object further comprises calculating the distance to the scene object for each of said three pairs of first and second pixel clocks in each dual pixel, and obtaining the distance to the scene object for each dual pixel by calculating the average value of the distance to of the scene object from the calculated distances for the mentioned three clock pairs for each dual pixel.
[0017] В другом дополнительном аспекте этап устранения фона и глобальной составляющей выполняют для каждой из четырех пар тактов первого и второго пикселя в каждом сдвоенном пикселе, при этом упомянутые четыре пары тактов включают в себя пару тактов 1 и 2, пару тактов 2 и 3, пару тактов 3 и 4 при захвате текущего изображения и пару тактов, включающую в себя такт 1 при захвате текущего изображения и такт 4 при захвате предыдущего изображения, и при этом 
[0018] В еще одном дополнительном аспекте два соседних пикселя четырехтактного i-ToF датчика, расположенные горизонтально, образуют сдвоенный пиксель, и два соседних пикселя четырехтактного i-ToF датчика, расположенные вертикально, образуют сдвоенный пиксель, при этом сдвоенные пиксели из двух соседних пикселей, расположенных горизонтально, и сдвоенные пиксели из двух соседних пикселей, расположенных вертикально, наложены друг на друга.[0018] In yet another aspect, two adjacent pixels of a four-cycle i-ToF sensor located horizontally form a dual pixel, and two adjacent pixels of a four-cycle i-ToF sensor located vertically form a dual pixel, wherein the dual pixels of the two adjacent pixels, located horizontally, and doubled pixels from two adjacent pixels located vertically are superimposed on each other.
[0019] В еще одном дополнительном аспекте способ дополнительно содержит этапы, на которых: сравнивают вычисленное расстояние до объекта сцены для каждого сдвоенного пикселя с вычисленным расстоянием до объекта сцены для соседнего сдвоенного пикселя; если результат сравнения превышает заданное пороговое значение, вычисляют среднее значение расстояний до объекта сцены для по меньшей мере двух сдвоенных пикселей, соседних со сдвоенным пикселем, для которого результат сравнения превышает заданное пороговое значение; и присваивают сдвоенному пикселю, для которого результат сравнения превышает заданное пороговое значение, вычисленное среднее значение расстояний до объекта сцены, при этом заданное пороговое значение задают на основании расстояния прохождения света за часть периода одной и той же несущей, с которой каждый из первого и второго структурированного света модулирован по амплитуде.[0019] In another additional aspect, the method further comprises: comparing the calculated distance to a scene object for each binned pixel with the calculated distance to a scene object for an adjacent binned pixel; if the comparison result exceeds a predetermined threshold value, calculating the average value of the distances to the scene object for at least two dual pixels adjacent to the dual pixel for which the comparison result exceeds the predetermined threshold value; and assigning to the dual pixel, for which the comparison result exceeds the predetermined threshold value, the calculated average value of the distances to the scene object, while the predetermined threshold value is set based on the light transmission distance for part of the period of the same carrier with which each of the first and second structured light modulated in amplitude.
[0020] Еще один аспект настоящего изобретения обеспечивает электронное вычислительное устройство, содержащее: источник света для одновременного освещения сцены первым структурированным светом, имеющим первый фазовый пространственный узор, и вторым структурированным светом, имеющим второй фазовый пространственный узор, при этом каждый из первого и второго структурированного света модулирован по амплитуде с одной и той же несущей, каждый из первого и второго фазовых пространственных узоров образован участками со сдвигом +Δ фазы, чередующимися с участками со сдвигом -Δ фазы, сдвиги фаз участков первого и второго фазовых пространственных узоров равны по модулю и находятся в пределах 0<Δ<π/2, участки первого и второго фазовых пространственных узоров с противоположными по знаку сдвигами фазы накладываются друг на друга, пространственная частота участков первого и второго фазовых пространственных узоров выше, чем пространственная частота расположения объектов сцены, и при этом либо первый и второй структурированный свет имеют разные длины волн и/или разную поляризацию, либо первый и второй структурированный свет дополнительно модулированы по амплитуде с разными несущими; блок захвата изображения, содержащий четырехтактный i-ToF датчик и массив сепараторов, при этом массив сепараторов содержит первый набор сепараторов и второй набор сепараторов, отличающийся от первого набора сепараторов, сепараторы первого набора сепараторов расположены с чередованием с сепараторами второго набора сепараторов так, что стороны каждого сепаратора из первого набора сепараторов прилегают к сторонам сепараторов из второго набора сепараторов, один сепаратор из массива сепараторов находится напротив одного пикселя четырехтактного i-ToF датчика, и два соседних пикселя четырехтактного i-ToF датчика образуют сдвоенный пиксель, и при этом если первый и второй структурированный свет имеют разные длины волн и/или разную поляризацию, то изображение сцены захватывают четырехтактным i-ToF датчиком через массив сепараторов, один пиксель четырехтактного i-ToF датчика захватывает изображение через один сепаратор массива сепараторов, первый набор сепараторов пропускает только первый структурированный свет, а второй набор сепараторов пропускает только второй структурированный свет, если первый и второй структурированный свет дополнительно модулированы по амплитуде с разными несущими, то изображение сцены захватывают четырехтактным i-ToF датчиком и затем первый набор сепараторов пропускает только выходные сигналы пикселей четырехтактного i-ToF датчика, полученные из первого структурированного света, а второй набор сепараторов пропускает только выходные сигналы пикселей четырехтактного i-ToF датчика, полученные из второго структурированного света; по меньшей мере один процессор; и память, в которой хранятся инструкции, которые при выполнении по меньшей мере одним процессором, заставляют по меньшей мере один процессор выполнять варианты осуществления способа вычисления расстояний до объектов сцены в 3D-изображении на основе пространственной фазовой модуляции.[0020] Yet another aspect of the present invention provides an electronic computing device comprising: a light source for simultaneously illuminating a scene with a first patterned light having a first phase space pattern and a second patterned light having a second phase space pattern, wherein each of the first and second patterned of light is modulated in amplitude with the same carrier, each of the first and second phase spatial patterns is formed by sections with a +Δ phase shift, alternating with sections with a -Δ phase shift, the phase shifts of the sections of the first and second phase spatial patterns are equal in magnitude and are within 0<Δ<π/2, sections of the first and second phase spatial patterns with phase shifts opposite in sign are superimposed on each other, the spatial frequency of the sections of the first and second phase spatial patterns is higher than the spatial frequency of the scene objects, and at the same time either first and in the second structured light has different wavelengths and/or different polarizations, or the first and second structured light are further modulated in amplitude with different carriers; an image capturing unit containing a four-cycle i-ToF sensor and an array of separators, wherein the array of separators contains the first set of separators and the second set of separators, different from the first set of separators, the separators of the first set of separators are arranged in alternation with the separators of the second separator set so that the sides of each separators from the first set of separators are adjacent to the sides of the separators from the second set of separators, one separator from the array of separators is opposite one pixel of the four-cycle i-ToF sensor, and two neighboring pixels of the four-cycle i-ToF sensor form a dual pixel, and if the first and second structured light have different wavelengths and/or different polarizations, then the image of the scene is captured by a four-cycle i-ToF sensor through an array of separators, one pixel of a four-cycle i-ToF sensor captures an image through one separator of the separator array, the first set of separators passes only the first structure tourized light, and the second set of separators passes only the second patterned light, if the first and second patterned lights are additionally modulated in amplitude with different carriers, then the image of the scene is captured by a four-cycle i-ToF sensor and then the first set of separators passes only the output signals of the pixels of the four-stroke i-ToF sensor obtained from the first structured light, and the second set of separators passes only the output signals of the pixels of the four-cycle i-ToF sensor obtained from the second structured light; at least one processor; and a memory that stores instructions that, when executed by the at least one processor, causes the at least one processor to execute embodiments of a method for calculating distances to scene objects in a 3D image based on spatial phase modulation.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙBRIEF DESCRIPTION OF THE DRAWINGS
[0021] Вышеописанные и другие аспекты, признаки и преимущества настоящего изобретения будут более понятны из последующего подробного описания, приведенного в сочетании с прилагаемыми чертежами, на которых:[0021] The above and other aspects, features and advantages of the present invention will be better understood from the following detailed description taken in conjunction with the accompanying drawings, in which:
[0022] Фиг. 1 схематично иллюстрирует распространение света при захвате изображения.[0022] FIG. 1 schematically illustrates the propagation of light during image capture.
[0023] Фиг. 2 является блок-схемой последовательности операций способа 100 вычисления расстояний до объектов сцены в 3D-изображении на основе пространственной фазовой модуляции.[0023] FIG. 2 is a flowchart of a
[0024] Фиг. 3 является блок-схемой электронного вычислительного устройства 200 для выполнения способа 100 вычисления расстояний до объектов сцены в 3D-изображении на основе пространственной фазовой модуляции.[0024] FIG. 3 is a block diagram of an
[0025] Фиг. 4А-4В схематично иллюстрируют примерные варианты осуществления сдвоенных пикселей.[0025] FIG. 4A-4B schematically illustrate exemplary dual pixel embodiments.
[0026] В последующем описании, если не указано иное, одни и те же ссылочные позиции используются для одних и тех же элементов, когда они изображены на разных чертежах, и их параллельное описание не приводится.[0026] In the following description, unless otherwise indicated, the same reference numbers are used for the same elements when they are shown in different drawings, and their parallel description is not given.
ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯDETAILED DESCRIPTION OF EMBODIMENTS OF THE PRESENT INVENTION
[0027] Нижеследующее описание со ссылкой на прилагаемые чертежи приведено, чтобы облегчить полное понимание различных вариантов осуществления настоящего изобретения, заданного формулой изобретения, и его эквивалентов. Описание включает в себя различные конкретные подробности, чтобы облегчить такое понимание, но данные подробности следует считать только примерными. Соответственно, специалисты в данной области техники обнаружат, что можно разработать различные изменения и модификации различных вариантов осуществления, описанных в настоящей заявке, без выхода за пределы объема настоящего изобретения. Кроме того, описания общеизвестных функций и конструкций могут быть исключены для ясности и краткости.[0027] The following description, with reference to the accompanying drawings, is provided to facilitate a thorough understanding of various embodiments of the present invention as defined by the claims and their equivalents. The description includes various specific details to facilitate such understanding, but these details should be considered exemplary only. Accordingly, those skilled in the art will find that various variations and modifications of the various embodiments described herein can be made without departing from the scope of the present invention. In addition, descriptions of well-known functions and constructions may be omitted for the sake of clarity and brevity.
[0028] Термины и формулировки, используемые в последующем описании и формуле изобретения не ограничены библиографическим значениями, а просто использованы создателем настоящего изобретения, чтобы обеспечить четкое и последовательное понимание настоящего изобретения. Соответственно, специалистам в данной области техники должно быть ясно, что последующее описание различных вариантов осуществления настоящего изобретения предлагается только для иллюстрации.[0028] The terms and language used in the following description and claims are not limited to bibliographical meanings, but are simply used by the creator of the present invention to provide a clear and consistent understanding of the present invention. Accordingly, it will be clear to those skilled in the art that the following description of various embodiments of the present invention is provided for purposes of illustration only.
[0029] Следует понимать, что формы единственного числа включают в себя множественность, если контекст явно не указывает иное.[0029] It is to be understood that singular forms include plurality unless the context clearly indicates otherwise.
[0030] Дополнительно следует понимать, что термины «содержит», «содержащий», «включает в себя» и/или «включающий в себя», при использовании в настоящей заявке, означают присутствие изложенных признаков, значений, операций, элементов и/или компонентов, но не исключают присутствия или добавления одного или более других признаков, значений, операций, элементов, компонентов и/или их групп.[0030] Additionally, it should be understood that the terms "comprises", "comprising", "includes" and / or "including", when used in this application, means the presence of the set forth features, values, operations, elements and/or components, but do not exclude the presence or addition of one or more other features, values, operations, elements, components and/or groups thereof.
[0031] Фиг. 1 схематично иллюстрирует распространение света при захвате изображения. На датчик формирования изображения падает свет, отраженный один раз от объектов сцены (прямое отражение), и свет, отраженный более одного раза от объектов сцены (множественные отражения). Свет, отраженный один раз (прямое отражение), показан на фиг. 1 пунктирной линией, а свет, отраженный более одного раза (множественные отражения) показан сплошной линией.[0031] FIG. 1 schematically illustrates the propagation of light during image capture. The imaging sensor receives light reflected once from objects in the scene (direct reflection) and light reflected more than once from objects in the scene (multiple reflections). Light reflected once (direct reflection) is shown in FIG. 1 as a dotted line, and light reflected more than once (multiple reflections) is shown as a solid line.
[0032] Весь свет, падающий на каждый пиксель датчика формирования изображения, состоит из прямой составляющей и глобальной составляющей. Прямая составляющая является составляющей света, отраженного один раз от объекта сцены, а глобальная составляющая является составляющей света, отраженного от объекта сцены более одного раза. Множественные отражения, которые образуют глобальную составляющую, вызывают эффект MPI и приводят к искажению формы захваченных объектов и потере точности определения глубины на изображениях. [0032] All light incident on each pixel of the imaging sensor consists of a direct component and a global component. The direct component is the component of light reflected once from a scene object, and the global component is the component of light reflected from a scene object more than once. Multiple reflections, which form the global component, cause the MPI effect and lead to distortion of the shape of the captured objects and loss of depth accuracy in images.
[0033] Для того чтобы избежать возникновения вышеприведенных артефактов на изображении в настоящем изобретении предложено устранить фон и глобальную составляющую из сигналов, полученных при захвате изображения.[0033] In order to avoid the occurrence of the above artifacts in the image, the present invention proposes to remove the background and the global component from the signals obtained by capturing the image.
[0034] В дальнейшем, различные варианты осуществления настоящего изобретения описаны более подробно со ссылкой на прилагаемые фиг. 2, 3, 4а-4в.[0034] Hereinafter, various embodiments of the present invention are described in more detail with reference to the accompanying FIGS. 2, 3, 4a-4c.
[0035] Способ 100 вычисления расстояний до объектов сцены в 3D-изображении на основе пространственной фазовой модуляции может выполняться на электронном вычислительном устройстве 200, которое может представлять собой, например, видео и/или фото камеру, смартфон, мобильный телефон, устройство виртуальной и/или дополненной реальности, робота и т.д. [0035] A
[0036] Блок-схема электронного вычислительного устройства 200 изображена на фиг. 3. Электронное вычислительное устройство 200 содержит источник 201 света, блок 202 захвата изображения, по меньшей мере один процессор 203 и память 204. Блок 202 захвата изображения содержит четырехтактный i-ToF датчик 202-1 и массив 202-2 сепараторов.[0036] A block diagram of the
[0037] Источник 201 света выполнен с возможностью формирования первого структурированного света и второго структурированного света и одновременного освещения сцены первым и вторым структурированным светом. Первый структурированный свет имеет первый фазовый пространственный узор, а второй структурированный свет имеет второй фазовый пространственный узор. Каждый из первого и второго структурированного света модулирован по амплитуде с одной и той же несущей. Каждый из первого и второго фазовых пространственных узоров образован участками со сдвигом +Δ фазы, чередующимися с участками со сдвигом -Δ фазы. Сдвиги +Δ, -Δ фаз участков первого и второго фазовых пространственных узоров равны по модулю и находятся в пределах 0<Δ<π/2. Участки первого и второго фазовых пространственных узоров с противоположными по знаку сдвигами фазы накладываются друг на друга, т.е. каждая точка сцены освещена участками первого и второго фазовых пространственных узоров с противоположными по знаку сдвигами фазы. Пространственная частота участков первого и второго фазовых пространственных узоров выше, чем пространственная частота расположения объектов сцены. Для разделения сигналов от первого и второго структурированного света при приеме света каждым пикселем четырехтактного i-ToF датчика 202-1 блока 202 захвата изображения или выдачи выходных сигналов из блока 202 захвата изображения либо первый и второй структурированный свет имеют разные длины волн и/или разную поляризацию, либо первый и второй структурированный свет дополнительно модулированы по амплитуде с разными несущими. Фазовые пространственные узоры первого и второго структурированного света могут быть, например, горизонтальными и/или вертикальными полосами, матрицей из точек, произвольно расположенными точками и т.д. или их сочетанием. Настоящее изобретение не ограничено этими примерами пространственного узора, и он может быть любым. Формирование структурированного света известно в уровне техники и, поэтому его описание будет опущено. Источниками 201 света могут быть любые источники света, например, массив светодиодов или массив поверхностно-излучающих лазеров с вертикальным резонатором (VCSEL). Однако настоящее изобретение не ограничено этими примерами источников света, источники 201 света могут быть любыми источниками света, например, содержащими по меньшей мере одно светоизлучающее устройство и по меньшей мере одно устройство модуляции света, которые способны формировать первый структурированный свет и второй структурированный свет и одновременного освещать захватываемую сцену первым и вторым структурированным светом. [0037] The
[0038] Четырехтактный i-Tof датчик может быть любым известным четырехтактным i-Tof датчиком, например, КМОП-датчиком, ПЗС-датчиком.[0038] The four-stroke i-Tof sensor may be any known four-stroke i-Tof sensor, such as a CMOS sensor, a CCD sensor.
[0039] Изображение сцены, одновременно освещенной первым и вторым структурированным светом, захватывают блоком 202 захвата изображения, т.е. четырехтактным i-ToF датчиком 202-1 в сочетании с массивом 202-2 сепараторов. [0039] An image of a scene simultaneously illuminated by the first and second structured light is captured by the
[0040] Массив 202-2 сепараторов содержит первый набор сепараторов и второй набор сепараторов, отличающийся от первого набора сепараторов. Сепараторы первого набора сепараторов расположены с чередованием с сепараторами второго набора сепараторов так, что стороны каждого сепаратора из первого набора сепараторов прилегают к сторонам сепараторов из второго набора сепараторов. Один сепаратор из массива 202-2 сепараторов находится напротив одного пикселя четырехтактного i-ToF датчика 202-1, т.е. каждый один пиксель четырехтактного i-ToF датчика 202-1 в сочетании только с одним сепаратором массива 202-2 сепараторов выдает выходной сигнал. Два соседних пикселя четырехтактного i-ToF датчика 202-1 образуют сдвоенный пиксель, и все пиксели четырехтактного i-ToF датчика 202-1 сгруппированы в сдвоенные пиксели. Если первый и второй структурированный свет имеют разные длины волн и/или разную поляризацию, то изображение сцены захватывают четырехтактным i-ToF датчиком 202-1 через массив 202-2 сепараторов, т.е. массив 202-2 сепараторов находится перед четырехтактным i-ToF датчиком 202-1 по отношению к падающему свету. В этом случае один пиксель четырехтактного i-ToF датчика 202-1 захватывает изображение через один сепаратор массива 202-2 сепараторов и первый набор сепараторов пропускает только первый структурированный свет, а второй набор сепараторов пропускает только второй структурированный свет. Если первый и второй структурированный свет дополнительно модулированы по амплитуде с разными несущими, то изображение сцены захватывают четырехтактным i-ToF датчиком 202-1 и затем первый набор сепараторов пропускает только выходные сигналы пикселей четырехтактного i-ToF датчика 202-1, полученные из первого структурированного света, а второй набор сепараторов пропускает только выходные сигналы пикселей четырехтактного i-ToF датчика 202-1, полученные из второго структурированного света. В случае, когда первый и второй структурированный свет дополнительно модулированы по амплитуде с разными несущими, массив 202-2 сепараторов находится за четырехтактным i-ToF датчиком 202-1 по отношению к падающему свету.[0040] The separator array 202-2 includes a first separator set and a second separator set different from the first separator set. The separators of the first set of separators are arranged in alternation with the separators of the second set of separators so that the sides of each separator from the first set of separators are adjacent to the sides of the separators from the second set of separators. One separator of the separator array 202-2 is opposite one pixel of the four-cycle i-ToF sensor 202-1, i. each one pixel of the four-cycle i-ToF sensor 202-1 in combination with only one separator of the separator array 202-2 produces an output signal. Two neighboring pixels of the four-cycle i-ToF sensor 202-1 form a doubling pixel, and all pixels of the four-stroke i-ToF sensor 202-1 are grouped into doubling pixels. If the first and second structured light have different wavelengths and/or different polarizations, then the scene image is captured by the four-stroke i-ToF sensor 202-1 through the separator array 202-2, i. the separator array 202-2 is in front of the four-stroke i-ToF sensor 202-1 with respect to the incident light. In this case, one pixel of the four-cycle i-ToF sensor 202-1 captures an image through one separator of the separator array 202-2, and the first separator set only allows the first patterned light to pass through, and the second separator set only passes the second patterned light. If the first and second patterned lights are further amplitude-modulated with different carriers, then the scene image is captured by the four-cycle i-ToF sensor 202-1, and then the first set of separators only passes the pixel output signals of the four-cycle i-ToF sensor 202-1 obtained from the first patterned light. , and the second separator set passes only the pixel output signals of the four-cycle i-ToF sensor 202-1 obtained from the second structured light. In the case where the first and second patterned light are further amplitude-modulated with different carriers, the separator array 202-2 is behind the four-cycle i-ToF sensor 202-1 with respect to the incident light.
[0041] Один или более процессоров 203 могут включать в себя процессор общего назначения, такой как центральный процессор (ЦП), процессор приложений (AP), графический процессор (GPU), процессор обработки изображений (VPU) или тому подобное и/или специализированный процессор искусственного интеллекта (ИИ), такой как нейронный процессор (NPU). Один или более процессоров 203 выполняют обработку данных в соответствии с правилом работы, заданным инструкциями, хранящимися в памяти 204. [0041] One or
[0042] Память 204 может быть энергонезависимой памятью или энергозависимой памятью. Память 204 хранит инструкции, которые при выполнении по меньшей мере одним процессором 203 обеспечивают выполнение способа 100.[0042]
[0043] Примеры разделения четырехтактного i-ToF датчика 202-1 на сдвоенные пиксели показаны на фиг. 4А-4В.[0043] Examples of dividing the four-cycle i-ToF sensor 202-1 into dual pixels are shown in FIG. 4A-4B.
[0044] На фиг. 4А показан вариант осуществления группировки пикселей четырехтактного i-ToF датчика 202-1 в сдвоенные пиксели. Сдвоенные пиксели выделены толстой линией на фиг. 4А. Каждый сдвоенный пиксель может быть образован двумя соседними пикселями четырехтактного i-ToF датчика 202-1, расположенными вертикально относительно друг друга, т.е. каждый сдвоенный пиксель может быть образован двумя соседними пикселями четырехтактного i-ToF датчика 202-1, расположенными в одном и том же столбце пикселей четырехтактного i-ToF датчика 202-1. Один пиксель сдвоенного пикселя принимает свет или выводит сигнал пикселя через сепаратор первого набора сепараторов, а другой пиксель сдвоенного пикселя принимает свет или выводит сигнал пикселя через сепаратор второго набора сепараторов.[0044] FIG. 4A shows an embodiment of grouping the pixels of the four-cycle i-ToF sensor 202-1 into dual pixels. The doubled pixels are marked with a thick line in FIG. 4A. Each dual pixel may be formed by two adjacent pixels of the four-cycle i-ToF sensor 202-1 arranged vertically with respect to each other, i.e. each dual pixel may be formed by two adjacent pixels of the four-cycle i-ToF sensor 202-1 located in the same pixel column of the four-cycle i-ToF sensor 202-1. One pixel of the dual pixel receives light or outputs the pixel signal through the separator of the first separator set, and the other pixel of the dual pixel receives light or outputs the pixel signal through the separator of the second separator set.
[0045] На фиг. 4Б показан другой вариант осуществления группировки пикселей четырехтактного i-ToF датчика 202-1 в сдвоенные пиксели. Сдвоенные пиксели выделены толстой линией на фиг. 4Б. Каждый сдвоенный пиксель может быть образован двумя соседними пикселями четырехтактного i-ToF датчика 202-1, расположенными горизонтально относительно друг друга, т.е. каждый сдвоенный пиксель может быть образован двумя соседними пикселями четырехтактного i-ToF датчика 202-1, расположенными в одной и той же строке пикселей четырехтактного i-ToF датчика 202-1. Один пиксель сдвоенного пикселя принимает свет или выводит сигнал пикселя через сепаратор первого набора сепараторов, а другой пиксель сдвоенного пикселя принимает свет или выводит сигнал пикселя через сепаратор второго набора сепараторов. [0045] FIG. 4B shows another embodiment of grouping the pixels of the four-cycle i-ToF sensor 202-1 into dual pixels. The doubled pixels are marked with a thick line in FIG. 4B. Each dual pixel may be formed by two adjacent pixels of the four-cycle i-ToF sensor 202-1 arranged horizontally with respect to each other, i.e. each dual pixel may be formed by two adjacent pixels of the four-cycle i-ToF sensor 202-1 located in the same pixel row of the four-cycle i-ToF sensor 202-1. One pixel of the dual pixel receives light or outputs the pixel signal through the separator of the first separator set, and the other pixel of the dual pixel receives light or outputs the pixel signal through the separator of the second separator set.
[0046] На фиг. 4В показан еще один вариант осуществления группировки пикселей четырехтактного i-ToF датчика 202-1 в сдвоенные пиксели. Каждый сдвоенный пиксель может быть образован как двумя соседними пикселями четырехтактного i-ToF датчика 202-1, расположенными в одном и том же столбце пикселей четырехтактного i-ToF датчика 202-1, так и каждый сдвоенный пиксель может быть образован двумя соседними пикселями четырехтактного i-ToF датчика 202-1, расположенными в одной и той же строке пикселей четырехтактного i-ToF датчика 202-1. Кроме того, сдвоенные пиксели, образованные в столбцах пикселей, и сдвоенные пиксели, образованные в строках пикселей, наложены друг на друга. Другими словами, два соседних пикселя четырехтактного i-ToF датчика 202-1, расположенные горизонтально, образуют сдвоенный пиксель, и два соседних пикселя четырехтактного i-ToF датчика, расположенные вертикально, образуют сдвоенный пиксель, при этом сдвоенные пиксели из двух соседних пикселей, расположенных горизонтально, и сдвоенные пиксели из двух соседних пикселей, расположенных вертикально, наложены друг на друга. Сдвоенные пиксели из расположенных вертикально пикселей, т.е. расположенных в одном и том же столбце, выделены толстой линией на фиг. 4В. Сдвоенные пиксели из расположенных горизонтально пикселей, т.е. расположенных в одной и той же строке, схематично показаны пунктирной линией на фиг. 4В. Один пиксель сдвоенного пикселя принимает свет или выводит сигнал пикселя через сепаратор первого набора сепараторов, а другой пиксель сдвоенного пикселя принимает свет или выводит сигнал пикселя через сепаратор второго набора сепараторов.[0046] FIG. 4B shows another embodiment of grouping the pixels of the four-cycle i-ToF sensor 202-1 into dual pixels. Each dual pixel can be formed by two adjacent pixels of the four-cycle i-ToF sensor 202-1 located in the same column of pixels of the four-cycle i-ToF sensor 202-1, and each dual pixel can be formed by two adjacent pixels of the four-cycle i- ToF sensor 202-1 located in the same row of pixels of the four-stroke i-ToF sensor 202-1. In addition, the double pixels formed in the columns of pixels and the double pixels formed in the rows of pixels are superimposed on each other. In other words, two horizontally adjacent pixels of the four-stroke i-ToF sensor 202-1 form a double pixel, and two adjacent pixels of the four-stroke i-ToF sensor vertically form a double pixel, and the double pixels of two horizontally adjacent pixels , and the doubled pixels of two vertically adjacent pixels are superimposed on each other. Doubled pixels from vertically arranged pixels, i.e. located in the same column are marked with a thick line in Fig. 4B. Doubled pixels from horizontally arranged pixels, i.e. located in the same line are shown schematically by a dotted line in FIG. 4B. One pixel of the dual pixel receives light or outputs the pixel signal through the separator of the first separator set, and the other pixel of the dual pixel receives light or outputs the pixel signal through the separator of the second separator set.
[0047] На фиг. 2 показана блок-схема последовательности операций способа 100 вычисления расстояний до объектов сцены в 3D-изображении на основе пространственной фазовой модуляции. Способ 100 вычисления расстояний до объектов сцены в 3D-изображении на основе пространственной фазовой модуляции содержит следующие этапы.[0047] FIG. 2 shows a flow diagram of a
[0048] На этапе S101 источник 201 света одновременно освещает сцену первым структурированным светом, имеющим первый фазовый пространственный узор, и вторым структурированным светом, имеющим второй фазовый пространственный узор. Каждый из первого и второго структурированного света модулирован по амплитуде с одной и той же несущей. Каждый из первого и второго фазовых пространственных узоров образован участками со сдвигом +Δ фазы, чередующимися с участками со сдвигом -Δ фазы. Сдвиги фаз участков первого и второго фазовых пространственных узоров равны по модулю и находятся в пределах 0<Δ<π/2. Участки первого и второго фазовых пространственных узоров с противоположными по знаку сдвигами фазы накладываются друг на друга. Пространственная частота участков первого и второго фазовых пространственных узоров выше, чем пространственная частота расположения объектов сцены. Для того чтобы каждый пиксель сдвоенного пикселя в сочетании с сепаратором массива 202-2 сепараторов принимал свет или выводил сигнал пикселя только от одного из первого или второго структурированного света, первый и второй структурированный свет имеют либо разные длины волн и/или разную поляризацию, либо дополнительно модулированы по амплитуде с разными несущими.[0048] In step S101, the
[0049] На этапе S103 четырехтактный i-ToF датчик 202-1 в сочетании с массивом 202-2 сепараторов захватывают изображение сцены, одновременно освещенной первым и вторым структурированным светом. Массив 202-2 сепараторов содержит первый набор сепараторов и второй набор сепараторов, отличающийся от первого набора сепараторов. Сепараторы первого набора сепараторов пропускают свет или выводят сигнал пикселя только от одного из первого или второго структурированного света. Сепараторы первого набора сепараторов расположены с чередованием с сепараторами второго набора сепараторов так, что стороны каждого сепаратора из первого набора сепараторов прилегают к сторонам сепараторов из второго набора сепараторов. Один сепаратор из массива 202-2 сепараторов находится напротив одного пикселя четырехтактного i-ToF датчика 202-1. Два соседних пикселя четырехтактного i-ToF датчика 202-1 образуют сдвоенный пиксель.[0049] In step S103, the four-stroke i-ToF sensor 202-1 in combination with the separator array 202-2 captures an image of the scene simultaneously illuminated by the first and second patterned light. The separator array 202-2 includes a first separator set and a second separator set different from the first separator set. The separators of the first set of separators transmit light or output a pixel signal from only one of the first or second patterned light. The separators of the first set of separators are arranged in alternation with the separators of the second set of separators so that the sides of each separator from the first set of separators are adjacent to the sides of the separators from the second set of separators. One separator of the separator array 202-2 is opposite one pixel of the four-cycle i-ToF sensor 202-1. Two adjacent pixels of the four-cycle i-ToF sensor 202-1 form a dual pixel.
[0050] Если первый и второй структурированный свет имеют разные длины волн и/или разную поляризацию, то изображение сцены захватывают четырехтактным i-ToF датчиком 202-1 через массив 202-2 сепараторов. Один пиксель четырехтактного i-ToF датчика 202-1 захватывает изображение через один сепаратор массива 202-2 сепараторов. Первый набор сепараторов пропускает только первый структурированный свет, а второй набор сепараторов пропускает только второй структурированный свет. [0050] If the first and second structured light have different wavelengths and/or different polarizations, then the scene image is captured by the four-stroke i-ToF sensor 202-1 through the separator array 202-2. One pixel of the four-cycle i-ToF sensor 202-1 captures an image through one separator of the separator array 202-2. The first set of separators transmits only the first structured light, and the second set of separators transmits only the second structured light.
[0051] Если первый и второй структурированный свет дополнительно модулированы по амплитуде с разными несущими, то изображение сцены захватывают четырехтактным i-ToF датчиком 202-1. Затем первый набор сепараторов пропускает только выходные сигналы пикселей четырехтактного i-ToF датчика 202-1, полученные из первого структурированного света, а второй набор сепараторов пропускает только выходные сигналы пикселей четырехтактного i-ToF датчика 202-1, полученные из второго структурированного света. [0051] If the first and second structured light are further modulated in amplitude with different carriers, then the image of the scene is captured by the four-cycle i-ToF sensor 202-1. Then, the first separator set only passes the pixel outputs of the four-stroke i-ToF sensor 202-1 obtained from the first patterned light, and the second separator set only passes the pixel outputs of the four-stroke i-ToF sensor 202-1 obtained from the second patterned light.
[0052] На этапе S105 для по меньшей мере одной пары последовательных тактов
[0053] На этапе S107 для каждого сдвоенного пикселя расстояние до объекта сцены вычисляют по по меньшей мере одной паре последовательных тактов
где
[0054] В способе 100 этап (S105) устранения фона и глобальной составляющей может выполняться для каждой из трех пар тактов, включающих в себя пару тактов 1 и 2, пару тактов 2 и 3, пару тактов 3 и 4 первого и второго пикселя в каждом сдвоенном пикселе. В этом случае этап (S107) вычисления для каждого сдвоенного пикселя расстояния до объекта сцены может дополнительно содержать вычисление расстояния до объекта сцены для каждой из упомянутых трех пар тактов первого и второго пикселя в каждом сдвоенном пикселе, и получение расстояния до объекта сцены для каждого сдвоенного пикселя посредством вычисления среднего значения расстояния до объекта сцены из вычисленных расстояний для упомянутых трех пар тактов для каждого сдвоенного пикселя.[0054] In the
[0055] В способе 100 этап (S105) устранения фона и глобальной составляющей может выполняться для каждой из четырех пар тактов первого и второго пикселя в каждом сдвоенном пикселе, при этом упомянутые четыре пары тактов включают в себя пару тактов 1 и 2, пару тактов 2 и 3, пару тактов 3 и 4 при захвате текущего изображения и пару тактов, включающую в себя такт 1 при захвате текущего изображения и такт 4 при захвате предыдущего изображения, и при этом
[0056] В одном из вариантов осуществления пиксели четырехтактного i-ToF датчика 202-1 могут быть разделены на сдвоенные пиксели, в которых два соседних пикселя четырехтактного i-ToF датчика 202-1, расположенные горизонтально, образуют сдвоенный пиксель, и два соседних пикселя четырехтактного i-ToF датчика, расположенные вертикально, образуют сдвоенный пиксель. Сдвоенные пиксели из двух соседних пикселей, расположенных горизонтально, и сдвоенные пиксели из двух соседних пикселей, расположенных вертикально, наложены друг на друга. Такая компоновка сдвоенных пикселей описана выше со ссылкой на фиг. 4В. В этом варианте осуществления расстояние до объекта сцены вычисляют для каждого сдвоенного пикселя и, следовательно, возможно получить расстояний до объекта сцены в два раза больше, что увеличивает разрешение изображения. [0056] In one embodiment, the pixels of the four-cycle i-ToF sensor 202-1 may be divided into dual pixels, in which two adjacent pixels of the four-cycle i-ToF sensor 202-1 arranged horizontally form a dual pixel, and two adjacent pixels of the four-cycle i-ToF sensor 202-1 i-ToF sensors arranged vertically form a dual pixel. The double pixels of two horizontally adjacent pixels and the double pixels of two vertically adjacent pixels are superimposed on each other. Such a dual pixel arrangement has been described above with reference to FIG. 4B. In this embodiment, the distance to the scene object is calculated for each dual pixel, and therefore it is possible to obtain twice the distance to the scene object, which increases the resolution of the image.
[0057] Способ 100 может дополнительно содержать этапы, на которых: сравнивают вычисленное расстояние до объекта сцены для каждого сдвоенного пикселя с вычисленным расстоянием до объекта сцены для соседнего сдвоенного пикселя; если результат сравнения превышает заданное пороговое значение, вычисляют среднее значение расстояний до объекта сцены для по меньшей мере двух сдвоенных пикселей, соседних со сдвоенным пикселем, для которого результат сравнения превышает заданное пороговое значение; и присваивают сдвоенному пикселю, для которого результат сравнения превышает заданное пороговое значение, вычисленное среднее значение расстояний до объекта сцены. Пороговое значение задают на основании расстояния прохождения света за часть периода одной и той же несущей, с которой каждый из первого и второго структурированного света модулирован по амплитуде. Пороговое значение представляет собой расстояние прохождения света за часть периода одной и той же несущей, с которой каждый из первого и второго структурированного света модулирован по амплитуде. Предпочтительно часть периода одной и той же несущей находится в диапазоне от π/4 до π/2. [0057] The
[0058] Кроме того, способ, раскрытый в данном документе, может быть реализован на считываемом компьютером носителе, который хранит исполняемые компьютером инструкции, которые при выполнении процессором, заставляют процессор выполнять раскрытый способ. [0058] In addition, the method disclosed herein may be implemented on a computer-readable medium that stores computer-executable instructions that, when executed by a processor, cause the processor to execute the disclosed method.
[0059] Вышеприведенные описания вариантов осуществления изобретения являются иллюстративными, и модификации конфигурации и реализации не выходят за пределы объема настоящего описания. Например, хотя варианты осуществления изобретения описаны, в общем, в связи с фигурами 2, 3, 4а-4в, приведенные описания являются примерными. Хотя предмет изобретения описан на языке, характерном для конструктивных признаков или методологических операций, понятно, что предмет изобретения, определяемый прилагаемой формулой изобретения, не обязательно ограничен конкретными вышеописанными признаками или операциями. Более того, конкретные вышеописанные признаки и операции раскрыты как примерные формы реализации формулы изобретения. Изобретение не ограничено также показанным порядком этапов способа, порядок может быть видоизменен специалистом без новаторских нововведений. Некоторые или все этапы способа могут выполняться последовательно или параллельно.[0059] The above descriptions of embodiments of the invention are illustrative, and configuration and implementation modifications do not go beyond the scope of the present description. For example, although embodiments of the invention have been described generally in connection with Figures 2, 3, 4a-4c, the descriptions provided are exemplary. Although the subject matter has been described in terms of design features or methodological steps, it is to be understood that the subject matter defined by the appended claims is not necessarily limited to the specific features or steps described above. Moreover, the specific features and operations described above are disclosed as exemplary embodiments of the claims. The invention is also not limited to the order of the method steps shown, the order can be modified by the person skilled in the art without innovative innovations. Some or all of the steps of the method may be performed sequentially or in parallel.
[0060] Соответственно предполагается, что объем вариантов осуществления изобретения ограничивается только нижеследующей формулой изобретения.[0060] Accordingly, the scope of the embodiments of the invention is only intended to be limited by the following claims.
Claims (26)
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2791240C1 true RU2791240C1 (en) | 2023-03-06 |
Family
ID=
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8760631B2 (en) * | 2010-01-27 | 2014-06-24 | Intersil Americas Inc. | Distance sensing by IQ domain differentiation of time of flight (TOF) measurements |
| RU2012154657A (en) * | 2012-12-17 | 2014-06-27 | ЭлЭсАй Корпорейшн | METHODS AND DEVICE FOR COMBINING IMAGES WITH DEPTH GENERATED USING DIFFERENT METHODS FOR FORMING IMAGES WITH DEPTH |
| US9329035B2 (en) * | 2011-12-12 | 2016-05-03 | Heptagon Micro Optics Pte. Ltd. | Method to compensate for errors in time-of-flight range cameras caused by multiple reflections |
| US9405008B2 (en) * | 2013-05-17 | 2016-08-02 | Massachusetts Institute Of Technology | Methods and apparatus for multi-frequency camera |
| US10234561B2 (en) * | 2016-05-09 | 2019-03-19 | Microsoft Technology Licensing, Llc | Specular reflection removal in time-of-flight camera apparatus |
| CN109788216A (en) * | 2018-12-26 | 2019-05-21 | 武汉市聚芯微电子有限责任公司 | For the anti-interference method of TOF, device and TOF sensor chip |
| CN109991583A (en) * | 2019-03-14 | 2019-07-09 | 深圳奥比中光科技有限公司 | A kind of jamproof distance measurement method and depth camera |
| CN110109133A (en) * | 2019-05-05 | 2019-08-09 | 武汉市聚芯微电子有限责任公司 | Compensated distance method and distance measuring method based on the flight time |
| RU2699177C2 (en) * | 2014-06-12 | 2019-09-03 | Тераби С.А.С. | Dynamic tracking system and automatic control method using three-dimensional time-of-flight cameras |
| WO2020248334A1 (en) * | 2019-06-14 | 2020-12-17 | 深圳奥比中光科技有限公司 | Time-of-flight depth camera, and distance measurement method employing single-frequency modulation/demodulation and facilitating noise reduction |
| US10901090B2 (en) * | 2014-06-11 | 2021-01-26 | Sony Depthsensing Solutions Sa/Nv | TOF camera system and a method for measuring a distance with the system |
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8760631B2 (en) * | 2010-01-27 | 2014-06-24 | Intersil Americas Inc. | Distance sensing by IQ domain differentiation of time of flight (TOF) measurements |
| US9329035B2 (en) * | 2011-12-12 | 2016-05-03 | Heptagon Micro Optics Pte. Ltd. | Method to compensate for errors in time-of-flight range cameras caused by multiple reflections |
| RU2012154657A (en) * | 2012-12-17 | 2014-06-27 | ЭлЭсАй Корпорейшн | METHODS AND DEVICE FOR COMBINING IMAGES WITH DEPTH GENERATED USING DIFFERENT METHODS FOR FORMING IMAGES WITH DEPTH |
| US9405008B2 (en) * | 2013-05-17 | 2016-08-02 | Massachusetts Institute Of Technology | Methods and apparatus for multi-frequency camera |
| US10901090B2 (en) * | 2014-06-11 | 2021-01-26 | Sony Depthsensing Solutions Sa/Nv | TOF camera system and a method for measuring a distance with the system |
| RU2699177C2 (en) * | 2014-06-12 | 2019-09-03 | Тераби С.А.С. | Dynamic tracking system and automatic control method using three-dimensional time-of-flight cameras |
| US10234561B2 (en) * | 2016-05-09 | 2019-03-19 | Microsoft Technology Licensing, Llc | Specular reflection removal in time-of-flight camera apparatus |
| CN109788216A (en) * | 2018-12-26 | 2019-05-21 | 武汉市聚芯微电子有限责任公司 | For the anti-interference method of TOF, device and TOF sensor chip |
| CN109991583A (en) * | 2019-03-14 | 2019-07-09 | 深圳奥比中光科技有限公司 | A kind of jamproof distance measurement method and depth camera |
| CN110109133A (en) * | 2019-05-05 | 2019-08-09 | 武汉市聚芯微电子有限责任公司 | Compensated distance method and distance measuring method based on the flight time |
| WO2020248334A1 (en) * | 2019-06-14 | 2020-12-17 | 深圳奥比中光科技有限公司 | Time-of-flight depth camera, and distance measurement method employing single-frequency modulation/demodulation and facilitating noise reduction |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7191921B2 (en) | TOF camera system and method for measuring distance with same | |
| US10302768B2 (en) | Multipath signal removal in time-of-flight camera apparatus | |
| CN105705962B (en) | Sensing system with active illumination | |
| WO2014081478A1 (en) | Depth imaging method and apparatus with adaptive illumination of an object of interest | |
| US20140347553A1 (en) | Imaging devices with light sources for reduced shadow, controllers and methods | |
| CN110264540B (en) | Parallel single-pixel imaging method | |
| KR102490335B1 (en) | A method for binning time-of-flight data | |
| WO2020169834A1 (en) | Three-dimensional imaging and sensing using a dynamic vision sensor and pattern projection | |
| US11803982B2 (en) | Image processing device and three-dimensional measuring system | |
| Li et al. | Multi-camera interference cancellation of time-of-flight (TOF) cameras | |
| US12000692B2 (en) | Three-dimensional imaging and sensing using a dynamic vision sensor and pattern projection | |
| RU2791240C1 (en) | DISTANCE CALCULATION BASED ON SPATIAL PHASE MODULATION IN A FOUR STROKE i-ToF SENSOR | |
| JP2014070936A (en) | Error pixel detecting apparatus, error pixel detecting method, and error pixel detecting program | |
| JP7149941B2 (en) | Apparatus and method | |
| CN112513670B (en) | Distance meter, distance measuring system, distance measuring method and program | |
| RU2778496C1 (en) | Correction of multiple-beam interference and recognition of materials based on structured lighting without reducing the frame rate | |
| CN116888503A (en) | Imaging system | |
| US20240230910A9 (en) | Time-of-flight data generation circuitry and time-of-flight data generation method | |
| US20240134053A1 (en) | Time-of-flight data generation circuitry and time-of-flight data generation method | |
| US11922606B2 (en) | Multipass interference correction and material recognition based on patterned illumination without frame rate loss | |
| Gukov | Comparative Analysis of Ways to Solve the Interference Problem Tof-Cameras | |
| WO2024056499A1 (en) | Information processing device and information processing method | |
| CN116703997A (en) | Multi-frame structured light reconstruction module |