RU2550544C1 - Method for motion compensation in digital dynamic stereoscopic video - Google Patents
Method for motion compensation in digital dynamic stereoscopic video Download PDFInfo
- Publication number
- RU2550544C1 RU2550544C1 RU2013155875/08A RU2013155875A RU2550544C1 RU 2550544 C1 RU2550544 C1 RU 2550544C1 RU 2013155875/08 A RU2013155875/08 A RU 2013155875/08A RU 2013155875 A RU2013155875 A RU 2013155875A RU 2550544 C1 RU2550544 C1 RU 2550544C1
- Authority
- RU
- Russia
- Prior art keywords
- fragments
- approximation
- motion
- frame
- current
- Prior art date
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
Техническое решение относится к области цифрового телевидения, в частности, к способам компенсации движения в цифровых динамических стереовидеоизображениях и может быть применено в цифровых телевизионных системах широкого вещания, использующих стереовидеокодеки и работающих в режиме реального времени.The technical solution relates to the field of digital television, in particular, to methods of motion compensation in digital dynamic stereo video images and can be applied in digital television broadcasting systems using stereo video codecs and operating in real time.
Известен аналогичный способ компенсации движения в цифровых динамических стереовидеоизображениях на основе расширения стандарта MPEG-4 стерео и многоракурсного кодирования с применением базового профиля, описанный в статье Vetro, A.; Wiegand, Т.; Sullivan G.J. «Overview of the Stereo and Multiview Video Coding Extensions of the H.264/MPEG-4 AVC Standard», TR 2011-022 January 2011, http://www.merl.com, а также в книге Яна Ричардсона «Видеокодирование Н.264 и MPEG-4 - стандарты нового поколения» Москва: Техносфера, 2005. - 368 с. и состоящий в следующем: перед обработкой видеопотока все его кадровые стереопары логически разделяют на опорные и прогнозируемые, причем опорные стереопары располагают с периодичностью в одну или несколько прогнозируемых стереопар, а саму периодичность следования опорных стереопар задают предварительно, далее в плоскостях кадровых изображений стереопар выбирают прямоугольные декартовы системы координат, оси которых направляют параллельно или вдоль сторон кадровых прямоугольников стереопар, а в качестве единиц измерения по осям выбирают пикселы, в процессе обработки стереопотока для получения каждой очередной стереопары кодером опрашивают датчики изображений, затем полученные изображения переводят в требуемые для обработки формат и цветовую систему, после чего сохраняют в памяти кодера в качестве текущей кадровой стереопары, далее левый и правый кадры текущей стереопары логически разбивают на одинаковые по размерам фрагменты прямоугольной формы, называемые макроблоками, причем размеры макроблоков задают предварительно, а сразу после разделения очередного кадра стереопары на макроблоки за каждым макроблоком закрепляют координаты его положения в используемой соответствующей системе координат, в ходе обработки стереопотока отслеживают индекы стереопар, в процессе обработки каждой текущей стереопары сначала по индексу стереопары определяют ее принадлежность к опорным или прогнозируемым стереопарам, в случае принадлежности текущей стереопары к опорным стереопарам, компенсацию движения в изображении применяют только для правого кадра стереопары, и после обработки сохраняют данную стереопару как в памяти кодера, так и в памяти декодера, в случае принадлежности текущей стереопары к прогнозируемым стереопарам к обоим ее кадрам применяют компенсацию движения в изображении, при проведении компенсации движения в изображениях кодером формируют прогноз компенсации движения, а декодером проводят реконструкцию компенсации движения, для проведения компенсации движения каждого левого прогнозируемого кадра стереопары в качестве последовательного ссылочного кадра, и в кодере, и в декодере, выбирают предыдущий кадр видеопоследовательности, а для проведения компенсации движения каждого правого прогнозируемого кадра стереопары в качестве параллельного ссылочного кадра, и в кодере, и в декодере, выбирают параллельный левый кадр видеопоследовательности, в процессе формирования кодером прогноза компенсации движения сначала для каждого макроблока прогнозируемого кадра стереопары строят бинарную маску движения, затем по маскам движения за всеми макроблоками закрепляют признаки движения, согласно которым все макроблоки, по отношению к движению, классифицируют на внешние, граничные и внутренние, при этом признак движения внешнего макроблока присваивают тем макроблокам, которые содержат только неподвижные пикселы, признак движения граничного макроблока присваивают тем макроблокам, которые содержат и подвижные, и неподвижные пикселы, а признак движения внутреннего макроблока присваивают тем макроблокам, которые содержат только подвижные пикселы, далее для внутренних и граничных макроблоков стереопары проводят поиск их целочисленных векторов смещений к лучшим макроблочным прогнозам в поисковых областях ссылочных экстраполированных кадров, причем порядок обработки кадров стереопары при проведении поиска макроблочных прогнозов задают произвольно, перед проведением поиска макроблочных прогнозов осуществляют сначала подгонку макроблоков ссылочных кадров с применением интерполяции значений сигналов неподвижных пикселов этих кадров по значениям сигналов их подвижных пикселов, а затем экстраполяцию ссылочных кадров по их окаймляющим пикселам до размеров, достаточных для проведения компенсации движения с применением заграничных векторов смещений, при этом для проведения подгонки используют признаки движения всех макроблоков и маски движения граничных макроблоков ссылочных кадров, а размеры экстраполированных кадров задают предварительно, алгоритм поиска прогнозовых векторов смещений и критерий качества поисковых макроблочных прогнозов выбирают предварительно, при задании положений областей поиска центры этих областей совмещают с центрами соответствующих макроблоков, при этом размеры областей поиска задают предварительно, во время поиска лучших макроблочных совпадений проверяют только те возможные макроблочные прогнозы, которые полностью попадают в формат соответствующего ссылочного экстраполированного кадра стереопары, после окончания поиска макроблочных прогнозов для внутренних и граничных макроблоков текущей стереопары определяют их макроблочные остатки, при этом для нахождения матриц макроблочного остатка какого-либо из указанных макроблоков из исходных матриц изображения этого макроблока вычитают соответствующие матрицы его найденного макроблочного прогноза, далее в памяти кодера сохраняют текущую кодируемую стереопару, а также признаки движения всех ее макроблоков и маски движения ее граничных макроблоков, после чего подготавливают для дальнейшего кодирования признаки движения всех макроблоков, разностные макроблочные остатки, целочисленные векторы прогнозовых смещений и маски движения граничных макроблоков текущей стереопары, в процессе проведения декодером реконструкции компенсации движения восстанавливают кадры текущей стереопары, при этом сначала восстанавливают левый, а затем правый кадр стереопары, при восстановлении левого кадра по декодированным прогнозовым векторам смещений макроблоков этого кадра определяют положения макроблочных прогнозов внутренних и граничных макроблоков в предыдущем ссылочном экстраполированном кадре левого потока, причем перед определением положения макроблочных прогнозов к указанному ссылочному кадру по тем же правилам и с использованием тех же параметров, что и в кодере, применяют сначала подгонку его макроблоков, а затем экстраполяцию кадра, после определения положений макроблочных прогнозов левого кадра восстанавливают текущий левый кадр стереопары, в процессе восстановления данного кадра стереопары для нахождения исходных матриц изображения каждого внутреннего макроблока складывают соответствующие матрицы изображения его определенного макроблочного прогноза и матрицы изображения его декодированного макроблочного остатка, для нахождения исходных матриц изображения каждого граничного макроблока складывают соответствующие матрицы изображения его определенного макроблочного прогноза и матрицы изображения его декодированного макроблочного остатка, после чего значения неподвижных пикселов граничного макроблока загружают значениями соответствующих пикселов соответствующего ссылочного экстраполированного кадра без смещения, для нахождения исходных матриц изображения каждого внешнего макроблока их значения загружают значениями соответствующих матриц соответствующего ссылочного экстраполированного кадра без смещения, далее аналогичным образом восстанавливают правый кадр стереопары, причем непосредственно перед его восстановлением к параллельному ссылочному для него и уже декодированному левому кадру по тем же правилам и с использованием тех же параметров, что и в кодере, применяют сначала подгонку его макроблоков, а затем экстраполяцию данного кадра, далее в памяти декодера сохраняют текущую восстановленную стереопару, а также признаки движения всех ее макроблоков и маски движения ее граничных макроблоков, после чего текущую стереопару переводят в требуемые для показа формат и цветовую систему и затем выводят на экран устройства воспроизведения изображений. Недостатком данного аналога является низкое среднее значение пропускной кадровой способности при обработке стереовидеопотока в режиме реального времени, обусловленное применением поискового алгоритма компенсации движения для прогнозируемых кадров стереовидеопотока.A similar method is known for motion compensation in digital dynamic stereo video images based on the extension of the MPEG-4 standard for stereo and multi-angle coding using a basic profile, described in Vetro, A .; Wiegand, T .; Sullivan G.J. “Overview of the Stereo and Multiview Video Coding Extensions of the H.264 / MPEG-4 AVC Standard”, TR 2011-022 January 2011, http://www.merl.com, as well as in the book of Ian Richardson “Video coding N. 264 and MPEG-4 - the standards of a new generation ”Moscow: Technosphere, 2005. - 368 p. and consisting of the following: before processing the video stream, all its frame stereopairs are logically divided into reference and predicted, moreover, the reference stereopairs are arranged with a periodicity of one or more predicted stereopairs, and the repetition frequency of the reference stereopairs is pre-set, then rectangular Cartesian frames are selected in the planes of the frame images of stereopairs coordinate systems whose axes are directed parallel to or along the sides of the frame rectangles of stereo pairs, and as units of measurement along the axes in pixels are taken, during the processing of the stereo stream for receiving each next stereo pair, the encoder polls the image sensors, then the resulting images are transferred to the format and color system required for processing, then they are stored in the encoder memory as the current frame stereo pair, then the left and right frames of the current stereo pair are logically they are divided into rectangular fragments of the same size, called macroblocks, and the sizes of the macroblocks are pre-set, and immediately after the division of the next stereopair adres on macroblocks for each macroblock fix the coordinates of its position in the corresponding coordinate system used, during the processing of the stereo stream, the stereo pair indexes are tracked, during the processing of each current stereo pair, first it is determined by the stereopair index that it belongs to the reference or predicted stereo pairs, if the current stereo pair belongs to reference stereo pairs, motion compensation in the image is used only for the right frame of the stereo pair, and after processing, save this stereo a pair both in the encoder’s memory and in the decoder’s memory, if the current stereo pair belongs to the predicted stereo pairs in both its frames, motion compensation is used in the image, when conducting motion compensation in the images, the encoder generates a motion compensation forecast, and the decoder reconstructs the motion compensation, for performing motion compensation of each left predicted stereo pair frame as a sequential reference frame, both the encoder and the decoder select the previous frame in the video sequence sequence, and to carry out the motion compensation of each right predicted frame of the stereo pair as a parallel reference frame, both the encoder and the decoder select the parallel left frame of the video sequence, in the process of generating the motion compensation prediction encoder, a binary motion mask is first constructed for each macro block of the predicted stereo pair , then, according to the movement masks, for all macroblocks, signs of movement are fixed, according to which all macroblocks, in relation to movement, are classified as external, boundary and internal, while the sign of movement of the external macroblock is assigned to those macroblocks that contain only fixed pixels, the sign of movement of the boundary macroblock is assigned to those macroblocks that contain both moving and fixed pixels, and the sign of movement of the internal macroblock is assigned to those macroblocks that contain only moving pixels, then for internal and boundary macroblocks stereopairs search for their integer displacement vectors to the best macroblock forecasts in searches areas of the reference extrapolated frames, and the processing order of the stereo pair frames when searching for macroblock forecasts is arbitrarily set, before searching for macroblock forecasts, the macroblocks of the reference frames are first adjusted by interpolating the values of the stationary pixel signals of these frames from the values of their moving pixel signals, and then the extrapolation of the reference frames by their bordering pixels to sizes sufficient to carry out motion compensation using zag numerical displacement vectors, in this case, the motion signs of all macroblocks and the motion mask of the boundary macroblocks of the reference frames are used for fitting, and the dimensions of the extrapolated frames are predefined, the search algorithm for the predicted displacement vectors and the quality criterion of the search macroblock forecasts are preselected, when setting the positions of the search areas, the centers of these areas are combined with the centers of the corresponding macroblocks, while the sizes of the search areas are pre-set during the search for the best m of acroblock matches, only those possible macroblock forecasts are predicted that fully fit into the format of the corresponding reference extrapolated frame of the stereo pair, after the end of the search for macroblock forecasts for internal and boundary macroblocks of the current stereo pair, their macroblock residues are determined, while for finding matrices of the macroblock remainder of any of the indicated macroblocks from the original image matrices of this macroblock, the corresponding matrices of its found macroblock forecast are subtracted, yielded e the encoder’s current encoded stereo pair is stored in the encoder’s memory, as well as the motion signs of all its macroblocks and the motion mask of its boundary macroblocks, and then the motion signs of all macroblocks, difference macroblock residues, integer predicted displacement vectors and motion mask of the boundary macroblocks of the current stereo pair are prepared for further coding in the process of reconstruction reconstruction of the motion compensation by the decoder, frames of the current stereo pair are restored, while the left is restored first, and then right st frame of the stereopair, when restoring the left frame from the decoded forecast vectors of displacement of the macroblocks of this frame, the positions of macroblock forecasts of internal and boundary macroblocks are determined in the previous reference extrapolated frame of the left stream, and before determining the position of macroblock forecasts to the specified reference frame according to the same rules and using those the same parameters as in the encoder, first fit its macroblocks, and then extrapolate the frame, after determining the positions of the macroblocks initial forecasts of the left frame, the current left frame of the stereo pair is restored, in the process of recovering this frame of the stereo pair, the corresponding image matrices of its specific macroblock forecast and the image matrix of its decoded macroblock remainder are added to find the source image matrices of each internal macroblock, and the corresponding image matrices of each boundary macroblock are added image matrices of its specific macroblock forecast and image matrix pressing its decoded macroblock remainder, after which the fixed pixel values of the boundary macroblock are loaded with the values of the corresponding pixels of the corresponding reference extrapolated frame without offset, to find the source image matrices of each external macroblock, their values are loaded with the values of the corresponding matrices of the corresponding reference extrapolated frame without offset, then restore the right frame of a stereo pair, and immediately before its restoration By attaching to a parallel reference frame for it and already decoded the left frame according to the same rules and using the same parameters as in the encoder, first fit its macroblocks and then extrapolate this frame, then the current restored stereo pair is stored in the decoder memory, and signs of movement of all its macroblocks and a mask of movement of its boundary macroblocks, after which the current stereo pair is transferred to the format and color system required for display and then the image display device is displayed Eden. The disadvantage of this analogue is the low average value of the throughput of personnel in processing the stereo video stream in real time, due to the use of the search algorithm for motion compensation for the predicted frames of the stereo video stream.
В качестве прототипа выбран способ компенсации движения в цифровых динамических стереовидеоизображениях на основе расширения стандарта MPEG-4 стерео и многоракурсного кодирования с применением базового профиля, описанный в статье Vetro, A.; Wiegand, T.; Sullivan G.J. «Overview of the Stereo and Multiview Video Coding Extensions of the H.264/MPEG-4 AVC Standard», TR2011-022 January 2011, http://www.merl.com, а также в книге Яна Ричардсона «Видеокодирование Н.264 и MPEG-4 - стандарты нового поколения» Москва: Техносфера, 2005. - 368 с. и состоящий в следующем: перед обработкой видеопотока все его кадровые стереопары логически разделяют на опорные и прогнозируемые, причем опорные стереопары располагают с периодичностью в одну или несколько прогнозируемых стереопар, а саму периодичность следования опорных стереопар задают предварительно, далее в плоскостях кадровых изображений стереопар выбирают прямоугольные декартовы системы координат, оси которых направляют параллельно или вдоль сторон кадровых прямоугольников стереопар, а в качестве единиц измерения по осям выбирают пикселы, в процессе обработки стереопотока для получения каждой очередной стереопары кодером опрашивают датчики изображений, затем полученные изображения переводят в требуемые для обработки формат и цветовую систему, после чего сохраняют в памяти кодера в качестве текущей кадровой стереопары, далее левый и правый кадры текущей стереопары логически разбивают на одинаковые по размерам фрагменты прямоугольной формы, называемые макроблоками, причем размеры макроблоков задают предварительно, а сразу после разделения очередного кадра стереопары на макроблоки за каждым макроблоком закрепляют координаты его положения в используемой соответствующей системе координат, в ходе обработки стереопотока отслеживают индекы стереопар, в процессе обработки каждой текущей стереопары сначала по индексу стереопары определяют ее принадлежность к опорным или прогнозируемым стереопарам, в случае принадлежности текущей стереопары к опорным стереопарам, компенсацию движения в изображении применяют только для правого кадра стереопары, и после обработки сохраняют данную стереопару как в памяти кодера, так и в памяти декодера, в случае принадлежности текущей стереопары к прогнозируемым стереопарам к обоим ее кадрам применяют компенсацию движения в изображении, при проведении компенсации движения в изображениях кодером формируют прогноз компенсации движения, а декодером проводят реконструкцию компенсации движения, для проведения компенсации движения каждого левого прогнозируемого кадра стереопары в качестве последовательного ссылочного кадра, и в кодере, и в декодере, выбирают предыдущий кадр видеопоследовательности, а для проведения компенсации движения каждого правого прогнозируемого кадра стереопары в качестве параллельного ссылочного кадра, и в кодере, и в декодере, выбирают параллельный левый кадр видеопоследовательности, в процессе формирования кодером прогноза компенсации движения сначала для каждого макроблока прогнозируемого кадра стереопары строят бинарную маску движения, затем по маскам движения за всеми макроблоками закрепляют признаки движения, согласно которым все макроблоки, по отношению к движению, классифицируют на внешние, граничные и внутренние, при этом признак движения внешнего макроблока присваивают тем макроблокам, которые содержат только неподвижные пикселы, признак движения граничного макроблока присваивают тем макроблокам, которые содержат и подвижные, и неподвижные пикселы, а признак движения внутреннего макроблока присваивают тем макроблокам, которые содержат только подвижные пикселы, далее для внутренних и граничных макроблоков стереопары проводят поиск их целочисленных векторов смещений к лучшим макроблочным прогнозам в поисковых областях ссылочных экстраполированных кадров, причем порядок обработки кадров стереопары при проведении поиска макроблочных прогнозов задают произвольно, перед проведением поиска макроблочных прогнозов осуществляют сначала подгонку макроблоков ссылочных кадров с применением интерполяции значений сигналов неподвижных пикселов этих кадров по значениям сигналов их подвижных пикселов, а затем экстраполяцию ссылочных кадров по их окаймляющим пикселам до размеров, достаточных для проведения компенсации движения с применением заграничных векторов смещений, при этом для проведения подгонки используют признаки движения всех макроблоков и маски движения граничных макроблоков ссылочных кадров, а размеры экстраполированных кадров задают предварительно, алгоритм поиска прогнозовых векторов смещений и критерий качества поисковых макроблочных прогнозов выбирают предварительно, при задании положений областей поиска центры этих областей совмещают с центрами соответствующих макроблоков, при этом размеры областей поиска задают предварительно, во время поиска лучших макроблочных совпадений проверяют только те возможные макроблочные прогнозы, которые полностью попадают в формат соответствующего ссылочного экстраполированного кадра стереопары, после окончания поиска макроблочных прогнозов для внутренних и граничных макроблоков текущей стереопары определяют их макроблочные остатки, при этом для нахождения матриц макроблочного остатка какого-либо из указанных макроблоков из исходных матриц изображения этого макроблока вычитают соответствующие матрицы его найденного макроблочного прогноза, далее в памяти кодера сохраняют текущую кодируемую стереопару, а также признаки движения всех ее макроблоков и маски движения ее граничных макроблоков, после чего подготавливают для дальнейшего кодирования признаки движения всех макроблоков, разностные макроблочные остатки, целочисленные векторы прогнозовых смещений и маски движения граничных макроблоков текущей стереопары, в процессе проведения декодером реконструкции компенсации движения восстанавливают кадры текущей стереопары, при этом сначала восстанавливают левый, а затем правый кадр стереопары, при восстановлении левого кадра по декодированным прогнозовым векторам смещений макроблоков этого кадра определяют положения макроблочных прогнозов внутренних и граничных макроблоков в предыдущем ссылочном экстраполированном кадре левого потока, причем перед определением положения макроблочных прогнозов к указанному ссылочному кадру по тем же правилам и с использованием тех же параметров, что и в кодере, применяют сначала подгонку его макроблоков, а затем экстраполяцию кадра, после определения положений макроблочных прогнозов левого кадра восстанавливают текущий левый кадр стереопары, в процессе восстановления данного кадра стереопары для нахождения исходных матриц изображения каждого внутреннего макроблока складывают соответствующие матрицы изображения его определенного макроблочного прогноза и матрицы изображения его декодированного макроблочного остатка, для нахождения исходных матриц изображения каждого граничного макроблока складывают соответствующие матрицы изображения его определенного макроблочного прогноза и матрицы изображения его декодированного макроблочного остатка, после чего значения неподвижных пикселов граничного макроблока загружают значениями соответствующих пикселов соответствующего ссылочного экстраполированного кадра без смещения, для нахождения исходных матриц изображения каждого внешнего макроблока их значения загружают значениями соответствующих матриц соответствующего ссылочного экстраполированного кадра без смещения, далее аналогичным образом восстанавливают правый кадр стереопары, причем непосредственно перед его восстановлением к параллельному ссылочному для него и уже декодированному левому кадру по тем же правилам и с использованием тех же параметров, что и в кодере, применяют сначала подгонку его макроблоков, а затем экстраполяцию данного кадра, далее в памяти декодера сохраняют текущую восстановленную стереопару, а также признаки движения всех ее макроблоков и маски движения ее граничных макроблоков, после чего текущую стереопару переводят в требуемые для показа формат и цветовую систему и затем выводят на экран устройства воспроизведения изображений. Недостатком прототипа является низкое среднее значение пропускной кадровой способности при обработке кадрового стереовидеопотока в режиме реального времени, обусловленное применением поискового алгоритма компенсации движения для прогнозируемых кадров стереовидеопотока.As a prototype, a method of motion compensation in digital dynamic stereo-video images based on the extension of the MPEG-4 standard for stereo and multi-angle encoding using a basic profile, described in Vetro, A .; Wiegand, T .; Sullivan G.J. “Overview of the Stereo and Multiview Video Coding Extensions of the H.264 / MPEG-4 AVC Standard”, TR2011-022 January 2011, http://www.merl.com, as well as in Ian Richardson’s book “H.264 Video Encoding and MPEG-4 - standards of a new generation ”Moscow: Technosphere, 2005. - 368 p. and consisting of the following: before processing the video stream, all its frame stereopairs are logically divided into reference and predicted, moreover, the reference stereopairs are arranged with a periodicity of one or more predicted stereopairs, and the repetition frequency of the reference stereopairs is pre-set, then rectangular Cartesian frames are selected in the planes of the frame images of stereopairs coordinate systems whose axes are directed parallel to or along the sides of the frame rectangles of stereo pairs, and as units of measurement along the axes in pixels are taken, during the processing of the stereo stream for receiving each next stereo pair, the encoder polls the image sensors, then the resulting images are transferred to the format and color system required for processing, then they are stored in the encoder memory as the current frame stereo pair, then the left and right frames of the current stereo pair are logically they are divided into rectangular fragments of the same size, called macroblocks, and the sizes of the macroblocks are pre-set, and immediately after the division of the next stereopair adres on macroblocks for each macroblock fix the coordinates of its position in the corresponding coordinate system used, during the processing of the stereo stream, the stereo pair indexes are tracked, during the processing of each current stereo pair, first it is determined by the stereopair index that it belongs to the reference or predicted stereo pairs, if the current stereo pair belongs to reference stereo pairs, motion compensation in the image is used only for the right frame of the stereo pair, and after processing, save this stereo a pair both in the encoder’s memory and in the decoder’s memory, if the current stereo pair belongs to the predicted stereo pairs in both its frames, motion compensation is used in the image, when conducting motion compensation in the images, the encoder generates a motion compensation forecast, and the decoder reconstructs the motion compensation, for performing motion compensation of each left predicted stereo pair frame as a sequential reference frame, both the encoder and the decoder select the previous frame in the video sequence sequence, and to carry out the motion compensation of each right predicted frame of the stereo pair as a parallel reference frame, both the encoder and the decoder select the parallel left frame of the video sequence, in the process of generating the motion compensation prediction encoder, a binary motion mask is first constructed for each macro block of the predicted stereo pair , then, according to the movement masks, for all macroblocks, signs of movement are fixed, according to which all macroblocks, in relation to movement, are classified as external, boundary and internal, while the sign of movement of the external macroblock is assigned to those macroblocks that contain only fixed pixels, the sign of movement of the boundary macroblock is assigned to those macroblocks that contain both moving and fixed pixels, and the sign of movement of the internal macroblock is assigned to those macroblocks that contain only moving pixels, then for internal and boundary macroblocks stereopairs search for their integer displacement vectors to the best macroblock forecasts in searches areas of the reference extrapolated frames, and the processing order of the stereo pair frames when searching for macroblock forecasts is arbitrarily set, before searching for macroblock forecasts, the macroblocks of the reference frames are first adjusted by interpolating the values of the stationary pixel signals of these frames from the values of their moving pixel signals, and then the extrapolation of the reference frames by their bordering pixels to sizes sufficient to carry out motion compensation using zag numerical displacement vectors, in this case, the motion signs of all macroblocks and the motion mask of the boundary macroblocks of the reference frames are used for fitting, and the dimensions of the extrapolated frames are predefined, the search algorithm for the predicted displacement vectors and the quality criterion of the search macroblock forecasts are preselected, when setting the positions of the search areas, the centers of these areas are combined with the centers of the corresponding macroblocks, while the sizes of the search areas are pre-set during the search for the best m of acroblock matches, only those possible macroblock forecasts are predicted that fully fit into the format of the corresponding reference extrapolated frame of the stereo pair, after the end of the search for macroblock forecasts for internal and boundary macroblocks of the current stereo pair, their macroblock residues are determined, while for finding matrices of the macroblock remainder of any of the indicated macroblocks from the original image matrices of this macroblock, the corresponding matrices of its found macroblock forecast are subtracted, yielded e the encoder’s current encoded stereo pair is stored in the encoder’s memory, as well as the motion signs of all its macroblocks and the motion mask of its boundary macroblocks, and then the motion signs of all macroblocks, difference macroblock residues, integer predicted displacement vectors and motion mask of the boundary macroblocks of the current stereo pair are prepared for further coding in the process of reconstruction reconstruction of the motion compensation by the decoder, frames of the current stereo pair are restored, while the left is restored first, and then right st frame of the stereopair, when restoring the left frame from the decoded forecast vectors of displacement of the macroblocks of this frame, the positions of macroblock forecasts of internal and boundary macroblocks are determined in the previous reference extrapolated frame of the left stream, and before determining the position of macroblock forecasts to the specified reference frame according to the same rules and using those the same parameters as in the encoder, first fit its macroblocks, and then extrapolate the frame, after determining the positions of the macroblocks initial forecasts of the left frame, the current left frame of the stereo pair is restored, in the process of recovering this frame of the stereo pair, the corresponding image matrices of its specific macroblock forecast and the image matrix of its decoded macroblock remainder are added to find the source image matrices of each internal macroblock, and the corresponding image matrices of each boundary macroblock are added image matrices of its specific macroblock forecast and image matrix pressing its decoded macroblock remainder, after which the fixed pixel values of the boundary macroblock are loaded with the values of the corresponding pixels of the corresponding reference extrapolated frame without offset, to find the source image matrices of each external macroblock, their values are loaded with the values of the corresponding matrices of the corresponding reference extrapolated frame without offset, then restore the right frame of a stereo pair, and immediately before its restoration By attaching to a parallel reference frame for it and already decoded the left frame according to the same rules and using the same parameters as in the encoder, first fit its macroblocks and then extrapolate this frame, then the current restored stereo pair is stored in the decoder memory, and signs of movement of all its macroblocks and a mask of movement of its boundary macroblocks, after which the current stereo pair is transferred to the format and color system required for display and then the image display device is displayed Eden. The disadvantage of the prototype is the low average value of the throughput of personnel in the processing of the personnel stereo video stream in real time, due to the use of the search algorithm for motion compensation for the predicted frames of the stereo video stream.
Задачей технического решения является существенное увеличение средних значений пропускных кадровых способностей стереовидеокодеков при обработке кадровых стереовидеопотоков в режиме реального времени, и при незначительном снижении средних значений объемов кода и качества декодируемых изображений.The objective of the technical solution is to significantly increase the average values of the throughput capabilities of stereo video codecs in the processing of stereo stereo video streams in real time, and with a slight decrease in the average values of code volumes and quality of decoded images.
Поставленная задача решается благодаря тому, что в способе компенсации движения в цифровых динамических видеоизображениях, содержащем следующую последовательность действий: перед обработкой видеопотока все его кадровые стереопары логически разделяют на опорные и прогнозируемые, причем опорные стереопары располагают с периодичностью в одну или несколько прогнозируемых стереопар, а саму периодичность следования опорных стереопар задают предварительно, далее в плоскостях кадровых изображений стереопар выбирают прямоугольные декартовы системы координат, оси которых направляют параллельно или вдоль сторон кадровых прямоугольников стереопар, а в качестве единиц измерения по осям выбирают пикселы, в процессе обработки стереопотока для получения каждой очередной стереопары кодером опрашивают датчики изображений, затем полученные изображения переводят в требуемые для обработки формат и цветовую систему, после чего сохраняют в памяти кодера в качестве текущей кадровой стереопары, далее левый и правый кадры текущей стереопары логически разбивают на одинаковые по размерам фрагменты прямоугольной формы, называемые макроблоками, причем размеры макроблоков задают предварительно, а сразу после разделения очередного кадра стереопары на макроблоки за каждым макроблоком закрепляют координаты его положения в используемой соответствующей системе координат, в ходе обработки стереопотока отслеживают индексы стереопар, в процессе обработки каждой текущей стереопары сначала по индексу стереопары определяют ее принадлежность к опорным или прогнозируемым стереопарам, в случае принадлежности текущей стереопары к опорным стереопарам, компенсацию движения в изображении применяют только для правого кадра стереопары, и после обработки сохраняют данную стереопару как в памяти кодера, так и в памяти декодера, в случае принадлежности текущей стереопары к прогнозируемым стереопарам к обоим ее кадрам применяют компенсацию движения в изображении, при проведении компенсации движения в изображениях кодером формируют прогноз компенсации движения, а декодером проводят реконструкцию компенсации движения, для проведения компенсации движения каждого левого прогнозируемого кадра стереопары в качестве последовательного ссылочного кадра, и в кодере, и в декодере, выбирают предыдущий кадр видеопоследовательности, а для проведения компенсации движения каждого правого прогнозируемого кадра стереопары в качестве параллельного ссылочного кадра, и в кодере, и в декодере, выбирают параллельный левый кадр видеопоследовательности, в процессе формирования кодером прогноза компенсации движения сначала для каждого макроблока прогнозируемого кадра стереопары строят бинарную маску движения, затем по маскам движения за всеми макроблоками закрепляют признаки движения, согласно которым все макроблоки, по отношению к движению, классифицируют на внешние, граничные и внутренние, при этом признак движения внешнего макроблока присваивают тем макроблокам, которые содержат только неподвижные пикселы, признак движения граничного макроблока присваивают тем макроблокам, которые содержат и подвижные, и неподвижные пикселы, а признак движения внутреннего макроблока присваивают тем макроблокам, которые содержат только подвижные пикселы, далее для внутренних и граничных макроблоков стереопары проводят поиск их целочисленных векторов смещений к лучшим макроблочным прогнозам в поисковых областях ссылочных экстраполированных кадров, причем порядок обработки кадров стереопары при проведении поиска макроблочных прогнозов задают произвольно, а перед проведением поиска макроблочных прогнозов осуществляют экстраполяцию ссылочных кадров по их окаймляющим пикселам до размеров, достаточных для проведения компенсации движения с применением заграничных векторов смещений, при этом размеры экстраполированных кадров задают предварительно, алгоритм поиска прогнозовых векторов смещений и критерий качества поисковых макроблочных прогнозов выбирают предварительно, при задании положений областей поиска центры этих областей совмещают с центрами соответствующих макроблоков, при этом размеры областей поиска задают предварительно, во время поиска лучших макроблочных совпадений проверяют только те возможные макроблочные прогнозы, которые полностью попадают в формат соответствующего ссылочного экстраполированного кадра стереопары, после окончания поиска макроблочных прогнозов для внутренних и граничных макроблоков текущей стереопары определяют их макроблочные остатки, при этом для нахождения матриц макроблочного остатка какого-либо из указанных макроблоков из исходных матриц изображения этого макроблока вычитают соответствующие матрицы его найденного макроблочного прогноза, далее в памяти кодера сохраняют текущую кодируемую стереопару, после чего подготавливают для дальнейшего кодирования признаки движения всех макроблоков, разностные макроблочные остатки, целочисленные векторы прогнозовых смещений и маски движения граничных макроблоков текущей стереопары, в процессе проведения декодером реконструкции компенсации движения восстанавливают кадры текущей стереопары, при этом сначала восстанавливают левый, а затем правый кадр стереопары, при восстановлении левого кадра по декодированным прогнозовым векторам смещений макроблоков этого кадра определяют положения макроблочных прогнозов внутренних и граничных макроблоков в предыдущем ссылочном экстраполированном кадре левого потока, причем перед определением положения макроблочных прогнозов к указанному ссылочному кадру по тем же правилам и с использованием тех же параметров, что и в кодере, применяют экстраполяцию кадра, после определения положений макроблочных прогнозов левого кадра восстанавливают текущий левый кадр стереопары, в процессе восстановления данного кадра стереопары для нахождения исходных матриц изображения каждого внутреннего макроблока складывают соответствующие матрицы изображения его определенного макроблочного прогноза и матрицы изображения его декодированного макроблочного остатка, для нахождения исходных матриц изображения каждого граничного макроблока складывают соответствующие матрицы изображения его определенного макроблочного прогноза и матрицы изображения его декодированного макроблочного остатка, после чего значения неподвижных пикселов граничного макроблока загружают значениями соответствующих пикселов соответствующего ссылочного экстраполированного кадра без смещения, для нахождения исходных матриц изображения каждого внешнего макроблока их значения загружают значениями соответствующих матриц соответствующего ссылочного экстраполированного кадра без смещения, далее аналогичным образом восстанавливают правый кадр стереопары, причем непосредственно перед его восстановлением к параллельному ссылочному для него и уже декодированному левому кадру по тем же правилам и с использованием тех же параметров, что и в кодере, применяют экстраполяцию данного кадра, далее в памяти декодера сохраняют текущую восстановленную стереопару, после чего текущую стереопару переводят в требуемые для показа формат и цветовую систему и затем выводят на экран устройства воспроизведения изображений; предусмотрены следующие отличия: в процессе проведения видеокодеком компенсации движения в стереопарах видеопотока, используют сочетание поискового алгоритма компенсации движения кадровых фрагментов с получением плоскостных кадровых проекций динамически отслеживаемой и периодически приближенно геометрически реконструируемой реальной запечатленной пространственной поверхности, а также с аппроксимацией движения кадровых фрагментальных проекций приближенными физическими законами движения реальных запечатленных подвижных объектов, соответствующих данным проекциям, для этого, перед эксплуатацией видеокодека, проверяют наличие таймера в составе кодера, причем, в случае его изначального отсутствия, в состав кодера дополнительно вводят таймер, в процессе обработки кадрового стереопотока, сразу после получения каждой очередной стереопары, кодером опрашивают таймер, после чего, по данным опроса таймера, за стереопарой закрепляют отметку реального времени, при этом единицы измерения времени задают предварительно, а после получения временной отметки текущей стереопары ее значение сравнивают со значением временной отметки предыдущей стереопары, причем в случае равенства, по результатам сравнения значений этих временных отметок к значению временной отметки текущей стереопары, добавляют коррекционное значение временных отметок стереопар, величину которого устанавливают предварительно положительным числом, меньшим или равным выбранной единице измерения времени, в процессе обработки стереопотока для каждой опорной стереопары кодером осуществляют прогноз компенсации движения по тем же правилам и с использованием тех же параметров, что и при обработке прогнозируемой стереопары, но данные результата этого прогноза не используют для кодирования и передачи декодеру, кроме данных результата прогноза правого кадра, для внутренних и граничных макроблоков левого кадра каждой стереопары в процессе компенсации движения кодером дополнительно ищут параллельные векторы смещения, при этом в качестве параллельного ссылочного кадра, выбирают параллельный правый кадр видеопоследовательности, а алгоритм поиска лучших смещений задают аналогичным алгоритму поиска векторов параллельных макроблочных прогнозов правого кадр, в добавок к левому и правому кадровым потокам стереопары дополнительно вводят искуственный центральный кадровый поток, каждый кадр искуственного центрального потока логически разбивают на фрагменты, количество и взаимное расположение которых соответствует количеству и взаимному расположению макроблоков соответствующего левого кадра, за фрагментами центрального кадра закрепляют те же характеристики, что и за макроблоками левого кадра, далее в плоскостях кадровых изображений для всех кадровых потоков, включая искусственный центральный, перезадают три плоскостные прямоугольные декартовы системы координат, начала которых для всех потоков, включая центральный, задают центрами соответствующих им кадровых прямоугольников, оси абсцисс направляют вправо, оси ординат вверх, а в качестве единиц измерения по осям принимают пикселы, далее в дополнение к плоскостным системам координат вводят три пространственные прямоугольные декартовы системы координат, начала которых для левого и правого потоков совмещают с центральными точками прямоуголиников рабочих поверхностей соответствующих датчиков стереопары, а начало координат искуственного центрального кадрового потока задают серединой отрезка, соединяющего начала левой и правой пространственной систем координат, оси абсцисс направляют вправо, оси ординат вверх, оси аппликат направляют в сторону съемочной сцены, а в качестве единиц измерения по осям принимают метры, сразу после введения пространственных систем координат для всех фрагментов произвольно задают координаты положения их пространственных копий в центральной пространственной системе координат, затем для всех фрагментов и макроблоков перезадают координаты их положения в соответствующих плоскостных системах координат, причем плоскостные координаты каждого фрагмента и каждого макроблока задают координатами одной из его точек, а координатные точки фрагментов и макроблоков назначают таким образом, чтобы при перемещении любых двух фрагментов или макроблоков до совмещения их координатных точек наблюдалось бы полное совпадение положений остальных соответствующих точек фрагментов или макроблоков, в процессе обработки стереопотока матрицы сигналов фрагментов центрального кадра, признаки движения фрагментов, а также маски движения граничных фрагментов перезагружают соответствующими данными левого кадра сразу после их получения, для каждого кадра центрального видеопотока проводят последовательную компенсацию движения, аналогичную последовательной компенсации движения прогнозируемых кадров левого потока, при этом в качестве последовательного ссылочного прогнозового кадра используют предыдущий кадр центрального потока, каждый текущий кадр искуственного центрального потока, сразу после его фрагментации, дополнительно логически разбивают на системные блоки, при этом за каждым системным блоком закрепляют признак обработки системного блока с двумя возможными состояниями, соответствующими отсутствию обработки и наличию обработки, а форму и размер системных блоков выбирают такими, чтобы внутри системного блока содержалось целое число фрагментов и чтобы внутри системного блока имелись, как минимум, три фрагмента вместе с их ближайшими предыдущими соседями по координатным осям, далее внутри каждого системного блока выбирают по три расчетных фрагмента с условием наличия в текущем системном блоке ближайших предыдущих соседей выбранных расчетных фрагментов по координатным осям, затем за каждым фрагментом центрального кадра, а также за каждым макроблоком каждого кадра стереопары закрепляют признак аппроксимации движения с четырьмя возможными состояниями, соответствующими отсутствию аппроксимации движения, наличию системной аппроксимации движения, наличию индивидуальной аппроксимации движения и наличию поисковой аппроксимации движения, для всех стереопар видеопотока перед применением в кодере алгоритма поиска целочисленных векторов смещений макроблоков к лучшим прогнозам, но после экстраполяции ссылочных кадров проводят реконструкцию текущей запечатленной пространственной поверхности на основе динамического перерасчета пространственных координат копий фрагментов изображения, а затем, начиная с третьей и для всех последующих стереопар компенсацию движения в стереопарах с применением анализа движения фрагментов в плоскости кадрового изображения центрального потока с последующим проецированием изображений фрагментов на кадры стереопар посредством учета текущих рассчитанных пространственных координат копий фрагментов, при проведении приближенной геометрической реконструкции текущей запечатленной пространственной поверхности проводят сначала пространственную системную, а затем пространственную индивидуальную аппроксимацию движения копий фрагментов в центральной пространственной системе координат, причем непосредственно перед проведением пространственных аппроксимаций движения признаки обработки всех системных блоков сбрасывают в состояние отсутствия обработки, признаки аппроксимации движения всех фрагментов сбрасывают в состояние отсутствия аппроксимации движения, текущим скоростям движения пространственных копий внешних фрагментов присваивают нулевые значения, а текущие координаты пространственных копий внешних фрагментов загружают предыдущими значениями, при проведении пространственной системной аппроксимации движения в рамках геометрической реконструкции текущей запечатленной пространственной поверхности сначала выявляют системные блоки, не содержащие внешних фрагментов, после чего признаки обработки данных системных блоков устанавливают в состояние наличия обработки и, далее, для копий вложенных фрагментов каждого такого системного блока по каждой из трех пространственных координатных осей проводят аппроксимацию движения пространственных копий фрагментов, при этом для проведения пространственной системной аппроксимации движения используют уравнение пространственной системной аппроксимации движения видаThe problem is solved due to the fact that in the method of motion compensation in digital dynamic video images containing the following sequence of actions: before processing the video stream, all its frame stereopairs are logically divided into reference and predicted, moreover, the reference stereopairs are arranged at a frequency of one or more predicted stereopairs, and reference stereopairs are pre-set, then rectangular decars are selected in the planes of frame images of stereopairs coordinates of the coordinate system, the axes of which are directed parallel to or along the sides of the frame rectangles of the stereo pairs, and pixels are selected as the units of measurement, during the processing of the stereo stream, image sensors are polled by the encoder to obtain each next stereo pair, then the resulting images are converted to the format and color required for processing system, after which they are saved in the encoder memory as the current frame stereo pair, then the left and right frames of the current stereo pair are logically divided into identical frames rectangular fragments, called macroblocks, and the sizes of the macroblocks are predefined, and immediately after dividing the next frame of the stereo pair into macroblocks, each macroblock is assigned the coordinates of its position in the corresponding coordinate system used, during processing of the stereo stream, the stereo indexes are monitored, in the process of processing each current stereo pair first, the stereopair index determines its belonging to the reference or predicted stereopairs, in the case of the current stereo pairs to reference stereo pairs, motion compensation in the image is used only for the right frame of the stereo pair, and after processing, this stereo pair is saved both in the encoder memory and in the memory of the decoder, if the current stereo pair belongs to the predicted stereo pairs in both its frames, motion compensation in the image is applied , when conducting motion compensation in the images, the encoder forms a forecast for motion compensation, and the decoder reconstructs the motion compensation to perform motion compensation each about the left predicted frame of the stereo pair as a sequential reference frame, in the encoder and in the decoder, the previous frame of the video sequence is selected, and for the motion compensation of each right predicted frame of the stereo pair as a parallel reference frame, both the encoder and the decoder choose parallel the left frame of the video sequence, in the process of forming the motion compensation prediction encoder, first, for each macroblock of the predicted stereo frame, a binary motion mask is built, then, according to the movement masks, all the macroblocks are assigned motion signs, according to which all macroblocks, relative to the motion, are classified into external, boundary and internal, while the macroblock’s motion sign is assigned to those macroblocks that contain only fixed pixels, the boundary macroblock’s motion sign is assigned those macroblocks that contain both moving and fixed pixels, and the attribute of movement of the internal macroblock is assigned to those macroblocks that contain only moving pixels Then, for internal and boundary macroblocks, stereopairs search for their integer displacement vectors to the best macroblock forecasts in the search areas of the reference extrapolated frames, and the order of processing the stereo pairs when searching for macroblock forecasts is arbitrary, and before the search for macroblock forecasts, the reference frames are extrapolated by their bordering pixels to sizes sufficient to carry out motion compensation using foreign displacement vectors moreover, the dimensions of the extrapolated frames are pre-set, the search algorithm for the predicted displacement vectors and the quality criterion of the search macroblock forecasts are pre-selected, when setting the positions of the search areas, the centers of these areas are combined with the centers of the corresponding macroblocks, while the sizes of the search areas are pre-set during the search for the best macroblock matches are checked only by those possible macroblock forecasts that completely fall into the format of the corresponding reference extrapolar After completing the search for macroblock forecasts for the inner and boundary macroblocks of the current stereopair, their macroblock residues are determined, and the matrices of this macroblock forecast are subtracted from the source image matrices of this macroblock to find the matrixes of macroblock residues from the source image matrices of this macroblock; the encoder’s memory stores the current encoded stereo pair, and then signs of movement of all macroblocks are prepared for further encoding, different the remaining macroblock residues, integer vectors of predicted offsets and motion masks of the boundary macroblocks of the current stereopair, during the motion compensation reconstruction decoder, restore the frames of the current stereopair, first restore the left and then right frame of the stereopair when restoring the left frame from the decoded predicted macroblock displacement vectors This frame determines the position of macroblock forecasts of internal and boundary macroblocks in the previous reference extrapoli frame of the left stream, and before determining the position of macroblock forecasts to the specified reference frame according to the same rules and using the same parameters as in the encoder, the frame is extrapolated, after determining the positions of macroblock forecasts of the left frame, the current left frame of the stereo pair is restored, in the process to restore a given stereo pair frame to find the source image matrices of each internal macroblock add up the corresponding image matrices of its specific macroblock of the prediction and image matrix of its decoded macroblock remainder, to find the source image matrices of each boundary macroblock, add the corresponding image matrices of its specific macroblock forecast and image matrix of its decoded macroblock remainder, then the fixed pixel values of the boundary macroblock are loaded with the corresponding pixel values of the corresponding reference extrapolated frame without offset , to find the original image matrices of each of the external macroblock, their values are loaded with the values of the corresponding matrices of the corresponding reference extrapolated frame without offset, then the right frame of the stereo pair is restored in the same way, and immediately before its restoration to the parallel reference frame for it and the already decoded left frame according to the same rules and using the same parameters as and in the encoder, an extrapolation of this frame is used, then the current restored stereo pair is stored in the decoder memory, after which the current stereo the dough is transferred to the format and color system required for display and then displayed on the screen of the image reproducing device; The following differences are provided: during the video codec motion compensation in stereo pairs of the video stream, a combination of the search algorithm for compensating the movement of frame fragments using flat frame projections of a dynamically tracked and periodically approximately geometrically reconstructed real imprinted spatial surface, as well as approximating the motion of frame fragment projections by approximate physical laws, are used movements of real captured moving objects For the corresponding projections, for this, before operating the video codec, they check for the presence of a timer in the encoder, and in the event of its initial absence, an additional timer is added to the encoder, in the process of processing a stereo stereo stream, immediately after each successive stereo pair is received, the encoder is polled a timer, after which, according to a timer survey, a real-time mark is assigned to the stereo pair, while the time units are pre-set, and after receiving the time stamp of the current stereo pairs its value is compared with the time stamp value of the previous stereopair, and in case of equality, according to the results of comparing the values of these time stamps, the correction value of the time stamps of stereopairs is added to the value of the time stamp of the current stereopair, the value of which is pre-set with a positive number less than or equal to the selected unit of measurement time, in the process of processing a stereo stream for each reference stereo pair, the encoder predicts motion compensation according to the same rule and using the same parameters as in the processing of the predicted stereo pair, but the result data of this forecast is not used for encoding and transmission to the decoder, in addition to the data of the right frame prediction result, for the inner and boundary macroblocks of the left frame of each stereo pair in the process of motion compensation, the encoder is additionally searched parallel displacement vectors, while the parallel right frame of the video sequence is selected as a parallel reference frame, and the search algorithm for the best offsets sets the anal In accordance with the search algorithm for vectors of parallel macroblock forecasts of the right frame, in addition to the left and right frame streams, stereo pairs additionally introduce an artificial central frame stream, each frame of an artificial central stream is logically divided into fragments, the number and relative position of which corresponds to the number and relative position of macroblocks of the corresponding left frame , for the fragments of the central frame, the same characteristics are fixed as for the macroblocks of the left frame, then in the plane At the ends of the frame images for all frame flows, including the artificial central one, three planar rectangular Cartesian coordinate systems are overridden, the beginnings of which for all flows, including the central one, are set by the centers of the corresponding frame rectangles, the abscissa axis is directed to the right, the ordinate axis is up, and as the unit of measurement pixels are taken along the axes, then, in addition to planar coordinate systems, three spatial rectangular Cartesian coordinate systems are introduced, the beginnings of which are for the left and right of the flows are combined with the central points of the rectangles of the working surfaces of the respective stereo pair sensors, and the origin of the artificial central frame stream is set by the middle of the segment connecting the beginnings of the left and right spatial coordinate systems, the abscissa axis is directed to the right, the ordinate axis is up, the applicate axis is directed towards the shooting scene, and as the units of measurement along the axes take meters, immediately after the introduction of spatial coordinate systems for all fragments arbitrarily set the coordination the positions of their spatial copies in the central spatial coordinate system, then, for all fragments and macroblocks, the coordinates of their positions in the corresponding planar coordinate systems are updated, and the plane coordinates of each fragment and each macroblock are set by the coordinates of one of its points, and the coordinate points of the fragments and macroblocks are assigned as so that when moving any two fragments or macroblocks until their coordinate points are aligned, a complete coincidence of the positions of the of the corresponding corresponding points of fragments or macroblocks, in the process of processing the stereo stream of the matrix of signals of fragments of the central frame, the signs of movement of fragments, as well as the movement masks of the boundary fragments are reloaded with the corresponding data of the left frame immediately after they are received, for each frame of the central video stream, sequential motion compensation is performed similar to sequential compensation movement of the predicted frames of the left stream, while as a sequential reference predictive the frames use the previous frame of the central stream, each current frame of the artificial central stream, immediately after its fragmentation, is additionally logically divided into system blocks, while for each system block there is a sign of processing a system block with two possible states corresponding to the absence of processing and the presence of processing, and the shape and size of the system units is chosen such that an integer number of fragments is contained inside the system unit and that at least three inside the system unit are present and a fragment together with their nearest previous neighbors along the coordinate axes, then three calculation fragments are selected inside each system block with the condition that the current system block contains the nearest previous neighbors of the selected calculation fragments along the coordinate axes, then for each fragment of the central frame, and also for each with a macroblock of each frame, stereo pairs fix a sign of approximation of motion with four possible states corresponding to the absence of approximation of motion, the presence of a system approximation imitation of movement, the presence of an individual approximation of the movement and the presence of a search approximation of the movement, for all stereopairs of the video stream before applying integer macroblock displacement vectors to the best predictions in the encoder, but after extrapolating the reference frames, the current captured spatial surface is reconstructed based on the dynamic recalculation of the spatial coordinates of the copy fragments image, and then, starting from the third and for all subsequent stereo pairs, motion compensation in stereopairs using analysis of the movement of fragments in the plane of the frame image of the central stream, followed by projecting the images of the fragments onto the frames of stereopairs by taking into account the current calculated spatial coordinates of the copies of the fragments, when conducting an approximate geometric reconstruction of the current imprinted spatial surface, first they perform a spatial systemic and then spatial individual approximation movement of copies of fragments in the central spatial coordinate system, and immediately before the spatial motion approximations are made, the processing signs of all system units are reset to the non-processing state, the motion approximation signs of all fragments are reset to the non-approximated motion state, the current speeds of spatial copies of external fragments are assigned zero values, and the current coordinates of spatial copies external fragments loaded with previous values, when conducting spatial systems approximating the motion within the framework of the geometric reconstruction of the current imprinted spatial surface, first identify the system blocks that do not contain external fragments, after which the processing signs of the data of the system blocks are set to the processing state and, further, for copies of the embedded fragments of each such system block for each of the three spatial coordinate axes carry out the approximation of the movement of spatial copies of fragments, while for spatial spatial approximation imatsii movement using the equation of spatial system approximation type of movement
us - скорость пространственных копий фрагментов текущего системного блока по текущей координатной оси;u s is the speed of spatial copies of fragments of the current system unit along the current coordinate axis;
t - время;t is the time;
x - абсцисса фрагментов в заданной плоскостной центральной системе координат;x is the abscissa of fragments in a given planar central coordinate system;
y - ордината фрагментов в заданной плоскостной центральной системе координат;y is the ordinate of fragments in a given planar central coordinate system;
as,1, as,2, as,3 - коэффициенты пространственной системной аппроксимации движения копий фрагментов текущего системного блока по текущей координатной оси;a s, 1 , a s, 2 , a s, 3 - coefficients of the spatial system approximation of the movement of copies of fragments of the current system unit along the current coordinate axis;
в котором каждый параметр представляют либо целочисленным, либо дробным значением, а для рассчетов используют дискретное представление данного уравнения, при этом сначала при использовании данных двух предыдущих кадров центрального потока и данных двух предыдущих стереопар рассчитывают коэффициенты пространственной системной аппроксимации движения, для чего по каждой координатной оси составляют и решают в дискретной форме систему из трех таких уравнений в соответствии с тремя выбранными рассчетными фрагментами, далее признаки аппроксимации движения вложенных фрагментов обрабатываемых системных блоков переводят в состояние системной аппроксимации движения, а затем по данным текущего и предыдущего кадров центрального потока и данным текущей и предыдущей стереопар для копий фрагментов с признаками системной аппроксимации движения рассчитывают текущие пространственные скорости движения копий фрагментов с применением указанного уравнения пространственной системной аппроксимации движения, а потом аппроксимационные значения текущих пространственных координат положения копий фрагментов, после чего проверяют условие незначительного изменения текущих пространственных координат копии фрагментов по сравнению с предыдущими координатами, причем математическую модель этого условия задают предварительно, в случае невыполнения данного условия текущие пространственные координаты копии фрагмента перезагружают предыдущими значениями, а признак аппроксимации движения соответствующего фрагмента сбрасывают в состояние отсутствия аппроксимации движения, при проведении пространственной индивидуальной аппроксимации движения в рамках геометрической реконструкции текущей запечатленной пространственной поверхности сначала для внутренних и граничных фрагментов с признаками отсутствия аппроксимации движения осуществляют перевод данных признаков в состояние индивидуальной аппроксимации движения, далее для каждой копии фрагмента с признаком индивидуальной аппроксимации движения по каждой из трех пространственных координатных осей проводят пространственную аппроксимацию движения с использованием уравнения пространственной индивидуальной аппроксимации движения видаin which each parameter is either an integer or fractional value, and a discrete representation of this equation is used for the calculations, first using the data of the two previous frames of the central stream and the data of the two previous stereo pairs, the coefficients of the spatial system approximation of motion are calculated, for which each coordinate axis compose and solve in a discrete form a system of three such equations in accordance with the three selected design fragments, then the signs of app the motion approximations of the embedded fragments of the processed system units are transferred to the state of the system approximation of motion, and then, according to the data of the current and previous frames of the central stream and the data of the current and previous stereopairs for the copies of fragments with signs of the system approximation of motion, the current spatial velocities of the movement of the copies of the fragments are calculated using the specified spatial equation system approximation of motion, and then approximation values of current spatial coordinates m the position of the copy fragments, then check the condition for a slight change in the current spatial coordinates of the copy fragments compared with the previous coordinates, and the mathematical model of this condition is pre-set, if this condition is not met, the current spatial coordinates of the copy of the fragment are reloaded with the previous values, and the sign of approximation of the movement of the corresponding fragment reset to a state of lack of approximation of motion when conducting a spatial individual For the approximate movement approximation within the framework of the geometric reconstruction of the current imprinted spatial surface, first, for internal and boundary fragments with signs of the absence of motion approximation, these signs are transferred to the state of individual approximation of motion, then for each copy of the fragment with a sign of individual approximation of motion along each of the three spatial coordinate axes spatial approximation of motion using the spatial equation th approximation of individual types of traffic
us - скорость движения пространственной копии текущего фрагмента по текущей координатной оси;u s is the speed of the spatial copy of the current fragment along the current coordinate axis;
t - время;t is the time;
ks - коэффициент пространственной индивидуальной аппроксимации движения пространственной копии текущего фрагмента по текущей координатной оси;k s is the coefficient of the spatial individual approximation of the motion of the spatial copy of the current fragment along the current coordinate axis;
в котором каждый параметр представляют либо целочисленным, либо дробным значением, а для рассчетов используют дискретное представление данного уравнения, при этом сначала по данным двух предыдущих кадров центрального потока и данным двух предыдущих стереопар рассчитывают коэффициенты аппроксимации, а затем, по данным текущего и предыдущего кадров и данным текущей и предыдущей стереопары текущие пространственные скорости и координаты копий фрагментов, далее для пространственной копии каждого фрагмента с признаком индивидуальной аппроксимации движения проводят обработку, абсолютно аналогичную обработке копии фрагмента с признаком системной аппроксимации при проведении пространственной системной аппроксимации движения, начиная с проверки на незначительность изменений текущих пространственных координат копий фрагментов, при проведении компенсации движения в стереопаре проводят сначала плоскостную системную, далее плоскостную индивидуальную, а затем плоскостную поисковую аппроксимацию движения фрагментов в центральной плоскостной системе координат с последующим проецированием изображений фрагментов на кадры стереопары посредством учета пространственных координат копий фрагментов, причем непосредственно перед проведением плоскостных аппроксимаций движения признаки обработки всех системных блоков сбрасывают в состояние отсутствия обработки, признаки аппроксимации движения всех фрагментов и макроблоков сбрасывают в состояние отсутствия аппроксимации движения, а целочисленные последовательные и параллельные векторы смещений внешних фрагментов текущего центрального кадра и макроблоков текущей стереопары принудительно заполняют нулевыми значениями, при проведении плоскостной системной аппроксимации движения сначала выявляют системные блоки, не содержащие внешних фрагментов, после чего признаки обработки данных системных блоков устанавливают в состояние наличия обработки и, далее, для фрагментов каждого такого системного блока по каждой из двух плоскостных координатных осей проводят плоскостную аппроксимацию движения, при этом для проведения плоскостной системной аппроксимации движения используют уравнение плоскостной системной аппроксимации движения видаin which each parameter is either an integer or fractional value, and a discrete representation of this equation is used for calculations, first, approximation coefficients are calculated from the data of two previous frames of the central stream and the data of two previous stereo pairs, and then, according to the data of the current and previous frames and data of the current and previous stereopairs current spatial velocities and coordinates of copies of fragments, then for a spatial copy of each fragment with an individual app The motion approximations perform processing that is absolutely similar to the processing of a copy of a fragment with a sign of system approximation during spatial system approximation of motion, starting from checking for insignificance of changes in the current spatial coordinates of the copies of fragments, when performing motion compensation in a stereo pair, they first perform a planar systemic, then planar individual, and then planar search approximation of the movement of fragments in the central planar coordinate system with after by projecting images of fragments onto stereopair frames by taking into account the spatial coordinates of copies of fragments, moreover, immediately before the plane approximations of motion are processed, the processing signs of all system units are reset to the non-processed state, the signs of approximated motion of all fragments and macroblocks are reset to the non-approximated state of motion, and integer sequential and parallel displacement vectors of external fragments of the current central frame and the macrobe locks of the current stereo pair are forcibly filled with zero values, when conducting a planar system approximation of motion, first identify the system blocks that do not contain external fragments, after which the processing signs of the data of the system blocks are set to the processing state and, further, for fragments of each such system block for each of two planar coordinate axes carry out a planar approximation of motion, while for carrying out a planar system approximation of motion, use the equation e plane approximation type movement system
up - скорость фрагментов текущего системного блока по текущей координатной оси;u p is the speed of fragments of the current system unit along the current coordinate axis;
t - время;t is the time;
x - абсцисса фрагментов в заданной плоскостной центральной системе координат;x is the abscissa of fragments in a given planar central coordinate system;
y - ордината фрагментов в заданной плоскостной центральной системе координат;y is the ordinate of fragments in a given planar central coordinate system;
ap,1, ap,2, ap,3 - коэффициенты плоскостной системной аппроксимации движения фрагментов текущего системного блока по текущей координатной оси;a p, 1 , a p, 2 , a p, 3 are the coefficients of a planar system approximation of the movement of fragments of the current system block along the current coordinate axis;
в котором каждый параметр представляют либо целочисленным, либо дробным значением, а для рассчетов используют дискретное представление данного уравнения, при этом сначала при использовании данных двух предыдущих кадров центрального потока и данных двух предыдущих стереопар рассчитывают коэффициенты аппроксимации движения, для чего по каждой координатной оси составляют и решают в дискретной форме систему из трех таких уравнений в соответствии с тремя выбранными рассчетными фрагментами, далее по каждой координатной оси проверяют конъюнктивное условие преобладания абсолютного значения коэффициента при временной производной над абсолютными значениями коэффициентов при пространственных производных, причем степень преобладания и математическую формулу проверки коэффициентов задают предварительно, далее признаки аппроксимации движения вложенных фрагментов системных блоков, прошедших указанную проверку положительно, переводят в состояние системной аппроксимации движения, а затем по данным текущего и предыдущего кадров центрального потока и по данным текущей и предыдущей стереопар для фрагментов с признаками системной аппроксимации движения рассчитывают текущие скорости движения фрагментов с применением укороченного уравнения плоскостной системной аппроксимации движения без слагаемых с пространственными производными, а потом рассчитывают аппроксимационные значения целочисленных векторов смещений фрагментов к лучшим прогнозам в рамках ссылочного экстраполированного кадра, далее проверяют условие попадания найденных аппроксимационных прогнозов в формат ссылочного экстраполированного кадра, а также условие удовлетворения прогноза аппроксимационному значению критерия качества прогноза, значение которого устанавливают предварительно, при этом в случае выполнения данных условий организуют укороченный поиск фрагментальных прогнозов в рамках ссылочного экстраполированного кадра, при этом центры соответствующих фрагментам областей поиска смещают по координатным осям на значения соответствующих найденных аппроксимационных векторов смещений, а геометрические размеры областей поиска уменьшают до значений, которые задают предварительно, в противном случае признак аппроксимации движения фрагмента сбрасывают в состояние отсутствия аппроксимации, далее изображения фрагментов с признаком системной аппроксимации движения проецируют на кадровые плоскости, при этом значения целочисленных векторов последовательных смещений внутренних и граничных макроблоков левого кадра к лучшим прогнозам в предыдущем ссылочном кадре загружают соответствующими найденными значениями векторов смещений фрагментов, а для рассчета значений векторов параллельных смещений для макроблоков левого и правого кадров определяют пары проекционных макроблоков в левом и правом экстраполированных кадрах, причем в алгоритм проецирования пространственных изображений на кадровые плоскости вводят использование направляющего вектора прямой, проходящей через начало соответствующей боковой пространственной системы координат и пространственную точку положения соответствующей копии фрагмента, а связь боковых плоскостных и соответствующих боковых пространственных систем координат задают с помощью координат направляющих векторов, далее проверяют условие совместного попадания проекционных макроблоков проекционных пар в форматы своих соответствующих экстраполированных кадров, в случае выполнения которого признаки аппроксимации движения соответствующих макроблоков проекционных пар устанавливают в состояние системной аппроксимации движения, далее при использовании координат проекционных пар определяют векторы параллельных смещений макроблоков с признаками системной аппроксимации движения для левого и правого кадров, после чего проверяют условия отрицательности прогнозовых смещений по абсциссе проекционных макроблоков левого кадра и условия положительности прогнозовых смещений по абсциссе проекционных макроблоков правого кадра, в случае невыполнения хотя бы одного из которых признак аппроксимации движения соответствующего макроблока сбрасывают в состояние отсутствия аппроксимации движения, при проведении плоскостной индивидуальной аппроксимации движения сначала для внутренних и граничных фрагментов с признаками отсутствия аппроксимации движения осуществляют перевод данных признаков в состояние индивидуальной аппроксимации движения, далее для каждого фрагмента с признаком индивидуальной аппроксимации движения по каждой из двух плоскостных координатных осей проводят плоскостную аппроксимацию движения с использованием уравнения плоскостной индивидуальной аппроксимации движения видаin which each parameter is either an integer or fractional value, and a discrete representation of this equation is used for the calculations, first using the data of the previous two frames of the central stream and the data of the two previous stereo pairs, the coefficients of approximation of motion are calculated, for which, for each coordinate axis, and solve in a discrete form a system of three such equations in accordance with three selected fragments of calculation, then on each coordinate axis check the junction condition for the absolute value of the coefficient at the time derivative to prevail over the absolute values of the coefficients for spatial derivatives, the degree of prevalence and the mathematical formula for checking the coefficients are preliminarily set, then the signs of approximating the movement of nested fragments of system blocks that pass the specified test positively are transferred to the state of the system approximation of motion, and then according to the current and previous frames of the central stream and according to the current and of the previous stereopairs for fragments with signs of a systemic approximation of motion, calculate the current velocities of the fragments using the shortened equation of the planar systemic approximation of motion without terms with spatial derivatives, and then calculate the approximation values of the integer vectors of the displacements of the fragments to the best forecasts within the reference extrapolated frame, then check the hit condition found approximation forecasts in the format of the link extrapolated about the frame, as well as the condition for satisfying the forecast to the approximate value of the forecast quality criterion, the value of which is set previously, while in the case of fulfilling these conditions, a shortened search for fragmentary forecasts is organized within the framework of the extrapolated reference frame, while the centers of the search regions corresponding to the fragments are shifted along the coordinate axes by the values the corresponding approximation displacement vectors found, and the geometric dimensions of the search areas are reduced to values that pre-set, otherwise, the sign of the approximation of the movement of the fragment is reset to the state of absence of approximation, then the images of the fragments with the sign of the systemic approximation of motion are projected onto the personnel planes, while the values of the integer vectors of successive displacements of the inner and boundary macroblocks of the left frame are loaded to the best forecasts in the previous reference frame the corresponding found values of the displacement vectors of the fragments, and to calculate the values of the vectors parallel to the For the macroblocks of the left and right frames, pairs of projection macroblocks in the left and right extrapolated frames are determined, and the algorithm for projecting spatial images on the frame planes introduces the use of the directing vector of the line passing through the beginning of the corresponding lateral spatial coordinate system and the spatial position point of the corresponding copy of the fragment, and the connection of lateral planar and corresponding lateral spatial coordinate systems is set using coordinates of guiding vectors, then check the condition for the projection macroblocks of projection pairs to fall into the formats of their respective extrapolated frames, in which case the signs of the motion approximation of the corresponding macroblocks of the projection pairs are set to the state of the system approximation of motion, then, using the coordinates of the projection pairs, the vectors of parallel displacements of the macroblocks with signs system approximation of motion for the left and right frames, after which they determine the conditions for the negative predicted offsets in the abscissa of the projection macroblocks of the left frame and the conditions for the positiveness of the predicted offsets in the abscissa of projection macroblocks of the right frame, if at least one of them fails, the sign of approximation of motion of the corresponding macroblock is reset to the state of absence of approximation of motion, when conducting a planar individual approximation of motion, for internal and boundary fragments with signs of lack of approximation of motion they transfer these attributes into the state of an individual approximation of motion, then for each fragment with a sign of an individual approximation of motion, a planar approximation of motion is carried out along each of the two plane coordinate axes using the equation of a plane individual approximation of motion of the form
up - скорость движения текущего фрагмента по текущей координатной оси;u p is the speed of the current fragment along the current coordinate axis;
t - время;t is the time;
kp - коэффициент плоскостной индивидуальной аппроксимации движения текущего фрагмента по текущей координатной оси;k p is the coefficient of individual plane approximation of the movement of the current fragment along the current coordinate axis;
в котором каждый параметр представляют либо целочисленным, либо дробным значением, а для рассчетов используют дискретное представление данного уравнения, при этом сначала по данным двух предыдущих кадров центрального потока и данным двух предыдущих стереопар рассчитывают коэффициенты аппроксимации, а затем, по данным текущего и предыдущего кадров и данным текущей и предыдущей стереопар текущие скорости и целочисленные векторы смещения фрагментов к аппроксимационным прогнозам, далее для каждого фрагмента с признаком индивидуальной аппроксимации движения проводят обработку, абсолютно аналогичную обработке фрагмента с признаком системной аппроксимации при проведении системной плоскостной аппроксимации движения, начиная с нахождения проекций пространственных копий фрагментов на кадры стереопары, при проведении плоскостной поисковой аппроксимации движения сначала для внутренних и граничных фрагментов с признаками отсутствия аппроксимации движения осуществляют перевод данных признаков в состояние поисковой аппроксимации движения, далее целочисленные векторы прогнозовых смещений фрагментов находят стандартным образом через организацию поиска прогнозов в предыдущем ссылочном экстраполированном кадре центрального потока, затем для каждого фрагмента с признаком поисковой аппроксимации движения проводят обработку, абсолютно аналогичную обработке фрагмента с признаком индивидуальной аппроксимации при проведении индивидуальной плоскостной аппроксимации движения, начиная с нахождения проекций пространственных копий фрагментов на кадры стереопары, при проведении аппроксимаций движения исключают возникновение ошибок деления на ноль, при поиске макроблочных прогнозов используют исходные значения сигналов неподвижных пикселов ссылочных экстраполированных кадров, при организации алгоритма поиска целочисленных векторов смещений к лучшим прогнозам обрабатывают только внутренние и граничные макроблоки с признаками отсутствия аппроксимации движения, за исключением внутренних и граничных макроблоков левого кадра, для которых признаки аппроксимации движения соответствующих им по индексам фрагментам не находятся в состоянии отсутствия аппроксимации движения, причем значения последовательных векторов смещений таких макроблоков загружают соответствующими значениями из векторов данных фрагментов, а значения параллельных векторов смещения находят через организацию поиска прогноза в ссылочном кадре, размеры и расположение областей поисков параллельных макроблочных прогнозов задают таким образом, чтобы ординаты прогнозов были равны ординатам самих соответствующих макроблоков, а значения прогнозовых смещений по абсциссам могли бы принимать только отрицательные значения для макроблоков левого кадра и только положительные значения для макроблоков правого кадра, сразу после вычисления макроблочного остатка граничного макроблока значения сигналов пикселов макроблочного остатка его неподвижных пикселов заполняют нулевыми значениями, после проведения поиска целочисленных векторов смещений формируют дробные последовательные векторы смещений для всех фрагментов центрального кадра и дробные параллельные векторы смещений для всех макроблоков левого и правого кадров, при этом значения дробных векторов смещений внешних фрагментов и макроблоков принудительно заполняют нулевыми значениями, а способ расчета значений дробных векторов смещений для внутренних и граничных фрагментов и макроблоков выбирают предварительно с наложением условия отрицательности значений смещений по абсциссам для макроблоков левого кадра и условия положительности значений смещений по абсциссам для макроблоков правого кадра, после формирования дробных векторов смещений всех фрагментов и макроблоков для каждого фрагмента перерассчитывают текущие значения скоростей движения фрагмента по координатным осям центральной плоскостной системы координат, а по найденным параллельным дробным векторам смещений макроблоков корректируют текущую восстановленную поверхность посредством пересчета значений пространственных координат и скоростей копий фрагментов, при этом пространственные координаты копий внешних фрагментов перезагружают предыдущими значениями, пространственные скорости копий внешних фрагментов загружают нулевыми значениями, а для рассчета координат копии какого-либо из внутренних или граничных фрагментов используют направляющие векторы двух пересекающихся прямых, проходящих через начала соответствующих боковых пространственных системы координат, причем координаты направляющих векторов задают предварительно через связь боковых плоскостных и соответствующих боковых пространственных систем координат, характер которой задают предварительно, далее с применением значений перерассчитанных пространственных координат копий внутренних и граничных фрагментов перерассчитывают пространственные скорости их движения, после этого в памяти кодера дополнительно сохраняют временные отметки текущей и предыдущей стереопар, а также значения пространственных скоростей движения и координат положения всех копий фрагментов и значения плоскостных скоростей движения всех фрагментов для текущей и предыдущей стереопар, декодером при восстановлении исходных матриц изображения макроблоков текущей стереопары используют исходные значения сигналов неподвижных пикселов ссылочных кадров.in which each parameter is either an integer or fractional value, and a discrete representation of this equation is used for calculations, first, approximation coefficients are calculated from the data of two previous frames of the central stream and the data of two previous stereo pairs, and then, according to the data of the current and previous frames and current and previous stereopairs data, current speeds and integer displacement vectors of fragments to approximate forecasts, then for each fragment with an individual motion approximations carry out processing that is absolutely similar to fragment processing with a system approximation sign when conducting a systematic planar motion approximation, starting from finding spatial copies of fragments on stereopair frames, when conducting a planar search approximation of motion, first, for internal and boundary fragments with signs of lack of motion approximation, they translate these signs into a state of search approximation of motion, then integer vector the predicted displacements of the fragments are found in the standard way through the organization of the search for forecasts in the previous reference extrapolated frame of the central stream, then for each fragment with the sign of the search approximation of motion, processing is carried out that is absolutely similar to the processing of the fragment with the sign of individual approximation during the individual planar approximation of motion, starting from finding the projections of spatial copies of fragments to frames of a stereo pair when performing approximations of motion exclude the occurrence of division by zero errors, when searching for macroblock forecasts, use the original values of the signals of the fixed pixels of the reference extrapolated frames, when organizing the algorithm for searching integer displacement vectors to the best forecasts, only internal and boundary macroblocks with signs of the lack of approximation of motion are processed, with the exception of internal and boundary macroblocks of the left frames for which signs of approximation of the movement of the fragments corresponding to them in the indices are not in There is no approximation of motion, and the values of successive displacement vectors of such macroblocks are loaded with the corresponding values from the vectors of these fragments, and the values of parallel displacement vectors are found through the organization of the forecast search in the reference frame, the sizes and location of the search areas of parallel macroblock forecasts are set so that the ordinates of the forecasts are are equal to the ordinates of the corresponding macroblocks themselves, and the values of the predicted abscissa shifts could only take negative values for macroblocks of the left frame and only positive values for macroblocks of the right frame, immediately after calculating the macroblock residual of the boundary macroblock, the pixel signal values of the macroblock remainder of its fixed pixels are filled with zero values, after searching for integer displacement vectors, form fractional sequential displacement vectors for all fragments of the central frame and fractional parallel displacement vectors for all macroblocks of the left and right frames, with The fractional displacement vectors of the external fragments and macroblocks are forced to be filled with zero values, and the method for calculating the values of the fractional displacement vectors for the inner and boundary fragments and macroblocks is preliminarily selected with the condition that the values of the negative values of the offset values for abscissas for the macroblocks of the left frame and the condition for the positive values of the values of the offset values for abscissas for macroblocks right frame, after the formation of fractional displacement vectors of all fragments and macroblocks for each fragment, recalculated the current values of the fragment motion velocities along the coordinate axes of the central planar coordinate system are obtained, and the current reconstructed surface is corrected by the found fractional displacement vectors of the macroblocks by recalculating the spatial coordinates and copy speed of the fragments, while the spatial coordinates of the copies of the external fragments are reloaded with the previous values, the spatial copy speeds external fragments are loaded with zero values, and to calculate the coordinates of the copy to One of the internal or boundary fragments uses the direction vectors of two intersecting straight lines passing through the beginning of the corresponding lateral spatial coordinate systems, and the coordinates of the direction vectors are pre-set through the connection of the lateral plane and corresponding lateral spatial coordinate systems, the character of which is pre-set, then using values recalculated spatial coordinates of copies of internal and boundary fragments recalculated space their speed, then the time stamps of the current and previous stereo pairs are additionally stored in the encoder memory, as well as the values of the spatial speeds and position coordinates of all copies of the fragments and the values of the plane speeds of all fragments for the current and previous stereopairs, by the decoder when restoring the original image matrices macroblocks of the current stereo pair use the original values of the signals of the fixed pixels of the reference frames.
Объяснение необходимости введения совокупности отличительных признаков заявленного способа от прототипного способа, рассматриваемых в контексте способов компенсации движения в цифровых динамических стереовидеоизображениях и предназначенных для построения телесистем на базах стереовидеокодеков, одни из возможных вариантов исполнения которых со структурными схемами телесистем, архитектурами стереовидеокодеков и принципами организации компенсации движения в изображениях представлены на фигурах (ФИГ.1.), (ФИГ.2.), (ФИГ.3.) для прототипного способа, а также на фигурах (ФИГА), (ФИГ.5.), (ФИГ.6.) для заявляемого способа, заключается в следующем. В основе достижения требуемого технического результата, в частности для существенного увеличения среднего значения пропускной кадровой способности при незначительном снижении средних значений объема кода и качества декодируемого изображения стереовидеокодеков, использующих компенсацию движения в цифровых динамических видеоизображениях при обработке кадрового видеопотока в режиме реального времени, лежит фундаментальная идея сочетания поискового алгоритма компенсации движения кадровых фрагментов с получением плоскостных кадровых проекций динамически отслеживаемой и периодически приближенно геометрически реконструируемой реальной запечатленной пространственной поверхности, а также с аппроксимацией движения кадровых фрагментальных проекций приближенными физическими законами движения реальных запечатленных подвижных объектов, соответствующих данным проекциям. Приближенная геометрическая реконструкция реальной запечатленной пространственной поверхности позволяет с довольно высокой степенью точности получать проекции пространственных копий фрагментов на кадры стереопар, и, как следствие получать приближенные значения параллельных векторов прогнозовых смещений минуя полный алгоритм перебора возможных макроблочных прогнозов. Фрагментальная аппроксимация движения в плоскости изображения позволяет приближенно определять положения последовательных предыдущих прогнозов части подвижных фрагментов кадров, и также получать аппроксимационные значения векторов последовательных прогнозовых смещений части подвижных макроблоков минуя алгоритм полного перебора. Для уточнения положений найденных предварительных аппроксимационных макроблочных прогнозов, можно использовать поисковый алгоритм компенсации движения, но уже с уменьшенными размерами областей поиска прогнозов и смещением центров этих областей на найденные векторы аппроксимационных смещений. Вследствие этого, с одной стороны сокращается среднее время обработки стереопары за счет аппроксимации движения части макроблоков, а с другой стороны остаются приблизительно на том же уровне объем кода и качество декодируемого изображения, так как положение аппроксимационных прогнозов дополнительно уточняется поисковым алгоритмом. Особенно данный подход эффективен при съемке и обработке видеосцен с реальными объектами, обладающими существенными линейными скоростями и движущимися параллельно плоскости датчиков изображений. Для удобства обработки стереовидеопотока, дополнительно вводится искуственный центральный кадровый поток, а также три плоскостные и три пространственные системы координат. Геометрическое восстановление запечатленной пространственной поверхности ведется для всех стереопар на уровне движения пространственных копий фрагментов в центральной пространственной системе координат с применением пространственной системной и пространственной индивидуальной аппроксимаций движения копий фрагментов. Фрагментальная аппроксимация движения ведется для всех стереопар, начиная с третьей, на уровне движения фрагментов центрального кадрового потока в плоскости центральной плоскостной системе координат с применением плоскостной системной, плоскостной индивидуальной и плоскостной поисковой аппроксимаций движения. Аппроксимации движения характеризуются дискретным представлением формул. Данные о характере движения фрагметальных копий в пространстве, а также самих фрагментов в плоскости кадрового изображения позволяют в том числе посредством проекций переходить к прогнозовым векторам смещений макроблоков кадров стереопары. Переход от векторов смещений к скоростям движения макроблоков и обратно осуществляется при использовании временных отметок стереопар, получаемых от таймерного устройства в режиме реального времени. Для повышения достоверности результатов аппроксимации движения используются дробные значения параметров фрагментов и макроблоков. Принципы геометрической реконструкции пространственной поверхности и принципы компенсации движения в плоскостных цифровых динамических видеоизображениях, используемые в заявляемом способе, представлены на фигурах (ФИГ.7.), (ФИГ.8.), (ФИГ.9.), (ФИГ.10.). Таким образом, обработка каждой стереопары проводится на уровне копий фрагментов и самих фрагментов центрального кадра с последующим переходом к параметрам движения макроблоков левого и правого кадров. Основной задачей системных аппроксимации движения является выявление характера движения копий фрагментов и характера движения самих фрагментов в рамках, так называемых системных блоков, на которые дополнительно изначально логически разбивается каждый искуственный центральный кадр, и которые содержат внутри себя достаточное количество подвижных фрагментов, координаты каждого из которых, в свою очередь, задаются координатами одной из точек фрагментов, а внутри каждого системного блока выбирается тройка расчетных фрагментов с условием наличия их ближайших соседей по координатным осям. При этом системные аппроксимация движения оперируют пространственно-временными параметрами движения копий фрагментов и самих фрагментов и охватывают динамические данные множества вложенных фрагментов в рамках системных блоков, что существенно влияет на достоверность системного прогноза. Индивидуальные аппроксимации движения, в свою очередь, оперируют только временными параметрами движения копий фрагментов и самих фрагментов и подразумевают предсказание положений фрагментов в текущем кадре исключительно по их собственным предыдущим значениям динамических данных движения. Процесс проведения аппроксимаций движения регулируется признаками обработки системных блоков, а также признаками аппроксимации движения фрагментов центрального кадра и макроблоков левого и правого кадров стереопары. Восстановление геометрии текущей запечатленной пространственной поверхности ведется на уровне пространственных копий фрагментов, координаты каждой из которых рассчитываются на основе пересечения двух прямых, проходящих через начала боковых пространственных систем координат с привлечением направляющих векторов этих прямых, причем области поиска параллельных векторов смещений для левого и правого кадров задаются таким образом, чтобы указанные прямые обязательно имели одну точку пересечения в переднем полупространстве по отношению к объективам. Все представленные далее теоретические формулы подразумевают фиксацию одной из координатных осей, а также одного из системных блоков или одного из фрагментов, без указания в формулах индексов фиксированных объектов.An explanation of the need to introduce a set of distinctive features of the claimed method from the prototype method, considered in the context of methods of motion compensation in digital dynamic stereo video images and designed to build tele-systems on the basis of stereo-video codecs, one of the possible versions of which with structural schemes of tele-systems, architectures of stereo-video codecs and principles of organization of motion compensation in images are presented in the figures (FIG. 1.), (FIG. 2.), (FIG. 3.) for the prototype th method as well as the figures (fig) (Figure 5.) (Figure 6). For the proposed method is as follows. The fundamental idea of combining the basis for achieving the required technical result, in particular for a significant increase in the average value of the frame rate with a slight decrease in the average values of the code volume and the quality of the decoded image of stereo video codecs using motion compensation in digital dynamic video images when processing a frame video stream in real time, search algorithm for compensating the movement of frame fragments to obtain a planar frame O projections tracked dynamically and periodically approximately geometrically reconstructed imaged real spatial surface, and also with approximation of human motion fragmentary projections approximate physical laws of motion of the real movable objects photographed corresponding to these projections. An approximate geometric reconstruction of a real imprinted spatial surface allows a fairly high degree of accuracy to obtain projections of spatial copies of fragments on frames of stereo pairs, and, as a result, to obtain approximate values of parallel vectors of predicted displacements bypassing the complete algorithm for enumerating possible macroblock forecasts. Fragmented approximation of motion in the image plane allows one to approximately determine the positions of successive previous forecasts of a part of moving fragments of frames, and also to obtain approximation values of vectors of successive predicted displacements of a part of moving macroblocks bypassing the full enumeration algorithm. To clarify the positions of the found preliminary approximate macroblock forecasts, you can use the search algorithm for motion compensation, but with reduced sizes of the forecast search areas and the shift of the centers of these areas to the found approximation bias vectors. As a result of this, on the one hand, the average processing time of a stereo pair is reduced due to the approximation of the movement of part of the macroblocks, and on the other hand, the code size and quality of the decoded image remain at approximately the same level, since the position of the approximation forecasts is further refined by the search algorithm. This approach is especially effective when shooting and processing video scenes with real objects that have significant linear speeds and moving parallel to the plane of image sensors. For the convenience of processing a stereo video stream, an artificial central personnel stream, as well as three planar and three spatial coordinate systems, are additionally introduced. Geometric restoration of the captured spatial surface is performed for all stereopairs at the level of movement of spatial copies of fragments in the central spatial coordinate system using spatial system and spatial individual approximations of the movement of copies of fragments. Fragmental approximation of movement is carried out for all stereopairs, starting from the third, at the level of movement of fragments of the central personnel stream in the plane of the central plane coordinate system using planar systemic, individual and plane search approximation of motion. Approximations of motion are characterized by a discrete representation of formulas. Data on the nature of the movement of fragmented copies in space, as well as the fragments themselves in the plane of the frame image, make it possible, including through projections, to switch to the predicted displacement vectors of macroblock frames of a stereo pair. The transition from displacement vectors to the speeds of movement of macroblocks and vice versa is carried out using the time stamps of stereo pairs received from the timer device in real time. To increase the reliability of the results of approximation of motion, fractional values of the parameters of fragments and macroblocks are used. The principles of geometric reconstruction of the spatial surface and the principles of motion compensation in planar digital dynamic video images used in the present method are presented in the figures (FIG.7.), (FIG.8.), (FIG.9.), (FIG.10.) . Thus, the processing of each stereo pair is carried out at the level of copies of the fragments and the fragments of the central frame with the subsequent transition to the motion parameters of the macroblocks of the left and right frames. The main task of the system approximation of motion is to identify the nature of the movement of copies of fragments and the nature of the movement of the fragments themselves within the framework of the so-called system units, into which each artificial central frame is additionally logically divided, and which contain a sufficient number of moving fragments inside, the coordinates of each of which in turn, they are set by the coordinates of one of the points of the fragments, and inside each system unit three selected fragments are selected with the condition m having their nearest neighbors on the coordinate axes. In this case, the system approximation of the motion is operated on by the spatio-temporal motion parameters of the copies of the fragments and the fragments themselves and cover the dynamic data of the set of embedded fragments within the system blocks, which significantly affects the reliability of the system forecast. Individual motion approximations, in turn, operate only on the temporal parameters of the movement of copies of fragments and the fragments themselves and imply predicting the positions of fragments in the current frame solely from their own previous values of the dynamic motion data. The process of carrying out approximations of motion is governed by signs of processing system units, as well as signs of approximation of the movement of fragments of the central frame and macroblocks of the left and right frames of the stereo pair. The geometry of the current imprinted spatial surface is restored at the level of spatial copies of fragments, the coordinates of each of which are calculated based on the intersection of two straight lines passing through the beginning of the lateral spatial coordinate systems with the involvement of the direction vectors of these lines, and the search areas of parallel displacement vectors for the left and right frames are specified so that these lines necessarily have one intersection point in the front half-space with respect to to the lens. All the theoretical formulas presented below imply fixing one of the coordinate axes, as well as one of the system blocks or one of the fragments, without specifying fixed objects in the index formulas.
Пространственные системная и индивидуальная аппроксимации движения способствуют быстрому нахождению значений векторов параллельных прогнозовых смещений для макроблоков левого и правого кадров текущей стереопары, посредством проекций частей текущей запечатленной пространственной поверхности на кадры данной стереопары, динамическая реконструкция и получение текущего вида которой проводится на уровне анализа движения копий фрагментов изображения в пространстве. Теоретическое уравнение пространственной системной аппроксимации движения выглядит следующим образом:Spatial systemic and individual motion approximations contribute to the rapid determination of the values of the vectors of parallel predicted displacements for the macroblocks of the left and right frames of the current stereo pair, by projecting parts of the current captured spatial surface onto the frames of this stereo pair, the dynamic reconstruction and obtaining of the current form of which is carried out at the level of analysis of the movement of copies of image fragments in space. The theoretical equation of the spatial system approximation of motion is as follows:
us - скорость пространственных копий фрагментов текущего системного блока по текущей координатной оси;u s is the speed of spatial copies of fragments of the current system unit along the current coordinate axis;
t - время;t is the time;
x - абсцисса фрагментов в заданной плоскостной центральной системе координат;x is the abscissa of fragments in a given planar central coordinate system;
y - ордината фрагментов в заданной плоскостной центральной системе координат;y is the ordinate of fragments in a given planar central coordinate system;
as,1, as,2, as,3 - коэффициенты пространственной системной аппроксимации движения копий фрагментов текущего системного блока по текущей координатной оси;a s, 1 , a s, 2 , a s, 3 - coefficients of the spatial system approximation of the movement of copies of fragments of the current system unit along the current coordinate axis;
его можно получить из уравнения математической физики, известного под названием уравнения колебания мембраны, если предварительно условиться, что входное воздействие постоянно на протяжении определенного короткого отрезка времени и на всей рабочей поверхности, далее обе части этого уравнения разделить на постоянное входное воздействие, и, затем, ввести новые обозначения, обозначив дроби перед производными в качестве новых коэффициентов, а сами производные второго порядка заменить производными первого порядка, используя вместо положений скорости. Предполагается, что при проведении системной аппроксимации движения в текущей стереопаре для копий фрагментов каждого системного блока по текущей пространственной координатной оси входные воздействия на копии фрагментов текущего системного блока считаются постоянными для всех копий вложенных фрагментов и на протяжении временного отрезка, охватывающего три последовательных стереопары, включая текущую и две предыдущих. При проведении пространственной системной аппроксимации движения в стереопаре для копий фрагментов каждого обрабатываемого системного блока по каждой из координатных осей сначала по данным двух предыдущих кадров центрального потока и по данным двух предыдущих стереопар рассчитываются коэффициенты аппроксимации движения, а затем по данным текущего и предыдущего кадров центрального потока и по данным текущей и предыдущей стереопар рассчитываются текущие положения и скорости движения копий фрагментов обрабатываемых системных блоков. Расчет ведется с привлечением статических и динамических параметров копий трех рассчетных фрагментов, с привлечением статических и динамических параметров самих трех рассчетных фрагментов текущего системного блока а также с учетом статических и динамических параметров их соседей по координатным осям плоскостной центральной системы координат. При этом значения порядков производных системы можно регулировать выбором единицы измерения времени. Единицы измерения времени можно подобрать опытным путем и выбрать таким образом, чтобы все производные конечных теоретических уравнений имели бы приблизительно одинаковый порядок. Алгоритм решения систем уравнений, можно выбрать таким, чтобы обеспечить скорейшее решение систем в совокупности с высокой точностью решений. Теоретическое уравнение пространственной индивидуальной аппроксимации движения выглядит следующим образом:it can be obtained from the equation of mathematical physics, known as the equation of oscillation of the membrane, if you first agree that the input action is constant for a certain short period of time and on the entire working surface, then both parts of this equation are divided into a constant input effect, and, then, introduce new notation, designating fractions in front of derivatives as new coefficients, and replace second-order derivatives themselves with first-order derivatives, using instead Nij speed. It is assumed that during the system approximation of the movement in the current stereopair for copies of fragments of each system unit along the current spatial coordinate axis, the input actions on copies of fragments of the current system unit are considered constant for all copies of nested fragments and over a time period spanning three consecutive stereopairs, including the current and two previous ones. When conducting a spatial system approximation of motion in a stereo pair for copies of fragments of each processed system unit for each of the coordinate axes, first, based on the data of two previous frames of the central stream and the data of two previous stereo pairs, the coefficients of approximation of movement are calculated, and then according to the current and previous frames of the central stream and according to the current and previous stereo pairs, the current positions and speeds of copies of fragments of processed system units are calculated at. The calculation is carried out using the static and dynamic parameters of the copies of the three calculated fragments, using the static and dynamic parameters of the three calculated fragments themselves of the current system unit, as well as taking into account the static and dynamic parameters of their neighbors along the coordinate axes of the plane central coordinate system. In this case, the values of the orders of derivatives of the system can be controlled by the choice of a unit of time. Units of time can be selected empirically and chosen so that all derivatives of the final theoretical equations would have approximately the same order. The algorithm for solving systems of equations can be chosen in such a way as to ensure the speediest solution of the systems together with high precision solutions. The theoretical equation of the spatial individual approximation of motion is as follows:
us - скорость движения пространственной копии текущего фрагмента по текущей координатной оси;u s is the speed of the spatial copy of the current fragment along the current coordinate axis;
t - время;t is the time;
ks - коэффициент пространственной индивидуальной аппроксимации движения пространственной копии текущего фрагмента по текущей координатной оси;k s is the coefficient of the spatial individual approximation of the motion of the spatial copy of the current fragment along the current coordinate axis;
его можно получить из уравнения второго закона Ньютона, если предварительно условиться, что входное воздействие постоянно на протяжении определенного короткого отрезка времени, далее обе части этого уравнения разделить на постоянное входное воздействие, и, затем, ввести новые обозначения, обозначив дробь перед производной в качестве нового коэффициента, а саму производную второго порядка заменить производной первого порядка, используя вместо положения скорость. При этом предполагается, что при проведении пространственной индивидуальной аппроксимации движения входные воздействия для копии каждого фрагмента по текущей координатной оси считаются постоянными на протяжении временного отрезка, охватывающего три последовательных стереопары, включая текущую и две предыдущих. Далее рассчитываются сначала коэффициенты аппроксимации движения, а затем текущие координаты и скорости движения копий фрагментов, аналогично фрагментам системной аппроксимации.it can be obtained from the equation of Newton’s second law if it is previously agreed that the input action is constant for a certain short period of time, then both parts of this equation are divided into a constant input effect, and then new designations are introduced, designating the fraction in front of the derivative as new coefficient, and the second-order derivative itself, replace the first-order derivative, using speed instead of position. It is assumed that when conducting a spatial individual approximation of the motion, the input actions for a copy of each fragment along the current coordinate axis are considered constant over a time period spanning three consecutive stereo pairs, including the current and two previous ones. Next, the motion approximation coefficients are calculated first, and then the current coordinates and motion speeds of the copy fragments, similar to fragments of the system approximation.
Плоскостные системная, индивидуальная и поисковая аппроксимации движения способствуют быстрому нахождению значений векторов последовательных прогнозовых смещений для макроблоков левого кадра текущей стереопары, посредством аппроксимации движения фрагментов в плоскости кадрового изображения центрального кадра с последующим нахождением значений последовательных векторов смещений части подвижных фрагментов для кадра искуственного центрального потока и заодно для макроблоков левого кадра текущей стереопары. Теоретическое уравнение плоскостной системной аппроксимации движения выглядит следующим образом:Plane system, individual, and search approximations of the movement facilitate the rapid determination of the values of the successive forecast displacement vectors for the macroblocks of the left frame of the current stereopair by approximating the movement of fragments in the plane of the frame image of the central frame, followed by finding the values of the successive displacement vectors of part of the moving fragments for the frame of the artificial central stream and at the same time for macroblocks of the left frame of the current stereo pair. The theoretical equation of the planar system approximation of motion is as follows:
up - скорость фрагментов текущего системного блока по текущей координатной оси;u p is the speed of fragments of the current system unit along the current coordinate axis;
t - время;t is the time;
x - абсцисса фрагментов в заданной плоскостной центральной системе координат;x is the abscissa of fragments in a given planar central coordinate system;
y - ордината фрагментов в заданной плоскостной центральной системе координат;y is the ordinate of fragments in a given planar central coordinate system;
ap,1, ap,2, ap,3 - коэффициенты плоскостной системной аппроксимации движения фрагментов текущего системного блока по текущей координатной оси;a p, 1 , a p, 2 , a p, 3 are the coefficients of a planar system approximation of the movement of fragments of the current system block along the current coordinate axis;
механизм его получения и теоретические рассчетные допущения аналогичны механизму получения и допущениям уравнения пространственной системной аппроксимации движения. Условно назовем ap,1 корпускулярным коэффициентом, а ap,2 и ap,3 волновыми коэффициентами теоретического уравнения плоскостной системной аппроксимации движения. Тогда задача плоскостной системной аппроксимации движения состоит в том, чтобы выявить те фрагменты проекций запечатленных объектов или их частей, которые в гораздо большей степени обладают корпускулярными свойствами, нежели чем волновыми, то есть при движении ведут себя как монолитные объекты, не меняющие свою геометрическую форму. При проведении плоскостной системной аппроксимации движения для каждого обрабатываемого системного блока по каждой из координатных осей сначала по данным двух предыдущих кадров центрального потока и данным двух предыдущих стереопар рассчитываются коэффициенты аппроксимации движения, далее проверяются условия для значений найденных коэффициентов, а затем по данным текущего и предыдущего кадров центрального потока и данным текущей и предыдущей стереопар рассчитываются текущие скорости движения фрагментов обрабатываемых системных блоков. Для расчета коэффициентов плоскостной системной аппроксимации движения изначально составляется и решается в дискретной форме система из трех уравнений указанного вида, механизм решения систем аналогичен механизму решения систем пространственной системной аппроксимации движения. С математической точки зрения предпочтение в пользу корпускулярных коэффициентов означает преобладание их абсолютных значений над абсолютными значениями волновых коэффициентов, поэтому на практике удобно использовать конъюнктивное условие преобладания абсолютного значения коэффициента при временной производной над абсолютными значениями коэффициентов при пространственных производных, причем степень преобладания и математическую формулу проверки коэффициентов задавать предварительно. Единицы измерения времени можно подобрать опытным путем и выбрать таким образом, чтобы все производные конечных теоретических уравнений имели бы приблизительно одинаковый порядок. Алгоритм решения систем уравнений, можно выбрать таким, чтобы обеспечить скорейшее решение систем в совокупности с высокой точностью решений. Малость абсолютных значений волновых коэффициентов по сравнению со значением корпускулярного коэффициента конечного теоретического уравнения системной плоскостной аппроксимации движения, при приблизительно одинаковом порядке всех производных, означает, что двумя слагаемыми, в указанном уравнении при этих коэффициентах, можно пренебречь. По этой причине текущие скорости движения фрагментов по координатным осям рассчитываются с помощью представленной формулы системной плоскостной аппроксимации движения в дискретном виде, в которой текущая скорость движения макроблока принимается в качестве неизвестной величины, при этом из указанного уравнения предварительно исключаются слагаемые с пространственными производными при втором и третьем коэффициентах. Теоретическое уравнение индивидуальной аппроксимации движения выглядит следующим образом:the mechanism of its obtaining and theoretical calculation assumptions are similar to the mechanism of obtaining and the assumptions of the equations of the spatial system approximation of motion. We will conventionally call a p, 1 the corpuscular coefficient, and a p, 2 and a p, 3 the wave coefficients of the theoretical equation of the planar system approximation of motion. Then the task of a planar systematic approximation of motion is to identify those fragments of projections of captured objects or their parts that have much more corpuscular properties than wave ones, that is, when moving, they behave as monolithic objects that do not change their geometric shape. When carrying out a planar system approximation of motion for each processed system unit along each of the coordinate axes, first, according to the data of two previous frames of the central stream and data of two previous stereo pairs, the coefficients of approximation of motion are calculated, then the conditions for the values of the found coefficients are checked, and then according to the data of the current and previous frames the central stream and the current and previous stereo pairs, the current speeds of the fragments of the processed system are calculated blocks. To calculate the coefficients of a planar systemic approximation of motion, a system of three equations of the indicated type is initially compiled and solved in a discrete form, the mechanism for solving systems is similar to the mechanism for solving systems of spatial systemic approximation of motion. From a mathematical point of view, the preference in favor of corpuscular coefficients means the prevalence of their absolute values over the absolute values of wave coefficients, so in practice it is convenient to use the conjunctive condition for the prevalence of the absolute value of the coefficient in the time derivative over the absolute values of the coefficients in the case of spatial derivatives, with the degree of prevalence and the mathematical formula for checking the coefficients pre-set. Units of time can be selected empirically and chosen so that all derivatives of the final theoretical equations would have approximately the same order. The algorithm for solving systems of equations can be chosen in such a way as to ensure the speediest solution of the systems together with high precision solutions. The smallness of the absolute values of the wave coefficients in comparison with the value of the corpuscular coefficient of the final theoretical equation of the systemic planar approximation of motion, with approximately the same order of all derivatives, means that the two terms in this equation can be neglected. For this reason, the current speeds of movement of fragments along the coordinate axes are calculated using the presented systemic plane approximation of motion in discrete form, in which the current speed of the macroblock is taken as an unknown quantity, while the terms with spatial derivatives in the second and third are previously excluded from this equation ratios. The theoretical equation for an individual approximation of motion is as follows:
up - скорость движения текущего фрагмента по текущей координатной оси;u p is the speed of the current fragment along the current coordinate axis;
t - время;t is the time;
kp - коэффициент плоскостной индивидуальной аппроксимации движения текущего фрагмента по текущей координатной оси; механизм его получения и теоретические рассчетные допущения аналогичны механизму получения и допущениям уравнения пространственной индивидуальной аппроксимации движения. При проведении плоскостной индивидуальной аппроксимации движения для каждого подвижного фрагмента по каждой из координатных осей плоскостной центральной системы координат сначала по данным двух предыдущих кадров центрального потока и данным двух предыдущих стереопар рассчитывается коэффициент индивидуальной аппроксимации движения, а затем по данным текущего и предыдущего кадров центрального потока и данным текущей и предыдущей стереопар рассчитывается текущая скорость движения фрагмента. При этом для расчета коэффициента плоскостной индивидуальной аппроксимации движения по какой либо из координатных осей изначально составляется и решается в дискретной форме одно указанное уравнение, в котором коэффициент индивидуальной аппроксимации движения принимается в качестве неизвестной величины. Текущие скорости движения фрагмента по координатным осям рассчитываются с помощью формулы плоскостной индивидуальной аппроксимации движения в дискретном виде, в которой текущая скорость движения макроблока принимается в качестве неизвестной. Плоскостная поисковая аппроксимация движения способствует получению как последовательных прогнозовых векторов смещений, так и параллельных векторов смещений макроблоков левого и правого кадров, но она обладает наименьшей эффективностью, поскольку получение данных проводится посредством применения стандартного поискового алгоритма к подвижным фрагментам центрального кадра, с последующим переходом к расчету параметров макроблоков текущей стереопары. Подытоживая все вышесказанное можно вкратце выделить следующие основные положения для заявляемого способа: восстановление геометрии текущей запечатленной пространственной поверхности способствует быстрому косвенному получению значений параллельных векторов смещений для макроблоков левого и правого кадров стереопары через анализ движения копий фрагментов искуственного центрального кадра в пространстве, а аппроксимация движения частей изображения законами, подобными реальным физическим законам природы, способствует быстрому косвенному получению значений последовательных векторов смещений через анализ движения фрагментов искуственного центрального кадра в плоскости кадрового изображения. Таким образом, в заявляемом способе компенсации движения фигурирует тот же набор входных и выходных параметров кодирования-декодирования, что и в прототипном способе, но с другим механизмом их получения, а указанный технический результат достигается главным образом за счет смещения и уменьшения областей поиска прогнозов для макроблоков с признаками наличия аппроксимации движения.k p is the coefficient of individual plane approximation of the movement of the current fragment along the current coordinate axis; the mechanism of its obtaining and theoretical calculation assumptions are similar to the mechanism of obtaining and assumptions of the equation of spatial individual approximation of motion. When conducting a plane individual approximation of motion for each moving fragment along each of the coordinate axes of a plane central coordinate system, first, according to the data of two previous frames of the central stream and the data of two previous stereo pairs, the coefficient of individual approximation of movement is calculated, and then according to the data of the current and previous frames of the central stream and data current and previous stereo pairs, the current fragment speed is calculated. Moreover, to calculate the coefficient of the planar individual approximation of motion along any of the coordinate axes, one specified equation is initially compiled and solved in discrete form, in which the coefficient of individual approximation of motion is taken as an unknown value. The current speeds of the fragment along the coordinate axes are calculated using the discrete individual plane approximation of the motion in which the current speed of the macroblock is taken as unknown. A planar search approximation of the movement helps to obtain both successive predicted displacement vectors and parallel displacement vectors of the macroblocks of the left and right frames, but it has the least efficiency, since the data are obtained by applying the standard search algorithm to moving fragments of the central frame, with the subsequent transition to the calculation of parameters macroblocks of the current stereo pair. Summing up all of the above, we can briefly highlight the following main points for the proposed method: restoration of the geometry of the current imprinted spatial surface facilitates the quick indirect obtaining of values of parallel displacement vectors for macroblocks of the left and right frames of the stereo pair through the analysis of the movement of copies of fragments of the artificial central frame in space, and the approximation of the movement of parts of the image laws similar to the real physical laws of nature, promotes rapid obtaining the values of successive displacement vectors through the analysis of the motion of fragments of the artificial central frame in the plane of the frame image. Thus, in the inventive method of motion compensation, the same set of input and output encoding-decoding parameters appears as in the prototype method, but with a different mechanism for their production, and the specified technical result is achieved mainly by shifting and reducing the search areas for forecasts for macroblocks with signs of an approximation of motion.
Устройство для реализации предложенного способа компенсации движения в цифровых динамических стереовидеоизображениях состоит из ноутбука «SAMSUNG R530», пары цифровых web-камер «hama АС-150», подставки для web-камер, маятника, соединительной нити, штатива, источника освещения, разветвителя, источника электричества, съемочной площадки. К ноутбуку 1 подключена пара цифровых web-камер 2, находящаяся на подставке 3, предназначенная для съемки маятника 4, прикрепленного соединительной нитью 5 к штативу 6. Маятник освещается источником освещения 7. К разветвителю 8 подключены ноутбук и источник освещения, а сам он подключен к источнику электричества 9. Все перечисленные выше элементы расположены на съемочной площадке 10. Ноутбук и источник освещения находятся во включенном состоянии, причем на ноутбуке загружено программное обеспечение для проведения сравнительного анализа прототипного и заявляемого способов компенсации движения в цифровых динамических стереовидеоизображениях. Все параметры и технические характеристики перечисленных выше конструктивных элементов, параметры модели стереовидеокодека на базе заявляемого способа, а также параметры сравниваемых моделей стереовидеокодеков, реализующих прототипный и заявляемый способы компенсации движения в цифровых динамических стереовидеоизображениях, при прочих равных условиях и параметрах, представлены на (ФИГ.11.) и (ФИГ.12.), а также в таблицах (Таблица 1) и (Таблица 2). Разрешение экрана ноутбука позволяет выводить на экран графические результаты экспериментов, а его тактовая частота позволяет сравнивать модели стереовидеокодеков с учетом работы в режиме реального времени, а также в процессе обработки кадрового стереовидеопотока сохранять и впоследствии выводить на экран результаты сравнительного анализа моделей видеокодеков. Ноутбук снабжен программным обеспечением, позволяющим осуществлять заявляемый способ в отдельности, а также осуществлять эксперимент по проведению сравнительного анализа моделей стереовидеокодеков на базах прототипного и заявляемого способов. В эксперименте по сравнению моделей видеокодеков обрабатывается видеопоследовательность из ста стереопар. При этом модель видеокодека на базе прототипного способа обрабатывает экспериментальную видеопоследовательность без привлечения временных отметок стереопар, а модель видеокодека на базе заявляемого способа обрабатывает экспериментальную видеопоследовательность с привлечением временных отметок стереопар. Эксперимент устроен следующим образом: сначала записывается и обрабатывается стереовидеопоследовательность в режиме on-line моделью стереовидеокодека на базе прототипного способа, при этом в памяти ноутбукаA device for implementing the proposed method of motion compensation in digital dynamic stereo video images consists of a SAMSUNG R530 laptop, a pair of hama AC-150 digital web cameras, a stand for web cameras, a pendulum, a connecting thread, a tripod, a light source, a splitter, a source electricity, film set. A pair of
сохраняются обрабатываемая видеопоследовательность и временные отметки стереопар, после чего сохраненная видеопоследовательность обрабатывается в режиме off-line моделью стереовидеокодека на базе заявляемого способа. Алгоритм решения системы линейных алгебраических уравнений основан на поиске базисного минора, составлении, при необходимости, новой системы уравнений меньшего порядка на основе найденного базисного минора, и решении конечной системы по формулам Крамера. Коэффициентам, множители при которых не участвуют в формировании базисного минора, присваиваются нулевые значения. Формирование дробных составляющих векторов смещений фрагментов и макроблоков проводится для каждой координатной оси по существующим в рамках предыдущего экстраполированного кадра и соседним, относительно найденного наилучшего целочисленного прогноза, положениям с различными значениями критерия качества прогноза, при этом знак дробной части определяется необходимостью смещения в сторону соседнего положения с меньшим значением качества прогноза, а абсолютное значение дробной части определяется как разность единицы и отношения меньшего значения критерия качества одного их соседних прогнозов к большему значению критерия качества другого соседнего прогноза. Для входного стереовидеопотока используется одно из стандартных разрешений web-камер. Взаимное расположение web-камер, web-камер и маятника, с учетом высоты подставки для web-камер и расстояния от них до маятника, выбраны таким образом, чтобы в процессе проведения экспериментов изображение маятника занимало значительные части кадров стереопар. Длина соединительной нити выбрана так, чтобы обеспечить период колебания маятника, при котором положения изображений маятника на двух соседних по времени кадрах различаются слабо, то есть на несколько пикселов, а движение маятника на коротких участках траектории можно рассматривать как прямолинейное движение с ускорениями, что в свою очередь позволяет проводить аппроксимацию движения фрагментов изображения маятника с применением математической модели заявляемого способа. Мощность источника освещения достаточна для обнаружения различий цветовых свойств маятника и фона видеосцены. Описанный выше способ компенсации движения в цифровых динамических стереовидеоизображениях осуществляется следующим образом: маятник отклоняют на угол a=15° от свободной оси вращения, после чего его отпускают. Через 5-10 секунд на ноутбуке запускают программный вариант по осуществлению заявляемого способа в отдельности или эксперимент по проведению сравнительного анализа моделей стереовидеокодеков на базах прототипного и заявляемого способов нажатием соответствующей кнопки. После этого ожидают окончания обработки стереовидеопотока и вывода на экран результатов осуществления заявляемого способа в отдельности, либо результатов эксперимента по сравнению моделей стереовидеокодеков, использующих прототипный и заявляемый способы. После этого маятник останавливают, то есть приводят в начальное исходное свободное положение.the processed video sequence and time stamps of the stereopairs are stored, after which the saved video sequence is processed off-line by a model of a stereo video codec based on the proposed method. The algorithm for solving a system of linear algebraic equations is based on the search for a basic minor, drawing up, if necessary, a new system of equations of a lower order based on the found minor, and solving the final system using Cramer's formulas. Coefficients, the factors at which do not participate in the formation of the basic minor, are assigned zero values. The formation of the fractional components of the displacement vectors of fragments and macroblocks is carried out for each coordinate axis according to the existing positions with different values of the prediction quality criterion existing within the framework of the previous extrapolated frame and neighboring, relative to the found best integer prediction, while the sign of the fractional part is determined by the need to shift towards the neighboring position with lower value of the forecast quality, and the absolute value of the fractional part is defined as the difference between the unit and the ratio of a lower value of the quality criterion of one of the neighboring forecasts to a larger value of the quality criterion of another neighboring forecast. For the input stereo video stream, one of the standard resolutions of web-cameras is used. The mutual arrangement of web-cameras, web-cameras and the pendulum, taking into account the height of the stand for web-cameras and the distance from them to the pendulum, is chosen so that during the experiments the image of the pendulum occupies significant parts of the frames of stereo pairs. The length of the connecting thread is chosen so as to provide a period of oscillation of the pendulum, in which the positions of the images of the pendulum on two frames adjacent in time differ slightly, that is, by several pixels, and the movement of the pendulum in short sections of the trajectory can be considered as a linear motion with accelerations, which the queue allows the approximation of the movement of fragments of the image of the pendulum using a mathematical model of the proposed method. The power of the light source is sufficient to detect differences in the color properties of the pendulum and the background of the video scene. The method of motion compensation described above in digital dynamic stereo-video images is as follows: the pendulum is deflected by an angle a = 15 ° from the free axis of rotation, after which it is released. After 5-10 seconds, the laptop starts the software version for the implementation of the proposed method individually or an experiment to conduct a comparative analysis of the models of stereo video codecs based on the prototype and the claimed methods by pressing the corresponding button. After that, they expect the end of processing the stereo video stream and displaying the results of the implementation of the proposed method separately, or the results of an experiment comparing models of stereo video codecs using the prototype and the claimed methods. After this, the pendulum is stopped, that is, it is brought back to the initial initial free position.
Наличие причинно-следственной связи между совокупностью существенных признаков заявляемого объекта и достигаемым техническим результатом показано в таблице 3. Табличные данные основаны на результатах экспериментов по сравнительномуThe presence of a causal relationship between the totality of the essential features of the claimed object and the achieved technical result is shown in table 3. Tabular data are based on the results of comparative experiments
анализу моделей стереовидеокодеков на базах прототипного и заявляемого способов. Более подробно результаты сравнительного анализа двух моделей стереовидеокодеков на базах прототипного и заявляемого способов представлены на фигурах (ФИГ.13.), (ФИГ.14.), (ФИГ.15.), (ФИГ.16.), а также на фигурах (ФИГ.17.), (ФИГ.18.), (ФИГ.19.), (ФИГ.20.). Проводились также эксперименты с работой обеих моделей видеокодеков в режиме off-line, стереовидеопоследовательность для которых формировалась с помощью цифрового стереофотоаппарата FUJIFILM finepix REAL 3D W3, представленного на фигуре (ФИГ.21.) и использовавшегося в режиме видеосъемки с постоянным известным временным шагом между стереопарами с обеспечением минимизации временного рассогласования получения кадров стереопары по сравнению с использованием отдельных web-камер, при этом получаемые им стереовидеоизображения сохранялись в памяти устройства в исходном виде, то есть без применения каких-либо механизмов предварительного кодирования стереовидеоизображений. Далее, полученные стереовидеоизоборажения копировались в память ноутбука и обрабатывались в режиме off-line моделями сравниваемых стереовидеокодеков при обработке файловых данных и с использованием известных значений временных интервалов между стереопарами. В этом случае наблюдалось небольшое улучшение качества аппроксимации движения в изображениях и пропускной способности стереовидеокодека. Кроме того, проводились эксперименты со сменой режимов off-line и on-line для моделей видеокодеков, а также эксперименты с применением в моделях видеокодеков алгоритмов укороченного поиска макроблочных прогнозов, таких как «алгоритм поиска в три шага» и «алгоритм поиска по ближайшим соседям». Результаты этих экспериментов в целом идентичны результатам экспериментов с использованием алгоритма полного перебора, но с менее выраженным эффектом улучшения пропускной кадровой способности. Согласно экспериментальным данным, использование алгоритма полного перебора дает улучшение пропускной кадровой способности стереовидеокодека на 5-10%, а использование укороченных алгоритмов поиска дает улучшение пропускной кадровой способности стереовидеокодека на 4-8%. Учитывая результаты экспериментальных данных по сравнению моделей стереовидеокодеков на базах прототипного и заявляемого способов компенсации движения в цифровых динамических стереовидеоизображениях, можно сделать относительно заявляемого способа следующий вывод: предложенное техническое решение обеспечивает существенное увеличение среднего значения пропускной кадровой способности стереовидеокодека при обработке стереовидеопотока в режиме реального времени при незначительном снижении значений среднего объема кода и качества декодируемого изображения.analysis of models of stereo video codecs based on the prototype and the proposed methods. In more detail, the results of a comparative analysis of two models of stereo video codecs based on the prototype and the proposed methods are presented in the figures (FIG.13.), (FIG.14.), (FIG.15.), (FIG.16.), And also in the figures ( FIG. 17.), (FIG. 18.), (FIG. 19.), (FIG. 20.). Also, experiments were conducted with the operation of both models of video codecs in off-line mode, the stereo video sequence for which was formed using the FUJIFILM finepix REAL 3D W3 digital stereo camera shown in the figure (FIG. 21) and used in the video mode with a constant known time step between stereo pairs with ensuring minimization of the temporal mismatch of receiving frames of a stereo pair in comparison with the use of separate web-cameras, while the stereo-video images received by him were stored in the device memory Twa in its original form, that is, without the use of any mechanisms for precoding stereo video images. Further, the obtained stereo-video images were copied to the laptop memory and processed off-line by the models of the compared stereo-video codecs when processing file data and using known values of the time intervals between stereo pairs. In this case, there was a slight improvement in the quality of the approximation of motion in the images and the throughput of the stereo video codec. In addition, experiments were carried out with the change of the off-line and on-line modes for video codec models, as well as experiments using the algorithms of shortened search for macroblock forecasts in models of video codecs, such as the “three-step search algorithm” and the “nearest neighbor search algorithm” . The results of these experiments are generally identical to the results of experiments using the full enumeration algorithm, but with a less pronounced effect of improving the personnel throughput. According to experimental data, the use of the exhaustive search algorithm improves the throughput of the stereo video codec by 5-10%, and the use of shortened search algorithms gives the improvement of the throughput of the stereo video codec by 4-8%. Given the results of experimental data comparing models of stereo video codecs based on the prototype and the claimed methods of motion compensation in digital dynamic stereo video images, we can draw the following conclusion regarding the proposed method: the proposed technical solution provides a significant increase in the average throughput of the stereo video codec when processing the stereo video stream in real time with little lower mean code size and quality and the decoded image.
Техническая сущность заявляемого технического решения поясняется следующими дополнительными материалами.The technical nature of the claimed technical solution is illustrated by the following additional materials.
ФИГ.1. Структурная схема цифровой телевизионной системы на базе стереовидеокодека, реализующего прототипный способ.FIG. 1. The structural diagram of a digital television system based on a stereo video codec that implements the prototype method.
ФИГ.2. Принципы организации структуры стереовидеокодека и процесса обработки стереопотока с применением прототипного способа.FIG. 2. The principles of organizing the structure of the stereo video codec and the processing of the stereo stream using the prototype method.
ФИГ.3. Принцип компенсации движения в кадрах стереопар на основе прототипного способа.FIG. 3. The principle of motion compensation in frames of stereo pairs based on the prototype method.
ФИГ.4. Структурная схема цифровой телевизионной системы на базе стереовидеокодека, реализующего заявляемый способ.FIG. 4. The structural diagram of a digital television system based on a stereo video codec that implements the inventive method.
ФИГ.5. Принципы организации структуры стереовидеокодека и процесса обработки стереопотока с применением заявляемого способа.FIG. 5. The principles of organizing the structure of the stereo video codec and the processing of the stereo stream using the proposed method.
ФИГ.6. Принцип компенсации движения в кадрах стереопар на основе заявляемого способа.FIG.6. The principle of motion compensation in frames of stereo pairs based on the proposed method.
ФИГ.7. Общие принципы геометрической реконструкции запечатленной пространственной поверхности и получения ее проекций на кадры стереопары.FIG. 7. General principles of geometric reconstruction of a captured spatial surface and obtaining its projections onto stereo pair frames.
ФИГ.8. Логическое разбиение искусственного центрального кадра на системные блоки и фрагменты в заявляемом способе.FIG. 8. The logical partition of the artificial central frame into system blocks and fragments in the present method.
ФИГ.9. Принцип задания координат фрагментов и макроблоков в заявляемом способе.FIG. 9. The principle of setting the coordinates of fragments and macroblocks in the present method.
ФИГ.10. Один из вариантов выбора расчетных фрагментов в рамках системного блока в заявляемом способе.FIG. 10. One of the options for the selection of fragments within the system unit in the inventive method.
ФИГ.11. Снимок экспериментальной установки для сравнения эффективностей работы стереовидеоеодеков на базах прототипного и заявляемого способов.FIG. 11. A snapshot of the experimental setup for comparing the performance of stereo video on the bases of the prototype and the proposed methods.
ФИГ.12. Схема экспериментальной установки для сравнения эффективностей работы стереовидеоеодеков на базах прототипного и заявляемого способов.FIG. 12. The experimental setup for comparing the performance of stereo video on the basis of the prototype and the proposed methods.
ФИГ.13. Снимок кодируемой стереопары с применением заявляемого способа.FIG.13. A picture of an encoded stereo pair using the proposed method.
ФИГ.14. Снимок декодированной стереопары с применением заявляемого способа.FIG. 14. A snapshot of the decoded stereo pair using the proposed method.
ФИГ.15. Снимок бинарной маски стереопары с применением заявляемого способа.FIG. 15. A snapshot of a binary mask of a stereo pair using the proposed method.
ФИГ.16 Снимок цветовой градации макроблоков стереопары с применением заявляемого способа по признакам аппроксимации движения с обозначениями: серый - отсутствие аппроксимации движения, зеленый - наличие системной аппроксимации движения, красный - наличие индивидуальной аппроксимации движения, синий - наличие поисковой аппроксимации движения.FIG.16 A snapshot of the color gradation of the macroblocks of a stereo pair using the proposed method according to the signs of approximation of motion with the notation: gray — lack of approximation of motion, green — presence of a systematic approximation of motion, red — presence of an individual approximation of motion, blue — presence of a search approximation of motion.
ФИГ.17. График зависимости отношения времени обработки стереопары с применением заявляемого способа ко времени обработки стереопары с применением прототипного способа от номера стереопары.FIG. 17. A graph of the relationship of the processing time of a stereo pair using the proposed method to the processing time of a stereo pair using the prototype method from the number of the stereo pair.
ФИГ.18. График зависимости отношения объема кода стереопары с применением заявляемого способа к объему кода стереопары с применением прототипного способа от номера стереопары.FIG. 18. The dependence of the ratio of the volume of the stereo code using the proposed method to the code volume of the stereo using the prototype method from the stereo number.
ФИГ.19. График зависимости ошибки качества изображения, вычисляемого как отношение среднего абсолютного отклонения сигналов кодируемой и декодируемой стереопар при обработке экспериментальной видеопоследовательности с применением заявляемого способа к среднему абсолютному отклонению сигналов кодируемой и декодируемой стереопар при обработке экспериментальной видеопоследовательности с применением прототипного способа, от номера стереопары.FIG. 19. The graph of the dependence of the image quality error, calculated as the ratio of the average absolute deviation of the signals of the encoded and decoded stereo pairs when processing the experimental video sequence using the proposed method to the average absolute deviation of the signals of the encoded and decoded stereo pairs when processing the experimental video sequence using the prototype method, from the number of the stereo pair.
ФИГ.20. График зависимости качества аппроксимации движения, вычисляемого как отношение количества подвижных макроблоков с признаками отсутствия аппроксимации движения при обработке экспериментальной видеопоследовательности с применением заявляемого способа к количеству подвижных макроблоков с признаками отсутствия аппроксимации движения при обработке экспериментальной видеопоследовательности с применением прототипного способа, от номера стереопары.FIG. 20. A graph of the dependence of the quality of the approximation of motion, calculated as the ratio of the number of moving macroblocks with signs of lack of approximation of motion when processing an experimental video sequence using the proposed method to the number of moving macroblocks with signs of lack of approximation of motion when processing an experimental video sequence, using the prototype method, from the number of a stereo pair.
ФИГ.21. Снимок стереофотоаппарата FUJIFILM finepix REAL 3D W3, использовавшегося в режиме видеосъемки для проведения сравнительного анализа моделей стереовидеокодеков на базах прототипного и заявляемого способов в режиме off-line с обеспечением высокой степени синхронизации во времени получений кадров стереопар, а также выдерживающего наперед заданные временные интервалы между получениями стереопар и сохраняющего стереовидеоизображения в исходном виде, то есть без применения каких либо механизмов предварительного кодирования получаемой видеоинформации.FIG. 21. A snapshot of the FUJIFILM finepix REAL 3D W3 stereo camera used in the video mode for comparative analysis of stereo video codec models on the basis of the prototype and the proposed methods in off-line mode with a high degree of synchronization in time of receiving frames of stereo pairs, as well as withstanding predetermined time intervals between receiving stereo pairs and storing stereo video in its original form, that is, without the use of any precoding mechanisms for the resulting video information and.
Технико-экономическое обоснование заявляемого способа компенсации движения в цифровых динамических стереовидеоизображениях, предназначенного для использования в стереовидеокодеках цифровых телевизионных систем, работающих в режиме реального времени, состоит в следующем. Во-первых, для получения экономической выгоды можно использовать исходные параметры достигнутого технического результата в их чистом виде. Иными словами, повышенная пропускная способность системы при сохранении на том же уровне объема передаваемого кода и качества декодируемого изображения сглаживает дискретизацию стереопотока и, вследствие этого, улучшает визуальный эффект просмотра видеоизображений, что в свою очередь делает подобную телевизионную систему предпочтительней с точки зрения потребителя. Во-вторых, для получения экономической выгоды можно использовать конвертацию параметров достигнутого технического результата. Так, например, выигрыш в пропускной кадровой способности можно конвертировать в снижение стоимости цифровых вычислительных устройств, входящих в состав телевизионной системы. Подобная телевизионная система будет работать с той же пропускной кадровой способностью, что и ее существующие аналоги, но стоимость такой системы будет дешевле, что в свою очередь делает подобную телевизионную систему более предпочтительной с точки зрения производителя. Наконец, для получения экономической выгоды можно использовать заявляемый способ не только в области цифрового телевидения широкого вещания, но и в других технических областях, связанных с обработкой и передачей цифровых динамических стереовидеоизображений. Здесь примером является интернет-общение пользователей в режиме реального времени с использованием стерео web-камер. На сегодняшний день для получения более высокой пропускной кадровой способности таких систем используют стерео web-камеры со встроенными микропроцессорными устройствами, работающими параллельно и согласованно с центральными процессорными устройствами компьютеров. Стоимость подобных стерео web-камер в десятки раз превышает стоимость обычных стерео web-камер. С этой точки зрения использование обычной стерео web-камеры в комплекте с программным обеспечением для реализации заявляемого способа, выглядит более предпочтительно, чем использование стерео web-камеры со встроенным микропроцессорным устройством.The feasibility study of the proposed method of motion compensation in digital dynamic stereo video images, intended for use in stereo video codecs of digital television systems operating in real time, is as follows. Firstly, to obtain economic benefits, you can use the initial parameters of the achieved technical result in their pure form. In other words, the increased throughput of the system while maintaining the volume of the transmitted code and the quality of the decoded image at the same level smooths the sampling of the stereo stream and, as a result, improves the visual effect of viewing video images, which in turn makes such a television system preferable from the point of view of the consumer. Secondly, to obtain economic benefits, you can use the conversion of the parameters of the achieved technical result. For example, the gain in bandwidth can be converted into a reduction in the cost of the digital computing devices that make up the television system. Such a television system will work with the same throughput capacity as its existing counterparts, but the cost of such a system will be cheaper, which in turn makes such a television system more preferable from the point of view of the manufacturer. Finally, to obtain economic benefits, you can use the inventive method not only in the field of digital television broadcasting, but also in other technical areas related to the processing and transmission of digital dynamic stereo video. An example is real-time online communication of users using stereo web-cameras. To date, to obtain a higher bandwidth of such systems, stereo web-cameras are used with integrated microprocessor devices working in parallel and in coordination with the central processing units of computers. The cost of such stereo web-cameras is ten times higher than the cost of conventional stereo web-cameras. From this point of view, the use of a conventional stereo web camera complete with software for implementing the inventive method looks more preferable than the use of a stereo web camera with an integrated microprocessor device.
Claims (2)
us - скорость пространственных копий фрагментов текущего системного блока по текущей координатной оси;
t - время;
x - абсцисса фрагментов в заданной плоскостной центральной системе координат;
y - ордината фрагментов в заданной плоскостной центральной системе координат;
as,1, as,2, as,3 - коэффициенты пространственной системной аппроксимации движения копий фрагментов текущего системного блока по текущей координатной оси;
в котором каждый параметр представляют либо целочисленным, либо дробным значением, а для расчетов используют дискретное представление данного уравнения, при этом сначала при использовании данных двух предыдущих кадров центрального потока и данных двух предыдущих стереопар рассчитывают коэффициенты пространственной системной аппроксимации движения, для чего по каждой координатной оси составляют и решают в дискретной форме систему из трех таких уравнений в соответствии с тремя выбранными расчетными фрагментами, далее признаки аппроксимации движения вложенных фрагментов обрабатываемых системных блоков переводят в состояние системной аппроксимации движения, а затем по данным текущего и предыдущего кадров центрального потока и данным текущей и предыдущей стереопар для копий фрагментов с признаками системной аппроксимации движения рассчитывают текущие пространственные скорости движения копий фрагментов с применением указанного уравнения пространственной системной аппроксимации движения, а потом аппроксимационные значения текущих пространственных координат положения копий фрагментов, после чего проверяют условие незначительного изменения текущих пространственных координат копии фрагментов по сравнению с предыдущими координатами, причем математическую модель этого условия задают предварительно, в случае невыполнения данного условия текущие пространственные координаты копии фрагмента перезагружают предыдущими значениями, а признак аппроксимации движения соответствующего фрагмента сбрасывают в состояние отсутствия аппроксимации движения, при проведении пространственной индивидуальной аппроксимации движения в рамках геометрической реконструкции текущей запечатленной пространственной поверхности сначала для внутренних и граничных фрагментов с признаками отсутствия аппроксимации движения осуществляют перевод данных признаков в состояние индивидуальной аппроксимации движения, далее для каждой копии фрагмента с признаком индивидуальной аппроксимации движения по каждой из трех пространственных координатных осей проводят пространственную аппроксимацию движения с использованием уравнения пространственной индивидуальной аппроксимации движения вида
us - скорость движения пространственной копии текущего фрагмента по текущей координатной оси;
t - время;
ks - коэффициент пространственной индивидуальной аппроксимации движения пространственной копии текущего фрагмента по текущей координатной оси;
в котором каждый параметр представляют либо целочисленным, либо дробным значением, а для расчетов используют дискретное представление данного уравнения, при этом сначала по данным двух предыдущих кадров центрального потока и данным двух предыдущих стереопар рассчитывают коэффициенты аппроксимации, а затем по данным текущего и предыдущего кадров и данным текущей и предыдущей стереопары текущие пространственные скорости и координаты копий фрагментов, далее для пространственной копии каждого фрагмента с признаком индивидуальной аппроксимации движения проводят обработку, абсолютно аналогичную обработке копии фрагмента с признаком системной аппроксимации при проведении пространственной системной аппроксимации движения, начиная с проверки на незначительность изменений текущих пространственных координат копий фрагментов, при проведении компенсации движения в стереопаре проводят сначала плоскостную системную, далее плоскостную индивидуальную, а затем плоскостную поисковую аппроксимацию движения фрагментов в центральной плоскостной системе координат с последующим проецированием изображений фрагментов на кадры стереопары посредством учета пространственных координат копий фрагментов, причем непосредственно перед проведением плоскостных аппроксимаций движения признаки обработки всех системных блоков сбрасывают в состояние отсутствия обработки, признаки аппроксимации движения всех фрагментов и макроблоков сбрасывают в состояние отсутствия аппроксимации движения, а целочисленные последовательные и параллельные векторы смещений внешних фрагментов текущего центрального кадра и макроблоков текущей стереопары принудительно заполняют нулевыми значениями, при проведении плоскостной системной аппроксимации движения сначала выявляют системные блоки, не содержащие внешних фрагментов, после чего признаки обработки данных системных блоков устанавливают в состояние наличия обработки и далее для фрагментов каждого такого системного блока по каждой из двух плоскостных координатных осей проводят плоскостную аппроксимацию движения, при этом для проведения плоскостной системной аппроксимации движения используют уравнение плоскостной системной аппроксимации движения вида
up - скорость фрагментов текущего системного блока по текущей координатной оси;
t - время;
x - абсцисса фрагментов в заданной плоскостной центральной системе координат;
y - ордината фрагментов в заданной плоскостной центральной системе координат;
ap,1, ap,2, ap,3 - коэффициенты плоскостной системной аппроксимации движения фрагментов текущего системного блока по текущей координатной оси;
в котором каждый параметр представляют либо целочисленным, либо дробным значением, а для расчетов используют дискретное представление данного уравнения, при этом сначала при использовании данных двух предыдущих кадров центрального потока и данных двух предыдущих стереопар рассчитывают коэффициенты аппроксимации движения, для чего по каждой координатной оси составляют и решают в дискретной форме систему из трех таких уравнений в соответствии с тремя выбранными расчетными фрагментами, далее по каждой координатной оси проверяют конъюнктивное условие преобладания абсолютного значения коэффициента при временной производной над абсолютными значениями коэффициентов при пространственных производных, причем степень преобладания и математическую формулу проверки коэффициентов задают предварительно, далее признаки аппроксимации движения вложенных фрагментов системных блоков, прошедших указанную проверку положительно, переводят в состояние системной аппроксимации движения, а затем по данным текущего и предыдущего кадров центрального потока и по данным текущей и предыдущей стереопар для фрагментов с признаками системной аппроксимации движения рассчитывают текущие скорости движения фрагментов с применением укороченного уравнения плоскостной системной аппроксимации движения без слагаемых с пространственными производными, а потом рассчитывают аппроксимационные значения целочисленных векторов смещений фрагментов к лучшим прогнозам в рамках ссылочного экстраполированного кадра, далее проверяют условие попадания найденных аппроксимационных прогнозов в формат ссылочного экстраполированного кадра, а также условие удовлетворения прогноза аппроксимационному значению критерия качества прогноза, значение которого устанавливают предварительно, при этом в случае выполнения данных условий организуют укороченный поиск фрагментальных прогнозов в рамках ссылочного экстраполированного кадра, при этом центры соответствующих фрагментам областей поиска смещают по координатным осям на значения соответствующих найденных аппроксимационых векторов смещений, а геометрические размеры областей поиска уменьшают до значений, которые задают предварительно, в противном случае признак аппроксимации движения фрагмента сбрасывают в состояние отсутствия аппроксимации, далее изображения фрагментов с признаком системной аппроксимации движения проецируют на кадровые плоскости, при этом значения целочисленных векторов последовательных смещений внутренних и граничных макроблоков левого кадра к лучшим прогнозам в предыдущем ссылочном кадре загружают соответствующими найденными значениями векторов смещений фрагментов, а для расчета значений векторов параллельных смещений для макроблоков левого и правого кадров определяют пары проекционных макроблоков в левом и правом экстраполированных кадрах, причем в алгоритм проецирования пространственных изображений на кадровые плоскости вводят использование направляющего вектора прямой, проходящей через начало соответствующей боковой пространственной системы координат и пространственную точку положения соответствующей копии фрагмента, а связь боковых плоскостных и соответствующих боковых пространственных систем координат задают с помощью координат направляющих векторов, далее проверяют условие совместного попадания проекционных макроблоков проекционных пар в форматы своих соответствующих экстраполированных кадров, в случае выполнения которого признаки аппроксимации движения соответствующих макроблоков проекционных пар устанавливают в состояние системной аппроксимации движения, далее при использовании координат проекционных пар определяют векторы параллельных смещений макроблоков с признаками системной аппроксимации движения для левого и правого кадров, после чего проверяют условия отрицательности прогнозовых смещений по абсциссе проекционных макроблоков левого кадра и условия положительности прогнозовых смещений по абсциссе проекционных макроблоков правого кадра, в случае невыполнения хотя бы одного из которых признак аппроксимации движения соответствующего макроблока сбрасывают в состояние отсутствия аппроксимации движения, при проведении плоскостной индивидуальной аппроксимации движения сначала для внутренних и граничных фрагментов с признаками отсутствия аппроксимации движения осуществляют перевод данных признаков в состояние индивидуальной аппроксимации движения, далее для каждого фрагмента с признаком индивидуальной аппроксимации движения по каждой из двух плоскостных координатных осей проводят плоскостную аппроксимацию движения с использованием уравнения плоскостной индивидуальной аппроксимации движения вида
up - скорость движения текущего фрагмента по текущей координатной оси;
t - время;
kp - коэффициент плоскостной индивидуальной аппроксимации движения текущего фрагмента по текущей координатной оси;
в котором каждый параметр представляют либо целочисленным, либо дробным значением, а для расчетов используют дискретное представление данного уравнения, при этом сначала по данным двух предыдущих кадров центрального потока и данным двух предыдущих стереопар рассчитывают коэффициенты аппроксимации, а затем по данным текущего и предыдущего кадров и данным текущей и предыдущей стереопар текущие скорости и целочисленные векторы смещения фрагментов к аппрокисмационным прогнозам, далее для каждого фрагмента с признаком индивидуальной аппроксимации движения проводят обработку, абсолютно аналогичную обработке фрагмента с признаком системной аппроксимации при проведении системной плоскостной аппроксимации движения, начиная с нахождения проекций пространственных копий фрагментов на кадры стереопары, при проведении плоскостной поисковой аппроксимации движения сначала для внутренних и граничных фрагментов с признаками отсутствия аппроксимации движения осуществляют перевод данных признаков в состояние поисковой аппроксимации движения, далее целочисленные векторы прогнозовых смещений фрагментов находят стандартным образом через организацию поиска прогнозов в предыдущем ссылочном экстраполированном кадре центрального потока, затем для каждого фрагмента с признаком поисковой аппроксимации движения проводят обработку, абсолютно аналогичную обработке фрагмента с признаком индивидуальной аппроксимации при проведении индивидуальной плоскостной аппроксимации движения, начиная с нахождения проекций пространственных копий фрагментов на кадры стереопары, при проведении аппроксимаций движения исключают возникновение ошибок деления на ноль, при поиске макроблочных прогнозов используют исходные значения сигналов неподвижных пикселов ссылочных экстраполированных кадров, при организации алгоритма поиска целочисленных векторов смещений к лучшим прогнозам обрабатывают только внутренние и граничные макроблоки с признаками отсутствия аппроксимации движения, за исключением внутренних и граничных макроблоков левого кадра, для которых признаки аппроксимации движения соответствующих им по индексам фрагментам не находятся в состоянии отсутствия аппроксимации движения, причем значения последовательных векторов смещений таких макроблоков загружают соответствующими значениями из векторов данных фрагментов, а значения параллельных векторов смещения находят через организацию поиска прогноза в ссылочном кадре, размеры и расположение областей поисков параллельных макроблочных прогнозов задают таким образом, чтобы ординаты прогнозов были равны ординатам самих соответствующих макроблоков, а значения прогнозовых смещений по абсциссам могли бы принимать только отрицательные значения для макроблоков левого кадра и только положительные значения для макроблоков правого кадра, сразу после вычисления макроблочного остатка граничного макроблока значения сигналов пикселов макроблочного остатка его неподвижных пикселов заполняют нулевыми значениями, после проведения поиска целочисленных векторов смещений формируют дробные последовательные векторы смещений для всех фрагментов центрального кадра и дробные параллельные векторы смещений для всех макроблоков левого и правого кадров, при этом значения дробных векторов смещений внешних фрагментов и макроблоков принудительно заполняют нулевыми значениями, а способ расчета значений дробных векторов смещений для внутренних и граничных фрагментов и макроблоков выбирают предварительно с наложением условия отрицательности значений смещений по абсциссам для макроблоков левого кадра и условия положительности значений смещений по абсциссам для макроблоков правого кадра, после формирования дробных векторов смещений всех фрагментов и макроблоков для каждого фрагмента перерассчитывают текущие значения скоростей движения фрагмента по координатным осям центральной плоскостной системы координат, а по найденным параллельным дробным векторам смещений макроблоков корректируют текущую восстановленную поверхность посредством пересчета значений пространственных координат и скоростей копий фрагментов, при этом пространственные координаты копий внешних фрагментов перезагружают предыдущими значениями, пространственные скорости копий внешних фрагментов загружают нулевыми значениями, а для расчета координат копии какого-либо из внутренних или граничных фрагментов используют направляющие векторы двух пересекающихся прямых, проходящих через начала соответствующих боковых пространственных системы координат, причем координаты направляющих векторов задают предварительно через связь боковых плоскостных и соответствующих боковых пространственных систем координат, характер которой задают предварительно, далее с применением значений перерассчитанных пространственных координат копий внутренних и граничных фрагментов перерассчитывают пространственные скорости их движения, после этого в памяти кодера дополнительно сохраняют временные отметки текущей и предыдущей стереопар, а также значения пространственных скоростей движения и координат положения всех копий фрагментов и значения плоскостных скоростей движения всех фрагментов для текущей и предыдущей стереопар, декодером при восстановлении исходных матриц изображения макроблоков текущей стереопары используют исходные значения сигналов неподвижных пикселов ссылочных кадров.1. The method of motion compensation in digital dynamic stereo-video images, which consists in the following, before processing the video stream, all its frame stereopairs are logically divided into reference and predicted, moreover, the reference stereopairs are arranged at a frequency of one or more predicted stereopairs, and the reference stereopairs themselves must be set in advance, then, in the planes of frame images of stereo pairs, rectangular Cartesian coordinate systems are selected whose axes are directed parallel or along a hundred it is the frame rectangles of stereo pairs, and pixels are selected as the units of measurement along the axes, during the processing of the stereo stream, image sensors are interviewed by the encoder to receive each next stereo pair, then the resulting images are converted to the format and color system required for processing, and then stored in the encoder memory as the current frame stereo pair, then the left and right frames of the current stereo pair logically divide into rectangular fragments of the same size, called macroblocks, and macroblock zooms are pre-set, and immediately after dividing the next frame of the stereo pair into macroblocks, each macroblock is assigned the coordinates of its position in the corresponding coordinate system used, during processing of the stereo stream, the indices of stereo pairs are tracked, during the processing of each current stereo pair, it is first determined by reference to the stereo pair that it belongs to the reference or predicted stereo pairs, if the current stereo pair belongs to reference stereo pairs, I use motion compensation in the image t only for the right frame of the stereo pair and after processing, this stereo pair is saved both in the encoder memory and in the decoder memory, if the current stereo pair belongs to the predicted stereo pairs in both of its frames, motion compensation in the image is applied, when conducting motion compensation in the images, the encoder generates a forecast motion compensation, and the decoder reconstructs the motion compensation, to carry out the motion compensation of each left predicted frame of the stereo pair as a series of of the reference frame in both the encoder and the decoder, the previous frame of the video sequence is selected, and for performing motion compensation of each right predicted frame of the stereo pair as a parallel reference frame, both the encoder and the decoder select the parallel left frame of the video sequence, in the process of generating the motion compensation prediction encoder for each macroblock of the predicted frame, stereopairs construct a binary motion mask, then, according to the motion masks, for all macroblocks, signs of movement are fixed I, according to which all macroblocks, with respect to movement, are classified into external, boundary and internal, while the sign of movement of the external macroblock is assigned to those macroblocks that contain only fixed pixels, the sign of movement of the boundary macroblock is assigned to those macroblocks that contain both moving and fixed pixels, and the sign of movement of the internal macroblock is assigned to those macroblocks that contain only moving pixels, then for the internal and boundary macroblocks stereopairs are searched x integer displacement vectors to the best macroblock forecasts in the search areas of the link extrapolated frames, and the order of processing the stereopair frames when searching for macroblock forecasts is arbitrarily set, and before searching for macroblock forecasts, the reference frames are extrapolated from their bordering pixels to sizes sufficient to compensate for the motion using foreign displacement vectors, while the dimensions of the extrapolated frames are pre-set, algorithm m search of predicted displacement vectors and the quality criterion of search macroblock forecasts are pre-selected, when setting the positions of the search areas, the centers of these areas are combined with the centers of the corresponding macroblocks, while the dimensions of the search areas are pre-set, while searching for the best macroblock matches, only those possible macroblock forecasts are checked that completely fall into the format of the corresponding reference extrapolated frame of the stereo pair, after the search for macroblock forecasts for I macroblock residues determine the internal and boundary macroblocks of the current stereopair, and to find the matrices of the macroblock remainder of any of the indicated macroblocks, the corresponding matrices of its found macroblock prediction are subtracted from the source image matrices of the macroblock, then the current encoded stereo pair is stored in the encoder memory, after which prepare for further coding the motion signs of all macroblocks, differential macroblock residues, integer vectors of predicted displacements and motion patterns of the boundary macroblocks of the current stereo pair, during the motion compensation reconstruction decoder, restore the frames of the current stereo pair, first restore the left and then the right frame of the stereo pair, when restoring the left frame using the decoded predicted displacement vectors of the macroblocks of this frame, determine the positions of macroblock forecasts of internal and boundary macroblocks in the previous reference extrapolated frame of the left stream, and before determining the position of macroblock predictions to the specified reference frame according to the same rules and using the same parameters as in the encoder, apply frame extrapolation, after determining the positions of macroblock forecasts of the left frame, the current left frame of the stereo pair is restored, in the process of restoring this frame of the stereo pair to find the original image matrix of each the internal macroblock add the corresponding image matrix of its specific macroblock forecast and image matrix of its decoded macroblock remainder, To find the source image matrices of each boundary macroblock, add the corresponding image matrices of its specific macroblock forecast and the image matrix of its decoded macroblock remainder, after which the fixed pixel values of the boundary macroblock are loaded with the corresponding pixel values of the corresponding reference extrapolated frame without offset to find the source image matrices of each external macroblock their values are loaded with the values of the corresponding matrices c of the corresponding reference extrapolated frame without offset, then in the same way the right frame of the stereo pair is restored, and immediately before its restoration to the parallel reference frame for it and the already decoded left frame according to the same rules and using the same parameters as in the encoder, an extrapolation of this frame, then the current restored stereo pair is stored in the decoder memory, after which the current stereo pair is transferred to the format and color system required for display and then displayed the image reproducing device is displayed on the screen, characterized in that in the process of the video codec performing motion compensation in stereo pairs of the video stream, a combination of the search algorithm for compensating the movement of frame fragments is used to obtain planar frame projections of a dynamically monitored and periodically approximately geometrically reconstructed real imprinted spatial surface, as well as with an approximation of motion frame fragmentary projections approximate physical laws move In order to do this, before operating the video codec, they check for the presence of a timer in the encoder, and in the case of its initial absence, an additional timer is added to the encoder, in the process of processing the frame stereo stream, immediately after each successive stereopairs, the encoder polls the timer, after which, according to the polling of the timer, a real-time mark is assigned to the stereopair, while the units of time are pre-set, and after the time stamp of the current stereopair, its value is compared with the value of the time stamp of the previous stereopair, and in case of equality, according to the results of comparing the values of these time stamps, the correction value of the time stamps of the stereopairs is added to the value of the time stamp of the current stereopair, the value of which is preliminarily set by a positive number less or equal to the selected unit of time, in the process of processing the stereo stream for each reference stereo pair, the encoder performs prog Compensating for motion according to the same rules and using the same parameters as when processing the predicted stereo pair, but the data of the result of this forecast are not used for encoding and transmission to the decoder, except for the data of the result of prediction of the right frame for the inner and boundary macroblocks of the left frame of each stereo pair in in the process of motion compensation, the encoder additionally searches for parallel displacement vectors, while the parallel right frame of the video sequence is selected as a parallel reference frame, and al The search algorithm for the best offsets is set similar to the search algorithm for vectors of parallel macroblock forecasts of the right frame, in addition to the left and right frame streams of the stereo pair, an artificial central frame stream is additionally introduced, each frame of the artificial central stream is logically divided into fragments, the number and relative position of which correspond to the number and relative the location of the macroblocks of the corresponding left frame, the same characteristics are assigned to the fragments of the central frame as behind the macroblocks of the left frame, then in the planes of frame images for all frame flows, including the artificial central one, three plane rectangular Cartesian coordinate systems are restarted, the beginnings of which for all flows, including the central one, are set by the centers of the corresponding frame rectangles, the abscissa axes are directed to the right, the ordinate axes up, and as the units of measurement along the axes take pixels, then in addition to the planar coordinate systems, three spatial rectangular Cartesian systems are introduced coordinates, the beginnings of which for the left and right flows are combined with the central points of the rectangles of the working surfaces of the respective stereo pair sensors, and the origin of the coordinates of the artificial central frame stream is set by the middle of the segment connecting the beginnings of the left and right spatial coordinate systems, the abscissa axis is directed to the right, the ordinate axis are up, the axis the applicate is directed towards the shooting scene, and as the units of measurement along the axes take meters, immediately after the introduction of spatial coordinate systems for these fragments are arbitrarily set the coordinates of the position of their spatial copies in the central spatial coordinate system, then for all fragments and macroblocks the coordinates of their position in the corresponding planar coordinate systems are updated, the plane coordinates of each fragment and each macroblock are set by the coordinates of one of its points, and the coordinate points of the fragments and macroblocks are assigned so that when moving any two fragments or macroblocks to align their coordinate points on full coincidence of the positions of the remaining corresponding points of fragments or macroblocks would be observed, during the processing of the stereo stream of the signal matrix of the fragments of the central frame, the signs of movement of the fragments, as well as the movement masks of the boundary fragments are reloaded with the corresponding data of the left frame immediately after they are received, sequential compensation is carried out for each frame of the central video stream motion similar to sequential compensation of the motion of the predicted frames of the left stream, while as successive reference forecast frame use the previous frame of the central stream, each current frame of the artificial central stream, immediately after its fragmentation, is additionally logically divided into system blocks, while for each system block there is a sign of processing a system block with two possible states corresponding to the absence of processing and the presence of processing, and the shape and size of the system units is chosen such that inside the system unit contains an integer number of fragments and so that in the morning of the system unit, there were at least three fragments together with their nearest previous neighbors along the coordinate axes, then three design fragments are selected inside each system unit with the condition that the current system unit contains the nearest previous neighbors of the selected design fragments along the coordinate axes, then behind each with a fragment of the central frame, as well as with each macroblock of each frame, stereo pairs attach a sign of approximation of motion with four possible states corresponding to the absence of motion simulations, the presence of a systematic motion approximation, the presence of an individual motion approximation, and the presence of a search motion approximation, for all stereopairs of the video stream before applying integer macroblock displacement vectors to the best predictions in the encoder, but after extrapolating the reference frames, the current captured spatial surface is reconstructed based on the dynamic recalculation of spatial coordinates of copies of image fragments, and then starting from the third and for all x subsequent stereopairs, motion compensation in stereopairs using analysis of the movement of fragments in the plane of the frame image of the central stream with subsequent projection of fragments images onto stereopairs frames by taking into account the current calculated spatial coordinates of the copies of the fragments, when performing an approximate geometric reconstruction of the current imprinted spatial surface, the spatial system is first performed, and then the spatial individual approximation of the motion to opium fragments in the central spatial coordinate system, and immediately before the spatial approximation of the movement, the processing signs of all system units are reset to the non-processing state, the signs of approximation of the movement of all fragments are reset to the absence of the approximation of motion, the current speeds of the spatial copies of the external fragments are assigned zero values, and the current coordinates of spatial copies of external fragments are loaded with the previous values ii, when conducting a spatial system approximation of motion within the framework of a geometric reconstruction of the current imprinted spatial surface, first identify system units that do not contain external fragments, after which the signs of processing data of system units are set to the state of processing and, further, for copies of embedded fragments of each such system unit for each of the three spatial coordinate axes, an approximation of the movement of spatial copies of fragments is carried out, while for The behavior of a spatial system approximation using the equation of motion of the spatial system approximation type of movement
u s - the speed of spatial copies of fragments of the current system unit along the current coordinate axis;
t is the time;
x is the abscissa of fragments in a given planar central coordinate system;
y is the ordinate of fragments in a given planar central coordinate system;
a s, 1 , a s, 2 , a s, 3 - coefficients of the spatial system approximation of the movement of copies of fragments of the current system unit along the current coordinate axis;
in which each parameter is either an integer or fractional value, and a discrete representation of this equation is used for calculations, first, using the data of two previous frames of the central stream and the data of two previous stereo pairs, the coefficients of the spatial system approximation of motion are calculated, for which each coordinate axis compose and solve in a discrete form a system of three such equations in accordance with the three selected design fragments, then the signs of appro simulations of the movement of nested fragments of processed system units are transferred to the state of a system approximation of motion, and then, according to the current and previous frames of the central stream and the data of the current and previous stereo pairs for fragments with signs of a system approximation of motion, the current spatial velocities of movement of copies of fragments are calculated using the specified spatial equation system approximation of motion, and then approximation values of current spatial coordinates the position of the copy of the fragments, after which the condition for a slight change in the current spatial coordinates of the copy of the fragments compared to the previous coordinates is checked, and the mathematical model of this condition is pre-set, if this condition is not fulfilled, the current spatial coordinates of the copy of the fragment are reloaded with the previous values, and the sign of approximation of the movement of the corresponding fragment is reset in a state of lack of approximation of motion, when conducting a spatial individual To approximate the motion within the framework of the geometric reconstruction of the current imprinted spatial surface, first, for internal and boundary fragments with signs of the absence of a motion approximation, these signs are transferred to the state of an individual approximation of motion, then for each copy of a fragment with a sign of an individual approximation of motion along each of the three spatial coordinate axes spatial approximation of motion using the spatial equation individual approximation of the movement of the species
u s - the speed of the spatial copy of the current fragment along the current coordinate axis;
t is the time;
k s - coefficient of individual spatial approximation of the movement of the spatial copy of the current fragment along the current coordinate axis;
in which each parameter is either an integer or fractional value, and a discrete representation of this equation is used for calculations, with first approximation coefficients calculated from the data of two previous frames of the central stream and two previous stereo pairs, and then from the data of the current and previous frames and data current and previous stereopairs current spatial speeds and coordinates of copies of fragments, then for a spatial copy of each fragment with an individual motion simulations carry out processing that is absolutely similar to processing a copy of a fragment with a sign of system approximation during spatial system approximation of movement, starting from checking for insignificance of changes in the current spatial coordinates of copy fragments, when performing motion compensation in a stereo pair, first carry out a planar systemic, then planar individual, and then planar search approximation of the movement of fragments in the central planar coordinate system followed by projecting images of fragments onto stereopair frames by taking into account the spatial coordinates of copies of fragments, moreover, immediately before making planar approximations of motion, processing signs of all system units are reset to the non-processed state, signs of approximating motion of all fragments and macroblocks are reset to the absence of approximating motion, and integer sequential and parallel displacement vectors of external fragments of the current central frame and macroblock The current stereopair is forcibly filled with zero values, when conducting a planar system approximation of the movement, first identify system units that do not contain external fragments, after which the processing signs of the system units are set to the processing state and then for fragments of each such system unit for each of the two planar coordinates the axes carry out a planar approximation of motion, while the equation is used to conduct a planar system approximation of motion loskostnoy system approximation type of movement
u p - the speed of the fragments of the current system unit along the current coordinate axis;
t is the time;
x is the abscissa of fragments in a given planar central coordinate system;
y is the ordinate of fragments in a given planar central coordinate system;
a p, 1 , a p, 2 , a p, 3 - coefficients of a planar system approximation of the movement of fragments of the current system unit along the current coordinate axis;
in which each parameter is either an integer or fractional value, and a discrete representation of this equation is used for calculations, while first, using the data of the two previous frames of the central stream and the data of the two previous stereo pairs, approximation coefficients of motion are calculated, for which, for each coordinate axis, solve in a discrete form a system of three such equations in accordance with the three selected fragments, then on each coordinate axis check conjun An active condition is that the absolute value of the coefficient at the time derivative prevails over the absolute values of the coefficients at spatial derivatives, and the degree of prevalence and the mathematical formula for checking the coefficients are predefined, then the signs of approximating the movement of nested fragments of system units that pass the specified test positively are transferred to the state of the system approximation of motion, and then according to the current and previous frames of the central stream and according to the current and other of the previous stereopairs for fragments with signs of a systemic approximation of motion, calculate the current velocities of the fragments using the shortened equation of the planar systemic approximation of motion without terms with spatial derivatives, and then calculate the approximation values of the integer vectors of the displacements of the fragments to the best forecasts within the reference extrapolated frame, then check the condition of the hit found approximation forecasts in the format of extrapolated reference frame, as well as the condition for satisfying the forecast to the approximate value of the forecast quality criterion, the value of which is set previously, while in the case of fulfilling these conditions, a shortened search for fragmentary forecasts is organized within the reference extrapolated frame, while the centers of the fragments of the search areas are shifted along the coordinate axes by the values of the corresponding of approximation displacement vectors found, and the geometric dimensions of the search areas are reduced to values that are beyond they are preliminarily set up; otherwise, the sign of approximation of the fragment motion is reset to the absence of approximation state, then the images of fragments with the sign of systemic approximation of motion are projected onto the personnel planes, while the values of the integer vectors of successive displacements of the inner and boundary macroblocks of the left frame are loaded to the best forecasts in the previous reference frame the corresponding found values of the displacement vectors of the fragments, and to calculate the values of the vectors of parallel displacement for macroblocks of the left and right frames, pairs of projection macroblocks in the left and right extrapolated frames are determined, and the algorithm for projecting spatial images on the frame planes introduces the use of the directing vector of the line passing through the beginning of the corresponding lateral spatial coordinate system and the spatial position point of the corresponding copy of the fragment, and the connection of lateral planar and corresponding lateral spatial coordinate systems is set using coordinates, for example vectors, then check the condition for the projection macroblocks of projection pairs to fall into the formats of their respective extrapolated frames, in which case the signs of approximation of the motion of the corresponding macroblocks of projection pairs are set to the state of the system approximation of motion, then, using the coordinates of the projection pairs, the vectors of parallel displacements of the macroblocks with signs system approximation of motion for the left and right frames, after which they check negative prediction displacement conditions for abscissa of projection macroblocks of the left frame and positive prediction displacement conditions for abscissa of projection macroblocks of the right frame, if at least one of them fails, the sign of approximation of motion of the corresponding macroblock is reset to the state of absence of approximation of motion, when conducting a plane individual approximation of motion, first for internal and boundary fragments with signs of a lack of approximation of motion translation of these signs into the state of an individual approximation of motion, then for each fragment with a sign of an individual approximation of motion, a planar approximation of motion is carried out on each of the two plane coordinate axes using the equation of a plane individual approximation of motion of the form
u p - the speed of the current fragment along the current coordinate axis;
t is the time;
k p - coefficient of plane individual approximation of the movement of the current fragment along the current coordinate axis;
in which each parameter is either an integer or fractional value, and a discrete representation of this equation is used for calculations, with first approximation coefficients calculated from the data of two previous frames of the central stream and two previous stereo pairs, and then from the data of the current and previous frames and data current and previous stereopairs current speeds and integer displacement vectors of fragments to approximation forecasts, then for each fragment with an individual motion approximations carry out processing that is absolutely similar to fragment processing with a system approximation sign when conducting a systematic plane approximation of motion, starting from finding projections of spatial copies of fragments on stereopair frames, when conducting planar search approximation of motion, first, for internal and boundary fragments with signs of lack of motion approximation, they translate these signs to the state of search approximation of motion, then integer vectors The hypnosis displacements of the fragments are found in the standard way through the organization of the search for forecasts in the previous reference extrapolated frame of the central stream, then for each fragment with the sign of the search approximation of the movement, processing is carried out that is absolutely similar to the processing of the fragment with the sign of the individual approximation during the individual planar approximation of the movement, starting from finding the projections of spatial copies of fragments to stereopair frames when performing approximations of motion and exclude the occurrence of division by zero errors, when searching for macroblock forecasts, use the initial values of the signals of the fixed pixels of the reference extrapolated frames, when organizing the algorithm for searching integer displacement vectors to the best forecasts, only internal and boundary macroblocks with signs of the lack of approximation of motion are processed, with the exception of internal and boundary macroblocks of the left frames for which signs of approximation of the movement of the fragments corresponding to them in the indices are not in a state There are no approximation of motion, moreover, the values of successive displacement vectors of such macroblocks are loaded with the corresponding values from the vectors of these fragments, and the values of parallel displacement vectors are found through the organization of the forecast search in the reference frame, the sizes and location of the search areas of parallel macroblock forecasts are set so that the ordinates of the forecasts are equal to the ordinates of the corresponding macroblocks themselves, and the values of the predicted offsets for abscissas could only take negative values for macroblocks of the left frame and only positive values for macroblocks of the right frame, immediately after calculating the macroblock residue of the boundary macroblock, the pixel signal values of the macroblock remainder of its fixed pixels are filled with zero values, after searching for integer displacement vectors, form fractional sequential displacement vectors for all fragments of the central frame and fractional parallel displacement vectors for all macroblocks of the left and right frames, with fractional displacement vectors of external fragments and macroblocks are forcibly filled with zero values, and the method of calculating the values of fractional displacement vectors for internal and boundary fragments and macroblocks is preliminarily selected with the condition that the values of the negative values of the offset values for abscissas for the macroblocks of the left frame and the condition for the positive values of the values of the offset values for abscissas for macroblocks right frame, after the formation of fractional displacement vectors of all fragments and macroblocks for each fragment, I recalculate m the current values of the speeds of the fragment along the coordinate axes of the central planar coordinate system, and according to the found parallel fractional vectors of displacements of the macroblocks, the current reconstructed surface is corrected by recalculating the values of the spatial coordinates and copy speeds of the fragments, while the spatial coordinates of the copies of the external fragments are reloaded with the previous values, the spatial copy speeds external fragments are loaded with zero values, and to calculate the coordinates of the copy as one of the internal or boundary fragments uses the direction vectors of two intersecting straight lines passing through the origin of the corresponding lateral spatial coordinate systems, and the coordinates of the direction vectors are pre-set through the relationship of the lateral plane and corresponding lateral spatial coordinate systems, the character of which is pre-set, then using values recalculated spatial coordinates of copies of internal and boundary fragments recalculated space the speed of their movement, after that the time stamps of the current and previous stereopairs, as well as the values of the spatial velocities and position coordinates of all copies of the fragments and the values of the planar speeds of all fragments for the current and previous stereopairs, are saved in the encoder memory by the decoder when restoring the original image matrices macroblocks of the current stereo pair use the original values of the signals of the fixed pixels of the reference frames.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2013155875/08A RU2550544C1 (en) | 2013-12-16 | 2013-12-16 | Method for motion compensation in digital dynamic stereoscopic video |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2013155875/08A RU2550544C1 (en) | 2013-12-16 | 2013-12-16 | Method for motion compensation in digital dynamic stereoscopic video |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2550544C1 true RU2550544C1 (en) | 2015-05-10 |
Family
ID=53294005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2013155875/08A RU2550544C1 (en) | 2013-12-16 | 2013-12-16 | Method for motion compensation in digital dynamic stereoscopic video |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2550544C1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2616176C1 (en) * | 2016-03-28 | 2017-04-12 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Тульский государственный университет" (ТулГУ) | Method for encoding-decoding of digital video images |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7286689B2 (en) * | 2003-06-07 | 2007-10-23 | Hewlett-Packard Development Company, L.P. | Motion estimation for compression of calibrated multi-view image sequences |
US7778328B2 (en) * | 2003-08-07 | 2010-08-17 | Sony Corporation | Semantics-based motion estimation for multi-view video coding |
US7822280B2 (en) * | 2007-01-16 | 2010-10-26 | Microsoft Corporation | Epipolar geometry-based motion estimation for multi-view image and video coding |
RU2494569C2 (en) * | 2006-01-09 | 2013-09-27 | Томсон Лайсенсинг | Multi-view video coding methods and device |
-
2013
- 2013-12-16 RU RU2013155875/08A patent/RU2550544C1/en not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7286689B2 (en) * | 2003-06-07 | 2007-10-23 | Hewlett-Packard Development Company, L.P. | Motion estimation for compression of calibrated multi-view image sequences |
US7778328B2 (en) * | 2003-08-07 | 2010-08-17 | Sony Corporation | Semantics-based motion estimation for multi-view video coding |
RU2494569C2 (en) * | 2006-01-09 | 2013-09-27 | Томсон Лайсенсинг | Multi-view video coding methods and device |
US7822280B2 (en) * | 2007-01-16 | 2010-10-26 | Microsoft Corporation | Epipolar geometry-based motion estimation for multi-view image and video coding |
Non-Patent Citations (2)
Title |
---|
A. VETRO et al. "Overview of the Stereo and Multiview Video Coding Extensions of the H.264/MPEG-4 AVC Standard", * |
на 17 страницах [найдено 22.01.2015], найдено в Интернет по адресу URL:http://www.merl.com/publications/TR2011-022. * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2616176C1 (en) * | 2016-03-28 | 2017-04-12 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Тульский государственный университет" (ТулГУ) | Method for encoding-decoding of digital video images |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4991712B2 (en) | Digital image processing apparatus, processing method, and computer program product | |
US8098733B2 (en) | Multi-directional motion estimation using parallel processors and pre-computed search-strategy offset tables | |
JP2023164435A (en) | Picture prediction method and related apparatus | |
Zhou et al. | Omnidirectional image quality assessment by distortion discrimination assisted multi-stream network | |
US20110206124A1 (en) | Object tracking using graphics engine derived vectors in a motion estimation system | |
JP2017536002A (en) | Image prediction method and related apparatus | |
Jaynes et al. | Dynamic shadow removal from front projection displays | |
WO2019076356A1 (en) | Video processing method based on virtual reality scene, server, and virtual reality device and system | |
BR122020015442B1 (en) | METHOD CARRIED OUT BY A VIDEO CODING DEVICE | |
CN102156624A (en) | Perceptually-based compensation of unintended light pollution of images for display systems | |
US11115678B2 (en) | Diversified motion using multiple global motion models | |
CN112215880B (en) | Image depth estimation method and device, electronic equipment and storage medium | |
CN104349155A (en) | Method and equipment for displaying simulated three-dimensional image | |
WO2021031210A1 (en) | Video processing method and apparatus, storage medium, and electronic device | |
US20150110190A1 (en) | Method and apparatus for motion estimation | |
CN105450907A (en) | Intelligent terminal and video image stabilization system model parameter calibration method and device thereof | |
CN105141872A (en) | Video image time-lapse processing method | |
CN105025281A (en) | Large-dimension full dome super-clear film playing and interaction application splicing fusion method | |
Zhang et al. | Exploiting caching and prediction to promote user experience for a real-time wireless VR service | |
RU2550544C1 (en) | Method for motion compensation in digital dynamic stereoscopic video | |
Tamboli et al. | Achieving high angular resolution via view synthesis: Quality assessment of 3D content on super multiview lightfield display | |
JP4605716B2 (en) | Multi-view image compression encoding method, apparatus, and program | |
WO2022120698A1 (en) | Method and system of image processing with increased subjective quality 3d reconstruction | |
CN103096083B (en) | A kind of moving image compensation method and device | |
RU2552139C1 (en) | Method for motion compensation in digital dynamic video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20151217 |