RU2820051C2 - Methods and apparatus for refining prediction for refining motion vector on side of decoder using optical stream - Google Patents

Abstract

FIELD: physics.

SUBSTANCE: invention relates to video encoding and decoding. Methods, devices, systems, architectures and interfaces are disclosed for improving prediction with motion compensation at the sub-block (SB) level based on motion vector (MV) refinement. Decoding method includes receiving a bit stream of encoded video data, the bit stream including at least one block of video data including a plurality of SBs; MV derivation, including a decoder-based MV process (DMVR), for at least one SB in a unit for generating a refined MV for each SB; SB-based motion compensation in at least one sub-block to generate SB-based prediction within each SB; obtaining a spatial gradient for prediction within each SB; determining the MV offset of each pixel in each SB; obtaining parameters of variation of intensity in each SB based on spatial gradients and displacements of MV using an optical flow equation; and updating the prediction within each SB based on the obtained intensity variation parameters.

EFFECT: high coding efficiency.

21 cl, 13 dwg

Description

Предпосылки создания изобретенияPrerequisites for creating the invention

Системы кодирования видеосигналов широко применяют для сжатия цифровых видеосигналов со снижением потребности в хранении и/или уменьшении ширины полосы пропускания таких сигналов. Среди различных типов систем кодирования видеосигналов, таких как системы на основе блоков, на основе вейвлетов и на основе объектов, в настоящее время чаще всего используют и развертывают гибридные системы кодирования видеосигналов на основе блоков. Примеры таких систем видеокодирования на основе блоков включают международные стандарты видеокодирования, такие как MPEG-1/2/4 часть 2, H.264/MPEG-4 часть 10 AVC [1] [2], VC-1 [3] и последний стандарт видеокодирования, называемый High Efficiency Video Coding (высокоэффективное видеокодирование) (HEVC) [4], который был разработан JCT-VC (Joint Collaborative Team on Video Coding (объединенной совместной группой по видеокодированию)) ITU-T/SG16/Q.6/VCEG и ISO/IEC/MPEG.Video coding systems are widely used to compress digital video signals, reducing storage requirements and/or reducing the bandwidth of such signals. Among the various types of video encoding systems such as block-based, wavelet-based and object-based, hybrid block-based video encoding systems are currently the most commonly used and deployed. Examples of such block-based video coding systems include international video coding standards such as MPEG-1/2/4 part 2, H.264/MPEG-4 part 10 AVC[1][2], VC-1[3] and the latest standard video coding called High Efficiency Video Coding (HEVC) [4], which was developed by JCT-VC (Joint Collaborative Team on Video Coding) ITU-T/SG16/Q.6/VCEG and ISO/IEC/MPEG.

Краткое описание графических материаловBrief description of graphic materials

Более подробное объяснение содержится в представленном ниже подробном описании с использованием примеров в сочетании с прилагаемыми графическими материалами. Фигуры в таких графических материалах, как и подробное описание, являются примерами. Таким образом, данные фигуры и подробное описание нельзя рассматривать как ограничивающие, при этом возможны и вероятны другие в равной степени эффективные примеры. Кроме того, подобные позиции на фигурах указывают подобные элементы, причем:A more detailed explanation is provided in the detailed description below using examples in conjunction with the accompanying graphics. The figures in such graphics, as well as the detailed description, are examples only. Accordingly, the figures and detailed description are not to be construed as limiting, but other equally effective examples are possible and likely to occur. In addition, like positions in the figures indicate like elements, wherein:

на фиг. 1 представлена блок-схема, иллюстрирующая пример кодера видеосигнала, в которой можно реализовать один или более вариантов осуществления;in fig. 1 is a block diagram illustrating an example of a video encoder in which one or more embodiments may be implemented;

на фиг. 2 представлена блок-схема, иллюстрирующая пример видеодекодера для использования с системой кодирования и/или декодирования видео по фиг. 1, в которой можно обеспечить и/или реализовать один или более вариантов осуществления;in fig. 2 is a block diagram illustrating an example of a video decoder for use with the video encoding and/or decoding system of FIG. 1, in which one or more embodiments may be provided and/or implemented;

на фиг. 3A представлена схема, иллюстрирующая аффинное поле движения блока, описываемое двумя векторами движения контрольной точки, в соответствии с вариантами осуществления;in fig. 3A is a diagram illustrating an affine block motion field described by two reference point motion vectors, in accordance with embodiments;

на фиг. 3B представлена схема, иллюстрирующая выведение движения на уровне подблоков для аффинных блоков при прогнозировании движения на основе аффинного режима с 4 параметрами в соответствии с вариантами осуществления;in fig. 3B is a diagram illustrating sub-block-level motion inference for affine blocks in motion prediction based on a 4-parameter affine mode in accordance with embodiments;

на фиг. 4 представлена схема, иллюстрирующая пример модели прогнозирования движения на основе аффинного режима с 6 параметрами в соответствии с вариантами осуществления;in fig. 4 is a diagram illustrating an example of a 6-parameter affine mode-based motion prediction model according to embodiments;

на фиг. 5 представлена схема, иллюстрирующая уточнение вектора движения на стороне декодера в соответствии с вариантами осуществления;in fig. 5 is a diagram illustrating motion vector refinement on the decoder side according to the embodiments;

на фиг. 6 представлена схема, иллюстрирующая разницу между вектором движения на уровне пикселей и вектором движения на уровне подблоков в соответствии с вариантами осуществления;in fig. 6 is a diagram illustrating the difference between a pixel-level motion vector and a sub-block-level motion vector according to embodiments;

на фиг. 7 представлена схема, на которой показаны примеры блоков в единице кодирования для целей иллюстрирования варианта осуществления;in fig. 7 is a diagram showing examples of blocks in a coding unit for the purpose of illustrating the embodiment;

на фиг. 8A представлена схема системы, иллюстрирующая пример системы связи, в которой могут быть реализованы один или более описанных вариантов осуществления;in fig. 8A is a system diagram illustrating an example of a communication system in which one or more of the described embodiments may be implemented;

на фиг. 8B представлена схема системы, иллюстрирующая пример модуля беспроводной передачи/приема (WTRU), который может быть использован в системе связи, проиллюстрированной на фиг. 8A, в соответствии с вариантом осуществления;in fig. 8B is a system diagram illustrating an example of a wireless transmit/receive unit (WTRU) that may be used in the communication system illustrated in FIG. 8A, in accordance with an embodiment;

на фиг. 8C представлена схема системы, иллюстрирующая пример сети радиодоступа (RAN) и пример опорной сети (CN), которые могут быть использованы в системе связи, проиллюстрированной на фиг. 8A, в соответствии с вариантом осуществления;in fig. 8C is a system diagram illustrating an example of a radio access network (RAN) and an example of a core network (CN) that may be used in the communication system illustrated in FIG. 8A, in accordance with an embodiment;

на фиг. 8D представлена схема системы, иллюстрирующая дополнительный пример RAN и дополнительный пример CN, которые могут быть использованы в системе связи, проиллюстрированной на фиг. 8A, в соответствии с вариантом осуществления; иin fig. 8D is a system diagram illustrating an additional example of a RAN and an additional example of a CN that may be used in the communication system illustrated in FIG. 8A, in accordance with an embodiment; And

на фиг. 9 представлена схема системы, иллюстрирующая систему, реализующую различные аспекты и операции в соответствии с вариантами осуществления.in fig. 9 is a system diagram illustrating a system implementing various aspects and operations in accordance with embodiments.

Подробное описаниеDetailed description

ВведениеIntroduction

В июле 2018 года Объединенная группа экспертов по видеосигналам (JVET) запустила новый проект для разработки стандарта кодирования видеосигналов нового поколения, который получил название Versatile Video Coding (VVC — универсальное кодирование видеосигналов) [6]. В том же месяце для демонстрации эталонной реализации стандарта VVC была создана одна эталонная кодовая база программного обеспечения, получившая название «тестовая модель VVC (VTM) [7]». В первоначальной версии VTM-1.0 большинство модулей кодирования, включая интрапрогнозирование, интерпрогнозирование, преобразование/обратное преобразование и квантование/деквантование, а также внутрипетлевые фильтры, соответствуют существующей структуре HEVC, за исключением того, что в VTM используется древовидная структура блочного разбиения множественного типа. При этом для упрощения оценки новых инструментов кодирования также была создана другая эталонная база программного обеспечения, получившая название «эталонный набор критериев (BMS) [8]. В кодовой базе BMS в качестве эталона при оценке аналогичных технологий кодирования в процессе стандартизации VVC включен наследованный из JEM [10] перечень инструментов кодирования, который обеспечивает более высокую эффективность кодирования и умеренную сложность реализации. В частности, в BMS-1.0 встроены 9 инструментов кодирования JEM, включая 65 угловых направлений внутреннего прогнозирования, кодирование модифицированных коэффициентов, расширенное множественное преобразование (AMT) + 4 × 4 неразделимое вторичное преобразование (NSST), аффинную модель движения, обобщенный адаптивный контурный фильтр (GALF), усовершенствованное временное прогнозирование вектора движения (ATMVP), адаптивную точность вектора движения, уточнение вектора движения на стороне декодера (DMVR) и режим линейной цветовой модели (LM).In July 2018, the Joint Video Experts Team (JVET) launched a new project to develop a next-generation video coding standard called Versatile Video Coding (VVC) [6]. In the same month, one software reference codebase, called the "VVC Test Model (VTM) [7]", was created to demonstrate a reference implementation of the VVC standard. In the initial version of VTM-1.0, most of the encoding modules, including intraprediction, interprediction, transform/inverse transform and quantize/dequantize, as well as intra-loop filters, follow the existing HEVC structure, except that VTM uses a multi-type block partitioning tree structure. However, to simplify the evaluation of new coding tools, another software benchmark has also been created, called the Benchmark Criteria Set (BMS) [8]. The BMS codebase includes a list of encoding tools inherited from JEM [10] as a benchmark for evaluating similar encoding technologies during the VVC standardization process, which provides higher encoding efficiency and moderate implementation complexity. Specifically, BMS-1.0 built-in 9 JEM encoding tools, including 65 angular directions of internal prediction, modified coefficient encoding, advanced multiple transform (AMT) + 4 × 4 non-separable secondary transform (NSST), affine motion model, generalized adaptive loop filter ( GALF), Advanced Temporal Motion Vector Prediction (ATMVP), Adaptive Motion Vector Accuracy, Decoder Side Motion Vector Refinement (DMVR), and Linear Color Model (LM) mode.

Аналогично HEVC, VVC построен на основе гибридной структуры кодирования видеосигналов на основе блоков. На фиг. 1 представлена блок-схема, иллюстрирующая универсальную гибридную систему кодирования видеосигналов на основе блоков. Входной видеосигнал 102 обрабатывается поблочно. В HEVC расширенные размеры блоков (называемые «единицей кодирования» или CU) используются для эффективного сжатия видеосигналов высокого разрешения (например, 1080 пкс. и более). CU в HEVC может иметь размер до 64x64 пикселей. CU может далее разбиваться на единицы прогнозирования (PU), для которых могут применяться отдельные способы прогнозирования. Как показано на фиг. 1, на которой представлена общая блок-схема кодера видеосигнала на основе блоков, для каждого входного видеоблока (который может представлять собой главный блок (MB) или CU) может выполняться пространственное прогнозирование (160) и/или временное прогнозирование (162). Пространственное прогнозирование (или «интрапрогнозирование») использует пиксели из ранее закодированных соседних блоков в одном и том же видеоизображении/фрагменте для прогнозирования текущего видеоблока. Пространственное прогнозирование уменьшает пространственную избыточность, характерную для видеосигнала. Временное прогнозирование (также называемое «интерпрогнозированием» и/или «прогнозированием с компенсацией движения») для прогнозирования текущего видеоблока использует пиксели из ранее закодированных видеоизображений. Временное прогнозирование снижает временную избыточность, характерную для видеосигнала. Сигналы временного прогнозирования для данного видеоблока обычно передаются посредством одного или более векторов движения, которые указывают величину и направление движения между текущим блоком и его эталонным блоком. Кроме того, если поддерживается множество эталонных изображений (как в случае множества последних стандартов кодирования видеосигналов, таких как H.264/AVC или HEVC), для каждого видеоблока дополнительно отправляется индекс его эталонного изображения; и эталонный индекс используется для идентификации эталонного изображения в хранилище эталонных изображений (164), на котором основывается сигнал временного прогнозирования. После пространственного и/или временного прогнозирования блок (180) принятия решения о режиме в кодере выбирает оптимальный режим прогнозирования, например на основании способа оптимизации зависимости искажений от скорости передачи. Блок прогнозирования либо из пространственного прогнозирования 160, либо из временного прогнозирования 162 затем вычитается из текущего видеоблока 116; и остаточное значение прогнозирования декоррелируется с использованием преобразования 104 и квантуется 106 для достижения целевой скорости передачи в битах. Квантованные остаточные коэффициенты обратно квантуются (110) и обратно преобразуются (112) для формирования воссозданного остатка, который затем добавляется назад к блоку прогнозирования в 126 для формирования воссозданного видеоблока. Далее внутрипетлевой фильтр (166), такой как деблочный фильтр и адаптивный петлевой фильтр, может применяться к воссозданному видеоблоку, прежде чем он будет помещен в хранилище эталонных изображений (164) и использован для кодирования будущих видеоблоков. Для формирования выходного битового видеопотока 120 режим кодирования (например, внешний или внутренний), информация о режиме прогнозирования, информация о движении и квантованные остаточные коэффициенты передают в элемент (108) энтропийного кодирования для дополнительного сжатия и упаковки для формирования битового потока.Similar to HEVC, VVC is built on a hybrid block-based video coding structure. In fig. 1 is a block diagram illustrating a general-purpose block-based hybrid video encoding system. The input video signal 102 is processed block by block. HEVC uses extended block sizes (called coding units or CUs) to efficiently compress high-resolution video signals (such as 1080 pixels or more). CU in HEVC can be up to 64x64 pixels in size. The CU may be further broken down into prediction units (PUs), for which separate prediction techniques may be applied. As shown in FIG. 1, which depicts a general block diagram of a block-based video encoder, spatial prediction (160) and/or temporal prediction (162) may be performed on each input video block (which may be a master block (MB) or CU). Spatial prediction (or "intra prediction") uses pixels from previously encoded neighboring blocks in the same video image/fragment to predict the current video block. Spatial prediction reduces the spatial redundancy inherent in a video signal. Temporal prediction (also called "inter-prediction" and/or "motion-compensated prediction") uses pixels from previously encoded video images to predict the current video block. Temporal prediction reduces the temporal redundancy inherent in a video signal. Temporal prediction signals for a given video block are typically conveyed by one or more motion vectors that indicate the amount and direction of motion between the current block and its reference block. In addition, if multiple reference pictures are supported (as is the case with many recent video encoding standards such as H.264/AVC or HEVC), for each video block an index of its reference picture is additionally sent; and the reference index is used to identify a reference image in the reference image store (164) on which the timing prediction signal is based. After spatial and/or temporal prediction, the mode decision block (180) in the encoder selects the optimal prediction mode, for example based on a method for optimizing the distortion versus bit rate relationship. A prediction block from either spatial prediction 160 or temporal prediction 162 is then subtracted from the current video block 116; and the prediction residual value is decorrelated using transform 104 and quantized 106 to achieve the target bit rate. The quantized residual coefficients are back-quantized (110) and back-transformed (112) to form a reconstructed residual, which is then added back to the prediction block at 126 to form a reconstructed video block. Next, an intra-loop filter (166), such as a deblocking filter and an adaptive loop filter, can be applied to the reconstructed video block before it is placed in a reference image store (164) and used to encode future video blocks. To generate the output video bit stream 120, the encoding mode (eg, external or internal), prediction mode information, motion information, and quantized residual coefficients are passed to an entropy encoding element (108) for further compression and packaging to generate the bit stream.

На фиг. 2 проиллюстрирована общая блок-схема видеодекодера на основе блоков. Битовый видеопоток 202 сначала распаковывают и энтропийно декодируют в элементе 208 энтропийного декодирования. Режим кодирования и информация о прогнозировании отправляются единице 260 пространственного прогнозирования (для режима интракодирования) и/или единице 262 временного прогнозирования (для режима интеркодирования) для соответствующей единицы указанного прогнозирования для формирования блока прогнозирования. Остаточные коэффициенты преобразования отправляют в элемент 210 обратного квантования и/или элемент 212 обратного преобразования для восстановления остаточного блока. Затем блок прогнозирования (из пространственного прогнозирования 260, если применяется режим внутреннего кодирования, или из временного прогнозирования 262, если применяется режим внешнего кодирования) добавляют к остаточному блоку (226). Восстановленный блок может дополнительно проходить через внутрипетлевое средство фильтрации 266 перед сохранением в хранилище 264 эталонных изображений. Восстановленное видео 220 также отправляется для приведения в действие устройства отображения в дополнение к сохранению в хранилище эталонных изображений для использования при прогнозировании будущих видеоблоков.In fig. 2 illustrates a general block diagram of a block-based video decoder. The video bit stream 202 is first decompressed and entropy decoded at an entropy decoding element 208. The encoding mode and prediction information are sent to the spatial prediction unit 260 (for the intra encoding mode) and/or the temporal prediction unit 262 (for the intercoding mode) for the corresponding unit of the specified prediction to form a prediction block. The residual transform coefficients are sent to the inverse quantization element 210 and/or the inverse transform element 212 to reconstruct the residual block. Next, a prediction block (from spatial prediction 260 if the inner coding mode is used, or from temporal prediction 262 if the outer coding mode is used) is added to the residual block (226). The reconstructed block may further be passed through an intra-loop filter 266 before being stored in reference image storage 264 . The reconstructed video 220 is also sent to drive the display device in addition to storing reference images in storage for use in predicting future video blocks.

Используемое в современных видеокодеках двунаправленное прогнозирование с компенсацией движения (MCP) известно своей высокой эффективностью при удалении временной избыточности путем использования временных корреляций между изображениями и широко применяется в большинстве современных видеокодеков [2][9][10][7]. Тем не менее, сигнал двойного прогнозирования формируется посредством комбинирования двух сигналов единичного прогнозирования с использованием значения весового коэффициента, равного 0,5. Однако объединение сигналов единичного прогнозирования является менее оптимальным, особенно в условиях, когда освещенность быстро изменяется от одного эталонного изображения к другому. Таким образом, было разработано несколько методик прогнозирования, направленных на компенсацию изменения освещенности с течением времени путем применения глобальных и локальных весовых коэффициентов и значений смещения к каждому из значений сэпла в эталонных изображениях. Некоторые из этих методик описаны ниже.Used in modern video codecs, bidirectional motion compensated prediction (MCP) is known for its high efficiency in removing temporal redundancy by exploiting temporal correlations between images and is widely used in most modern video codecs [2][9][10][7]. However, a dual prediction signal is generated by combining two single prediction signals using a weighting factor value of 0.5. However, combining single prediction signals is less optimal, especially in environments where illumination changes rapidly from one reference image to another. Thus, several prediction techniques have been developed to compensate for changes in illumination over time by applying global and local weights and bias values to each of the sample values in reference images. Some of these techniques are described below.

Аффинный режимAffine mode

В HEVC для прогнозирования с компенсацией движения применяется только трансляционная модель движения, тогда как в реальном мире существует множество видов движения, например, движение увеличение/уменьшения, вращения, перспективы и другие виды беспорядочного движения. В VTM-2.0 [7] применяют аффинное прогнозирование с компенсацией движения. Модель аффинного движения является моделью либо с 4 параметрами, либо с 6 параметрами. Для каждого CU с внешним кодированием сигнализируют первый флаг, указывающий, какая именно модель движения применяется для интерпрогнозирования, трансляционная или аффинная. При применении аффинной модели движения посылается второй флаг для указания того, является ли модель моделью с 4 параметрами или с 6 параметрами.In HEVC, only the translational motion model is used for motion-compensated prediction, whereas in the real world, there are many kinds of motion, such as zoom in/out motion, rotations, perspectives, and other types of random motion. VTM-2.0 [7] uses affine prediction with motion compensation. The affine motion model is either a 4-parameter or 6-parameter model. For each externally encoded CU, a first flag is signaled indicating which motion model is used for interprediction, translational or affine. When applying an affine motion model, a second flag is sent to indicate whether the model is a 4-parameter or 6-parameter model.

Модель аффинного движения с четырьмя параметрами движения имеет следующие параметры: два параметра описывают поступательное перемещение в горизонтальном и вертикальном направлениях, один параметр описывает движение масштабирования в обоих направлениях и один параметр описывает вращательное движение в обоих направлениях. Параметр горизонтального масштабирования равен параметру вертикального масштабирования. Параметр горизонтального вращения равен параметру вертикального вращения. Данная аффинная модель движения по четырем параметрам кодируется в VTM с использованием двух векторов движения в двух положениях контрольных точек, заданных в левом верхнем углу и правом верхнем углу текущего CU. Как показано на фиг. 3A, аффинное поле движения блока описывается двумя векторами движения контрольной точки (V₀, V₁). На основе движения контрольной точки поле (v_x, v_y) движения одного блока, закодированного с применением аффинного алгоритма, может быть описано как:The affine motion model with four motion parameters has the following parameters: two parameters describe translational motion in the horizontal and vertical directions, one parameter describes the scaling motion in both directions, and one parameter describes rotational motion in both directions. The horizontal scaling parameter is equal to the vertical scaling parameter. The horizontal rotation parameter is equal to the vertical rotation parameter. This four-parameter affine motion model is encoded in VTM using two motion vectors at two control point positions defined at the upper left corner and the upper right corner of the current CU. As shown in FIG. 3A, the affine field of block motion is described by two control point motion vectors (V ₀ , V ₁ ). Based on the motion of a reference point, the motion field (v _x , v _y ) of one block encoded using an affine algorithm can be described as:

где (v_0x, v_0y) является вектором движения контрольной точки в левом верхнем углу, а (v_1x, v_1y) является вектором движения контрольной точки в правом верхнем углу, как показано на фиг. 3A, и w является шириной CU. В VTM-2.0 поле движения CU с аффинным кодированием выводится на уровне блока 4х4; то есть (v_x, v_y) получают для каждого из блоков 4x4 в текущей CU и применяют к соответствующему блоку 4x4. На фиг. 3B проиллюстрировано выведение движения для аффинных блоков при прогнозировании аффинного движения с 4 параметрами, например, на уровне блока 4х4.where (v _0x , v _0y ) is the motion vector of the control point in the upper left corner, and (v _1x , v _1y ) is the motion vector of the control point in the upper right corner, as shown in FIG. 3A, and w is the width of the CU. In VTM-2.0, the affine-encoded CU motion field is output at the 4x4 block level; that is, (v _x , v _y ) is obtained for each of the 4x4 blocks in the current CU and applied to the corresponding 4x4 block. In fig. 3B illustrates motion inference for affine blocks when predicting affine motion with 4 parameters, for example, at the 4x4 block level.

Данные четыре параметра аффинной модели с 4 параметрами рассчитываются итерационно. На стадии k пары векторов движения (MV) обозначают как , сигнал исходной яркости как I(i,j), сигнал прогнозируемой яркости как I'_k(i,j). Пространственный градиент g_x(i,j) и g_y(i,j) получают с помощью фильтра Собеля [13], примененного к сигналу прогнозирования I'_k(i,j) в горизонтальном и вертикальном направлениях соответственно. Производное уравнения (1) можно представить следующим образом:These four parameters of the 4-parameter affine model are calculated iteratively. At stage k, pairs of motion vectors (MVs) are denoted as , the original brightness signal as I(i,j), the predicted brightness signal as I' _k (i,j). The spatial gradient g _x (i,j) and g _y (i,j) are obtained using a Sobel filter [13] applied to the prediction signal I' _k (i,j) in the horizontal and vertical directions, respectively. The derivative of equation (1) can be represented as follows:

где (a, b) — параметры дельта-вектора поступательного перемещения, а (c, d) — параметры дельта-вектора масштабирования и вращения на стадии k. Дельта-показатель MV в контрольной точке может быть выведен по его координатам с использованием ур. (3) и (4). Например, (0, 0), (w, 0) представляют собой координаты для верхних левых и верхних правых контрольных точек соответственно.where (a, b) are the translation delta vector parameters and (c, d) are the scaling and rotation delta vector parameters at stage k. The delta score of MV at a control point can be derived from its coordinates using Eq. (3) and (4). For example, (0, 0), (w, 0) represent the coordinates for the top left and top right control points, respectively.

На основании уравнения оптического потока соотношение между изменением яркости и пространственным градиентом и временными характеристиками движения можно представить следующим уравнением:Based on the optical flow equation, the relationship between the brightness change and the spatial gradient and temporal motion characteristics can be represented by the following equation:

Замещая и ур. (2), получаем уравнение для параметра (a, b, c, d).Replacing And ur. (2), we obtain an equation for the parameter (a, b, c, d).

Поскольку все сэмплы в CU удовлетворяют ур. (6), решение относительно набора параметров (a, b, c, d) может быть получено с помощью метода наименьших квадратичных ошибок. Векторы MV в двух контрольных точках на стадии (k+1) можно определить с помощью ур. (3) и (4), и они могут быть округлены до определенного уровня точности (т.е. 1/4 пикселя). Используя итерацию, MV в двух контрольных точках могут уточняться до конвергенции, когда все параметры (a, b, c, d) являются нулями или время итерации соответствует заданному пределу.Since all samples in CU satisfy Eq. (6), the solution regarding the set of parameters (a, b, c, d) can be obtained using the least square error method. MV vectors at two control points at stage (k+1) can be determined using Eq. (3) and (4), and they can be rounded to a certain level of precision (i.e. 1/4 pixel). Using iteration, the MVs at two control points can be refined until convergence occurs when all parameters (a, b, c, d) are zero or the iteration time meets a given limit.

Аффинная модель движения с 6 параметрами имеет следующие параметры: два параметра для поступательного перемещения в горизонтальном и вертикальном направлениях, один параметр для движения масштабирования и один параметр для движения вращения в горизонтальном направлении, а также один параметр для движения масштабирования и один параметр для движения вращения в вертикальном направлении. Модель аффинного движения с 6 параметрами кодируется тремя MV в трех контрольных точках. Как показано на фиг. 4, три контрольные точки для CU для аффинной кодировкой по 6 параметрам определены в верхнем левом, верхнем правом и нижнем левом углу CU. Движение в левой верхней контрольной точке связано с поступательным движением, движение в правой верхней контрольной точке связано с движением вращения и масштабирования в горизонтальном направлении, а движение в левой нижней контрольной точке связано с движением вращения и масштабирования в вертикальном направлении. Для модели аффинного движения с 6 параметрами поворотное и/или масштабирующее движение в горизонтальном направлении могут не совпадать с такими же движениями в вертикальном направлении. Вектор движения каждого подблока (v_x, v_y) выводится с использованием трех векторов MV в контрольных точках, как показано ниже:The 6-parameter affine motion model has the following parameters: two parameters for translational motion in the horizontal and vertical directions, one parameter for the scaling motion and one parameter for the rotation motion in the horizontal direction, and one parameter for the scaling motion and one parameter for the rotation motion in vertical direction. The 6-parameter affine motion model is encoded by three MVs at three control points. As shown in FIG. 4, three control points for the CU for 6-parameter affine encoding are defined in the upper left, upper right and lower left corners of the CU. Movement at the top left control point is associated with translational motion, movement at the top right control point is associated with rotation and scaling motion in the horizontal direction, and motion at the bottom left control point is associated with rotation and scaling motion in the vertical direction. For a 6-parameter affine motion model, the rotation and/or scaling motion in the horizontal direction may not be the same as the same motion in the vertical direction. The motion vector of each sub-block (v _x , v _y ) is output using three MV vectors at the control points, as shown below:

где (v_2x, v_2y) — вектор движения левой нижней контрольной точки, (x, y) — центральное положение подблока, а w и h — ширина и высота CU.where (v _2x , v _2y ) is the motion vector of the bottom left control point, (x, y) is the center position of the subblock, and w and h are the width and height of the CU.

Шесть параметров аффинной модели с 6 параметрами оценивают способом, аналогичным описанному выше применительно к аффинной модели движения с 4 параметрами. Ур. (2) изменяется следующим образом.The six parameters of the 6-parameter affine model are estimated in a manner similar to that described above for the 4-parameter affine motion model. Lv. (2) is modified as follows.

где (a, b) представляют собой дельта-параметры поступательного движения, (c, d) представляют собой дельта-параметры масштабирования и вращения для горизонтального направления, а (e, f) представляют собой дельта-параметры масштабирования и вращения для вертикального направления на шаге k. Уравнение (8) также изменяется соответствующим образом, как показано ниже в ур. (9).where (a, b) are the translational delta parameters, (c, d) are the scale and rotation delta parameters for the horizontal direction, and (e, f) are the scale and rotation delta parameters for the vertical direction in the step k. Equation (8) is also modified accordingly as shown below in Eq. (9).

Набор параметров (a, b, c, d, e, f) может быть определен с использованием метода наименьших квадратов с учетом всех сэмплов в CU. MV верхней левой контрольной точки рассчитывается по ур. (3). MV верхней правой контрольной точки рассчитывается по ур. (10) ниже. MV верхней правой контрольной точки рассчитывается по ур. 11.The set of parameters (a, b, c, d, e, f) can be determined using least squares, taking into account all samples in the CU. MV of the top left control point calculated according to eq. (3). MV of the top right control point calculated according to eq. (10) below. MV of the top right control point calculated according to eq. eleven.

Уточнение вектора движения на стороне декодера (DMVR)Decoder side motion vector refinement (DMVR)

Для повышения точности MV в режиме объединения в VTM4 [11] применяют уточнение вектора движения на стороне декодера на основе двухстороннего согласования (BM). При двойном прогнозировании выполняется поиск уточненного MV вокруг исходных MV в списке эталонных изображений L0 и списке эталонных изображений L1. В рамках способа BM вычисляется искажение между двумя потенциальными блоками в списках эталонных изображений L0 и L1. Как представлено на фиг. 9, рассчитывают сумму абсолютной разницы (SAD) между красными блоками на основе каждого потенциального элемента MV вокруг начального MV. Потенциальный элемент MV с наименьшей SAD становится уточненным MV и используется для генерирования сигнала двойного прогнозирования.To improve the MV accuracy in fusion mode, VTM4 [11] adopts decoder-side motion vector refinement based on two-way matching (BM). In dual prediction, the refined MV is searched around the original MVs in the L0 reference image list and the L1 reference image list. The BM method calculates the distortion between two candidate blocks in the reference image lists L0 and L1. As shown in FIG. 9, calculate the sum of absolute difference (SAD) between red blocks based on each potential MV element around the initial MV. The candidate MV element with the smallest SAD becomes the refined MV and is used to generate a dual prediction signal.

Уточненный MV, выведенный в рамках DMVR, используется для генерирования сэмплов интерпрогнозирования, а также используется при временном прогнозировании вектора движения для будущего кодирования изображений. При этом исходный MV используют в процессе деблокирования, а также используют при пространственном прогнозировании вектора движения для будущего кодирования CU.The refined MV output from DMVR is used to generate interprediction samples and is also used in temporal motion vector prediction for future image encoding. In this case, the original MV is used in the deblocking process, and is also used in spatial motion vector prediction for future CU encoding.

Как показано на фиг. 5, точки поиска, окружающие начальный MV и смещение MV, подчиняются правилу зеркального отображения разности MV (т.е. правилу симметрии). Другими словами, любые точки, проверенные в рамках DMVR, обозначенные парой потенциальных элементов MV (MV0, MV1), подчиняются следующим двум уравнениям:As shown in FIG. 5, the search points surrounding the initial MV and the offset MV obey the MV difference mirroring rule (i.e., the symmetry rule). In other words, any points tested within DMVR, denoted by a pair of potential elements MV (MV0, MV1), obey the following two equations:

где MV_offset представляет собой смещение уточнения между начальным MV и уточненным MV в одном из эталонных изображений. В VTM4 диапазон уточнения поиска представляет собой два целочисленных сэмпла яркости от начального MV. Для снижения сложности поиска можно применять способ быстрого поиска с механизмом досрочного завершения.where MV _offset represents the refinement offset between the initial MV and the refined MV in one of the reference images. In VTM4, the search refinement range is two integer luminance samples from the initial MV. To reduce the complexity of the search, you can use a fast search method with an early termination mechanism.

Уточнение прогнозирования с помощью оптического потока для аффинного режима (PROF)Prediction refinement using affine mode optical flow (PROF)

Для достижения более тонкой гранулярности компенсации движения [12] предлагается способ уточнения прогнозирования с компенсацией движения на основе подблоков при помощи оптического потока, называемый уточнением прогнозирования с помощью оптического потока (PROF).To achieve finer granularity of motion compensation, [12] proposes a prediction refinement method with subblock-based motion compensation using optical flow, called prediction refinement using optical flow (PROF).

После выполнения аффинной компенсации движения на основе подблоков сэмпл прогнозирования яркости уточняется путем добавления разности, полученной с помощью уравнения оптического потока. Предлагаемое PROF описано на следующих четырех стадиях.After performing subblock-based affine motion compensation, the luminance prediction sample is refined by adding the difference obtained by the optical flow equation. The proposed PROF is described in the following four stages.

Стадия 1: Аффинная компенсация движения на основе подблоков выполняется для генерирования прогнозирования подблоков I(I,j).Stage 1: Sub-block-based affine motion compensation is performed to generate sub-block prediction I(I,j).

Стадия 2: Пространственные градиенты g_x(i,j) и g_y(i,j) прогнозирования подблоков рассчитываются в местоположении каждого сэмпла с использованием 3-отводного фильтра [-1, 0, 1]. Stage 2: The spatial gradients g _x (i,j) and g _y (i,j) of the sub-block prediction are calculated at the location of each sample using a 3-tap filter [-1, 0, 1].

g_x(i,j) = I(i + 1,j) – I(i – 1,j)g _x (i,j) = I(i + 1,j) – I(i – 1,j)

g_y(i,j) = I(i,j + 1) – I(i,j – 1)g _y (i,j) = I(i,j + 1) – I(i,j – 1)

Параметры прогнозирования подблоков расширяются на один пиксель с каждой стороны для расчета градиента. Для уменьшения полосы пропускания запоминающего устройства и сложности работы пиксели на расширенных границах копируются из ближайшего целочисленного положения пикселя на эталонном изображении. Таким образом, предотвращается дополнительная интерполяция области заполнения.The subblock prediction parameters are expanded by one pixel on each side to calculate the gradient. To reduce storage bandwidth and operational complexity, pixels on extended boundaries are copied from the nearest integer pixel position in the reference image. This prevents additional interpolation of the fill area.

Стадия 3: Уточнение прогнозирования яркости вычисляют по уравнению оптического потока. Stage 3: The brightness prediction refinement is calculated using the optical flow equation.

где представляет собой разность между MV пикселя, вычисленным для положения пикселя сэмпла, обозначенного как , и MV подблока, к которому принадлежит пиксель, в горизонтальном направлении, а представляет собой разность между MV пикселя, вычисленным для положения пикселя сэмпла, обозначенного как , и MV подблока, к которому принадлежит пиксель, в вертикальном направлении.Where represents the difference between the MV of a pixel calculated for the position sample pixel, designated as , and MV of the subblock to which the pixel belongs in the horizontal direction, and represents the difference between the MV of a pixel calculated for the position sample pixel, designated as , and the MV of the subblock to which the pixel belongs, in the vertical direction.

На фиг. 6 показано, как MV каждого отдельного пикселя может отличаться от MV подблока.In fig. Figure 6 shows how the MV of each individual pixel can differ from the MV of a subblock.

Поскольку параметры аффинной модели и местоположение пикселя относительно центра подблока не изменяются от подблока к подблоку, может рассчитываться для первого подблока и повторно использоваться для других подблоков в рамках одной CU. Пусть x и y представляют собой горизонтальное и вертикальное смещение от положения пикселя до центра подблока, а значение может быть выведено с помощью следующего уравнения,Since the parameters of the affine model and the location of the pixel relative to the center of the subblock do not change from subblock to subblock, can be calculated for the first subblock and reused for other subblocks within the same CU. Let x and y represent the horizontal and vertical offset from the pixel position to the center of the sub-block, and the value can be derived using the following equation,

Для аффинной модели с 4 параметрами,For an affine model with 4 parameters,

Для аффинной модели с 6 параметрами,For an affine model with 6 parameters,

где , , представляют собой векторы движения верхней левой, верхней правой и нижней левой контрольных точек, а w и h представляют собой ширину и высоту CU.Where , , represent the motion vectors of the top left, top right, and bottom left control points, and w and h represent the width and height of the CU.

Стадия 4: Наконец, уточнение прогнозирования яркости добавляется к прогнозированию подблоков . Окончательное прогнозирование I’ генерируется с использованием следующего уравнения.Stage 4: Finally, brightness prediction refinement is added to sub-block prediction . The final prediction I' is generated using the following equation.

Уточнение прогнозирования с помощью оптического потока на основе вектора движенияRefining Prediction Using Motion Vector Based Optical Flow

Далее приводится способ улучшения прогнозирования с компенсацией движения на уровне подблоков на основе уточнения вектора движения. После получения уточненного вектора движения (RMV) в рамках DMVR и выполнения компенсации движения на основе подблоков в соответствии с RMV пиксельная интенсивность уточняется путем добавления значения разности, полученного по уравнению оптического потока (ур. (13)), что в настоящем документе называется уточнением прогнозирования с помощью оптического потока на основе вектора движения (MVRPROF). Метод MVRPROF позволяет достигать гранулярности на уровне пикселей без значительного увеличения сложности, а также поддерживает сопоставимость наиболее неблагоприятной полосы пропускания доступа к памяти с обычной компенсацией движения на уровне подблоков на основе DMVR.The following is a method for improving motion-compensated prediction at the sub-block level based on motion vector refinement. After obtaining the refined motion vector (RMV) within the DMVR and performing sub-block-based motion compensation according to the RMV, the pixel intensity is refined by adding the difference value obtained from the optical flow equation (Eq. (13)), which is herein referred to as prediction refinement using Motion Vector Optical Flow (MVRPROF). The MVRPROF method achieves pixel-level granularity without significantly increasing complexity, and also keeps worst-case memory access bandwidth comparable to conventional DMVR-based subblock-level motion compensation.

В настоящем изобретении предлагается метод MVPROF для улучшения гранулярности прогнозирования с компенсацией движения на уровне подблоков на основе DMVR путем изменения параметров пиксельной интенсивности, полученных из уравнения оптического потока. Этот способ требует только одного сеанса компенсации движения на подблок, характеристики которого совпадают с характеристиками существующей аффинной компенсации движения в VVC. В соответствии с примером осуществления на первой стадии уточненный вектор движения для каждого подблока в CU выводится посредством выполнения процесса DMVR, как описано в разделе 1.2 выше. За этим может следовать компенсация движения на основе подблоков для генерирования прогнозирования на основе подблоков, как описано в разделе 0 выше.The present invention proposes an MVPROF method to improve the granularity of sub-block-level motion-compensated prediction based on DMVR by changing the pixel intensity parameters obtained from the optical flow equation. This method requires only one motion compensation session per sub-block, the characteristics of which are the same as those of existing affine motion compensation in VVC. According to an exemplary embodiment, in the first stage, the refined motion vector for each sub-block in the CU is output by executing the DMVR process as described in Section 1.2 above. This may be followed by sub-block based motion compensation to generate sub-block based predictions as described in Section 0 above.

На второй стадии пространственные градиенты и прогнозирования подблоков рассчитываются в местоположении каждого сэмпла в соответствии с процессом, описанным в разделе 0.At the second stage, spatial gradients And Subblock predictions are calculated at each sample location according to the process described in Section 0.

На третьей стадии вычисляется смещение вектора движения в местоположении каждого сэмпла посредством выполнения процесса, описанного ниже:At the third stage, the displacement of the motion vector is calculated at each sample location by performing the process described below:

Как показано на фиг. 7, в рамках текущей CU доступно множество смещений вектора движения. Для каждого подблока (например, текущего подблока на фиг. 7) в CU (кроме подблоков, расположенных на левой и/или верхней границах текущей CU) существуют три соседних подблока, для которых после DMVR доступно значение смещения MV. С учетом 4 смещений MV для 4 подблоков соответственно, как показано на фиг. 7, движение каждого подблока может быть представлено моделью движения с 6 параметрами, как показано ниже:As shown in FIG. 7, there are many motion vector offsets available within the current CU. For each sub-block (eg, the current sub-block in FIG. 7) in the CU (except for sub-blocks located at the left and/or upper boundaries of the current CU), there are three adjacent sub-blocks for which an MV offset value is available after the DMVR. Considering 4 MV offsets for 4 sub-blocks respectively, as shown in FIG. 7, the motion of each sub-block can be represented by a 6-parameter motion model, as shown below:

где и представляют собой горизонтальную и вертикальную составляющие одного смещения MV, а и представляют собой координаты X и Y местоположения центра соответствующего подблока. На основе известных смещений MV и местоположения центра каждого из четырех смежных подблоков (т.е. текущего подблока и трех вышеупомянутых соседних подблоков) параметры , , , , и могут быть рассчитаны с помощью линейного регрессионного моделирования по ур. (15) для всех четырех подблоков (8 уравнений в полных дифференциалах).Where And represent the horizontal and vertical components of one displacement MV, and And represent the X and Y coordinates of the location of the center of the corresponding subblock. Based on the known MV offsets and the center location of each of the four adjacent sub-blocks (i.e. the current sub-block and the aforementioned three adjacent sub-blocks), the parameters , , , , And can be calculated using linear regression modeling according to Eq. (15) for all four subblocks (8 equations in total differentials).

В одном варианте осуществления смещения MV и местоположения центра трех соседних подблоков могут использоваться для вычисления 6 параметров, тогда как четвертый (текущий) подблок может использоваться для оценки ошибки моделирования. В варианте осуществления, если ошибка моделирования больше предварительно заданного порогового значения, MVPROF может не применяться к текущему подблоку (т.е. четвертому подблоку).In one embodiment, the MV offsets and center locations of three adjacent sub-blocks can be used to calculate 6 parameters, while the fourth (current) sub-block can be used to estimate the modeling error. In an embodiment, if the modeling error is greater than a predetermined threshold, the MVPROF may not be applied to the current sub-block (ie, the fourth sub-block).

В другом варианте осуществления все четыре подблока могут быть использованы для вычисления 6 параметров.In another embodiment, all four sub-blocks can be used to calculate 6 parameters.

Учитывая аффинную модель движения, определенную в ур. (15) и параметры модели, вычисленные, как описано выше, смещение вектора движения в каждом местоположении сэмпла, принадлежащем одному подблоку, может рассчитываться следующим образом:Given the affine motion model defined in Eq. (15) and model parameters calculated as described above, motion vector displacement at each sample location belonging to one subblock can be calculated as follows:

где i и представляют собой координаты X и Y каждого сэмпла/пикселя соответственно.where i and represent the X and Y coordinates of each sample/pixel, respectively.

В некоторых случаях аффинная модель с 4 параметрами может аппроксимировать движение лучше, чем аффинная модель с 6 параметрами. Таким образом, аффинная модель с 4 параметрами может быть получена только с использованием смещений MV из двух подблоков (например, любых двух из четырех доступных смещений MV на фиг. 7) и других оставшихся смещений для целей проверки/оценки, если доступны другие смещения. В аффинной модели с 4 параметрами:In some cases, a 4-parameter affine model can approximate motion better than a 6-parameter affine model. Thus, a 4-parameter affine model can be obtained using only the MV offsets from two sub-blocks (e.g., any two of the four available MV offsets in Fig. 7) and the other remaining offsets for verification/evaluation purposes if other offsets are available. In an affine model with 4 parameters:

Для некоторых подблоков, например, расположенных на левой границе или верхней границе текущей CU, где может находиться только один соседний подблок, аффинная модель с 4 параметрами, как определено выше, может использоваться для выведения смещения вектора движения в местоположении каждого сэмпла.For some sub-blocks, such as those located at the left boundary or top boundary of the current CU, where only one neighboring sub-block can be located, a 4-parameter affine model as defined above can be used to infer the motion vector offset at each sample location.

На четвертой стадии изменение интенсивности яркости на пиксель в подблоке n CU рассчитывается по уравнению оптического потока:In the fourth stage, the change in luminance intensity per pixel in the n CU subblock is calculated using the optical flow equation:

где и представляют собой смещение MV и пространственный градиент соответственно в каждом местоположении сэмпла , которые уже были рассчитаны на предыдущих стадиях.Where And represent the MV displacement and spatial gradient respectively at each sample location , which have already been calculated at previous stages.

Наконец, прогнозирование для каждого списка эталонных изображений может быть уточнено путем добавления значения изменения интенсивности яркости. Окончательное прогнозирование I’ генерируется с использованием следующего уравнения.Finally, the prediction for each reference image list can be refined by adding a luminance intensity change value. The final prediction I' is generated using the following equation.

Возможны многие варианты осуществления предлагаемого метода MVRPROF, в том числе следующие.Many implementations of the proposed MVRPROF method are possible, including the following.

В одном альтернативном варианте осуществления при получении параметров модели , , , , и в соответствии с ур. (15) , рассматриваемые смещения MV могут не ограничиваться только четырьмя подблоками, показанными на фиг. 7, где рассматриваются только верхний левый, левый и верхний соседние подблоки. Также может рассматриваться большее количество потенциальных соседних подблоков, расположенных недалеко от текущего подблока. Например, MVPROF может использовать все смещения MV подблока для выведения одной аффинной модели движения для CU, а затем применять аффинную модель для выведения смещения MV на основе сэмплов для каждого сэмпла.In one alternative embodiment, when obtaining model parameters , , , , And in accordance with Eq. (15) , the MV displacements considered may not be limited to only the four sub-blocks shown in FIG. 7, where only the top left, left, and top adjacent subblocks are considered. A larger number of potential neighboring subblocks located close to the current subblock can also be considered. For example, MVPROF can use all the MV offsets of a subblock to infer one affine motion model for a CU, and then use the affine model to infer a sample-based MV offset for each sample.

С другой стороны, при получении параметров модели в соответствии с ур. (15) и оценке ошибок моделирования для оценки точности моделирования может быть установлен конфигурируемый или адаптивный порог ошибок. В рамках одного примера может оцениваться множество моделей, в том числе модели с 6 параметрами и 4 параметрами, и модель с самыми низкими ошибками L1 или L2 может быть выбрана для выведения Δv(i,j) в каждом местоположении сэмпла, где L1 представляет собой взвешенную сумму абсолютной разности (SAD), а L2 представляет собой взвешенную сумму квадратной разности (SSD).On the other hand, when obtaining the model parameters according to Eq. (15) and estimation of simulation errors, a configurable or adaptive error threshold can be set to evaluate the accuracy of the simulation. Multiple models can be evaluated within a single sample, including 6-parameter and 4-parameter models, and the model with the lowest L1 or L2 errors can be selected to derive Δv(i,j) at each sample location, where L1 is the weighted the sum of absolute difference (SAD), and L2 is the weighted sum of square difference (SSD).

В одном примере осуществления при оценке ошибок моделирования может учитываться взвешенная разность L1 или L2 (например, смещения MV разных соседних подблоков могут иметь различные весовые коэффициенты).In one embodiment, the weighted difference of L1 or L2 may be taken into account when estimating modeling errors (eg, the MV offsets of different neighboring subblocks may have different weights).

В другом примере осуществления, если для выведения модели движения используют только четыре смещения MV, ошибка моделирования может оцениваться перед выведением модели для снижения вычислительной сложности (поскольку оценка модели движения может пропускаться при большом размере значения ошибки моделирования). Например, сначала может быть вычислена сумма двух смещений MV в двух диагональных направлениях, а разность двух сумм может быть использована для расчета ошибки моделирования. Например, на фиг. 7 может быть вычислена сумма MV_off(x-1, y-1) и MV_off(x, y) и сумма MV_off(x, y-1) и MV_off(x-1, y) соответственно. Разницу между этими двумя суммами можно использовать для представления ошибки моделирования.In another embodiment, if only four MV offsets are used to derive a motion model, the modeling error may be estimated before deriving the model to reduce computational complexity (since motion model estimation may be skipped when the size of the simulation error value is large). For example, the sum of two MV displacements in two diagonal directions can first be calculated, and the difference of the two sums can be used to calculate the simulation error. For example, in FIG. 7, the sum of MV _off (x-1, y-1) and MV _off (x, y) and the sum of MV _off (x, y-1) and MV _off (x-1, y) can be calculated, respectively. The difference between these two sums can be used to represent the modeling error.

В еще одном примере осуществления, когда для вычисления параметров модели используют множество соседних смещений MV, коэффициент пропорциональности подблока может быть равным значению текущего подблока. В альтернативном варианте могут использоваться различные коэффициенты пропорциональности.In yet another embodiment, when a plurality of neighboring MV offsets are used to calculate model parameters, the sub-block's proportionality coefficient may be equal to the value of the current sub-block. Alternatively, different proportionality factors may be used.

В дополнительном варианте, когда для вычисления параметров модели используют множество смещений соседнего MV, размеры соседних подблоков могут быть равными размерам текущего подблока. В альтернативном варианте осуществления могут использоваться соседние подблоки разных размеров.In an additional embodiment, when a plurality of neighboring MV offsets are used to calculate model parameters, the sizes of the neighboring subblocks may be equal to the sizes of the current subblock. In an alternative embodiment, adjacent subblocks of different sizes may be used.

Кроме того, в примерах осуществления, описанных выше в настоящем документе, MVPPROF работает таким образом, что каждый подблок в текущей CU независимо выводит параметры модели, и сэмплы в одном подблоке имеют одинаковые параметры модели, но сэмплы из разных подблоков в текущей CU могут не иметь общих параметров модели. Однако в другом варианте осуществления параметры модели могут быть выведены только один раз, а все сэмплы в текущей CU имеют общие параметры.Additionally, in the embodiments described above herein, MVPPROF operates such that each sub-block in the current CU independently outputs model parameters, and samples in the same sub-block have the same model parameters, but samples from different sub-blocks in the current CU may not have general parameters of the model. However, in another embodiment, the model parameters can be output only once, and all samples in the current CU have common parameters.

Кроме того, в одном варианте ур. (19), разность интенсивностей, полученная из ур. (18), может умножаться на весовой коэффициент w перед его добавлением к прогнозированию, как показано в приведенном ниже уравнении:In addition, in one version of Eq. (19), the intensity difference obtained from Eq. (18), can be multiplied by the weighting factor w before adding it to the prediction, as shown in the equation below:

где w установлено равным значению от 0 до 1 включительно. Значение w может быть передано на уровне CU или уровне изображения. Например, w может быть сигнализировано индексом весового коэффициента.where w is set to a value between 0 and 1 inclusive. The value of w can be passed at the CU level or the image level. For example, w may be signaled by a weighting index.

Метод MVRPROF можно использовать после объединения прогнозирования L0 и прогнозирования L1 на основе DMVR с весовыми коэффициентами. В альтернативном варианте осуществления метод MVRPROF может применяться к одному прогнозированию, например, к L0 или L1. Например, в одном варианте осуществления метод MVRPROF может применяться к одному прогнозированию (L0 или L1), которое ближе к текущему изображению во временной области.The MVRPROF method can be used after combining L0 prediction and L1 prediction based on DMVR with weights. In an alternative embodiment, the MVRPROF method can be applied to a single prediction, for example L0 or L1. For example, in one embodiment, the MVRPROF method may be applied to one prediction (L0 or L1) that is closer to the current time domain image.

Примеры сетей для реализации вариантов осуществленияExample networks for implementing embodiments

На фиг. 8A представлена схема, иллюстрирующая пример системы 100 связи, в которой могут быть реализованы один или более описанных вариантов осуществления. Система 100 связи может представлять собой систему множественного доступа, от которой множество пользователей беспроводной связи получают содержимое, такое как голосовая информация, данные, видео, обмен сообщениями, широковещание и т.п. Система 100 связи может быть выполнена с возможностью предоставления множеству пользователей беспроводной связи доступа к такому содержимому посредством совместного использования системных ресурсов, включая ширину полосы пропускания беспроводного соединения. Например, в системах 100 связи может быть использован один или более способов доступа к каналу, таких как множественный доступ с кодовым разделением каналов (CDMA), множественный доступ с временным разделением каналов (TDMA), множественный доступ с частотным разделением каналов (FDMA), множественный доступ с ортогональным частотным разделением каналов (OFDMA), FDMA с одной несущей (SC-FDMA), расширенное OFDM с безызбыточным расширенным дискретным преобразованием Фурье (DFT) с синхропакетом (ZT UW DTS-s OFDM), OFDM с синхропакетом (UW-OFDM), OFDM с фильтрацией ресурсного блока, блок фильтров с несколькими несущими (FBMC) и т.п.In fig. 8A is a diagram illustrating an example of a communications system 100 in which one or more of the described embodiments may be implemented. The communication system 100 may be a multiple access system from which a plurality of wireless communication users receive content such as voice, data, video, messaging, broadcast, and the like. The communications system 100 may be configured to provide multiple wireless users with access to such content by sharing system resources, including wireless bandwidth. For example, communication systems 100 may use one or more channel access techniques, such as code division multiple access (CDMA), time division multiple access (TDMA), frequency division multiple access (FDMA), Orthogonal Frequency Division Access (OFDMA), Single Carrier FDMA (SC-FDMA), Extended OFDM with Unredundant Extended Discrete Fourier Transform (DFT) with Burst Sync (ZT UW DTS-s OFDM), OFDM with Burst Sync (UW-OFDM) , OFDM with resource block filtering, filter block multi-carrier (FBMC), etc.

Как показано на фиг. 8A, система 100 связи может включать в себя модули 102a, 102b, 102c, 102d беспроводной передачи/приема (WTRU), RAN 104/113, CN 106/115, коммутируемую телефонную сеть 108 общего пользования (PSTN), сеть Интернет 110 и другие сети 112, хотя следует понимать, что в описанных вариантах осуществления предполагается возможность применения любого количества WTRU, базовых станций, сетей и/или элементов сети. Каждый из WTRU 102a, 102b, 102c, 102d может представлять собой устройство любого типа, выполненное с возможностью функционирования и/или взаимодействия в среде беспроводной связи. Например, WTRU 102a, 102b, 102c, 102d, любой из которых может называться станцией и/или STA, могут быть выполнены с возможностью передачи и/или приема радиосигналов и могут включать в себя оборудование пользователя (UE), мобильную станцию, стационарный или мобильный абонентский модуль, абонентский модуль, пейджер, сотовый телефон, карманный персональный компьютер (PDA), смартфон, ноутбук, нетбук, персональный компьютер, беспроводной датчик, точку доступа или устройство Mi-Fi, устройство Интернета физических объектов (IoT), часы или другие носимые устройства, наголовный дисплей (HMD), транспортное средство, беспилотный радиоуправляемый летательный аппарат, медицинское устройство и приложения (например, применяемые в дистанционной хирургии), промышленное устройство и приложения (например, робот и/или другие беспроводные устройства, работающие в условиях промышленной и/или автоматизированной технологической цепочки), устройство, относящееся к бытовой электронике, устройство, работающее в коммерческой и/или промышленной беспроводной сети, и т.п. Любой из WTRU 102a, 102b, 102c и 102d можно взаимозаменяемо называть UE.As shown in FIG. 8A, communications system 100 may include wireless transmit/receive units (WTRUs) 102a, 102b, 102c, 102d, RAN 104/113, CN 106/115, public switched telephone network (PSTN) 108, Internet network 110, and others. network 112, although it should be understood that the described embodiments contemplate the possibility of employing any number of WTRUs, base stations, networks, and/or network elements. Each of the WTRUs 102a, 102b, 102c, 102d may be any type of device configured to operate and/or interact in a wireless communication environment. For example, WTRUs 102a, 102b, 102c, 102d, any of which may be referred to as a station and/or STA, may be configured to transmit and/or receive radio signals and may include a user equipment (UE), a mobile station, fixed or mobile subscriber module, subscriber module, pager, cell phone, personal digital assistant (PDA), smartphone, laptop, netbook, personal computer, wireless sensor, Mi-Fi hotspot or device, Internet of Physical Objects (IoT) device, watch or other wearable devices, head-mounted display (HMD), vehicle, radio-controlled unmanned aerial vehicle, medical device and applications (for example, those used in remote surgery), industrial device and applications (for example, robot and/or other wireless devices operating in industrial and/or or automated process chain), a device related to consumer electronics, a device operating in a commercial and/or industrial wireless network, etc. Any of the WTRUs 102a, 102b, 102c, and 102d may be interchangeably referred to as a UE.

Система 100 связи может также включать в себя базовую станцию 114a и/или базовую станцию 114b. Каждая из базовых станций 114a, 114b может представлять собой устройство любого типа, выполненное с возможностью беспроводного взаимодействия с по меньшей мере одним из WTRU 102a, 102b, 102c, 102d для облегчения доступа к одной или более сетям связи, таким как CN 106/115, сеть Интернет 110 и/или другие сети 112. В качестве примера базовые станции 114a, 114b могут представлять собой базовые приемопередающие станции (BTS), станции Node-B, станции eNode B, станции Home Node B, станции Home eNode B, базовую станцию следующего поколения (gNB), NodeB на основании NR, контроллер пункта связи, точку доступа (AP), беспроводной маршрутизатор и т.п. Хотя каждая из базовых станций 114a, 114b показана как отдельный элемент, следует понимать, что базовые станции 114a, 114b могут включать в себя любое количество взаимно соединенных базовых станций и/или сетевых элементов.The communication system 100 may also include a base station 114a and/or a base station 114b. Each of the base stations 114a, 114b may be any type of device configured to wirelessly interact with at least one of the WTRUs 102a, 102b, 102c, 102d to facilitate access to one or more communications networks, such as CN 106/115, Internet network 110 and/or other networks 112. As an example, base stations 114a, 114b may be base transceiver stations (BTS), Node-B station, eNode B station, Home Node B station, Home eNode B station, base station of the following generation (gNB), NR-based NodeB, point controller, access point (AP), wireless router, etc. Although each of the base stations 114a, 114b is shown as a separate element, it should be understood that the base stations 114a, 114b may include any number of interconnected base stations and/or network elements.

Базовая станция 114a может быть частью RAN 104/113, которая может также включать в себя другие базовые станции и/или элементы сети (не показаны), такие как контроллер базовой станции (BSC), контроллер радиосети (RNC), ретрансляционные узлы и т.п. Базовая станция 114a и/или базовая станция 114b могут быть выполнены с возможностью передачи и/или приема радиосигналов на одной или более несущих частотах, которые могут называться сотой (не показана). Эти частоты могут относиться к лицензированному спектру, нелицензированному спектру или к сочетанию лицензированного и нелицензированного спектров. Сота может обеспечивать покрытие для беспроводного сервиса в конкретной географической зоне, которая может быть относительно фиксированной или которая может изменяться со временем. Сота может быть дополнительно разделена на сектора соты. Например, сота, связанная с базовой станцией 114a, может быть разделена на три сектора. Таким образом, в одном варианте осуществления базовая станция 114a может включать в себя три приемопередатчика, т.е. по одному для каждого сектора соты. В варианте осуществления в базовой станции 114a может быть использована технология «множественный вход — множественный выход» (MIMO) и может быть задействовано множество приемопередатчиков для каждого сектора соты. Например, для передачи и/или приема сигналов в требуемых пространственных направлениях можно использовать формирование лучей.Base station 114a may be part of RAN 104/113, which may also include other base stations and/or network elements (not shown), such as a base station controller (BSC), a radio network controller (RNC), relay nodes, etc. P. Base station 114a and/or base station 114b may be configured to transmit and/or receive radio signals on one or more carrier frequencies, which may be referred to as a cell (not shown). These frequencies may be in licensed spectrum, unlicensed spectrum, or a combination of licensed and unlicensed spectrum. A cell may provide coverage for wireless service in a specific geographic area, which may be relatively fixed or which may change over time. The cell may be further divided into cell sectors. For example, the cell associated with base station 114a may be divided into three sectors. Thus, in one embodiment, base station 114a may include three transceivers, i.e. one for each cell sector. In an embodiment, base station 114a may utilize multiple input multiple output (MIMO) technology and may employ multiple transceivers for each cell sector. For example, beamforming can be used to transmit and/or receive signals in desired spatial directions.

Базовые станции 114a, 114b могут обмениваться данными с одним или более из WTRU 102a, 102b, 102c, 102d посредством радиоинтерфейса 116, который может представлять собой любую подходящую систему беспроводной связи (например, для передачи сигналов в радиочастотном (РЧ), микроволновом спектре, спектре сантиметровых волн, спектре микрометровых волн, инфракрасном (ИК), ультрафиолетовом (УФ) спектре, спектре видимого света и т.д.). Радиоинтерфейс 116 может быть установлен с использованием любой подходящей технологии радиодоступа (RAT).Base stations 114a, 114b may communicate with one or more of the WTRUs 102a, 102b, 102c, 102d via radio interface 116, which may be any suitable wireless communication system (e.g., for transmitting signals in the radio frequency (RF), microwave, spectrum centimeter waves, micrometer wave spectrum, infrared (IR), ultraviolet (UV) spectrum, visible light spectrum, etc.). Air interface 116 may be established using any suitable radio access technology (RAT).

Более конкретно, как указано выше, система 100 связи может представлять собой систему множественного доступа, и в ней можно использовать одну или более схем доступа к каналу, например CDMA, TDMA, FDMA, OFDMA, SC-FDMA и т.п. Например, в базовой станции 114a в RAN 104/113 и WTRU 102a, 102b, 102c может быть реализована технология радиосвязи, такая как универсальный наземный доступ (UTRA) для универсальной системы мобильной связи (UMTS), в которой может быть установлен радиоинтерфейс 115/116/117 с использованием широкополосного CDMA (WCDMA). WCDMA может включать в себя протоколы связи, такие как высокоскоростной пакетный доступ (HSPA) и/или усовершенствованный HSPA (HSPA+). Протокол HSPA может включать в себя высокоскоростной пакетный доступ по нисходящей (DL) линии связи (HSDPA) и/или высокоскоростной пакетный доступ по восходящей (UL) линии связи (HSUPA).More specifically, as stated above, the communication system 100 may be a multiple access system, and one or more channel access schemes, such as CDMA, TDMA, FDMA, OFDMA, SC-FDMA, and the like, may be used. For example, base station 114a in RAN 104/113 and WTRUs 102a, 102b, 102c may implement a radio technology such as Universal Terrestrial Access (UTRA) for Universal Mobile Telecommunications System (UMTS), in which radio interface 115/116 may be installed /117 using Wideband CDMA (WCDMA). WCDMA may include communication protocols such as High Speed Packet Access (HSPA) and/or enhanced HSPA (HSPA+). The HSPA protocol may include High Speed Downlink (DL) Packet Access (HSDPA) and/or High Speed Uplink (UL) Packet Access (HSUPA).

В варианте осуществления в базовой станции 114a и WTRU 102a, 102b, 102c может быть реализована такая технология радиосвязи, как усовершенствованная сеть наземного радиодоступа UMTS (E-UTRA), которая может устанавливать радиоинтерфейс 116 с использованием стандарта долгосрочного развития сетей связи (LTE), и/или LTE-Advanced (LTE-A), и/или LTE-Advanced Pro (LTE-A Pro).In an embodiment, base station 114a and WTRU 102a, 102b, 102c may implement a radio technology such as an enhanced UMTS Terrestrial Radio Access (E-UTRA) network that may establish air interface 116 using the Long Term Evolution (LTE) standard, and /or LTE-Advanced (LTE-A), and/or LTE-Advanced Pro (LTE-A Pro).

В варианте осуществления базовая станция 114a и WTRU 102a, 102b, 102c могут реализовывать такую технологию радиосвязи, как новая технология радиодоступа (NR Radio Access), которая может устанавливать радиоинтерфейс 116 с использованием технологии New Radio (NR).In an embodiment, base station 114a and WTRU 102a, 102b, 102c may implement a radio technology such as NR Radio Access, which may establish radio interface 116 using New Radio (NR) technology.

В варианте осуществления в базовой станции 114a и WTRU 102a, 102b, 102c может быть реализовано множество технологий радиодоступа. Например, в совокупности в базовой станции 114a и WTRU 102a, 102b, 102c могут быть реализованы технологии радиодоступа LTE и NR, например, с использованием принципов двойного подключения (DC). Таким образом, радиоинтерфейс, используемый WTRU 102a, 102b, 102c, может характеризоваться использованием множества типов технологий радиодоступа и/или передачами, отправляемыми на базовые станции/с базовых станций, множества типов (например, eNB и gNB).In an embodiment, a variety of radio access technologies may be implemented in base station 114a and WTRU 102a, 102b, 102c. For example, together, base station 114a and WTRU 102a, 102b, 102c may implement LTE and NR radio access technologies, for example, using dual connectivity (DC) principles. Thus, the air interface used by the WTRU 102a, 102b, 102c may be characterized by the use of multiple types of radio access technologies and/or transmissions sent to/from base stations of multiple types (eg, eNB and gNB).

В других вариантах осуществления в базовой станции 114a и WTRU 102a, 102b, 102c могут быть реализованы технологии радиосвязи, такие как IEEE 802.11 (т.е. WiFi), IEEE 802.16 (т.е. технология широкополосного доступа в микроволновом диапазоне (WiMAX)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, временный стандарт 2000 (IS-2000), временный стандарт 95 (IS-95), временный стандарт 856 (IS-856), глобальная система мобильной связи (GSM), развитие стандарта GSM с увеличенной скоростью передачи данных (EDGE), GSM EDGE (GERAN) и т.п.In other embodiments, base station 114a and WTRU 102a, 102b, 102c may implement radio technologies such as IEEE 802.11 (i.e., WiFi), IEEE 802.16 (i.e., microwave broadband access (WiMAX) technology) , CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, Interim Standard 2000 (IS-2000), Interim Standard 95 (IS-95), Interim Standard 856 (IS-856), Global System for Mobile Communications (GSM), evolution of the GSM standard with increased data transfer rate (EDGE), GSM EDGE (GERAN), etc.

Базовая станция 114b, показанная на ФИГ. 8A, может представлять собой, например, беспроводной маршрутизатор, станцию Home Node B, станцию Home eNode B или точку доступа, и в ней может быть использована любая подходящая RAT для облегчения обеспечения беспроводной связи в локализованной зоне, такой как коммерческое предприятие, жилое помещение, транспортное средство, учебное заведение, промышленный объект, воздушный коридор (например, для использования беспилотными радиоуправляемыми летательными аппаратами), проезжая часть и т.п. В одном варианте осуществления в базовой станции 114b и WTRU 102c, 102d может быть реализована технология радиосвязи, такая как IEEE 802.11, для создания беспроводной локальной сети (WLAN). В варианте осуществления в базовой станции 114b и WTRU 102c, 102d может быть реализована технология радиосвязи, такая как IEEE 802.15, для создания беспроводной персональной сети (WPAN). В еще одном варианте осуществления в базовой станции 114b и WTRU 102c, 102d можно использовать RAT на основе сот (например, WCDMA, CDMA2000, GSM, LTE, LTE-A, LTE-A Pro, NR и т.п.) для создания пикосоты или фемтосоты. Как показано на фиг. 8A, базовая станция 114b может иметь прямое соединение с сетью Интернет 110. Таким образом, для базовой станции 114b может не требоваться доступа к сети Интернет 110 посредством CN 106/115.Base station 114b shown in FIG. 8A may be, for example, a wireless router, a Home Node B, a Home eNode B, or an access point, and may use any suitable RAT to facilitate wireless communications in a localized area, such as a business, a residence, vehicle, educational institution, industrial facility, air corridor (for example, for use by unmanned radio-controlled aerial vehicles), roadway, etc. In one embodiment, base station 114b and WTRU 102c, 102d may implement radio technology such as IEEE 802.11 to create a wireless local area network (WLAN). In an embodiment, base station 114b and WTRU 102c, 102d may implement radio technology such as IEEE 802.15 to create a wireless personal area network (WPAN). In yet another embodiment, the base station 114b and WTRU 102c, 102d may use cell-based RATs (e.g., WCDMA, CDMA2000, GSM, LTE, LTE-A, LTE-A Pro, NR, etc.) to create a picocell or femtocells. As shown in FIG. 8A, base station 114b may have a direct connection to Internet 110. Thus, base station 114b may not need to access Internet 110 via CN 106/115.

RAN 104/113 может обмениваться данными с CN 106/115, которая может представлять собой сеть любого типа, выполненную с возможностью предоставления услуг передачи голосовой информации, данных, приложений и/или голосовой связи по протоколу (VoIP) сети Интернет одному или более из WTRU 102a, 102b, 102c, 102d. К данным могут предъявляться различные требования по качеству обслуживания (QoS), например различные требования по производительности, требования к задержке, требования к отказоустойчивости, требования к надежности, требования к скорости передачи данных, требования к мобильности и т.п. Сеть CN 106/115 может предоставлять управление вызовами, услуги биллинга, услуги мобильной связи на основании местоположения, предварительно оплаченные вызовы, возможность связи с сетью Интернет, распределение видеосигналов и т.п. и/или выполнять функции высокоуровневой защиты, такие как аутентификация пользователей. Хотя на фиг. 8A это не показано, следует понимать, что RAN 104/113 и/или CN 106/115 могут прямо или косвенно обмениваться данными с другими RAN, в которых задействована такая же RAT, что и в RAN 104/113, или другая RAT. Например, в дополнение к соединению с RAN 104/113, в которой может быть использована технология радиосвязи NR, CN 106/115 может также обмениваться данными с другой RAN (не показана), использующей технологию радиосвязи GSM, UMTS, CDMA 2000, WiMAX, E-UTRA или WiFi.The RAN 104/113 may communicate with the CN 106/115, which may be any type of network configured to provide voice, data, application, and/or Voice over Internet Protocol (VoIP) services to one or more of the WTRUs. 102a, 102b, 102c, 102d. Data may have different quality of service (QoS) requirements, such as different performance requirements, latency requirements, fault tolerance requirements, reliability requirements, data rate requirements, mobility requirements, etc. The CN 106/115 network can provide call control, billing services, location-based mobile services, prepaid calls, Internet connectivity, video distribution, etc. and/or perform high-level security functions such as user authentication. Although in FIG. 8A does not show this, it should be understood that RAN 104/113 and/or CN 106/115 may directly or indirectly communicate with other RANs that utilize the same RAT as RAN 104/113 or a different RAT. For example, in addition to communicating with RAN 104/113, which may use NR radio technology, CN 106/115 may also communicate with another RAN (not shown) using GSM, UMTS, CDMA 2000, WiMAX, E radio technology. -UTRA or WiFi.

CN 106/115 может также выступать в качестве шлюза для WTRU 102a, 102b, 102c, 102d, чтобы обеспечивать доступ к сети PSTN 108, сети Интернет 110 и/или другим сетям 112. PSTN 108 может включать в себя телефонные сети с коммутацией каналов, которые предоставляют традиционные услуги телефонной связи (POTS). Интернет 110 может включать в себя глобальную систему взаимно соединенных компьютерных сетей и устройств, которые используют распространенные протоколы связи, такие как протокол управления передачей (TCP), протокол пользовательских дейтаграмм (UDP) и/или протокол Интернета (IP) в наборе протоколов Интернета TCP/IP. Сети 112 могут включать в себя проводные и/или беспроводные сети связи, которые принадлежат другим поставщикам услуг и/или управляются ими. Например, сети 112 могут включать в себя другую CN, соединенную с одной или более RAN, в которых может быть использована такая же RAT, как и в RAN 104/113, или другая RAT.The CN 106/115 may also act as a gateway for WTRUs 102a, 102b, 102c, 102d to provide access to the PSTN 108, the Internet 110, and/or other networks 112. The PSTN 108 may include circuit-switched telephone networks, that provide traditional telephone service (POTS). Internet 110 may include a global system of interconnected computer networks and devices that use common communication protocols such as Transmission Control Protocol (TCP), User Datagram Protocol (UDP), and/or Internet Protocol (IP) in the TCP/Internet protocol suite. IP. Networks 112 may include wired and/or wireless communications networks that are owned and/or operated by other service providers. For example, networks 112 may include another CN connected to one or more RANs, which may use the same RAT as RAN 104/113 or a different RAT.

Некоторые или все из WTRU 102a, 102b, 102c, 102d в системе 100 связи могут включать в себя многорежимные возможности (например, WTRU 102a, 102b, 102c, 102d могут включать в себя множество приемопередатчиков для связи с разными беспроводными сетями по разным беспроводным линиям связи). Например, WTRU 102c, показанный на фиг. 8A, может быть выполнен с возможностью взаимодействия с базовой станцией 114a, которая может использовать технологию радиосвязи на основе сот, а также с базовой станцией 114b, которая может использовать технологию радиосвязи IEEE 802.Some or all of the WTRUs 102a, 102b, 102c, 102d in the communications system 100 may include multi-mode capabilities (e.g., the WTRUs 102a, 102b, 102c, 102d may include multiple transceivers for communicating with different wireless networks over different wireless links ). For example, WTRU 102c shown in FIG. 8A may be configured to communicate with a base station 114a, which may use cell-based radio technology, as well as with a base station 114b, which may use IEEE 802 radio technology.

На фиг. 8B представлена схема системы, иллюстрирующая пример WTRU 102. Как показано на фиг. 8B, WTRU 102 может включать в себя, помимо прочего, процессор 118, приемопередатчик 120, передающий/приемный элемент 122, динамик/микрофон 124, клавиатуру 126, дисплей/сенсорную панель 128, несъемное запоминающее устройство 130, съемное запоминающее устройство 132, источник 134 питания, набор 136 микросхем глобальной системы определения местоположения (GPS) и/или другие периферийные устройства 138. Следует понимать, что WTRU 102 может включать в себя любую подкомбинацию вышеперечисленных элементов и при этом соответствовать варианту осуществления.In fig. 8B is a system diagram illustrating an example WTRU 102. As shown in FIG. 8B, WTRU 102 may include, but are not limited to, processor 118, transceiver 120, transmit/receive element 122, speaker/microphone 124, keyboard 126, display/touchpad 128, non-removable storage 130, removable storage 132, source 134 power supply, global positioning system (GPS) chipset 136, and/or other peripheral devices 138. It should be understood that the WTRU 102 may include any subcombination of the above elements and still be consistent with the embodiment.

Процессор 118 может представлять собой процессор общего назначения, процессор специального назначения, традиционный процессор, цифровой сигнальный процессор (DSP), множество микропроцессоров, один или более микропроцессоров, связанных с ядром DSP, контроллер, микроконтроллер, специализированные интегральные схемы (ASIC), схемы программируемых пользователем вентильных матриц (FPGA), интегральную схему (IC) любого другого типа, конечный автомат и т.п. Процессор 118 может выполнять кодирование сигналов, обработку данных, управление мощностью, обработку ввода/вывода и/или иметь любые другие функциональные возможности, необходимые WTRU 102 для функционирования в среде беспроводной связи. Процессор 118 может быть соединен с приемопередатчиком 120, который может быть соединен с передающим/приемным элементом 122. Хотя на фиг. 8B процессор 118 и приемопередатчик 120 показаны в виде отдельных компонентов, следует понимать, что процессор 118 и приемопередатчик 120 могут быть выполнены как единое целое и встроены в электронный блок или микросхему.Processor 118 may be a general purpose processor, a special purpose processor, a conventional processor, a digital signal processor (DSP), a plurality of microprocessors, one or more microprocessors coupled to a DSP core, a controller, a microcontroller, application specific integrated circuits (ASICs), field programmable circuits gate arrays (FPGA), integrated circuit (IC) of any other type, state machine, etc. The processor 118 may perform signal encoding, data processing, power control, input/output processing, and/or any other functionality required by the WTRU 102 to operate in a wireless communications environment. The processor 118 may be coupled to a transceiver 120, which may be coupled to a transmit/receive element 122. Although FIG. 8B, while processor 118 and transceiver 120 are shown as separate components, it should be understood that processor 118 and transceiver 120 may be integrally integrated into an electronic unit or chip.

Передающий/приемный элемент 122 может быть выполнен с возможностью передачи сигналов на базовую станцию (например, базовую станцию 114a) или приема от нее сигналов по радиоинтерфейсу 116. Например, в одном варианте осуществления передающий/приемный элемент 122 может представлять собой антенну, выполненную с возможностью передачи и/или приема РЧ-сигналов. В варианте осуществления передающий/приемный элемент 122 может представлять собой излучатель/детектор, выполненный с возможностью передачи и/или приема, например, сигналов в ИК-, УФ-спектре или спектре видимого света. В еще одном варианте осуществления передающий/приемный элемент 122 может быть выполнен с возможностью передачи и/или приема сигналов как в РЧ-спектре, так и в спектре видимого света. Следует понимать, что передающий/приемный элемент 122 может быть выполнен с возможностью передачи и/или приема любой комбинации радиосигналов.Transmit/receive element 122 may be configured to transmit signals to or receive signals from a base station (eg, base station 114a) over air interface 116. For example, in one embodiment, transmit/receive element 122 may be an antenna configured to transmission and/or reception of RF signals. In an embodiment, the transmit/receive element 122 may be an emitter/detector configured to transmit and/or receive, for example, signals in the IR, UV, or visible light spectrum. In yet another embodiment, transmit/receive element 122 may be configured to transmit and/or receive signals in both the RF and visible light spectrum. It should be understood that the transmit/receive element 122 may be configured to transmit and/or receive any combination of radio signals.

Хотя на фиг. 8B передающий/приемный элемент 122 показан в виде единственного элемента, WTRU 102 может включать в себя любое количество передающих/приемных элементов 122. Более конкретно, в WTRU 102 может быть использована технология MIMO. Таким образом, в одном варианте осуществления WTRU 102 может включать в себя два или более передающих/приемных элементов 122 (например, множество антенн) для передачи и приема радиосигналов по радиоинтерфейсу 116.Although in FIG. 8B, while the transmit/receive element 122 is shown as a single element, the WTRU 102 may include any number of transmit/receive elements 122. More specifically, the WTRU 102 may utilize MIMO technology. Thus, in one embodiment, WTRU 102 may include two or more transmit/receive elements 122 (e.g., multiple antennas) for transmitting and receiving radio signals over air interface 116.

Приемопередатчик 120 может быть выполнен с возможностью модуляции сигналов, передаваемых посредством передающего/приемного элемента 122, а также демодуляции сигналов, принятых посредством передающего/приемного элемента 122. Как указано выше, WTRU 102 может иметь многорежимные возможности. Таким образом, приемопередатчик 120 может включать в себя множество приемопередатчиков, с помощью которых WTRU 102 получает возможность взаимодействия посредством множества RAT, таких как, например, NR и IEEE 802.11.Transceiver 120 may be configured to modulate signals transmitted by transmitter/receiver element 122 as well as demodulate signals received by transmitter/receiver element 122. As noted above, WTRU 102 may have multi-mode capabilities. Thus, transceiver 120 may include a plurality of transceivers that enable WTRU 102 to communicate over multiple RATs, such as NR and IEEE 802.11, for example.

Процессор 118 WTRU 102 может быть соединен с динамиком/микрофоном 124, клавиатурой 126 и/или дисплеем/сенсорной панелью 128 (например, жидкокристаллическим дисплеем (LCD) или дисплеем на органических светодиодах (OLED)) и может принимать от них данные, вводимые пользователем. Процессор 118 может также выводить пользовательские данные на динамик/микрофон 124, клавиатуру 126 и/или дисплей/сенсорную панель 128. Кроме того, процессор 118 может иметь доступ к информации с подходящего запоминающего устройства любого типа, такого как несъемное запоминающее устройство 130 и/или съемное запоминающее устройство 132, и хранить на нем данные. Несъемное запоминающее устройство 130 может включать в себя оперативное запоминающее устройство (ОЗУ), постоянное запоминающее устройство (ПЗУ), жесткий диск или запоминающее устройство любого другого типа. Съемное запоминающее устройство 132 может включать в себя карту модуля идентификации абонента (SIM), карту памяти, защищенную цифровую карту памяти (SD) и т.п. В других вариантах осуществления процессор 118 может осуществлять доступ к информации с запоминающего устройства, которое физически размещено не в WTRU 102, а, например, на сервере или домашнем компьютере (не показан), и хранить на нем данные.The processor 118 of the WTRU 102 may be coupled to a speaker/microphone 124, a keyboard 126, and/or a display/touch panel 128 (e.g., a liquid crystal display (LCD) or an organic light-emitting diode (OLED) display) and may receive user input from them. Processor 118 may also output user data to speaker/microphone 124, keyboard 126, and/or display/touchpad 128. Additionally, processor 118 may access information from any type of suitable storage device, such as non-removable storage device 130 and/or removable storage device 132, and store data thereon. Non-removable storage device 130 may include random access memory (RAM), read only memory (ROM), hard disk drive, or any other type of storage device. Removable storage device 132 may include a subscriber identification module (SIM) card, a memory card, a secure digital storage (SD) card, or the like. In other embodiments, processor 118 may access and store information from a storage device that is not physically located in the WTRU 102, such as on a server or home computer (not shown).

Процессор 118 может принимать питание от источника 134 питания и может быть выполнен с возможностью управления питанием и/или распределения питания на другие компоненты в WTRU 102. Источник 134 питания может представлять собой любое подходящее устройство для подачи питания на WTRU 102. Например, источник 134 питания может включать в себя одну или более сухих батарей (например, никель-кадмиевых (NiCd), никель-цинковых (NiZn), никель-металл-гидридных (NiMH), литий-ионных (Li-ion) и т.п.), солнечных элементов, топливных элементов и т.п.Processor 118 may receive power from power supply 134 and may be configured to manage power and/or distribute power to other components in WTRU 102. Power supply 134 may be any suitable device for supplying power to WTRU 102. For example, power supply 134 may include one or more dry cell batteries (e.g., nickel-cadmium (NiCd), nickel-zinc (NiZn), nickel-metal hydride (NiMH), lithium-ion (Li-ion), etc.), solar cells, fuel cells, etc.

Процессор 118 может также быть соединен с набором 136 микросхем GPS, который может быть выполнен с возможностью предоставления информации о местоположении (например, долготы и широты) относительно текущего местоположения WTRU 102. Дополнительно или вместо информации от набора 136 микросхем GPS модуль WTRU 102 может принимать информацию о местоположении по радиоинтерфейсу 116 от базовой станции (например, от базовых станций 114a, 114b) и/или определять свое местоположение на основании синхронизации сигналов, принимаемых от двух или более соседних базовых станций. Следует понимать, что WTRU 102 может получать информацию о местоположении посредством любого подходящего способа определения местоположения и при этом соответствовать варианту осуществления.The processor 118 may also be coupled to a GPS chipset 136, which may be configured to provide location information (e.g., longitude and latitude) relative to the current location of the WTRU 102. In addition to, or in lieu of, the information from the GPS chipset 136, the WTRU 102 may receive the information location over radio interface 116 from a base station (eg, base stations 114a, 114b) and/or determine its location based on the timing of signals received from two or more adjacent base stations. It should be understood that the WTRU 102 may obtain location information through any suitable location method and still be consistent with the embodiment.

Процессор 118 может быть дополнительно соединен с другими периферийными устройствами 138, которые могут включать в себя один или более программных и/или аппаратных модулей, которые обеспечивают дополнительные признаки, функциональные возможности и/или возможности по установлению проводной или беспроводной связи. Например, периферийные устройства 138 могут включать в себя акселерометр, электронный компас, спутниковый приемопередатчик, цифровую камеру (для фото- и/или видеосъемки), порт универсальной последовательной шины (USB), вибрационное устройство, телевизионный приемопередатчик, беспроводную гарнитуру, модуль Bluetooth®, радиомодуль с частотной модуляцией (FM), цифровой музыкальный проигрыватель, мультимедийный проигрыватель, модуль для воспроизведения видеоигр, Интернет-браузер, устройство виртуальной реальности и/или дополненной реальности (VR/AR), трекер активности и т.п. Периферийные устройства 138 могут включать в себя один или более датчиков, причем датчики могут представлять собой один или более из гироскопа, акселерометра, датчика Холла, магнитометра, датчика ориентации, датчика приближения, датчика температуры, датчика времени; датчика географического положения; высотомера, датчика освещенности, датчика касания, магнитометра, барометра, датчика жеста, биометрического датчика и/или датчика влажности.Processor 118 may be further coupled to other peripheral devices 138, which may include one or more software and/or hardware modules that provide additional features, functionality, and/or wired or wireless communications capabilities. For example, peripheral devices 138 may include an accelerometer, an electronic compass, a satellite transceiver, a digital camera (for photography and/or video), a universal serial bus (USB) port, a vibration device, a television transceiver, a wireless headset, a Bluetooth® module, frequency modulation (FM) radio module, digital music player, multimedia player, video game module, Internet browser, virtual reality and/or augmented reality (VR/AR) device, activity tracker, etc. The peripheral devices 138 may include one or more sensors, where the sensors may be one or more of a gyroscope, an accelerometer, a Hall sensor, a magnetometer, an orientation sensor, a proximity sensor, a temperature sensor, a time sensor; geographic position sensor; altimeter, light sensor, touch sensor, magnetometer, barometer, gesture sensor, biometric sensor and/or humidity sensor.

WTRU 102 может включать в себя полнодуплексное радиоустройство, для которого передача и прием некоторых или всех сигналов, например, связанных с конкретными подкадрами как для UL (например, для передачи), так и для нисходящей линии связи (например, для приема), могут быть осуществлены совместно и/или одновременно. Полнодуплексное радиоустройство может включать в себя блок управления помехами для снижения уровня и/или по существу устранения собственных помех с помощью либо аппаратного обеспечения (например, дросселя), либо обработки сигнала с помощью процессора (например, отдельного процессора (не показан) или процессора 118). В варианте осуществления WRTU 102 может содержать полудуплексное радиоустройство для передачи и приема некоторых или всех сигналов (например, связанных с конкретными подкадрами либо для UL (например, для передачи), либо для нисходящей линии связи (например, для приема)).WTRU 102 may include a full-duplex radio device for which the transmission and reception of some or all of the signals, such as those associated with specific subframes for both UL (e.g., transmit) and downlink (e.g., receive), may be carried out jointly and/or simultaneously. A full duplex radio device may include an interference control unit to reduce and/or substantially eliminate self-interference using either hardware (e.g., an inductor) or signal processing via a processor (e.g., a separate processor (not shown) or processor 118) . In an embodiment, WRTU 102 may comprise a half-duplex radio for transmitting and receiving some or all signals (eg, associated with specific subframes for either UL (eg, transmit) or downlink (eg, receive)).

На фиг. 8C представлена схема системы, иллюстрирующая RAN 104 и CN 106 в соответствии с вариантом осуществления. Как отмечено выше, RAN 104 может использовать технологию радиосвязи E-UTRA для обмена данными с WTRU 102a, 102b, 102c по радиоинтерфейсу 116. RAN 104 может также обмениваться данными с CN 106.In fig. 8C is a system diagram illustrating RAN 104 and CN 106 in accordance with an embodiment. As noted above, RAN 104 may use E-UTRA radio technology to communicate with WTRU 102a, 102b, 102c over air interface 116. RAN 104 may also communicate with CN 106.

RAN 104 может включать в себя eNode-B 160a, 160b, 160c, хотя следует понимать, что сеть RAN 104 может включать в себя любое количество eNode-B и при этом соответствовать варианту осуществления. Каждая eNode-B 160a, 160b, 160c может включать в себя один или более приемопередатчиков для обмена данными с WTRU 102a, 102b, 102c по радиоинтерфейсу 116. В одном варианте осуществления в eNode B 160a, 160b, 160c может быть реализована технология MIMO. Таким образом, в eNode-B 160a может, например, быть использовано множество антенн для передачи радиосигналов на WTRU 102a и/или приема радиосигналов от него.The RAN 104 may include eNode-Bs 160a, 160b, 160c, although it should be understood that the RAN 104 may include any number of eNode-Bs and still be consistent with the embodiment. Each eNode-B 160a, 160b, 160c may include one or more transceivers for communicating with the WTRU 102a, 102b, 102c over air interface 116. In one embodiment, the eNode B 160a, 160b, 160c may implement MIMO technology. Thus, eNode-B 160a may, for example, use multiple antennas to transmit radio signals to and/or receive radio signals from WTRU 102a.

Каждая eNode-B 160a, 160b, 160c может быть связана с конкретной сотой (не показана) и может быть выполнена с возможностью принятия решений по управлению радиоресурсами, решений по передаче обслуживания, диспетчеризации пользователей в UL и/или DL и т.п. Как показано на фиг. 8C, eNode-B 160a, 160b, 160c могут обмениваться данными друг с другом по интерфейсу X2.Each eNode-B 160a, 160b, 160c may be associated with a specific cell (not shown) and may be configured to make radio resource management decisions, handover decisions, UL and/or DL user scheduling, and the like. As shown in FIG. 8C, eNode-B 160a, 160b, 160c can communicate with each other via the X2 interface.

CN 106, показанная на фиг. 8C, может включать в себя объект 162 управления мобильностью (MME), обслуживающий шлюз 164 (SGW) и шлюз 166 (или PGW) сети с пакетной передачей данных (PDN). Хотя каждый из вышеперечисленных элементов показан как часть CN 106, следует понимать, что любой из этих элементов может принадлежать субъекту, отличному от оператора CN, и/или может быть предоставлен им для применения.CN 106 shown in FIG. 8C may include a mobility management entity (MME) 162, a serving gateway (SGW) 164, and a packet data network (PDN) gateway (or PGW) 166. Although each of the above elements is shown as part of CN 106, it should be understood that any of these elements may be owned by and/or provided for use by an entity other than the CN operator.

MME 162 может быть подключен к каждой из eNode-B 160a, 160b, 160c в RAN 104 по интерфейсу S1 и может выступать в качестве узла управления. Например, MME 162 может отвечать за аутентификацию пользователей WTRU 102a, 102b, 102c, активацию/деактивацию канала, выбор конкретного обслуживающего шлюза во время начального соединения WTRU 102a, 102b, 102c и т.п. MME 162 может обеспечивать функцию плоскости управления для переключения между RAN 104 и другими RAN (не показаны), которые используют другие технологии радиосвязи, такие как GSM и/или WCDMA.The MME 162 may be connected to each of the eNode-Bs 160a, 160b, 160c in the RAN 104 via an S1 interface and may act as a management node. For example, MME 162 may be responsible for authenticating users of WTRUs 102a, 102b, 102c, channel activation/deactivation, selecting a specific serving gateway during initial connection of WTRUs 102a, 102b, 102c, and the like. MME 162 may provide a control plane function for switching between RAN 104 and other RANs (not shown) that use other radio technologies, such as GSM and/or WCDMA.

SGW 164 может быть подключен к каждой eNode B 160a, 160b, 160c в RAN 104 по интерфейсу S1. SGW 164 может по существу направлять и пересылать пакеты пользовательских данных на WTRU 102a, 102b, 102c и от них. SGW 164 может выполнять другие функции, например привязку плоскостей пользователя во время передачи обслуживания между базовыми станциями eNode B, запуск пейджинга, когда данные DL доступны для WTRU 102a, 102b, 102c, управление и хранение контекста WTRU 102a, 102b, 102c и т.п.The SGW 164 may be connected to each eNode B 160a, 160b, 160c in the RAN 104 via the S1 interface. SGW 164 may essentially route and forward user data packets to and from WTRUs 102a, 102b, 102c. SGW 164 may perform other functions, such as user plane binding during handover between eNode B base stations, triggering paging when DL data is available to WTRU 102a, 102b, 102c, managing and storing context of WTRU 102a, 102b, 102c, etc. .

SGW 164 может быть подключен к PGW 166, который может предоставлять WTRU 102a, 102b, 102c доступ к сетям с коммутацией пакетов, таким как сеть Интернет 110, для облегчения обмена данными между WTRU 102a, 102b, 102c и устройствами с поддержкой IP.The SGW 164 may be connected to the PGW 166, which may provide the WTRU 102a, 102b, 102c with access to packet-switched networks, such as the Internet 110, to facilitate communication between the WTRU 102a, 102b, 102c and IP-enabled devices.

CN 106 может облегчать обмен данными с другими сетями. Например, CN 106 может предоставлять WTRU 102a, 102b, 102c доступ к сетям с коммутацией каналов, таким как PSTN 108, для облегчения обмена данными между WTRU 102a, 102b, 102c и традиционными устройствами связи наземной линии связи. Например, CN 106 может включать в себя IP-шлюз (например, сервер мультимедийной IP-подсистемы (IMS)), который выступает в качестве интерфейса между CN 106 и PSTN 108, либо может обмениваться данными с ним. Кроме того, CN 106 может предоставлять WTRU 102a, 102b, 102c доступ к другим сетям 112, которые могут включать в себя другие проводные и/или беспроводные сети, которые принадлежат другим поставщикам услуг и/или управляются ими.CN 106 can facilitate data exchange with other networks. For example, CN 106 may provide WTRU 102a, 102b, 102c access to circuit switched networks, such as PSTN 108, to facilitate communications between WTRU 102a, 102b, 102c and traditional landline communications devices. For example, the CN 106 may include an IP gateway (eg, an IP multimedia subsystem (IMS) server) that acts as an interface between the CN 106 and the PSTN 108 or can communicate with it. In addition, CN 106 may provide WTRU 102a, 102b, 102c access to other networks 112, which may include other wired and/or wireless networks that are owned and/or operated by other service providers.

Хотя WTRU описан на фиг. 1A–1D как беспроводной терминал, в определенных типовых вариантах осуществления предполагается, что с таким терминалом может быть использован (например, временно или постоянно) проводной интерфейс связи с сетью связи.Although the WTRU is described in FIG. 1A-1D as a wireless terminal, in certain exemplary embodiments it is contemplated that a wired communications interface to a communications network may be used with such a terminal (eg, temporarily or permanently).

В типовых вариантах осуществления другая сеть 112 может представлять собой WLAN.In exemplary embodiments, the other network 112 may be a WLAN.

WLAN в режиме базового набора служб (BSS) инфраструктуры может иметь точку доступа (АР) для BSS и одну или более станций (STA), связанных с АР. АР может иметь доступ к системе распределения (DS) или интерфейс с ней или осуществлять связь по проводной/беспроводной сети другого типа, которая переносит трафик в BSS и/или вне BSS. Трафик на станции STA, исходящий извне BSS, может поступать через AP и может быть доставлен на станции STA. Трафик, исходящий из станций STA к получателям вне BSS, может быть отправлен на АР для доставки соответствующим получателям. Трафик между станциями STA в пределах BSS может быть отправлен через АР, например, если STA-источник может отправлять трафик на АР, а АР может доставлять трафик STA-получателю. Трафик между STA в пределах BSS может считаться и/или называться одноранговым трафиком. Одноранговый трафик может быть передан между (например, непосредственно между) STA-источником и STA-получателем при установлении прямой линии связи (DLS). В определенных типовых вариантах осуществления DLS может использовать DLS 802.11e или туннелированное DLS 802.11z (TDLS). WLAN с использованием независимого BSS (IBSS) режима может не иметь АР, а STA (например, каждая STA) в пределах или с использованием IBSS могут осуществлять связь непосредственно друг с другом. В настоящем документе режим IBSS может иногда называться режимом «динамической» связи.A WLAN in Basic Service Set (BSS) infrastructure mode may have an access point (AP) for the BSS and one or more stations (STAs) associated with the AP. The AP may have access to or interface with a distribution system (DS), or communicate over another type of wired/wireless network that carries traffic into the BSS and/or outside the BSS. Traffic at the STAs originating from outside the BSS may enter through the AP and may be delivered to the STAs. Traffic originating from STAs to recipients outside the BSS may be forwarded to the AP for delivery to the appropriate recipients. Traffic between STAs within a BSS may be sent through an AP, for example, if a source STA can send traffic to the AP and the AP can deliver traffic to a destination STA. Traffic between STAs within a BSS may be considered and/or referred to as peer-to-peer traffic. Peer-to-peer traffic may be transmitted between (eg, directly between) a source STA and a destination STA when establishing a forward link (DLS). In certain exemplary embodiments, the DLS may use 802.11e DLS or 802.11z Tunneled DLS (TDLS). A WLAN using Independent BSS (IBSS) mode may not have an AP, and STAs (eg, each STA) within or using IBSS may communicate directly with each other. In this document, IBSS mode may sometimes be referred to as "dynamic" communication mode.

При использовании режима работы инфраструктуры 802.11ac или аналогичного режима работы AP может передавать маяк по фиксированному каналу, такому как первичный канал. Первичный канал может иметь фиксированную ширину (например, ширину полосы пропускания 20 МГц) или ширину, динамически установленную с помощью сигнализации. Первичный канал может представлять собой рабочий канал BSS и может быть использован множеством STA для установления соединения с АР. В определенных типовых вариантах осуществления может быть реализован множественный доступ с контролем несущей и предотвращением коллизий (CSMA/CA), например в системах 802.11. STA (например, каждая STA), включая АР, могут обнаруживать первичный канал для CSMA/CA. При распознавании/обнаружении и/или определении занятости первичного канала конкретной STA эта конкретная STA может отключаться. Одна STA (например, только одна станция) может осуществлять передачу в любой конкретный момент времени в данном BSS.When using the 802.11ac infrastructure operating mode or similar operating mode, the AP can transmit a beacon over a fixed channel, such as a primary channel. The primary channel may have a fixed width (eg 20 MHz bandwidth) or a width dynamically set by signaling. The primary channel may be a BSS operating channel and may be used by multiple STAs to establish a connection with the AP. In certain exemplary embodiments, carrier sense multiple access and collision avoidance (CSMA/CA) may be implemented, such as in 802.11 systems. The STAs (eg, each STA), including the AP, can detect the primary channel for the CSMA/CA. When the primary channel is detected/detected and/or determined to be occupied by a particular STA, that particular STA may be switched off. One STA (eg, only one station) can transmit at any given time in a given BSS.

Для осуществления связи STA с высокой пропускной способностью (HT) может быть использован канал шириной 40 МГц, например путем объединения первичного канала 20 МГц со смежным или несмежным каналом 20 МГц с образованием канала шириной 40 МГц.To implement high throughput (HT) STA communication, a 40 MHz channel can be used, for example by combining a primary 20 MHz channel with an adjacent or non-adjacent 20 MHz channel to form a 40 MHz channel.

STA со сверхвысокой пропускной способностью (VHT) могут поддерживать каналы шириной 20 МГц, 40 МГц, 80 МГц и/или 160 МГц. Каналы 40 МГц и/или 80 МГц могут быть образованы путем объединения сплошных каналов 20 МГц. Канал 160 МГц может быть образован путем объединения 8 сплошных каналов 20 МГц или путем объединения двух несплошных каналов 80 МГц, которые могут называться конфигурацией 80 + 80. Для конфигурации 80 + 80 данные после кодирования канала могут проходить через анализатор сегментов, который может разделять данные на два потока. Обработку по методу обратного быстрого преобразования Фурье (IFFT) и обработку во временной области можно выполнять отдельно для каждого потока. Потоки могут быть сопоставлены с двумя каналами 80 МГц, а данные могут быть переданы посредством передающей STA. В приемнике принимающей STA вышеописанная операция для конфигурации 80 + 80 может быть инвертирована, а объединенные данные могут быть отправлены на устройство управления доступом к среде передачи данных (MAC).Ultra High Throughput (VHT) STAs can support 20 MHz, 40 MHz, 80 MHz, and/or 160 MHz channel widths. 40 MHz and/or 80 MHz channels can be formed by combining continuous 20 MHz channels. A 160 MHz channel can be formed by combining 8 continuous 20 MHz channels or by combining two non-continuous 80 MHz channels, which can be called an 80 + 80 configuration. For an 80 + 80 configuration, the data after encoding the channel can pass through a segment analyzer, which can divide the data into two streams. Inverse Fast Fourier Transform (IFFT) and time domain processing can be performed separately on a per-stream basis. Streams can be mapped to two 80 MHz channels and data can be transmitted via the transmitting STA. At the receiver of the receiving STA, the above operation for the 80+80 configuration can be inverted, and the combined data can be sent to the media access control (MAC) device.

Протоколы 802.11af и 802.11ah поддерживают режимы работы на частотах до 1 ГГц. В 802.11af и 802.11ah значения ширины полосы пропускания канала и несущие уменьшены по отношению к используемым в 802.11n и 802.11ac. Протокол 802.11af поддерживает значения ширины полосы пропускания 5 МГц, 10 МГц и 20 МГц в неиспользуемом частотном спектре телевидения (TVWS), а протокол 802.11ah поддерживает значения ширины полосы пропускания 1 МГц, 2 МГц, 4 МГц, 8 МГц и 16 МГц с использованием спектра, отличного от TVWS. Согласно типовому варианту осуществления 802.11ah может поддерживать управление с измерением / межмашинные связи, например устройства MTC в макрозоне покрытия. Устройства MTC могут обладать определенными возможностями, например ограниченными возможностями, включая поддержку (например, поддержку только) определенных и/или ограниченных значений ширины полосы пропускания. Устройства МТС могут включать в себя батарею, имеющую срок службы батареи, превышающий пороговое значение (например, для обеспечения очень длительного срока службы батареи).The 802.11af and 802.11ah protocols support operating modes at frequencies up to 1 GHz. In 802.11af and 802.11ah, channel bandwidths and carriers are reduced compared to those used in 802.11n and 802.11ac. 802.11af supports 5 MHz, 10 MHz, and 20 MHz bandwidths in TVWS, while 802.11ah supports 1 MHz, 2 MHz, 4 MHz, 8 MHz, and 16 MHz bandwidths using spectrum other than TVWS. In an exemplary embodiment, 802.11ah may support metered control/machine-to-machine communications such as MTC devices in a macro coverage area. MTC devices may have certain capabilities, such as limited capabilities, including supporting (eg, only supporting) certain and/or limited bandwidths. MTC devices may include a battery having a battery life that exceeds a threshold value (eg, to provide very long battery life).

Системы WLAN, которые могут поддерживать множество каналов и значений ширины полосы пропускания канала, такие как 802.11n, 802.11ac, 802.11af и 802.11ah, включают в себя канал, который может быть назначен в качестве первичного канала. Первичный канал может иметь ширину полосы пропускания, равную наибольшей общей рабочей ширине полосы пропускания, поддерживаемой всеми STA в BSS. Ширина полосы пропускания первичного канала может быть установлена и/или ограничена STA из числа всех STA, работающих в BSS, которая поддерживает режим работы с наименьшей шириной полосы пропускания. В примере 802.11ah первичный канал может иметь ширину 1 МГц для STA (например, устройств типа MTC), которые поддерживают (например, поддерживают только) режим 1 МГц, даже если AP и другие STA в BSS поддерживают 2 МГц, 4 МГц, 8 МГц, 16 МГц и/или режимы работы с другими значениями ширины полосы пропускания канала. Параметры обнаружения несущей и/или вектора выделения сети (NAV) могут зависеть от состояния первичного канала. Если первичный канал занят, например, из-за STA (в которой поддерживается только режим работы 1 МГц), осуществляющей передачу на AP, все доступные полосы частот могут считаться занятыми, даже если большинство полос частот все еще не заняты и могут быть доступными.WLAN systems that can support multiple channels and channel bandwidths, such as 802.11n, 802.11ac, 802.11af, and 802.11ah, include a channel that can be designated as the primary channel. The primary channel may have a bandwidth equal to the largest total operating bandwidth supported by all STAs in the BSS. The primary channel bandwidth may be set and/or limited by an STA from among all STAs operating in the BSS that supports the lowest bandwidth operating mode. In the 802.11ah example, the primary channel could be 1 MHz wide for STAs (e.g., MTC type devices) that support (e.g., only support) 1 MHz mode, even if the AP and other STAs in the BSS support 2 MHz, 4 MHz, 8 MHz , 16 MHz and/or operating modes with other channel bandwidths. Carrier detection and/or network allocation vector (NAV) parameters may depend on the state of the primary channel. If the primary channel is busy, for example due to an STA (which only supports 1 MHz operation) transmitting to the AP, all available frequency bands may be considered occupied, even if most frequency bands are still unoccupied and may be available.

В Соединенных Штатах Америки доступные полосы частот, которые могут быть использованы 802.11ah, находятся в диапазоне от 902 МГц до 928 МГц. Доступные полосы частот в Корее — от 917,5 МГц до 923,5 МГц. Доступные полосы частот в Японии — от 916,5 МГц до 927,5 МГц. Общая ширина полосы пропускания, доступная для 802.11ah, составляет от 6 МГц до 26 МГц в зависимости от страны.In the United States of America, the available frequency bands that can be used by 802.11ah range from 902 MHz to 928 MHz. Available frequency bands in Korea are from 917.5 MHz to 923.5 MHz. Available frequency bands in Japan are from 916.5 MHz to 927.5 MHz. The total bandwidth available for 802.11ah ranges from 6 MHz to 26 MHz depending on the country.

На фиг. 8D представлена схема системы, иллюстрирующая RAN 113 и CN 115 в соответствии с вариантом осуществления. Как отмечено выше, RAN 113 может использовать технологию радиосвязи NR для обмена данными с WTRU 102a, 102b, 102c по радиоинтерфейсу 116. RAN 113 может также обмениваться данными с CN 115.In fig. 8D is a system diagram illustrating RAN 113 and CN 115 in accordance with an embodiment. As noted above, RAN 113 may use NR radio technology to communicate with WTRUs 102a, 102b, 102c over air interface 116. RAN 113 may also communicate with CN 115.

RAN 113 может включать в себя gNB 180a, 180b, 180c, хотя следует понимать, что RAN 113 может включать в себя любое количество gNB и при этом соответствовать варианту осуществления. Каждая gNB 180a, 180b, 180c может включать в себя один или более приемопередатчиков для обмена данными с WTRU 102a, 102b, 102c по радиоинтерфейсу 116. В одном варианте осуществления в gNB 180a, 180b, 180c может быть реализована технология MIMO. Например, gNB 180a, 180b могут использовать формирование лучей для передачи сигналов на gNB 180a, 180b, 180c и/или приема сигналов от них. Таким образом, gNB 180a, например, может использовать множество антенн для передачи радиосигналов на WTRU 102a и/или приема радиосигналов от него. В варианте осуществления на gNB 180a, 180b, 180c может быть реализована технология агрегирования несущих. Например, gNB 180a может передавать на WTRU 102a множество несущих составляющих (не показаны). Подмножество этих несущих составляющих может относиться к нелицензированному спектру, тогда как остальные несущие составляющие могут относиться к лицензированному спектру. В варианте осуществления на gNB 180a, 180b, 180c может быть реализована технология координированной многоточечной передачи (CoMP). Например, WTRU 102a может принимать координированные передачи от gNB 180a и gNB 180b (и/или gNB 180c).RAN 113 may include gNBs 180a, 180b, 180c, although it should be understood that RAN 113 may include any number of gNBs and still be consistent with an embodiment. Each gNB 180a, 180b, 180c may include one or more transceivers for communicating with the WTRU 102a, 102b, 102c over air interface 116. In one embodiment, the gNB 180a, 180b, 180c may implement MIMO technology. For example, gNBs 180a, 180b may use beamforming to transmit signals to and/or receive signals from gNBs 180a, 180b, 180c. Thus, gNB 180a, for example, may use multiple antennas to transmit radio signals to and/or receive radio signals from WTRU 102a. In an embodiment, carrier aggregation technology may be implemented on the gNB 180a, 180b, 180c. For example, gNB 180a may transmit multiple carrier components (not shown) to WTRU 102a. A subset of these carrier components may be in unlicensed spectrum, while the remaining carrier components may be in licensed spectrum. In an embodiment, gNB 180a, 180b, 180c may implement coordinated multipoint (CoMP) technology. For example, WTRU 102a may receive coordinated transmissions from gNB 180a and gNB 180b (and/or gNB 180c).

WTRU 102a, 102b, 102c могут обмениваться данными с gNB 180a, 180b, 180c с использованием передач, связанных с масштабируемой численной величиной. Например, разнос символов OFDM и/или разнос поднесущих OFDM может различаться для разных передач, разных сот и/или разных участков спектра беспроводной передачи. WTRU 102a, 102b, 102c могут осуществлять связь с gNB 180a, 180b, 180c с использованием подкадра или временных интервалов передачи (TTI) с различной или масштабируемой длительностью (например, содержащих различное количество символов OFDM и/или имеющих постоянные различные длительности абсолютного значения времени).The WTRUs 102a, 102b, 102c may communicate with the gNB 180a, 180b, 180c using transfers associated with a scalable numerical value. For example, OFDM symbol spacing and/or OFDM subcarrier spacing may differ for different transmissions, different cells, and/or different portions of the wireless transmission spectrum. WTRUs 102a, 102b, 102c may communicate with gNB 180a, 180b, 180c using subframes or transmit time intervals (TTIs) of varying or scalable durations (e.g., containing varying numbers of OFDM symbols and/or having constant varying absolute time durations) .

gNB 180a, 180b, 180c могут быть выполнены с возможностью обмена данными с WTRU 102a, 102b, 102c в автономной конфигурации и/или в неавтономной конфигурации. В автономной конфигурации WTRU 102a, 102b, 102c могут обмениваться данными с gNB 180a, 180b, 180c без одновременного доступа к другим RAN (например, таким как eNode-B 160a, 160b, 160c). В автономной конфигурации WTRU 102a, 102b, 102c могут использовать одну или более gNB 180a, 180b, 180c в качестве якорной точки мобильности. В автономной конфигурации WTRU 102a, 102b, 102c могут обмениваться данными с gNB 180a, 180b, 180c с использованием сигналов в нелицензированной полосе. В неавтономной конфигурации WTRU 102a, 102b, 102c могут обмениваться данными/устанавливать соединение с gNB 180a, 180b, 180c и одновременно обмениваться данными/устанавливать соединение с другой RAN, такой как eNode-B 160a, 160b, 160c. Например, в WTRU 102a, 102b, 102c могут быть реализованы принципы двойного соединения (DC) для по существу одновременного обмена данными с одной или более gNB 180a, 180b, 180c и одной или более eNode-B 160a, 160b, 160c. В неавтономной конфигурации eNode-B 160a, 160b, 160c могут выступать в качестве якорной точки мобильности для WTRU 102a, 102b, 102c, а gNB 180a, 180b, 180c могут обеспечивать дополнительное покрытие и/или пропускную способность для обслуживания WTRU 102a, 102b, 102с.The gNB 180a, 180b, 180c may be configured to communicate with the WTRU 102a, 102b, 102c in a standalone configuration and/or a non-standalone configuration. In a standalone configuration, the WTRU 102a, 102b, 102c can communicate with the gNB 180a, 180b, 180c without simultaneously accessing other RANs (eg, such as eNode-B 160a, 160b, 160c). In a standalone configuration, the WTRU 102a, 102b, 102c may use one or more gNBs 180a, 180b, 180c as a mobility anchor point. In a standalone configuration, WTRU 102a, 102b, 102c can communicate with gNB 180a, 180b, 180c using unlicensed band signals. In a non-standalone configuration, WTRU 102a, 102b, 102c can communicate/connect with gNB 180a, 180b, 180c and simultaneously communicate/connect with another RAN such as eNode-B 160a, 160b, 160c. For example, the WTRU 102a, 102b, 102c may implement dual connection (DC) principles to communicate substantially simultaneously with one or more gNBs 180a, 180b, 180c and one or more eNode-Bs 160a, 160b, 160c. In a non-standalone configuration, eNode-B 160a, 160b, 160c may act as a mobility anchor for WTRU 102a, 102b, 102c, and gNB 180a, 180b, 180c may provide additional coverage and/or capacity to serve WTRU 102a, 102b, 102c .

Каждая из gNB 180a, 180b, 180c может быть связана с конкретной сотой (не показано) и может быть выполнена с возможностью принятия решений относительно управления радиоресурсом, решений относительно передачи обслуживания, планирования пользователей в UL и/или DL, поддержки сегментирования сети, двойного подключения, взаимодействия между NR и E-UTRA, маршрутизации данных плоскости пользователя в функциональный блок 184a, 184b плоскости пользователя (UPF), маршрутизации информации плоскости управления в функциональный блок 182a, 182b управления доступом и мобильностью (AMF) и т.п. Как показано на фиг. 8D, gNB 180a, 180b, 180c могут обмениваться данными друг с другом по интерфейсу Xn.Each of the gNBs 180a, 180b, 180c may be associated with a specific cell (not shown) and may be configured to make radio resource management decisions, handover decisions, UL and/or DL user scheduling, network slicing support, dual connectivity , interaction between NR and E-UTRA, routing user plane data to user plane functional (UPF) block 184a, 184b, routing control plane information to access and mobility management functional block (AMF) 182a, 182b, and the like. As shown in FIG. 8D, gNB 180a, 180b, 180c can communicate with each other via the Xn interface.

CN 115, показанная на фиг. 8D, может включать в себя по меньшей мере один AMF 182a, 182b, по меньшей мере один UPF 184a, 184b, по меньшей мере один функциональный блок 183a, 183b управления сеансом (SMF) и, возможно, сеть 185a, 185b передачи данных (DN). Хотя каждый из вышеперечисленных элементов показан как часть CN 115, следует понимать, что любой из этих элементов может принадлежать субъекту, отличному от оператора CN, и/или может быть предоставлен им для применения.CN 115 shown in FIG. 8D may include at least one AMF 182a, 182b, at least one UPF 184a, 184b, at least one session management function (SMF) 183a, 183b, and optionally a data network (DN) 185a, 185b ). Although each of the above elements is shown as part of CN 115, it should be understood that any of these elements may be owned by and/or provided for use by an entity other than the CN operator.

AMF 182a, 182b могут быть подключены к одной или более из gNB 180a, 180b, 180c в RAN 113 по интерфейсу N2 и могут выступать в качестве узла управления. Например, AMF 182a, 182b может отвечать за аутентификацию пользователей WTRU 102a, 102b, 102c, поддержку сегментирования сети (например, обработку различных сеансов PDU с различными требованиями), выбор конкретного SMF 183a, 183b, управление зоной регистрации, прекращение сигнализации NAS, управление мобильностью и т.п. Сегментирование сети может быть использовано в AMF 182a, 182b для настройки поддержки CN для WTRU 102a, 102b, 102c на основании используемых типов сервисов. Например, разные сетевые срезы могут быть созданы для разных вариантов использования, например службы, основанные на связи повышенной надежности с низкой задержкой (URLLC), службы, основанные на доступе к расширенной широкополосной сети мобильной связи (eMBB), службы для доступа к межмашинной связи (MTC) и/или т.п. AMF 182 может предоставлять функцию плоскости управления для переключения между RAN 113 и другими RAN (не показаны), которые используют другие технологии радиосвязи, такие как LTE, LTE-A, LTE-A Pro, и/или технологии доступа, отличные от 3GPP, например WiFi.The AMF 182a, 182b may be connected to one or more of the gNBs 180a, 180b, 180c in the RAN 113 via the N2 interface and may act as a management node. For example, the AMF 182a, 182b may be responsible for authenticating users of the WTRU 102a, 102b, 102c, supporting network slicing (e.g., handling different PDU sessions with different requirements), selecting a particular SMF 183a, 183b, register area control, NAS signaling termination, mobility management and so on. Network slicing may be used at AMF 182a, 182b to configure CN support for WTRUs 102a, 102b, 102c based on the service types used. For example, different network slices can be created for different use cases, such as services based on enhanced reliability low latency communications (URLLC), services based on enhanced mobile broadband (eMBB) access, services for access to machine-to-machine communications ( MTC) and/or the like. AMF 182 may provide a control plane function for switching between RAN 113 and other RANs (not shown) that use other radio technologies such as LTE, LTE-A, LTE-A Pro, and/or non-3GPP access technologies, e.g. WiFi.

SMF 183a, 183b может быть подключен к AMF 182a, 182b в CN 115 по интерфейсу N11. SMF 183a, 183b может также быть подключен к UPF 184a, 184b в CN 115 по интерфейсу N4. SMF 183a, 183b могут выбирать UPF 184a, 184b и управлять ими, а также конфигурировать маршрутизацию трафика с помощью UPF 184a, 184b. SMF 183a, 183b может выполнять другие функции, такие как управление IP-адресом UE и его выделение, управление сеансами PDU, управление реализацией политики и QoS, предоставление уведомлений о данных нисходящей линии связи и т.п. Тип сеанса PDU может быть основан на IP, не основан на IP, основан на Ethernet и т.п.SMF 183a, 183b can be connected to AMF 182a, 182b in CN 115 via interface N11. SMF 183a, 183b can also be connected to UPF 184a, 184b in CN 115 via interface N4. The SMFs 183a, 183b can select and control the UPFs 184a, 184b, and configure the routing of traffic using the UPFs 184a, 184b. The SMF 183a, 183b may perform other functions such as UE IP address management and allocation, PDU session management, policy enforcement and QoS management, providing downlink data notifications, and the like. The PDU session type may be IP based, non-IP based, Ethernet based, etc.

UPF 184a, 184b могут быть подключены к одной или более gNB 180a, 180b, 180c в RAN 113 по интерфейсу N3, который может предоставлять WTRU 102a, 102b, 102c доступ к сетям с коммутацией пакетов, таким как сеть Интернет 110, для облегчения обмена данными между WTRU 102a, 102b, 102c и устройствами с поддержкой протокола IP. UPF 184a, 184b могут выполнять другие функции, такие как маршрутизация и передача пакетов, применение политик в плоскости пользователя, поддержка многоканальных сеансов PDU, обработка QoS в плоскости пользователя, буферизация пакетов нисходящей линии связи, привязка для поддержки мобильности и т.п.The UPFs 184a, 184b may be connected to one or more gNBs 180a, 180b, 180c in the RAN 113 via an N3 interface, which may provide the WTRU 102a, 102b, 102c with access to packet-switched networks, such as the Internet 110, to facilitate data exchange between WTRU 102a, 102b, 102c and IP-enabled devices. The UPFs 184a, 184b may perform other functions such as packet routing and transmission, user plane policy enforcement, multi-channel PDU session support, user plane QoS processing, downlink packet buffering, mobility support binding, and the like.

CN 115 может облегчать обмен данными с другими сетями. Например, CN 115 может включать в себя IP-шлюз (например, сервер мультимедийной IP-подсистемы (IMS)), который выступает в качестве интерфейса между CN 115 и PSTN 108, или может обмениваться данными с ним. Кроме того, CN 115 может предоставлять WTRU 102a, 102b, 102c доступ к другим сетям 112, которые могут включать в себя другие проводные и/или беспроводные сети, которые принадлежат другим поставщикам услуг и/или управляются ими. В одном варианте осуществления WTRU 102a, 102b, 102c могут быть подключены к локальной сети передачи данных (DN) 185a, 185b через UPF 184a, 184b по интерфейсу N3 к UPF 184a, 184b и интерфейсу N6 между UPF 184a, 184b и DN 185a, 185b.CN 115 can facilitate data exchange with other networks. For example, CN 115 may include an IP gateway (eg, an IP multimedia subsystem (IMS) server) that acts as an interface between or communicates with CN 115 and PSTN 108. In addition, CN 115 may provide WTRU 102a, 102b, 102c access to other networks 112, which may include other wired and/or wireless networks that are owned and/or operated by other service providers. In one embodiment, WTRU 102a, 102b, 102c may be connected to a local data network (DN) 185a, 185b via UPF 184a, 184b via an N3 interface to UPF 184a, 184b and an N6 interface between UPF 184a, 184b and DN 185a, 185b .

С учетом фиг. 8A-8D и соответствующих описаний фиг. 8A–8D одна или более или все из функций, описанных в настоящем документе в связи с одним или более из: WTRU 102a–d, базовых станций 114а–b, eNode-B 160a–c, MME 162, SGW 164, PGW 166, gNB 180a–c, AMF 182a–b, UPF 184a–b, SMF 183a–b, DN 185a–b и/или любого (-ых) другого (-их) устройства (устройств), описанного (-ых) в настоящем документе, могут быть реализованы одним или более устройствами эмуляции (не показаны). Устройства эмуляции могут представлять собой одно или более устройств, выполненных с возможностью эмуляции одной или более или всех функций, описанных в настоящем документе. Например, устройства эмуляции можно применять для испытания других устройств и/или для моделирования функций сети и/или WTRU.Taking into account FIG. 8A-8D and the corresponding descriptions of FIGS. 8A-8D one or more or all of the functions described herein in connection with one or more of: WTRU 102a-d, base stations 114a-b, eNode-B 160a-c, MME 162, SGW 164, PGW 166, gNB 180a–c, AMF 182a–b, UPF 184a–b, SMF 183a–b, DN 185a–b and/or any other device(s) described in this document , may be implemented by one or more emulation devices (not shown). Emulation devices may be one or more devices configured to emulate one or more or all of the functions described herein. For example, emulation devices can be used to test other devices and/or to simulate network and/or WTRU functionality.

Устройства эмуляции могут быть выполнены с возможностью реализации одного или более испытаний других устройств в лабораторной среде и/или в сетевой среде оператора. Например, одно или более устройств эмуляции могут выполнять одну или более функций или все функции, при этом они полностью или частично реализованы и/или развернуты в качестве части проводной и/или беспроводной сети связи, для испытания других устройств в сети связи. Одно или более устройств эмуляции могут выполнять одну или более функций или все функции, при этом они временно реализованы/развернуты в качестве части проводной и/или беспроводной сети связи. Устройство эмуляции может быть непосредственно соединено с другим устройством для испытания и/или выполнения испытания с использованием беспроводной связи посредством канала беспроводной связи.Emulation devices may be configured to implement one or more tests of other devices in a laboratory environment and/or in an operator network environment. For example, one or more emulation devices may perform one or more functions or all functions, where they are fully or partially implemented and/or deployed as part of a wired and/or wireless communications network to test other devices in the communications network. One or more emulation devices may perform one or more functions or all functions and are temporarily implemented/deployed as part of a wired and/or wireless communications network. The emulation device may be directly connected to another device to test and/or perform a test using wireless communication via a wireless communication channel.

Одно или более устройств эмуляции могут выполнять одну или более функций, включая все функции, и при этом не быть реализованными/развернутыми в качестве части проводной и/или беспроводной сети связи. Например, устройства эмуляции можно использовать в сценарии испытания в испытательной лаборатории и/или в неразвернутой (например, испытательной) проводной и/или беспроводной сети связи для проведения испытания одного или более компонентов. Одно или более устройств эмуляции могут представлять собой испытательное оборудование. Для передачи и/или приема данных в устройствах эмуляции можно использовать прямое РЧ-соединение и/или беспроводные связи посредством РЧ-схемы (которая может, например, включать в себя одну или более антенн).One or more emulation devices may perform one or more functions, including all functions, without being implemented/deployed as part of a wired and/or wireless communications network. For example, emulation devices can be used in a test scenario in a test laboratory and/or in a non-deployed (eg, test) wired and/or wireless communications network to conduct testing of one or more components. One or more emulation devices may be test equipment. Emulation devices may use direct RF connections and/or wireless communications via RF circuitry (which may, for example, include one or more antennas) to transmit and/or receive data.

На фиг. 9 представлена схема системы, иллюстрирующая систему, реализующую различные аспекты и операции в соответствии с вариантами осуществления.In fig. 9 is a system diagram illustrating a system implementing various aspects and operations in accordance with embodiments.

Как показано на фиг. 9, система 1000 может быть реализована в виде устройства, включающего в себя различные компоненты, описанные ниже, и выполнена с возможностью выполнения одного или более действий, описанных в настоящем документе. Примерами таких устройств являются, без ограничений, различные электронные устройства, такие как персональные компьютеры, ноутбуки, смартфоны, планшетные компьютеры, телевизионные приставки, цифровые телевизионные приемники, персональные системы видеозаписи, подключенные бытовые устройства и серверы. Элементы системы 1000 по отдельности или в комбинации могут быть реализованы в виде одной интегральной схемы (IC), множества IC и/или дискретных компонентов. Например, по меньшей мере в одном варианте осуществления элементы системы 1000 для обработки и работы кодера/декодера распределены по множеству IC и/или дискретных компонентов. В различных вариантах осуществления система 1000 соединена с возможностью связи с одной или более другими системами или другими электронными устройствами, например, посредством шины связи или с помощью специальных портов ввода и/или вывода. В различных вариантах осуществления система 1000 выполнена с возможностью реализации одного или более аспектов, описанных в настоящем документе.As shown in FIG. 9, system 1000 may be implemented as an apparatus including various components described below and configured to perform one or more of the actions described herein. Examples of such devices include, but are not limited to, various electronic devices such as personal computers, laptops, smartphones, tablet computers, set-top boxes, digital television receivers, personal video recording systems, connected home devices and servers. The elements of the system 1000, individually or in combination, may be implemented as a single integrated circuit (IC), multiple ICs, and/or discrete components. For example, in at least one embodiment, elements of the encoder/decoder processing and operation system 1000 are distributed across a plurality of ICs and/or discrete components. In various embodiments, the system 1000 is communicatively coupled to one or more other systems or other electronic devices, such as through a communications bus or through dedicated input and/or output ports. In various embodiments, the system 1000 is configured to implement one or more aspects described herein.

Система 1000 включает в себя по меньшей мере один процессор 1010, выполненный с возможностью исполнения загруженных в него команд для реализации, например, различных аспектов, описанных в настоящем документе. Процессор 1010 может включать в себя встроенное запоминающее устройство, входной/выходной интерфейс и различные другие соединения и элементы, известные специалистам в данной области. Система 1000 включает в себя по меньшей мере одно запоминающее устройство 1020 (например, энергозависимое запоминающее устройство и/или энергонезависимое запоминающее устройство). Система 1000 включает в себя устройство хранения данных 1040, которое может включать в себя энергонезависимое запоминающее устройство и/или энергозависимое запоминающее устройство, включая, без ограничений, электрически стираемое программируемое постоянное запоминающее устройство (ЭСППЗУ), постоянное запоминающее устройство (ПЗУ), программируемое постоянное запоминающее устройство (ППЗУ), оперативное запоминающее устройство (ОЗУ), динамическое оперативное запоминающее устройство (ДОЗУ), статическое оперативное запоминающее устройство (СОЗУ), флэш-память, магнитный диск и/или оптический диск. Устройство хранения данных 1040 может включать в себя внутреннее устройство хранения данных, прикрепленное устройство хранения данных (включая съемные и несъемные устройства хранения данных) и/или сетевое устройство хранения данных, в качестве примеров, не имеющих ограничительного характера.System 1000 includes at least one processor 1010 configured to execute instructions loaded thereon to implement, for example, various aspects described herein. Processor 1010 may include on-chip storage, an input/output interface, and various other connections and elements known to those skilled in the art. System 1000 includes at least one storage device 1020 (eg, volatile storage and/or non-volatile storage). System 1000 includes a data storage device 1040, which may include non-volatile memory and/or volatile memory, including, but not limited to, electrically erasable programmable read-only memory (EEPROM), read-only memory (ROM), programmable read-only memory device (PROM), random access memory (RAM), dynamic random access memory (DRAM), static random access memory (SRAM), flash memory, magnetic disk and/or optical disk. Storage device 1040 may include internal storage device, attached storage device (including removable and non-removable storage devices), and/or network-attached storage device, as non-limiting examples.

Система 1000 включает в себя модуль кодера/декодера 1030, выполненный, например, с возможностью обработки данных для предоставления закодированного или декодированного видеопотока, и модуль кодера/декодера 1030 может включать в себя собственный процессор и запоминающее устройство. Модуль кодера/декодера 1030 представляет собой модуль (модули), который может быть встроен в устройство для выполнения функций кодирования и/или декодирования. Как известно, устройство может включать в себя один или оба модуля кодирования и декодирования. Кроме того, модуль кодера/декодера 1030 может быть реализован в виде отдельного элемента системы 1000 или может быть встроен в процессор 1010 в виде комбинации аппаратного и программного обеспечения, как известно специалистам в данной области.The system 1000 includes an encoder/decoder module 1030 configured, for example, to process data to provide an encoded or decoded video stream, and the encoder/decoder module 1030 may include its own processor and memory. The encoder/decoder module 1030 is a module(s) that may be incorporated into a device to perform encoding and/or decoding functions. As is known, the device may include one or both encoding and decoding modules. In addition, the encoder/decoder module 1030 may be implemented as a separate element of the system 1000 or may be integrated into the processor 1010 as a combination of hardware and software, as is known to those skilled in the art.

Программный код, подлежащий загрузке в процессор 1010 или кодер/декодер 1030 для выполнения различных аспектов, описанных в настоящем документе, может храниться в устройстве хранения данных 1040, а затем загружаться в запоминающее устройство 1020 для исполнения процессором 1010. В соответствии с различными вариантами осуществления в одном или более элементов, в том числе процессоре 1010, запоминающем устройстве 1020, устройстве хранения данных 1040 и модуле кодера/декодера 1030, могут храниться один или более различных элементов во время выполнения процессов, описанных в настоящем документе. Такие элементы, хранящиеся в устройствах, могут включать в себя, без ограничений, входной видеопоток, декодированный видеопоток или части декодированного видеопотока, битовый поток, матрицы, переменные, промежуточные или конечные результаты обработки уравнений, формул, операций и функциональной логики.Program code to be loaded into processor 1010 or encoder/decoder 1030 to perform various aspects described herein may be stored in storage device 1040 and then loaded into storage device 1020 for execution by processor 1010. In accordance with various embodiments, one or more elements, including processor 1010, memory 1020, data storage device 1040, and encoder/decoder module 1030, may store one or more different elements while performing the processes described herein. Such elements stored in devices may include, but are not limited to, an input video stream, a decoded video stream or portions of a decoded video stream, a bitstream, matrices, variables, intermediate or final results of processing equations, formulas, operations, and functional logic.

В некоторых вариантах осуществления запоминающее устройство внутри процессора 1010 и/или модуля кодера/декодера 1030 используют для хранения команд и обеспечения функционирования рабочего запоминающего устройства для обработки данных во время кодирования или декодирования. Однако в других вариантах осуществления запоминающее устройство, являющееся внешним по отношению к устройству обработки (например, устройство обработки может представлять собой процессор 1010 или модуль кодера/декодера 1030), используется для одной или более из этих функций. Внешнее запоминающее устройство может представлять собой запоминающее устройство 1020 и/или устройство хранения данных 1040, например динамическое энергозависимое запоминающее устройство и/или энергонезависимую флэш-память. В нескольких вариантах осуществления внешняя энергонезависимая флэш-память используется для хранения операционной системы устройства, например, телевизора. По меньшей мере в одном варианте осуществления быстродействующее внешнее динамическое энергозависимое запоминающее устройство, например, ОЗУ, используют в качестве рабочего запоминающего устройства для операций кодирования и декодирования видеосигналов, например, MPEG-2 (аббревиатура «MPEG» относится к группе экспертов в области движущихся изображений Moving Picture Experts Group, группа стандартов MPEG-2 также известна как ISO/IEC 13818, а 13818-1 также имеет название H.222, и 13818-2 также имеет название H.262), HEVC (аббревиатура «HEVC» относится к методу высокоэффективного кодирования видеосигналов High Efficiency Video Coding, также известному как H.265 и MPEG-H Part 2) или VVC (Versatile Video Coding, новый стандарт, разработанный JVET, Объединенной группой экспертов по видеосигналам).In some embodiments, storage within processor 1010 and/or encoder/decoder module 1030 is used to store instructions and provide work memory functionality to process data during encoding or decoding. However, in other embodiments, a storage device external to the processing device (eg, the processing device may be a processor 1010 or an encoder/decoder module 1030) is used for one or more of these functions. The external storage device may be a memory device 1020 and/or a data storage device 1040, such as dynamic volatile memory and/or non-volatile flash memory. In several embodiments, external non-volatile flash memory is used to store the operating system of a device, such as a television. In at least one embodiment, a high-speed external dynamic volatile memory device, such as RAM, is used as a working memory for video encoding and decoding operations, such as MPEG-2 (the acronym "MPEG" refers to the Moving Image Experts Group Picture Experts Group, a group of standards MPEG-2 is also known as ISO/IEC 13818, and 13818-1 is also called H.222, and 13818-2 is also called H.262), HEVC (the abbreviation "HEVC" refers to the high efficiency High Efficiency Video Coding, also known as H.265 and MPEG-H Part 2) or VVC (Versatile Video Coding, a new standard developed by JVET, the Joint Video Experts Group).

Ввод данных в элементы системы 1000 может осуществляться через различные устройства ввода, как указано в блоке 1130. Такие устройства ввода включают в себя, без ограничений, (i) радиочастотную (РЧ) часть, которая принимает РЧ-сигнал, передаваемый, например, по беспроводной связи с помощью передающей станции, (ii) терминал ввода компонента (COMP) (или набор терминалов ввода COMP), (iii) терминал ввода универсальной последовательной шины (USB) и/или (iv) терминал ввода мультимедийного интерфейса высокой чёткости (HDMI). Другие примеры, не показанные на фиг. 10, включают в себя составное видеоизображение.Data input to elements of the system 1000 may be through various input devices, as indicated at block 1130. Such input devices include, but are not limited to, (i) a radio frequency (RF) portion that receives an RF signal transmitted, for example, wirelessly communication using a transmitting station, (ii) a component input terminal (COMP) (or a set of COMP input terminals), (iii) a universal serial bus (USB) input terminal, and/or (iv) a high-definition multimedia interface (HDMI) input terminal. Other examples not shown in FIG. 10 include a composite video image.

В различных вариантах осуществления устройства ввода (блок 1130), снабжены соответствующими элементами обработки входных данных, как известно специалистам в данной области. Например, РЧ-часть может быть связана с элементами, подходящими для (i) выбора желаемой частоты (это также называется выбором сигнала или ограничением полосы частот), (ii) преобразования выбранного сигнала с понижением частоты, (iii) ограничения полосы частот для получения более узкой полосы частот для выбора (в том числе) полосы частот сигнала, которая в определенных вариантах осуществления может называться каналом, (iv) демодулирования сигнала с пониженной частотой и ограниченной полосой частот, (v) выполнения коррекции ошибок и (vi) демультиплексирования для выбора желаемого потока пакетов данных. РЧ-часть в различных вариантах осуществления включает в себя один или более элементов для выполнения этих функций, например, селекторы частоты, селекторы сигнала, ограничители полосы частот, селекторы каналов, фильтры, понижающие преобразователи, демодуляторы, корректоры ошибок и демультиплексоры. РЧ-часть может включать в себя переключатель каналов, который выполняет различные из этих функций, включая, например, преобразование принятого сигнала с понижением частоты в более низкую частоту (например, промежуточную частоту или частоту, близкую к основной полосе частот) или в основную полосу частот. В одном варианте осуществления телевизионной приставки РЧ-часть и связанный с ней элемент обработки входных данных принимают РЧ-сигнал, передаваемый по проводу (например, кабелю), и выполняют выбор частоты путем фильтрации, преобразования с понижением частоты и повторной фильтрации для достижения требуемого диапазона частот. В рамках различных вариантов осуществления порядок описанных выше (и других) элементов изменяется, некоторые из этих элементов удаляются и/или добавляются другие элементы, выполняющие аналогичные или иные функции. Добавление элементов может включать в себя встраивание элементов между существующими элементами, например, добавление усилителей и аналого-цифрового преобразователя. В различных вариантах осуществления РЧ-часть включает в себя антенну.In various embodiments, the input devices (block 1130) are provided with appropriate input processing elements as is known to those skilled in the art. For example, the RF portion may be associated with elements suitable for (i) selecting a desired frequency (also called signal selection or bandwidth limiting), (ii) downconverting the selected signal, (iii) limiting the frequency band to obtain more narrowband to select (including) the frequency band of the signal, which in certain embodiments may be referred to as a channel, (iv) demodulate the down-frequency and bandwidth-limited signal, (v) perform error correction, and (vi) demultiplex to select the desired stream of data packets. The RF portion in various embodiments includes one or more elements to perform these functions, such as frequency selectors, signal selectors, band limiters, channel selectors, filters, downconverters, demodulators, error correctors, and demultiplexers. The RF portion may include a channel switch that performs various of these functions, including, for example, downconverting the received signal to a lower frequency (eg, intermediate frequency or near baseband frequency) or to baseband . In one embodiment of a set-top box, the RF portion and its associated input processing element receives an RF signal transmitted over a wire (eg, cable) and performs frequency selection by filtering, down-converting, and re-filtering to achieve the desired frequency range . Various embodiments vary the order of the elements described above (and others), remove some of these elements, and/or add other elements that perform similar or different functions. Adding elements may involve embedding elements between existing elements, such as adding amplifiers and an analog-to-digital converter. In various embodiments, the RF portion includes an antenna.

Дополнительно терминалы USB и/или HDMI могут включать в себя соответствующие интерфейсные процессоры для подключения системы 1000 к другим электронным устройствам через соединения USB и/или HDMI. Следует понимать, что различные аспекты входной обработки, например, коррекция ошибок Рида-Соломона, при необходимости могут быть реализованы, например, в пределах отдельной входной обработки данных IC или в процессоре 1010. Аналогичным образом, аспекты обработки интерфейса USB или HDMI при необходимости могут быть реализованы в отдельных IC интерфейса или в процессоре 1010. Демодулированный, исправленный и демультиплексированный поток данных подают на различные элементы обработки, включая, например, процессор 1010 и кодер/декодер 1030, работающие в комбинации с элементами системы хранения информации для обработки потока данных при необходимости их представления на устройстве вывода.Additionally, the USB and/or HDMI terminals may include suitable interface processors for connecting the system 1000 to other electronic devices via USB and/or HDMI connections. It should be understood that various aspects of input processing, such as Reed-Solomon error correction, may be implemented, for example, within a separate input processing IC or processor 1010 as needed. Likewise, aspects of USB or HDMI interface processing may be implemented as needed. implemented in separate interface ICs or processor 1010. The demodulated, corrected, and demultiplexed data stream is provided to various processing elements, including, for example, processor 1010 and encoder/decoder 1030, operating in combination with storage system elements to process the data stream as needed. presentation on the output device.

Различные элементы системы 1000 могут быть предусмотрены внутри интегрированного корпуса, и в пределах такого интегрированного корпуса различные элементы могут быть взаимно соединены и передавать данные между собой с помощью подходящей соединительной конструкции 1140, например, внутренней шины, известной специалистам в данной области, включая шину Inter-IC (I2C), проводов и печатных плат.Various elements of the system 1000 may be provided within an integrated housing, and within such an integrated housing, the various elements may be interconnected and communicate data with each other using a suitable interconnect structure 1140, such as an internal bus known to those skilled in the art, including an Inter-bus. IC (I2C), wires and printed circuit boards.

Система 1000 включает в себя интерфейс связи 1050, который обеспечивает связь с другими устройствами по каналу связи 1060. Интерфейс связи 1050 может включать в себя, без ограничений, приемопередатчик, выполненный с возможностью передачи и приема данных по каналу связи 1060. Интерфейс связи 1050 может включать в себя, без ограничений, модем или сетевую плату, а канал связи 1060 может быть реализован, например, в проводном и/или беспроводном варианте.System 1000 includes a communications interface 1050 that enables communication with other devices over a communications link 1060. Communications interface 1050 may include, but is not limited to, a transceiver configured to transmit and receive data over communications link 1060. Communications interface 1050 may include includes, without limitation, a modem or network card, and the 1060 communication channel can be implemented, for example, in a wired and/or wireless version.

В различных вариантах осуществления данные передаются в систему 1000 с использованием беспроводной сети, такой как сеть Wi-Fi, например IEEE 802.11 (аббревиатура «IEEE» относится к Институту инженеров по электротехнике и электронике). Сигнал Wi-Fi в рамках этих вариантов осуществления принимается по каналу связи 1060 и интерфейсу связи 1050, которые выполнены с возможностью связи по Wi-Fi. Канал связи 1060 в рамках этих вариантов осуществления, как правило, соединен с точкой доступа или маршрутизатором, который обеспечивает доступ к внешним сетям, в том числе сети Интернет, для обеспечения возможности потоковой и иной передачи данных. В других вариантах осуществления потоковые данные поступают в систему 1000 с помощью телевизионной приставки, которая доставляет данные через соединение HDMI блока ввода 1130. В других вариантах осуществления потоковые данные поступают в систему 1000 с помощью РЧ-соединения блока ввода 1130. Как указано выше, в рамках различных вариантов осуществления не происходит потоковой передачи данных. Кроме того, в различных вариантах осуществления используются беспроводные сети, отличные от Wi-Fi, например, сотовая сеть или сеть Bluetooth.In various embodiments, data is transmitted to the system 1000 using a wireless network, such as a Wi-Fi network, such as IEEE 802.11 (“IEEE” refers to the Institute of Electrical and Electronics Engineers). The Wi-Fi signal in these embodiments is received over a communication channel 1060 and a communication interface 1050, which are configured to communicate over Wi-Fi. The link 1060 in these embodiments is typically connected to an access point or router that provides access to external networks, including the Internet, to enable streaming and other data transfers. In other embodiments, the streaming data is provided to the system 1000 via a set-top box that delivers the data via the HDMI connection of the input unit 1130. In other embodiments, the streaming data is provided to the system 1000 via the RF connection of the input unit 1130. As stated above, within various embodiments, no data streaming occurs. Additionally, various embodiments utilize wireless networks other than Wi-Fi, such as a cellular network or a Bluetooth network.

Система 1000 может подавать выходной сигнал на различные устройства вывода, включая дисплей 1100, динамики 1110 и другие периферийные устройства 1120. Дисплей 1100 в различных вариантах осуществления включает в себя, например, сенсорный дисплей, дисплей на органических светодиодах (OLED), изогнутый дисплей и/или складываемый дисплей. Дисплей 1100 может быть предназначен для работы с телевизором, планшетным компьютером, ноутбуком, сотовым телефоном (мобильным телефоном) или другим устройством. Дисплей 1100 также может быть встроен в другие компоненты (например, как это реализовано в смартфоне) или может представлять собой отдельный компонент (например, внешний монитор на ноутбуке). В различных примерах осуществления другие периферийные устройства 1120 включают в себя, например, автономный цифровой видеодиск (или универсальный цифровой диск) («DVR» для обоих терминов), проигрыватель дисков, стерео систему и/или осветительную систему. В различных вариантах осуществления используются одно или более периферийных устройств 1120, которые обеспечивают выполнение функции, основанной на выходных данных системы 1000. Например, проигрыватель дисков выполняет функцию воспроизведения выходного сигнала системы 1000.The system 1000 may provide output to various output devices, including a display 1100, speakers 1110, and other peripheral devices 1120. The display 1100 in various embodiments includes, for example, a touch display, an organic light-emitting diode (OLED) display, a curved display, and/or or foldable display. The display 1100 may be configured to operate with a television, tablet computer, laptop, cell phone (mobile phone), or other device. The display 1100 may also be integrated into other components (such as in a smartphone) or may be a separate component (such as an external monitor on a laptop). In various embodiments, other peripheral devices 1120 include, for example, a stand-alone digital video disc (or digital versatile disc) (“DVR” for both terms), a disc player, a stereo system, and/or a lighting system. In various embodiments, one or more peripheral devices 1120 are used that provide a function based on the output of the system 1000. For example, a disc player performs the function of playing the output of the system 1000.

В различных вариантах осуществления управляющие сигналы передаются между системой 1000 и дисплеем 1100, динамиками 1110 или другими периферийными устройствами 1120 с использованием таких методов передачи сигналов, как AV.Link, Consumer Electronics Control (CEC) и других протоколов связи, которые обеспечивают возможность последовательного управления устройствами с вмешательством пользователя или без него. Устройства вывода могут быть соединены с возможностью связи с системой 1000 посредством выделенных соединений с помощью соответствующих интерфейсов 1070, 1080 и 1090. В альтернативном варианте осуществления устройства вывода могут быть подключены к системе 1000 с помощью канала связи 1060 посредством интерфейса связи 1050. Дисплей 1100 и динамики 1110 могут быть интегрированы в единый блок с другими компонентами системы 1000 в электронном устройстве, например, телевизоре. В различных вариантах осуществления интерфейс дисплея 1070 включает в себя драйвер дисплея, например, контроллер синхронизации (T Con).In various embodiments, control signals are transmitted between the system 1000 and the display 1100, speakers 1110, or other peripheral devices 1120 using signaling techniques such as AV.Link, Consumer Electronics Control (CEC), and other communication protocols that enable sequential control of devices with or without user intervention. Output devices may be communicatively connected to system 1000 via dedicated connections using respective interfaces 1070, 1080, and 1090. In an alternative embodiment, output devices may be connected to system 1000 via communications link 1060 via communications interface 1050. Display 1100 and speakers 1110 may be integrated into a single unit with other components of the system 1000 in an electronic device, such as a television. In various embodiments, display interface 1070 includes a display driver, such as a timing controller (T Con).

В альтернативном варианте осуществления дисплей 1100 и динамик 1110 могут работать отдельно от одного или более других компонентов, например, если РЧ-часть блока ввода 1130 является частью отдельной телевизионной приставки. В различных вариантах осуществления, в которых дисплей 1100 и динамики 1110 являются внешними компонентами, выходной сигнал может выводиться через специальные выходные соединения, включая, например, порты HDMI, порты USB или выходы COMP.In an alternative embodiment, the display 1100 and speaker 1110 may operate separately from one or more other components, for example, if the RF portion of the input unit 1130 is part of a separate set-top box. In various embodiments in which the display 1100 and speakers 1110 are external components, the output signal may be output through dedicated output connections including, for example, HDMI ports, USB ports, or COMP outputs.

Варианты осуществления могут быть реализованы с помощью компьютерного программного обеспечения, исполняемого процессором 1010, или аппаратного обеспечения, или с помощью комбинации аппаратного и программного обеспечения. В качестве примера, не имеющего ограничительного характера, варианты осуществления могут быть реализованы в виде одной или более интегральных схем. Запоминающее устройство 1020 может быть реализовано в соответствии с любым его типом, подходящим для технической среды, и может быть реализовано с использованием любой подходящей технологии хранения данных, в том числе оптических запоминающих устройств, магнитных запоминающих устройств, полупроводниковых запоминающих устройств, постоянных запоминающих устройств и съемных запоминающих устройств, в качестве примеров, не имеющих ограничительного характера. Процессор 1010 может быть реализован в соответствии с любым его типом, подходящим для технической среды, и может включать в себя один или более микропроцессоров, компьютеров общего назначения, компьютеров специального назначения и процессоров с многоядерной архитектурой, в качестве примеров, не имеющих ограничительного характера.Embodiments may be implemented by computer software executed by processor 1010 or hardware, or a combination of hardware and software. By way of non-limiting example, embodiments may be implemented as one or more integrated circuits. Storage device 1020 may be implemented in any type suitable for the technical environment and may be implemented using any suitable storage technology, including optical storage devices, magnetic storage devices, semiconductor storage devices, read-only storage devices, and removable storage devices. storage devices, as non-limiting examples. Processor 1010 may be implemented in any type suitable for the technical environment, and may include one or more microprocessors, general purpose computers, special purpose computers, and multi-core processors, as non-limiting examples.

Различные варианты осуществления включают в себя декодирование. Используемый в настоящей заявке термин «декодирование» может означать все или часть выполняемых процессов, например, в принятой кодированной последовательности для формирования конечных выходных данных, подходящих для отображения. В различных вариантах осуществления такие процессы включают в себя один или более процессов, обычно выполняемых декодером, например энтропийное декодирование, обратное квантование, обратное преобразование и дифференциальное декодирование. В различных вариантах осуществления такие процессы также включают в себя процессы, выполняемые декодером согласно различным вариантам осуществления, описанным в настоящей заявке, например, извлечение изображения из привязанного (упакованного) изображения, определение фильтра повышающей дискретизации для последующего использования, а затем повышение дискретизации изображения и возврат изображения к его предполагаемой ориентации.Various embodiments include decoding. As used herein, the term “decoding” can mean all or part of the processes performed, for example, in a received encoded sequence to produce final output data suitable for display. In various embodiments, such processes include one or more processes typically performed by a decoder, such as entropy decoding, inverse quantization, inverse transform, and differential decoding. In various embodiments, such processes also include processes performed by the decoder according to various embodiments described herein, for example, extracting an image from an anchored (packed) image, determining an upsampling filter for subsequent use, and then upsampling the image and returning image to its intended orientation.

В качестве дополнительных примеров в одном варианте осуществления «декодирование» относится только к энтропийному декодированию, в другом варианте осуществления «декодирование» относится только к дифференциальному декодированию, а в другом варианте осуществления «декодирование» относится к комбинации энтропийного декодирования и дифференциального декодирования. Ответ на вопрос о том, предназначена ли фраза «процесс декодирования» конкретно для ссылки на подмножество операций или для ссылки на процесс декодирования в более широком смысле, будет понятен на основе контекста конкретных описаний. Считается, что принцип применения данного термина известен специалистам в данной области.As further examples, in one embodiment, “decoding” refers only to entropy decoding, in another embodiment, “decoding” refers only to differential decoding, and in another embodiment, “decoding” refers to a combination of entropy decoding and differential decoding. The answer to the question of whether the phrase “decoding process” is intended to refer specifically to a subset of operations or to refer to the decoding process more generally will be clear based on the context of the specific descriptions. It is believed that the principle of application of this term is known to specialists in this field.

Различные варианты осуществления включают в себя кодирование. Аналогично приведенному выше описанию термина «декодирование», используемый в настоящей заявке термин «кодирование» может означать все или часть процессов, выполняемых, например, на входной видеопоследовательности для создания кодированного битового потока. В различных вариантах осуществления такие процессы включают в себя один или более процессов, обычно выполняемых кодером, например разделение, дифференциальное кодирование, преобразование, квантование и энтропийное кодирование. В различных вариантах осуществления такие процессы также включают в себя процессы, выполняемые кодером согласно различным вариантам осуществления, описанным в настоящей заявке.Various embodiments include encoding. Similar to the above description of the term “decoding,” as used herein, the term “encoding” can mean all or part of the processes performed, for example, on the input video sequence to create an encoded bitstream. In various embodiments, such processes include one or more processes typically performed by an encoder, such as division, differential encoding, transform, quantization, and entropy encoding. In various embodiments, such processes also include processes performed by the encoder according to various embodiments described herein.

В качестве дополнительных примеров в одном варианте осуществления термин «кодирование» относится только к энтропийному кодированию, в другом варианте осуществления термин «кодирование» относится только к дифференциальному кодированию, а в еще одном варианте осуществления термин «кодирование» относится к комбинации дифференциального кодирования и энтропийного кодирования. Ответ на вопрос о том, предназначена ли фраза «процесс кодирования» конкретно для ссылки на подмножество операций или для ссылки на процесс кодирования в более широком смысле, будет понятен на основе контекста конкретных описаний. Считается, что принцип применения данного термина известен специалистам в данной области. Следует отметить, что элементы синтаксиса, используемые в настоящем документе, являются описательными терминами и не имеют ограничительного характера. Таким образом, их использование не исключает использования других названий элементов синтаксиса.As further examples, in one embodiment, the term "encoding" refers only to entropy encoding, in another embodiment, the term "encoding" refers only to differential encoding, and in yet another embodiment, the term "encoding" refers to a combination of differential encoding and entropy encoding . The answer to the question of whether the phrase "encoding process" is intended to refer specifically to a subset of operations or to refer to the encoding process more generally will be clear based on the context of the specific descriptions. It is believed that the principle of application of this term is known to specialists in this field. It should be noted that the syntax elements used herein are descriptive terms and are not intended to be limiting. Thus, their use does not preclude the use of other names for syntax elements.

Если фигура представлена в виде блок-схемы, следует понимать, что она также представляет собой блок-схему соответствующего устройства. Аналогичным образом, если фигура представлена в виде блок-схемы, следует понимать, что она также представляет собой блок-схему соответствующего способа/процесса.When a figure is presented in block diagram form, it should be understood that it also represents a block diagram of the corresponding device. Likewise, if a figure is presented in the form of a flow diagram, it should be understood that it also represents a flow diagram of the corresponding method/process.

Варианты осуществления и аспекты, описанные в настоящем документе, могут быть реализованы, например, в рамках способа или процесса, устройства, программного обеспечения, потока данных или сигнала. Даже если данный аспект описывается только в контексте одной формы осуществления (например, рассматривается только как способ), описываемый вариант осуществления элементов также может быть реализован в других формах (например, в устройстве или программном обеспечении). Устройство может быть реализовано, например, в виде соответствующего аппаратного обеспечения, программного обеспечения и микропрограммного обеспечения. Способы могут быть реализованы, например, в виде процессора, который относится к устройствам обработки в целом, включая, например, компьютер, микропроцессор, интегральную схему или программируемое логическое устройство. Процессоры также включают в себя устройства связи, такие как, например, компьютеры, сотовые телефоны, портативные/карманные персональные компьютеры (PDA) и другие устройства, облегчающие передачу информации между конечными пользователями.The embodiments and aspects described herein may be implemented, for example, within a method or process, apparatus, software, data stream, or signal. Even if a given aspect is described only in the context of one embodiment (eg, discussed as a method only), the described embodiment of the elements may also be implemented in other forms (eg, a device or software). The device may be implemented, for example, in the form of corresponding hardware, software and firmware. The methods may be implemented, for example, in the form of a processor, which refers to processing devices in general, including, for example, a computer, microprocessor, integrated circuit, or programmable logic device. Processors also include communications devices, such as, for example, computers, cellular phones, personal digital assistants (PDAs), and other devices that facilitate the transfer of information between end users.

Ссылка на «один вариант осуществления», или «вариант осуществления», а также на другие их варианты означает, что конкретный признак, структура, характеристика и т.п., описанные в связи с вариантом осуществления, включены по меньшей мере в один вариант осуществления. Таким образом, фраза «в одном варианте осуществления» или «в одном из вариантов осуществления», а также любые другие ее варианты, приведенные в различных частях настоящей заявки, необязательно относятся к одному варианту осуществления.Reference to “one embodiment” or “an embodiment”, as well as other variations thereof, means that a particular feature, structure, characteristic, etc. described in connection with the embodiment is included in at least one embodiment . Thus, the phrase “in one embodiment” or “in one embodiment,” as well as any other variations thereof set forth in various parts of this application, do not necessarily refer to a single embodiment.

Кроме того, в настоящей заявке может описываться «определение» различных фрагментов информации. Определение информации может включать в себя, например, оценку информации, вычисление информации, прогнозирование информации или извлечение информации из запоминающего устройства.In addition, this application may describe the “definition” of various pieces of information. Determining information may include, for example, evaluating information, calculating information, predicting information, or retrieving information from a storage device.

Кроме того, в настоящей заявке может описываться «доступ» к различным фрагментам информации. Доступ к информации может включать в себя, например, прием информации, извлечение информации (например, из запоминающего устройства), хранение информации, передачу информации, копирование информации, вычисление информации, определение информации, прогнозирование информации и оценку информации.Additionally, this application may describe “accessing” various pieces of information. Accessing information may include, for example, receiving information, retrieving information (eg, from a storage device), storing information, transmitting information, copying information, computing information, determining information, predicting information, and evaluating information.

Кроме того, в настоящей заявке может описываться «прием» различных фрагментов информации. Прием информации, как и в случае «доступа» к ней, описывается в широком смысле. Прием информации может включать в себя, например, доступ к информации или извлечение информации (например, из запоминающего устройства). Кроме того, «прием», как правило, является частью операций, таких как, например, хранение информации, обработка информации, передача информации, копирование информации, удаление информации, вычисление информации, определение информации, прогнозирование информации и оценка информации.Additionally, the present application may describe “receiving” various pieces of information. Reception of information, as in the case of “accessing” it, is described in a broad sense. Receiving information may include, for example, accessing or retrieving information (eg, from a storage device). In addition, "reception" is generally part of operations such as, for example, storing information, processing information, transmitting information, copying information, deleting information, computing information, determining information, predicting information, and evaluating information.

Следует понимать, что любая из следующих фраз и обозначений: «/», «и/или» и «по меньшей мере один элемент из», например, в случае использования выражений «A/B», «A и/или B» и «по меньшей мере один элемент из A и B», означает выбор только первого указанного элемента (A), или выбор только второго указанного элемента (B), или выбор обоих элементов (A и B). В качестве дополнительного примера при использовании выражений «A, B и/или C» и «по меньшей мере один элемент из A, B и C» предполагается, что такая фраза означает выбор только первого указанного элемента (A), или выбор только второго указанного элемента (B), или выбор только третьего указанного элемента (C), или выбор только первого и второго указанных элементов (A и B), или выбор только первого и третьего указанных элементов (A и C), или выбор только второго и третьего указанных элементов (B и C), или выбор всех трех элементов (A и B и C). Данные выражения могут применяться в более широком смысле в зависимости от количества элементов, как известно специалистам в данной области.It should be understood that any of the following phrases and designations: “/”, “and/or” and “at least one element of”, for example, in the case of the expressions “A/B”, “A and/or B” and “at least one element of A and B” means selecting only the first specified element (A), or selecting only the second specified element (B), or selecting both elements (A and B). As a further example, when using the expressions "A, B and/or C" and "at least one element of A, B and C", such phrase is intended to mean selecting only the first specified element (A), or selecting only the second specified element (B), or selecting only the third specified element (C), or selecting only the first and second specified elements (A and B), or selecting only the first and third specified elements (A and C), or selecting only the second and third specified elements elements (B and C), or selecting all three elements (A and B and C). These expressions may be applied in a broader sense depending on the number of elements, as known to those skilled in the art.

Кроме того, в настоящем документе слово «сигнал» означает, помимо прочего, команду, передаваемую на соответствующий декодер. Например, в некоторых вариантах осуществления кодер сигнализирует конкретный параметр из множества параметров для выбора параметров фильтра на основе области для выполнения фильтрации для устранения артефактов. Таким образом, в варианте осуществления один и тот же параметр используют как на стороне кодера, так и на стороне декодера. Таким образом, например, кодер может передавать (посредством прямой передачи сигнала) конкретный параметр декодеру таким образом, чтобы декодер мог использовать данный конкретный параметр. И наоборот, если декодер уже имеет определенные параметры, в том числе конкретный параметр, для указания конкретного параметра можно использовать метод косвенной передачи сигнала без передачи параметра. За счет исключения передачи фактических функций в различных вариантах осуществления обеспечивается экономия битов. Следует понимать, что передача сигналов может выполняться различными способами. Например, в различных вариантах осуществления один или более элементов синтаксиса, флагов и т.п. используют для передачи информации соответствующему декодеру. В настоящем документе в отношении передачи сигналов могут использоваться различные части речи, такие как глагол «передавать сигнал» и существительное «передача сигнала».In addition, as used herein, the word “signal” means, among other things, a command transmitted to the corresponding decoder. For example, in some embodiments, the encoder signals a particular parameter from a plurality of parameters to select filter parameters based on the region to perform filtering to remove artifacts. Thus, in an embodiment, the same parameter is used on both the encoder side and the decoder side. Thus, for example, an encoder may transmit (by direct signal transmission) a particular parameter to a decoder such that the decoder can use that particular parameter. Conversely, if the decoder already has certain parameters, including a specific parameter, the indirect signal transmission method without parameter transmission can be used to indicate the specific parameter. By eliminating the transfer of actual functions in various embodiments, bit savings are achieved. It should be understood that signaling can be accomplished in a variety of ways. For example, in various embodiments, one or more syntax elements, flags, or the like. used to transmit information to the appropriate decoder. Throughout this document, various parts of speech may be used to refer to signaling, such as the verb "signal" and the noun "signal".

Как будет понятно специалистам в данной области, в рамках вариантов осуществления могут генерироваться различные сигналы, отформатированные для передачи информации, которую можно, например, хранить или передавать. Информация может включать в себя, например, инструкции по реализации способа или данные, полученные в рамках одного из описанных вариантов осуществления. Например, сигнал может быть отформатирован для передачи битового потока согласно описанному варианту осуществления. Такой сигнал может быть отформатирован, в том числе в виде электромагнитной волны (например, с использованием радиочастотного участка спектра) или в виде сигнала основной полосы частот. Форматирование может включать в себя, например, кодирование потока данных и модуляцию несущей частоты потоком кодированных данных. Информация, передаваемая сигналом, может представлять собой, например, аналоговую или цифровую информацию. Как известно, сигнал может передаваться по множеству различных проводных и беспроводных линий связи. Сигнал может храниться на считываемом процессором носителе.As will be appreciated by those skilled in the art, embodiments may generate various signals formatted to convey information that may, for example, be stored or transmitted. The information may include, for example, instructions for implementing a method or data obtained in accordance with one of the described embodiments. For example, the signal may be formatted to transmit a bitstream according to the described embodiment. Such a signal may be formatted, including as an electromagnetic wave (for example, using the radio frequency portion of the spectrum) or as a baseband signal. Formatting may include, for example, encoding the data stream and modulating the carrier frequency with the encoded data stream. The information conveyed by the signal may be, for example, analog or digital information. As you know, a signal can be transmitted over many different wired and wireless communication lines. The signal may be stored on a processor-readable medium.

В настоящем документе описывается ряд вариантов осуществления. Особенности этих вариантов осуществления могут быть представлены отдельно или в любой комбинации по различным категориям и типам пунктов формулы изобретения. Кроме того, варианты осуществления могут включать в себя любой из следующих признаков, устройств или аспектов, отдельно или в любой комбинации, по различным категориям и типам пунктов формулы изобретения: (1) изменение процессов прогнозирования, применяемых в декодере и/или кодере; (2) активация нескольких усовершенствованных способов прогнозирования в декодере и/или кодере; (3) добавление в синтаксис передачи сигналов элементов, позволяющих декодеру идентифицировать используемый способ прогнозирования; (4) выбор способа прогнозирования для применения в декодере на основе этих элементов синтаксиса; (5) применение способа прогнозирования для выведения прогнозирования в декодере; (6) адаптация остатков в кодере в соответствии с любым из описанных вариантов осуществления; (7) битовый поток или сигнал, который включает в себя один или более из описанных элементов синтаксиса и их вариаций; (8) битовый поток или сигнал, который включает в себя синтаксис, передающий информацию, сгенерированную в соответствии с любым из описанных вариантов осуществления; (9) добавление в синтаксис передачи сигналов элементов, позволяющих декодеру адаптировать остатки способом, соответствующим способу, использованному кодером; (10) создание, и/или передача, и/или прием, и/или декодирование битового потока или сигнала, который включает в себя один или более из описанных элементов синтаксиса и их вариаций; (11) создание, и/или передача, и/или прием, и/или декодирование в соответствии с любым из описанных вариантов осуществления; (12) способ, процесс, устройство, носитель, на котором хранятся команды, носитель, на котором хранятся данные, или сигнал в соответствии с любым из описанных вариантов осуществления; (13) телевизор, телевизионная приставка, сотовый телефон, планшетный компьютер или другое электронное устройство, выполняющее адаптацию параметров фильтра в соответствии с любым из описанных вариантов осуществления; (14) телевизор, телевизионная приставка, сотовый телефон, планшетный компьютер или другое электронное устройство, выполняющее адаптацию параметров фильтра в соответствии с любым из описанных вариантов осуществления и отображающее (например, с помощью монитора, экрана или дисплея другого типа) полученное изображение; (15) телевизор, телевизионная приставка, сотовый телефон, планшетный компьютер или другое электронное устройство, выбирающее (например, с помощью переключателя каналов) канал для приема сигнала, включающего в себя кодированное изображение, и выполняющее адаптацию параметров фильтра в соответствии с любым из описанных вариантов осуществления; и (16) телевизор, телевизионная приставка, сотовый телефон, планшетный компьютер или другое электронное устройство, принимающее (например, с помощью антенны) сигнал, который включает в себя кодированное изображение, и выполняющее адаптацию параметров фильтра в соответствии с любым из описанных вариантов осуществления.A number of embodiments are described herein. The features of these embodiments may be presented separately or in any combination under various categories and types of claims. In addition, embodiments may include any of the following features, devices or aspects, alone or in any combination, across various categories and types of claims: (1) modifying the prediction processes employed in the decoder and/or encoder; (2) enabling several advanced prediction methods in the decoder and/or encoder; (3) adding elements to the signaling syntax that allow the decoder to identify the prediction method being used; (4) selecting a prediction method to apply to the decoder based on these syntax elements; (5) applying the prediction method to output the prediction at the decoder; (6) adapting the residuals in the encoder in accordance with any of the described embodiments; (7) a bit stream or signal that includes one or more of the described syntax elements and variations thereof; (8) a bitstream or signal that includes syntax conveying information generated in accordance with any of the described embodiments; (9) adding elements to the signaling syntax that allow the decoder to adapt the remainders in a manner consistent with the method used by the encoder; (10) creating and/or transmitting and/or receiving and/or decoding a bit stream or signal that includes one or more of the described syntax elements and variations thereof; (11) creating and/or transmitting and/or receiving and/or decoding in accordance with any of the described embodiments; (12) a method, process, device, medium on which instructions are stored, medium on which data is stored, or signal in accordance with any of the described embodiments; (13) a television, set-top box, cell phone, tablet computer, or other electronic device that adapts filter parameters in accordance with any of the described embodiments; (14) a television, set-top box, cell phone, tablet computer, or other electronic device that adapts filter parameters in accordance with any of the described embodiments and displays (e.g., using a monitor, screen, or other type of display) the resulting image; (15) a television, set-top box, cell phone, tablet computer, or other electronic device that selects (for example, through a channel selector) a channel to receive a signal including an encoded image and adapts filter parameters in accordance with any of the described options implementation; and (16) a television, set-top box, cell phone, tablet computer, or other electronic device receiving (eg, via an antenna) a signal that includes an encoded image and adapting filter parameters in accordance with any of the described embodiments.

Хотя признаки и элементы описаны выше в конкретных комбинациях, специалисту в данной области будет очевидно, что каждый признак или элемент можно использовать отдельно или в любой комбинации с другими признаками и элементами. Кроме того, описанные в настоящем документе способы могут быть реализованы в компьютерной программе, программном обеспечении или программно-аппаратном обеспечении, встроенном в машиночитаемый носитель и предназначенном для исполнения компьютером или процессором. Примеры энергозависимого машиночитаемого носителя информации включают в себя, без ограничений, постоянное запоминающее устройство (ПЗУ), оперативное запоминающее устройство (ОЗУ), регистр, кэш-память, полупроводниковые устройства хранения данных, магнитные носители, такие как внутренние жесткие диски и съемные диски, магнитооптические носители и оптические носители, такие как диски CD-ROM и цифровые универсальные диски (DVD). Процессор в сочетании с программным обеспечением можно использовать для реализации радиочастотного приемопередатчика, предназначенного для применения в составе модуля 102 WTRU, пользовательского оборудования (UE), терминала, базовой станции, контроллера RNC и/или любого главного компьютера.Although the features and elements are described above in specific combinations, one skilled in the art will appreciate that each feature or element can be used alone or in any combination with other features and elements. In addition, the methods described herein may be implemented in a computer program, software, or firmware embedded in a computer-readable medium for execution by a computer or processor. Examples of volatile computer-readable storage media include, but are not limited to, read-only memory (ROM), random access memory (RAM), register, cache memory, semiconductor storage devices, magnetic media such as internal hard drives and removable drives, magneto-optical media and optical media such as CD-ROMs and digital versatile discs (DVDs). The processor, in combination with software, may be used to implement an RF transceiver for use within WTRU 102, a user equipment (UE), a terminal, a base station, an RNC, and/or any host computer.

Кроме того, в описанных выше вариантах осуществления отмечены платформы для выполнения обработки, вычислительные системы, контроллеры и другие устройства, содержащие процессоры. Эти устройства могут содержать по меньшей мере один центральный процессор (ЦП) и запоминающее устройство. Как свидетельствует практика специалистов в области компьютерного программирования, указания на действия и символические представления этапов или команд могут быть реализованы с помощью различных ЦП и запоминающих устройств. Такие действия и этапы или команды могут упоминаться как «исполняемые», «исполняемые с помощью компьютера» или «исполняемые с помощью ЦП».Also noted in the embodiments described above are processing platforms, computing systems, controllers, and other devices comprising processors. These devices may include at least one central processing unit (CPU) and a storage device. As practiced by those skilled in computer programming, action instructions and symbolic representations of steps or commands can be implemented using a variety of CPUs and storage devices. Such actions and steps or commands may be referred to as “executable,” “computer-executable,” or “CPU-executable.”

Для специалиста в данной области будет очевидно, что указанные действия и символически представленные этапы или команды включают управление электрическими сигналами с помощью ЦП. Электрическая система выдает биты данных, которые могут инициировать итоговое преобразование или ослабление электрических сигналов и сохранение битов данных в ячейках запоминающего устройства в системе запоминающего устройства, чтобы таким образом переконфигурировать или иным образом изменить работу ЦП, а также другую обработку сигналов. Ячейки запоминающего устройства, в которых хранятся биты данных, представляют собой физические местоположения, которые обладают определенными электрическими, магнитными, оптическими или органическими свойствами, соответствующими битам данных или характерными для битов данных. Следует понимать, что примеры осуществления не ограничены вышеупомянутыми платформами или ЦП и что другие платформы и ЦП также могут поддерживать предложенные способы.It will be apparent to one skilled in the art that the above actions and symbolically represented steps or commands involve controlling electrical signals by the CPU. The electrical system provides data bits that can cause the resulting conversion or attenuation of the electrical signals and storage of the data bits in storage cells in the storage device system to thereby reconfigure or otherwise alter CPU operation as well as other signal processing. The storage cells in which data bits are stored are physical locations that have certain electrical, magnetic, optical, or organic properties corresponding to or characteristic of the data bits. It should be understood that the embodiments are not limited to the aforementioned platforms or CPUs and that other platforms and CPUs may also support the proposed methods.

Биты данных также могут храниться на машиночитаемом носителе, в том числе на магнитных дисках, оптических дисках и любом другом энергозависимом (например, оперативном запоминающем устройстве (ОЗУ)) или энергонезависимом (например, постоянном запоминающем устройстве (ПЗУ)) накопителе большой емкости для считывания ЦП. Машиночитаемый носитель может включать в себя взаимодействующий или взаимосвязанный машиночитаемый носитель, применяемый исключительно в системе обработки или распределенный между множеством взаимосвязанных систем обработки, которые могут быть локальными или удаленными по отношению к указанной системе обработки. При этом подразумевается, что типовые варианты осуществления не ограничены вышеупомянутыми запоминающими устройствами и что другие платформы и запоминающие устройства также могут поддерживать описанные способы.Data bits may also be stored on computer-readable media, including magnetic disks, optical disks, and any other volatile (such as random access memory (RAM)) or non-volatile (such as read-only memory (ROM)) mass storage device readable by the CPU . Computer-readable media may include interoperable or interconnected computer-readable media used solely within a processing system or distributed among a plurality of interconnected processing systems, which may be local or remote to said processing system. It is understood that exemplary embodiments are not limited to the aforementioned storage devices and that other platforms and storage devices may also support the described methods.

В иллюстративном варианте осуществления любые этапы, способы и т.п., описанные в настоящем документе, могут быть реализованы в виде машиночитаемых команд, хранящихся на машиночитаемом носителе. Процессор мобильного устройства, сетевой элемент и/или любое другое вычислительное устройство могут быть выполнены с возможностью исполнения машиночитаемых команд.In an illustrative embodiment, any of the steps, methods, etc. described herein may be implemented as computer-readable instructions stored on a computer-readable medium. The mobile device processor, network element, and/or any other computing device may be configured to execute machine-readable instructions.

Между аппаратными и программными реализациями аспектов систем остаются незначительные различия. Использование аппаратного или программного обеспечения, как правило (но не всегда, поскольку в определенных контекстах различие между аппаратным и программным обеспечением может стать значительным), предполагает выбор конструкции, представляющей собой компромисс между затратами и эффективностью. Могут существовать различные средства, с помощью которых могут быть реализованы способы и/или системы, и/или другие технологии, описанные в данном документе (например, аппаратное обеспечение, программное обеспечение и/или микропрограммное обеспечение), а предпочтительное средство может варьироваться в зависимости от контекста, в котором развернуты указанные способы и/или системы, и/или другие технологии. Например, если разработчик определяет, что скорость и точность имеют первостепенное значение, он может применять главным образом аппаратное и/или микропрограммное средство. Если самым важным аспектом является гибкость, разработчик может выбирать реализацию главным образом в виде программного обеспечения. В альтернативном варианте осуществления разработчик может применять комбинацию аппаратного обеспечения, программного обеспечения и/или микропрограммного обеспечения.Minor differences remain between hardware and software implementations of aspects of the systems. The use of hardware or software usually (but not always, since in certain contexts the difference between hardware and software can become significant) involves choosing a design that represents a trade-off between cost and efficiency. There may be various means by which the methods and/or systems and/or other technologies described herein can be implemented (e.g., hardware, software and/or firmware), and the preferred means may vary depending on the context in which said methods and/or systems and/or other technologies are deployed. For example, if a developer determines that speed and accuracy are of paramount importance, he may use primarily hardware and/or firmware. If flexibility is the most important aspect, the developer may choose to implement primarily in software. In an alternative embodiment, the developer may use a combination of hardware, software and/or firmware.

В приведенном выше подробном описании изложены различные варианты осуществления устройств и/или способов с применением блок-схем, структурных схем и/или примеров. Поскольку такие блок-схемы, структурные схемы и/или примеры содержат одну или более функций и/или операций, для специалистов в данной области будет очевидно, что каждая функция и/или операция в таких блок-схемах, структурных схемах или примерах может быть реализована, отдельно и/или совместно, с применением широкого спектра аппаратного обеспечения, программного обеспечения, микропрограммного обеспечения или по существу любой их комбинации. В качестве примера подходящие процессоры включают процессор общего назначения, процессор специального назначения, стандартный процессор, цифровой сигнальный процессор (DSP), множество микропроцессоров, один или более микропроцессоров, связанных с ядром DSP, контроллер, микроконтроллер, специализированные интегральные микросхемы (ASIC), стандартные части специализированной интегральной схемы (ASSP); программируемую пользователем вентильную матрицу (FPGA), интегральную схему (IC) любого другого типа и/или конечный автомат.The above detailed description sets forth various embodiments of devices and/or methods using block diagrams, block diagrams and/or examples. Since such block diagrams, block diagrams and/or examples contain one or more functions and/or operations, it will be apparent to those skilled in the art that each function and/or operation in such block diagrams, block diagrams or examples can be implemented , separately and/or together, using a wide variety of hardware, software, firmware, or essentially any combination thereof. By way of example, suitable processors include a general purpose processor, a special purpose processor, a standard processor, a digital signal processor (DSP), a plurality of microprocessors, one or more microprocessors associated with a DSP core, a controller, a microcontroller, application specific integrated circuits (ASICs), standard parts application specific integrated circuit (ASSP); a field programmable gate array (FPGA), an integrated circuit (IC) of any other type, and/or a state machine.

Хотя признаки и элементы представлены выше в конкретных комбинациях, специалисту в данной области будет очевидно, что каждый признак или элемент может быть использован отдельно или в любой комбинации с другими признаками и элементами. Настоящее изобретение не ограничивается описанными в настоящей заявке конкретными вариантами осуществления, которые предназначены для иллюстрации различных аспектов. Для специалистов в данной области будет очевидно, что возможно внесение множества модификаций и изменений без отступления от сущности и объема настоящего изобретения. Никакие элементы, действия или команды, используемые в описании настоящей заявки, не следует рассматривать как критические или существенные для изобретения, если явным образом не указано иное. Функционально эквивалентные способы и устройства, входящие в объем описания, в дополнение к перечисленным в настоящем документе станут очевидными для специалистов в данной области после ознакомления с представленными выше описаниями. Предполагается, что такие модификации и вариации включены в объем приложенной формулы изобретения. Настоящее описание ограничивается исключительно прилагаемой формулой изобретения, а также полным диапазоном эквивалентов, к которым относится такая формула изобретения. Следует понимать, что настоящее описание не ограничивается конкретными способами или системами.Although the features and elements are presented above in specific combinations, one skilled in the art will appreciate that each feature or element can be used alone or in any combination with other features and elements. The present invention is not limited to the specific embodiments described herein, which are intended to illustrate various aspects. It will be apparent to those skilled in the art that many modifications and changes can be made without departing from the spirit and scope of the present invention. No elements, actions or instructions used in the specification of this application should be construed as critical or essential to the invention unless expressly stated otherwise. Functionally equivalent methods and devices included in the scope of the description, in addition to those listed herein, will become apparent to those skilled in the art upon reading the above descriptions. It is intended that such modifications and variations be included within the scope of the appended claims. The present description is limited solely by the appended claims and the full range of equivalents to which such claims apply. It should be understood that the present description is not limited to specific methods or systems.

Кроме того, следует понимать, что применяемые в настоящем документе термины используют только в целях описания конкретных вариантов осуществления настоящего изобретения и они не носят ограничительного характера. Используемые в настоящем документе термины «станция» и его аббревиатура STA, «пользовательское оборудование» и его аббревиатура UE могут означать (i) модуль беспроводной передачи/приема (WTRU), например, как описано ниже; (ii) любой из некоторого количества вариантов осуществления WTRU, например, как описано ниже; (iii) беспроводное и/или проводное (например, подключаемое) устройство, выполненное, в частности, с применением некоторых или всех конструкций и функциональных возможностей WTRU, например, как описано ниже; (iii) беспроводное и/или проводное устройство, выполненное не со всеми конструкциями и функциональными возможностями WTRU, например, как описано ниже; или (iv) и т.п.In addition, it should be understood that the terms used herein are used only for the purpose of describing specific embodiments of the present invention and are not intended to be limiting. As used herein, the terms “station” and its abbreviation STA, “user equipment” and its abbreviation UE may refer to (i) a wireless transmit/receive unit (WTRU), for example, as described below; (ii) any of a number of embodiments of a WTRU, such as those described below; (iii) a wireless and/or wired (eg, plug-in) device, made, in particular, using some or all of the designs and functionality of the WTRU, for example, as described below; (iii) a wireless and/or wired device not configured with all WTRU designs and functionality, such as those described below; or (iv) etc.

В определенных типовых вариантах осуществления некоторые части объекта изобретения, описанного в настоящем документе, могут быть реализованы с помощью специализированных интегральных схем (ASIC), программируемых пользователем вентильных матриц (FPGA), цифровых сигнальных процессоров (DSP) и/или интегральных схем других форматов. Однако для специалистов в данной области будет очевидно, что некоторые аспекты описанных в настоящем документе вариантов осуществления полностью или частично могут быть эквивалентно реализованы в интегральных схемах в виде одной или более компьютерных программ, выполняемых на одном или более компьютерах (например, в виде одной или более программ, выполняемых в одной или более компьютерных системах), в виде одной или более программ, выполняемых на одном или более процессорах (например, в виде одной или более программ, выполняемых на одном или более микропроцессорах), в виде микропрограммного обеспечения или в виде по существу любой их комбинации и что разработка схем и/или написание кода для программного обеспечения и/или микропрограммного обеспечения будет вполне по силам специалисту в данной области после ознакомления с настоящим описанием. Кроме того, для специалистов в данной области будет очевидно, что механизмы объекта изобретения, описанные в настоящем документе, могут быть распределены в виде программного продукта в множестве форм и что иллюстративный вариант осуществления объекта изобретения, описанный в настоящем документе, применяют независимо от конкретного типа среды передачи сигналов, используемой для фактического осуществления такого распределения. Примеры носителя сигнала включают в себя, без ограничений, следующее: носитель, выполненный с возможностью записи, например, гибкий диск, накопитель на жестком диске, CD, DVD, магнитную ленту для цифровой записи, запоминающее устройство компьютера и т.д., а также носитель, выполненный с возможностью передачи, такой как цифровая и/или аналоговая среда передачи данных (например, оптоволоконный кабель, волновод, проводная линия связи, беспроводная линия связи и т.д.).In certain exemplary embodiments, certain portions of the subject matter described herein may be implemented using application-specific integrated circuits (ASICs), field programmable gate arrays (FPGAs), digital signal processors (DSPs), and/or other integrated circuit formats. However, those skilled in the art will appreciate that certain aspects of the embodiments described herein, in whole or in part, may be equivalently implemented on integrated circuits in the form of one or more computer programs executing on one or more computers (e.g., in the form of one or more programs running on one or more computer systems), in the form of one or more programs running on one or more processors (for example, in the form of one or more programs running on one or more microprocessors), in the form of firmware, or in the form of software essentially any combination thereof and that designing circuits and/or writing code for software and/or firmware would be within the capabilities of one skilled in the art after reading this disclosure. In addition, it will be apparent to those skilled in the art that the subject matter mechanisms described herein can be distributed as a software product in a variety of forms and that the exemplary embodiment of the subject matter described herein applies regardless of the particular type of environment. signaling used to actually effect such distribution. Examples of the signal medium include, but are not limited to, the following: a recordable medium such as a floppy disk, hard disk drive, CD, DVD, digital tape, computer storage device, etc., and a medium capable of transmission, such as digital and/or analog transmission media (eg, fiber optic cable, waveguide, wireline, wireless link, etc.).

Описанный в настоящем документе объект изобретения иногда иллюстрирует различные компоненты, содержащиеся внутри различных других компонентов или соединенные с ними. Следует понимать, что такие показанные архитектуры являются лишь примерами и что фактически можно реализовать различные другие архитектуры с такой же функциональностью. В концептуальном смысле любая конструкция компонентов для получения такой же функциональности практически «связана» с возможностью обеспечения желаемой функциональности. Следовательно, любые два компонента, скомбинированные в настоящем документе для достижения конкретной функциональности, можно рассматривать как «связанные» друг с другом с возможностью обеспечения желаемой функциональности, независимо от архитектур или промежуточных компонентов. Аналогично любые два компонента, соединенные таким образом, можно также рассматривать как «функционально соединенные» или «функционально связанные» друг с другом для обеспечения желаемой функциональности, и любые два компонента, которые могут быть связаны таким образом, также можно рассматривать как «имеющие возможность функционального соединения» друг с другом для обеспечения желаемой функциональности. Конкретные примеры функционально соединяемых компонентов включают в себя, без ограничений, компоненты, выполненные с возможностью физического сопряжения, и/или физического, и/или логического, и/или беспроводного взаимодействия, и/или компоненты, взаимодействующие логически и/или беспроводным образом.The subject matter described herein sometimes illustrates various components contained within or connected to various other components. It should be understood that such illustrated architectures are examples only and that various other architectures with the same functionality may in fact be implemented. In a conceptual sense, any design of components to achieve the same functionality is practically "coupled" with the ability to provide the desired functionality. Therefore, any two components combined herein to achieve a particular functionality can be considered to be "tied" together to provide the desired functionality, regardless of architectures or intermediate components. Likewise, any two components connected in this way can also be considered to be "operably connected" or "functionally coupled" to each other to provide the desired functionality, and any two components that can be connected in this way can also be considered to be "capable of functionally connections" with each other to provide the desired functionality. Specific examples of interoperable components include, but are not limited to, components configured to be physically interoperable and/or physically and/or logically and/or wirelessly interoperable, and/or components interoperable logically and/or wirelessly.

В отношении применения по существу любых вариантов множественного и/или единственного числа для терминов в настоящем документе специалисты в данной области могут изменять множественное число на единственное и/или единственное число на множественное в соответствии с требованиями контекста и/или сферой применения. В настоящем документе различные комбинации единственного/множественного числа для ясности могут быть указаны явным образом.With respect to the use of substantially any plural and/or singular variations for terms herein, those skilled in the art may change plural to singular and/or singular to plural as the context and/or scope of application requires. Various singular/plural combinations may be explicitly stated herein for clarity.

Для специалистов в данной области будет очевидно, что в целом термины, используемые в настоящем документе и, в частности, в прилагаемой формуле изобретения (например, в главной части прилагаемой формулы изобретения), как правило, считаются «неограничивающими» терминами (например, термин «включающий» следует интерпретировать как «включающий, без ограничений», термин «имеющий» следует интерпретировать как «имеющий по меньшей мере», термин «включает» следует интерпретировать как «включает, без ограничений» и т.д.). Кроме того, для специалистов в данной области будет очевидно, что в случае, если предполагается конкретное количество включенных пунктов с изложением формулы изобретения, такое намерение будет явным образом указано в формуле изобретения, а в отсутствие такого упоминания такого намерения нет. Например, если речь идет только об одном элементе, может быть использован термин «один» или аналогичный термин. Для облегчения понимания нижеследующая прилагаемая формула изобретения и/или описания в данном документе могут содержать вводные фразы «по меньшей мере один» и «один или более» для введения перечисления пунктов формулы изобретения. Однако использование таких фраз не следует истолковывать как подразумевающее, что введение перечисления пунктов формулы изобретения с грамматическими формами единственного числа ограничивает любой конкретный пункт формулы изобретения, содержащий такое введенное перечисление пунктов формулы изобретения, вариантами осуществления, содержащими только одно такое перечисление, даже если тот же пункт включает вводные фразы «один или более» или «по меньшей мере один» и грамматические формы единственного числа (например, грамматические формы единственного числа следует интерпретировать как означающие «по меньшей мере» или «один или более»). То же самое справедливо в отношении применения определенных грамматических форм, используемых для введения перечисления пунктов формулы изобретения. Кроме того, даже если явным образом указано конкретное количество включенных перечисленных пунктов формулы изобретения, для специалистов в данной области будет очевидно, что такое перечисление следует интерпретировать как означающее по меньшей мере указанное количество (например, простое указание «двух пунктов» без других определений означает по меньшей мере два пункта же два или более пунктов). Кроме того, в случае использования правила, аналогичного правилу «по меньшей мере одно из A, B и C и т.д.», в общем случае для специалиста в данной области понятно правило, подразумеваемое такой конструкцией (например, «система, содержащая по меньшей мере одно из A, B и C» будет включать, без ограничений, системы, которые содержат только A, только B, только C, одновременно A и B, одновременно A и C, одновременно B и C и/или одновременно A, B и C и т.д.). В случае использования правила, аналогичного правилу «по меньшей мере одно из A, B или C и т.д.», в общем случае для специалиста в данной области понятно правило, подразумеваемое такой конструкцией (например, «система, содержащая по меньшей мере одно из A, B или C» будет включать в себя, без ограничений, системы, которые содержат только A, только B, только C, одновременно A и B, одновременно A и C, одновременно B и C и/или одновременно A, B и C и т.д.). Кроме того, для специалистов в данной области будет очевидно, что по существу любое разделяющее слово и/или разделяющая фраза, представляющие два или более альтернативных терминов, будь то в описании, формуле изобретения или на чертежах, подразумевают возможность включения одного из терминов, любого из терминов или обоих терминов. Например, фраза «A или B» будет подразумевать включение возможностей «A» или «B» или «A и B». Кроме того, используемый в настоящем документе термин «любой из», после которого следует перечень множества элементов и/или множества категорий элементов, должен включать «любой из», «любая комбинация из», «любое множество из» и/или «любая комбинация из множества» элементов и/или категорий элементов, по отдельности или в сочетании с другими элементами и/или другими категориями элементов. Кроме того, используемый в настоящем документе термин «набор» или «группа» включает в себя любое количество элементов, в том числе ноль. Кроме того, используемый в настоящем документе термин «количество» включает в себя любое количество, в том числе ноль.It will be apparent to those skilled in the art that, in general, terms used herein and, in particular, in the appended claims (e.g., the main portion of the appended claims) are generally considered to be "non-limiting" terms (e.g., the term " including" should be interpreted as "including without limitation", the term "having" should be interpreted as "having at least", the term "includes" should be interpreted as "including without limitation", etc.). Moreover, it will be apparent to those skilled in the art that where a specific number of claims are intended to be included, such intent will be expressly stated in the claims, and in the absence of such mention, there is no such intent. For example, if only one element is being referred to, the term "one" or a similar term may be used. To facilitate understanding, the following appended claims and/or descriptions herein may contain the introductory phrases “at least one” and “one or more” to introduce the enumeration of claims. However, the use of such phrases should not be construed as implying that the introduction of a claim enumeration with singular grammatical forms limits any particular claim containing such introduced claim enumeration to embodiments containing only one such enumeration, even if the same claim includes introductory phrases "one or more" or "at least one" and singular grammatical forms (for example, singular grammatical forms should be interpreted to mean "at least" or "one or more"). The same is true with respect to the use of certain grammatical forms used to introduce enumeration of claims. Moreover, even if a specific number of included enumerated claims is explicitly stated, it will be apparent to those skilled in the art that such enumeration should be interpreted to mean at least the stated number (e.g., simply stating "two claims" without other qualifications means at least two points or two or more points). In addition, when using a rule similar to the rule “at least one of A, B and C, etc.”, in general, one skilled in the art will understand the rule implied by such a construction (for example, “a system containing at least one of A, B, and C" will include, without limitation, systems that contain only A, only B, only C, both A and B, both A and C, both B and C, and/or both A, B and C, etc.). When using a rule similar to the rule “at least one of A, B or C, etc.”, the rule implied by such a construction will generally be clear to one skilled in the art (for example, “a system containing at least one of A, B or C" will include, without limitation, systems that contain only A, only B, only C, both A and B, both A and C, both B and C, and/or both A, B and C, etc.). In addition, those skilled in the art will appreciate that substantially any dividing word and/or dividing phrase presenting two or more alternative terms, whether in the description, claims, or drawings, implies the possibility of including one of the terms, any of terms or both terms. For example, the phrase "A or B" would imply the inclusion of the possibilities "A" or "B" or "A and B". In addition, as used herein, the term “any of” followed by a list of a plurality of elements and/or a plurality of categories of elements shall include “any of”, “any combination of”, “any plurality of” and/or “any combination of of a plurality of elements and/or categories of elements, alone or in combination with other elements and/or other categories of elements. Additionally, as used herein, the term “set” or “group” includes any number of elements, including zero. In addition, as used herein, the term “quantity” includes any quantity, including zero.

Кроме того, если признаки или аспекты описания представлены в терминах групп Маркуша, специалистам в данной области будет очевидно, что описание, таким образом, также представлено в терминах любого отдельного члена или подгруппы членов группы Маркуша.Moreover, if features or aspects of a description are presented in terms of Markush groups, it will be apparent to those skilled in the art that the description is thus also presented in terms of any individual member or subset of members of a Markush group.

Как будет очевидно для специалиста в данной области, для всех целей, таких как обеспечение письменного описания, все диапазоны, описанные в настоящем документе, также охватывают все их возможные поддиапазоны и комбинации поддиапазонов. Любой из перечисленных диапазонов можно легко распознать как представляющий достаточное описание и как диапазон, который можно разбить на по меньшей мере равные половины, трети, четверти, пятые части, десятые части и т.д. В примере, не имеющем ограничительного характера, каждый диапазон, описанный в данном документе, можно легко разбить в нижнюю треть, среднюю треть и верхнюю треть, и т.д. Как будет очевидно для специалиста в данной области, все термины, такие как «вплоть до», «по меньшей мере», «более чем», «менее чем» и т.п., включают в себя указанное число и относятся к диапазонам, которые можно впоследствии разбить на поддиапазоны, как описано выше. И наконец, как будет очевидно для специалиста в данной области, диапазон включает в себя каждый отдельный элемент. Таким образом, например, группа, содержащая 1–3 соты, относится к группам, содержащим 1, 2 или 3 соты. Аналогично группа, содержащая 1–5 сот, относится к группам, содержащим 1, 2, 3, 4 или 5 сот, и т.д.As will be apparent to one skilled in the art, for all purposes such as providing a written description, all ranges described herein also include all possible subranges and combinations of subranges thereof. Any of the listed ranges can be easily recognized as providing sufficient description and as a range that can be broken down into at least equal halves, thirds, quarters, fifths, tenths, etc. By way of non-limiting example, each range described herein can be easily broken down into a lower third, a middle third, and an upper third, etc. As will be apparent to one skilled in the art, all terms such as “up to,” “at least,” “more than,” “less than,” etc. include the number indicated and refer to ranges which can subsequently be broken down into sub-ranges as described above. Finally, as will be apparent to one skilled in the art, the range includes each individual element. Thus, for example, a group containing 1-3 cells refers to groups containing 1, 2 or 3 cells. Similarly, a group containing 1-5 cells refers to groups containing 1, 2, 3, 4 or 5 cells, etc.

Кроме того, формулу изобретения не следует рассматривать как ограниченную предложенным порядком или элементами, если не указано иное. Кроме того, использование термина «предназначенный для» в любом пункте формулы изобретения предполагает ссылку на Свод законов США (U.S.C.) 35 §112(f) или формат пункта формулы изобретения «предназначенный для плюс функция», и любой пункт формулы изобретения, не содержащий термин «предназначенный для», не указывает на это.Moreover, the claims should not be construed as limited to the proposed order or elements unless otherwise indicated. In addition, the use of the term "intended to" in any claim implies reference to 35 U.S.C. §112(f) or the "intended to plus function" claim format, and any claim not containing the term "intended for" does not indicate this.

Хотя изобретение проиллюстрировано и описано в настоящем документе применительно к конкретным вариантам осуществления, изобретение не ограничено представленным подробным описанием. Напротив, в подробное описание в пределах объема и диапазона эквивалентов формулы изобретения могут быть внесены различные изменения без отступления от настоящего изобретения.Although the invention has been illustrated and described herein in connection with specific embodiments, the invention is not limited to the detailed description provided. On the contrary, various changes may be made to the detailed description within the scope and range of equivalents of the claims without departing from the present invention.

Для специалистов в данной области будет очевидно, что в настоящем описании некоторые типовые варианты осуществления можно использовать в альтернативном варианте осуществления или в сочетании с другими типовыми вариантами осуществления.It will be apparent to those skilled in the art that, as used herein, certain exemplary embodiments may be used in an alternative embodiment or in combination with other exemplary embodiments.

Хотя признаки и элементы описаны выше в конкретных комбинациях, специалисту в данной области будет очевидно, что каждый признак или элемент можно использовать отдельно или в любой комбинации с другими признаками и элементами. Кроме того, описанные в настоящем документе способы могут быть реализованы в компьютерной программе, программном обеспечении или программно-аппаратном обеспечении, встроенном в машиночитаемый носитель и предназначенном для исполнения компьютером или процессором. Примеры энергозависимого машиночитаемого носителя информации включают в себя, без ограничений, постоянное запоминающее устройство (ПЗУ), оперативное запоминающее устройство (ОЗУ), регистр, кэш-память, полупроводниковые устройства хранения данных, магнитные носители, такие как внутренние жесткие диски и съемные диски, магнитооптические носители и оптические носители, такие как диски CD-ROM и цифровые универсальные диски (DVD). Процессор в сочетании с программным обеспечением можно использовать для реализации радиочастотного приемопередатчика, предназначенного для применения в составе модуля WTRU, UE, терминала, базовой станции, контроллера RNC или любого главного компьютера.Although the features and elements are described above in specific combinations, one skilled in the art will appreciate that each feature or element can be used alone or in any combination with other features and elements. In addition, the methods described herein may be implemented in a computer program, software, or firmware embedded in a computer-readable medium for execution by a computer or processor. Examples of volatile computer-readable storage media include, but are not limited to, read-only memory (ROM), random access memory (RAM), register, cache memory, semiconductor storage devices, magnetic media such as internal hard drives and removable drives, magneto-optical media and optical media such as CD-ROMs and digital versatile discs (DVDs). The processor, in combination with software, can be used to implement an RF transceiver for use in a WTRU, UE, terminal, base station, RNC, or any host computer.

Кроме того, в описанных выше вариантах осуществления отмечены платформы для выполнения обработки, вычислительные системы, контроллеры и другие устройства, содержащие процессоры. Эти устройства могут содержать по меньшей мере один центральный процессор (ЦП) и запоминающее устройство. Как свидетельствует практика специалистов в области компьютерного программирования, указания на действия и символические представления этапов или команд могут быть реализованы с помощью различных ЦП и запоминающих устройств. Такие действия и этапы или команды могут упоминаться как «исполняемые», «исполняемые с помощью компьютера» или «исполняемые с помощью ЦП».Also noted in the embodiments described above are processing platforms, computing systems, controllers, and other devices comprising processors. These devices may include at least one central processing unit (CPU) and a storage device. As practiced by those skilled in computer programming, action instructions and symbolic representations of steps or commands can be implemented using a variety of CPUs and storage devices. Such actions and steps or commands may be referred to as “executable,” “computer-executable,” or “CPU-executable.”

Для специалиста в данной области будет очевидно, что указанные действия и символически представленные этапы или команды включают управление электрическими сигналами с помощью ЦП. Электрическая система выдает биты данных, которые могут инициировать итоговое преобразование или ослабление электрических сигналов и сохранение битов данных в ячейках запоминающего устройства в системе запоминающего устройства, чтобы таким образом переконфигурировать или иным образом изменить работу ЦП, а также другую обработку сигналов. Ячейки запоминающего устройства, в которых хранятся биты данных, представляют собой физические местоположения, которые обладают определенными электрическими, магнитными, оптическими или органическими свойствами, соответствующими битам данных или характерными для битов данных.It will be apparent to one skilled in the art that the above actions and symbolically represented steps or commands involve controlling electrical signals by the CPU. The electrical system provides data bits that can cause the resulting conversion or attenuation of the electrical signals and storage of the data bits in storage cells in the storage device system to thereby reconfigure or otherwise alter CPU operation as well as other signal processing. The storage cells in which data bits are stored are physical locations that have certain electrical, magnetic, optical, or organic properties corresponding to or characteristic of the data bits.

Биты данных также могут храниться на машиночитаемом носителе, в том числе на магнитных дисках, оптических дисках и любом другом энергозависимом (например, оперативном запоминающем устройстве (ОЗУ)) или энергонезависимом (например, постоянном запоминающем устройстве (ПЗУ)) накопителе большой емкости, считываемом ЦП. Машиночитаемый носитель может включать в себя взаимодействующий или взаимосвязанный машиночитаемый носитель, применяемый исключительно в системе обработки или распределенный между множеством взаимосвязанных систем обработки, которые могут быть локальными или удаленными по отношению к указанной системе обработки. При этом подразумевается, что типовые варианты осуществления не ограничены вышеупомянутыми запоминающими устройствами и что другие платформы и запоминающие устройства также могут поддерживать описанные способы.Data bits may also be stored on computer-readable media, including magnetic disks, optical disks, and any other volatile (such as random access memory (RAM)) or non-volatile (such as read-only memory (ROM)) mass storage device readable by the CPU . Computer-readable media may include interoperable or interconnected computer-readable media used solely within a processing system or distributed among a plurality of interconnected processing systems, which may be local or remote to said processing system. It is understood that exemplary embodiments are not limited to the aforementioned storage devices and that other platforms and storage devices may also support the described methods.

Ни одни из элементов, действий или инструкций, используемых в описании настоящей заявки, не следует рассматривать как критические или существенные для настоящего изобретения, если явным образом не описано иное. Кроме того, используемая в настоящем документе грамматическая форма единственного числа предполагает включение одного или более элементов. Если подразумевается только один элемент, используют термин «один» или аналогичный термин. Кроме того, используемый в настоящем документе термин «любой из», после которого следует перечень множества элементов и/или множества категорий элементов, должен включать «любой из», «любая комбинация из», «любое множество из» и/или «любая комбинация из множества» элементов и/или категорий элементов, по отдельности или в сочетании с другими элементами и/или другими категориями элементов. Кроме того, используемый в настоящем документе термин «набор» включает любое количество элементов, в том числе ноль. Кроме того, используемый в настоящем документе термин «количество» включает любое количество, включая ноль.None of the elements, acts or instructions used in the description of this application should be considered as critical or essential to the present invention unless expressly described otherwise. In addition, as used herein, the singular grammatical form is intended to include one or more elements. If only one element is intended, the term "one" or similar term is used. In addition, as used herein, the term “any of” followed by a list of a plurality of elements and/or a plurality of categories of elements shall include “any of”, “any combination of”, “any plurality of” and/or “any combination of of a plurality of elements and/or categories of elements, alone or in combination with other elements and/or other categories of elements. Additionally, as used herein, the term “set” includes any number of elements, including zero. In addition, as used herein, the term “quantity” includes any quantity, including zero.

Кроме того, формулу изобретения не следует рассматривать как ограниченную описанным порядком или элементами, если не указано иное. Кроме того, использование термина «средство» в любом пункте формулы изобретения предполагает ссылку на Свод законов США (U.S.C.) 35 §112(f), и любой пункт формулы изобретения, не содержащий термин «средство», не указывает на это.Moreover, the claims should not be construed as limited to the order or elements described unless otherwise indicated. In addition, the use of the term “agent” in any claim implies reference to 35 U.S.C. §112(f), and any claim that does not include the term “agent” does not make such reference.

В качестве примера подходящие процессоры включают процессор общего назначения, процессор специального назначения, стандартный процессор, цифровой сигнальный процессор (DSP), множество микропроцессоров, один или более микропроцессоров, связанных с ядром DSP, контроллер, микроконтроллер, специализированные интегральные микросхемы (ASIC), стандартные части специализированной интегральной схемы (ASSP); программируемую пользователем вентильную матрицу (FPGA), интегральную схему (IC) любого другого типа и/или конечный автомат.By way of example, suitable processors include a general purpose processor, a special purpose processor, a standard processor, a digital signal processor (DSP), a plurality of microprocessors, one or more microprocessors associated with a DSP core, a controller, a microcontroller, application specific integrated circuits (ASICs), standard parts application specific integrated circuit (ASSP); a field programmable gate array (FPGA), an integrated circuit (IC) of any other type, and/or a state machine.

Процессор в сочетании с программным обеспечением можно использовать для реализации радиочастотного приемопередатчика для использования в модуле беспроводной передачи/приема (WRTU), оборудовании пользователя (UE), терминале, базовой станции, объекте управления мобильностью (MME) или усовершенствованном пакетном ядре (EPC) или любом главном компьютере. WRTU можно использовать в сочетании с модулями, реализованными в аппаратном и/или программном обеспечении, включая систему радиосвязи с программируемыми параметрами (SDR) и другие компоненты, такие как камера, модуль видеокамеры, видеотелефон, телефон с громкоговорителем, вибрационное устройство, динамик, микрофон, телевизионный приемопередатчик, наушники с микрофоном, клавиатура, модуль Bluetooth®, радиомодуль с частотной модуляцией (FM), модуль ближней радиосвязи (NFC), блок жидкокристаллического дисплея (LCD), блок дисплея на органических светодиодах (OLED), цифровой музыкальный проигрыватель, мультимедийный проигрыватель, модуль устройства для воспроизведения видеоигр, Интернет-браузер и/или любая беспроводная локальная сеть (WLAN) или модуль сверхширокополосной связи (UWB).The processor, in combination with software, may be used to implement an RF transceiver for use in a wireless transmit/receive unit (WRTU), user equipment (UE), terminal, base station, mobility management entity (MME), or enhanced packet core (EPC), or any main computer. The WRTU can be used in combination with modules implemented in hardware and/or software, including a software-defined radio (SDR) system and other components such as a camera, video camera module, video phone, speakerphone, vibrator, speaker, microphone, TV transceiver, headphones with microphone, keyboard, Bluetooth® module, frequency modulation (FM) radio module, near field communication (NFC) module, liquid crystal display (LCD) unit, organic light emitting diode (OLED) display unit, digital music player, multimedia player , a video game player device module, an Internet browser, and/or any wireless local area network (WLAN) or ultra-wideband (UWB) module.

Хотя изобретение описано в контексте систем связи, предполагается, что указанные системы могут быть реализованы в виде программного обеспечения в микропроцессорах/компьютерах общего назначения (не показаны). В определенных вариантах осуществления одна или более функций различных компонентов могут быть реализованы в программном обеспечении, управляющем компьютером общего назначения.Although the invention is described in the context of communication systems, it is contemplated that such systems may be implemented as software in microprocessors/general purpose computers (not shown). In certain embodiments, one or more functions of various components may be implemented in software that controls a general purpose computer.

Кроме того, хотя изобретение проиллюстрировано и описано в настоящем документе применительно к конкретным вариантам осуществления, изобретение не ограничено представленным подробным описанием. Напротив, в подробное описание в пределах объема и диапазона эквивалентов формулы изобретения могут быть внесены различные изменения без отступления от настоящего изобретения.Moreover, although the invention has been illustrated and described herein in connection with specific embodiments, the invention is not limited to the detailed description provided. On the contrary, various changes may be made to the detailed description within the scope and range of equivalents of the claims without departing from the present invention.

Claims (69)

1. Способ декодирования видео, включающий:1. A video decoding method, including: прием блока видеоданных, причем блок видеоданных включает в себя множество подблоков; иreceiving a video data block, wherein the video data block includes a plurality of sub-blocks; And уточнение прогнозирования подблока из множества подблоков с помощью:refining the prediction of a subblock from a set of subblocks using: выведения векторов движения, каждый из которых указывает на движение уточнения прогнозирования соответствующего подблока из множества подблоков,deriving motion vectors, each of which indicates the prediction refinement motion of a corresponding sub-block from a plurality of sub-blocks, расчета аффинной модели движения на основе выведенных векторов движения,calculating an affine motion model based on the derived motion vectors, определения для пикселей прогнозирования подблока соответствующего смещения вектора движения с помощью аффинной модели движения,determining for the prediction pixels a subblock of the corresponding motion vector displacement using an affine motion model, получения параметров изменения интенсивности для пикселей на основе соответствующих пространственных градиентов и соответствующих смещений векторов движения с помощью уравнения оптического потока, иobtaining intensity parameters for pixels based on corresponding spatial gradients and corresponding motion vector displacements using the optical flow equation, and уточнения пикселей на основе полученных параметров изменения интенсивности.refinement of pixels based on the obtained intensity change parameters. 2. Способ по п. 1, отличающийся тем, что выведенные векторы движения получают с помощью основанного на декодере процесса выведения вектора движения.2. The method according to claim 1, characterized in that the derived motion vectors are obtained using a decoder-based motion vector derivation process. 3. Способ по п. 1, отличающийся тем, что ошибку моделирования оценивают на основе выведенных векторов движения, и если рассчитанная ошибка моделирования превышает пороговое значение, осуществляют пропуск расчета, определения, получения и уточнения в отношении подблока.3. The method according to claim 1, characterized in that the modeling error is estimated based on the derived motion vectors, and if the calculated modeling error exceeds a threshold value, skipping the calculation, determination, acquisition and refinement with respect to the subblock. 4. Способ по п. 1, отличающийся тем, что множество подблоков включает в себя соседние подблоки относительно подблока и расчет аффинной модели движения основан на векторах движения, выведенных для соседних блоков, дополнительно включает:4. The method according to claim 1, characterized in that the plurality of sub-blocks includes neighboring sub-blocks relative to the sub-block and the calculation of the affine motion model is based on the motion vectors derived for the neighboring blocks, further includes: оценку ошибки моделирования аффинной модели движения с использованием вектора движения, выведенного для подблока; иestimating the modeling error of the affine motion model using the motion vector derived for the subblock; And если рассчитанное значение ошибки моделирования превышает пороговое значение, осуществляют пропуск расчета, определения, получения и уточнения в отношении подблока.if the calculated value of the modeling error exceeds the threshold value, skip the calculation, determination, acquisition and refinement with respect to the subblock. 5. Способ по п. 1, отличающийся тем, что рассчитанную для подблока аффинную модель движения используют для уточнения прогнозирования другого подблока видеоданных блока.5. The method according to claim 1, characterized in that the affine motion model calculated for the subblock is used to refine the prediction of another subblock of the video data of the block. 6. Способ по п. 1, отличающийся тем, что аффинная модель движения представляет собой аффинную модель движения с 4 параметрами для одного или более подблоков из множества подблоков.6. The method according to claim 1, characterized in that the affine motion model is an affine motion model with 4 parameters for one or more subblocks from a plurality of subblocks. 7. Способ по п. 6, отличающийся тем, что один или более подблоков расположены на левой границе и/или верхней границе блока.7. The method according to claim 6, characterized in that one or more subblocks are located on the left border and/or upper border of the block. 8. Способ по п. 1, отличающийся тем, что расчет аффинной модели движения дополнительно включает в себя:8. The method according to claim 1, characterized in that the calculation of the affine motion model additionally includes: расчет множества моделей на основе выведенных векторов движения; оценку соответствующих значений ошибок моделирования для множества моделей; иcalculation of multiple models based on the derived motion vectors; estimating appropriate modeling error values for multiple models; And выбор в качестве аффинной модели движения одну из множества моделей, содержащую наименьшее значение ошибки.selecting one of the many models containing the smallest error value as an affine motion model. 9. Способ по п. 1, отличающийся тем, что расчет аффинной модели движения дополнительно включает в себя:9. The method according to claim 1, characterized in that the calculation of the affine motion model additionally includes: расчет множества моделей на основе выведенных векторов движения, причем множество моделей включает в себя одну или более из:calculating a plurality of models based on the derived motion vectors, the plurality of models including one or more of: аффинной модели движения с 6 параметрами;affine motion model with 6 parameters; аффинной модели движения с 4 параметрами.affine motion model with 4 parameters. 10. Способ по п. 1, отличающийся тем, что уточнение пикселей на основе полученных параметров изменения интенсивности включает:10. The method according to claim 1, characterized in that the refinement of pixels based on the obtained intensity change parameters includes: взвешивание полученных параметров изменения интенсивности на весовой коэффициент; иweighing the obtained intensity change parameters by a weighting factor; And добавление взвешенного изменения интенсивности к пикселю.adding a weighted intensity change to a pixel. 11. Способ по п. 10, дополнительно включающий:11. The method according to claim 10, additionally including: прием весового коэффициента, указывающего на уровне блока видеоданных или на уровне изображения на весовой коэффициент для взвешивания полученных параметров изменения интенсивности.receiving a weighting factor indicating at the video data block level or at the image level a weighting factor for weighing the obtained intensity change parameters. 12. Способ кодирования видео, включающий:12. A video encoding method, including: прием блока видеоданных, причем блок видеоданных включает в себя множество подблоков; иreceiving a video data block, wherein the video data block includes a plurality of sub-blocks; And уточнение прогнозирования подблока из множества подблоков с помощью:refining the prediction of a subblock from a set of subblocks using: выведения векторов движения, каждый из которых указывает на движение уточнения прогнозирования соответствующего подблока из множества подблоков,deriving motion vectors, each of which indicates the prediction refinement motion of a corresponding sub-block from a plurality of sub-blocks, расчета аффинной модели движения на основе выведенных векторов движения,calculating an affine motion model based on the derived motion vectors, определение для пикселей прогнозирования подблока соответствующего смещения вектора движения с помощью аффинной модели движения,determining for the prediction pixels a subblock of the corresponding motion vector displacement using an affine motion model, получение параметров изменения интенсивности для пикселей на основе соответствующих пространственных градиентов и соответствующих смещений векторов движения с помощью уравнения оптического потока, иobtaining intensity parameters for pixels based on corresponding spatial gradients and corresponding motion vector displacements using the optical flow equation, and уточнение пикселей на основе полученных параметров изменения интенсивности.refinement of pixels based on the obtained intensity change parameters. 13. Устройство декодирования видео, содержащее: по меньшей мере один процессор; и13. A video decoding device, comprising: at least one processor; And запоминающее устройство, хранящее инструкции, побуждающие устройство при их выполнении процессором:a storage device that stores instructions that cause the device to be executed when executed by the processor: принимать блок видеоданных, причем блок видеоданных включает в себя множество подблоков, иreceive a video data block, wherein the video data block includes a plurality of sub-blocks, and уточнять прогнозирование подблока из множества подблоков с помощью:refine the prediction of a subblock from a set of subblocks using: выведения векторов движения, каждый из которых указывает на движение уточнения прогнозирования соответствующего подблока из множества подблоков;deriving motion vectors, each of which indicates the prediction refinement motion of a corresponding subblock of the plurality of subblocks; расчета аффинной модели движения на основе выведенных векторов движения;calculating an affine motion model based on the derived motion vectors; определения для пикселей прогнозирования подблока соответствующего смещения вектора движения с помощью аффинной модели движения,determining for the prediction pixels a subblock of the corresponding motion vector displacement using an affine motion model, получения параметров изменения интенсивности для пикселей на основе соответствующих пространственных градиентов и соответствующих смещений векторов движения с помощью уравнения оптического потока; иobtaining intensity change parameters for pixels based on corresponding spatial gradients and corresponding displacements of motion vectors using the optical flow equation; And уточнения пикселей на основе полученных параметров изменения интенсивности.refinement of pixels based on the obtained intensity change parameters. 14. Устройство по п. 13, отличающееся тем, что выведенные векторы движения получают с помощью основанного на декодере процесса выведения вектора движения.14. The apparatus of claim 13, wherein the derived motion vectors are obtained using a decoder-based motion vector derivation process. 15. Устройство по п. 13, отличающееся тем, что множество подблоков включает в себя соседние подблоки относительно подблока и расчет аффинной модели движения основан на векторах движения, выведенных для соседних блоков и причем инструкции дополнительно побуждают устройство:15. The device of claim 13, wherein the plurality of sub-blocks includes adjacent sub-blocks relative to the sub-block and the calculation of the affine motion model is based on motion vectors derived for the adjacent blocks and wherein the instructions further cause the device to: оценивать ошибки моделирования аффинной модели движения с использованием вектора движения, выведенного для подблока; иestimate modeling errors of the affine motion model using the motion vector derived for the subblock; And пропуска расчета, определения, получения и уточнения в отношении подблока, если рассчитанное значение ошибки моделирования превышает пороговое значение.skipping the calculation, determination, derivation and refinement regarding a sub-block if the calculated value of the modeling error exceeds a threshold value. 16. Устройство по п. 13, в котором рассчитанная для подблока аффинная модель движения выполнена с возможностью уточнения прогнозирования другого подблока видеоданных блока.16. The device according to claim 13, in which the affine motion model calculated for the subblock is configured to refine the prediction of another subblock of the video data of the block. 17. Устройство по п. 13, в котором расчет аффинной модели движения дополнительно включает в себя:17. The device according to claim 13, in which the calculation of the affine motion model additionally includes: расчет множества моделей на основе выведенных векторов движения; оценку соответствующих значений ошибок моделирования для множества моделей; иcalculation of multiple models based on the derived motion vectors; estimating appropriate modeling error values for multiple models; And выбор в качестве аффинной модели движения одну из множества моделей, содержащую наименьшее значение ошибки.selecting one of the many models containing the smallest error value as an affine motion model. 18. Устройство по п. 13, в котором расчет аффинной модели движения дополнительно включает в себя:18. The device according to claim 13, in which the calculation of the affine motion model additionally includes: расчет множества моделей на основе выведенных векторов движения, причем множество моделей включает в себя одну или более из аффинной модели движения с 6 параметрами и аффинной модели движения с 4 параметрами.calculating a plurality of models based on the derived motion vectors, the plurality of models including one or more of a 6-parameter affine motion model and a 4-parameter affine motion model. 19. Устройство по п. 13, в котором уточнение пикселей на основе полученных параметров изменения интенсивности включает:19. The device according to claim 13, in which the refinement of pixels based on the obtained intensity change parameters includes: взвешивание полученных параметров изменения интенсивности на весовой коэффициент; иweighing the obtained intensity change parameters by a weighting factor; And добавление взвешенного изменения интенсивности к пикселю.adding a weighted intensity change to a pixel. 20. Устройство по п. 19, дополнительно выполненное с возможностью: приема весового коэффициента, указывающего на уровне блока видеоданных или на уровне изображения весовой коэффициент для взвешивания полученных параметров изменения интенсивности.20. The apparatus of claim 19, further configured to: receive a weighting coefficient indicating at the video data block level or at the image level a weighting coefficient for weighing the obtained intensity change parameters. 21. Устройство кодирования видео, содержащее:21. A video encoding device comprising: по меньшей мере один процессор; иat least one processor; And запоминающее устройство, хранящее инструкции, побуждающие устройство при их выполнении процессором:a storage device that stores instructions that cause the device to be executed when executed by the processor: принимать блок видеоданных, причем блок видеоданных включает в себя множество подблоков, иreceive a video data block, wherein the video data block includes a plurality of sub-blocks, and уточнять прогнозирование подблока из множества подблоков с помощью:refine the prediction of a subblock from a set of subblocks using: выведения векторов движения, каждый из которых указывает на движение уточнения прогнозирования соответствующего подблока из множества подблоков;deriving motion vectors, each of which indicates the prediction refinement motion of a corresponding subblock of the plurality of subblocks; расчета аффинной модели движения на основе выведенных векторов движения;calculating an affine motion model based on the derived motion vectors; определения для пикселей прогнозирования подблока соответствующего смещения вектора движения с помощью аффинной модели движения,determining for the prediction pixels a subblock of the corresponding motion vector displacement using an affine motion model, получения параметров изменения интенсивности для пикселей на основе соответствующих пространственных градиентов и соответствующих смещений векторов движения с помощью уравнения оптического потока; иobtaining intensity change parameters for pixels based on corresponding spatial gradients and corresponding displacements of motion vectors using the optical flow equation; And уточнения пикселей на основе полученных параметров изменения интенсивности.refinement of pixels based on the obtained intensity change parameters.