RU2651206C1 - Способ и система выявления искажений в системах цифрового телевидения - Google Patents
Способ и система выявления искажений в системах цифрового телевидения Download PDFInfo
- Publication number
- RU2651206C1 RU2651206C1 RU2016150188A RU2016150188A RU2651206C1 RU 2651206 C1 RU2651206 C1 RU 2651206C1 RU 2016150188 A RU2016150188 A RU 2016150188A RU 2016150188 A RU2016150188 A RU 2016150188A RU 2651206 C1 RU2651206 C1 RU 2651206C1
- Authority
- RU
- Russia
- Prior art keywords
- digital television
- distortion
- detected
- television signal
- frame
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 239000013598 vector Substances 0.000 claims abstract description 33
- 230000001174 ascending effect Effects 0.000 claims abstract description 10
- 238000012544 monitoring process Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 4
- 238000013519 translation Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 230000005540 biological transmission Effects 0.000 description 9
- 230000006854 communication Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000001303 quality assessment method Methods 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000012774 diagnostic algorithm Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Изобретение относится к цифровому телевидению и может быть использовано для диагностики систем цифрового телевещания. Техническим результатом является повышение достоверности выявления искажений изображения при низких требованиях к полосе пропускания обратного канала передачи информации о параметрах контролируемой трансляции и к вычислительной мощности задействованных аппаратных средств. В способе выявления искажений изображения в системе цифрового телевидения принимают исходный и контролируемый цифровые телевизионные сигналы. Разбивают кадр исходного и контролируемого цифрового телевизионного сигнала на сегменты равной площади Se[i] и Sk[i]. Вычисляют для каждой пары Se[i] и Sk[i] пару гистограмм модуля градиента яркости He[i] и Hk[i] из М интервалов. Вычисляют для He[i] вектор Ve[i], j-й элемент которого соответствует порядковому номеру j-го интервала He[i] в упорядоченном по возрастанию наборе значений последних, а для Hk[i] вектор Vk[i], j-й элемент которого соответствует порядковому номеру j-го интервала Hk[i] в упорядоченном по возрастанию наборе значений последних. Вычисляют для каждого из i коэффициент ранговой корреляции Cr[i] векторов Vk[i] и Ve[i]. Если Cr[i] не превышает пороговое значение Th для i, выявляют факт наличия искажения изображения i-го сегмента в системе цифрового телевидения. 2 н. и 17 з.п. ф-лы, 4 ил.
Description
ОБЛАСТЬ ТЕХНИКИ
Изобретение относится к цифровому телевидению и может быть использовано для диагностики систем цифрового телевещания.
УРОВЕНЬ ТЕХНИКИ
В настоящее время происходит планомерное замещение систем аналогового телевидения (АТВ) системами цифрового телевидения (ЦТВ), которые реализуют значительную экономию эфирного ресурса за счет устранения избыточности передаваемой информации, характерной для видеосигналов. Существует значительное многообразие способов передачи цифрового сигнала потребителю - традиционный эфирный ресурс, спутниковые, а также кабельные каналы связи. Устранение избыточности аналогового видеосигнала осуществляется с использованием специализированных алгоритмов компрессии - видеокодеков, таких как h.264/avc, h.265/hevc.
Отмеченные выше особенности ЦТВ приводят к существенно иному по сравнению с АТВ проявлению искажений в канале связи, например появлению в области кадра таких визуально идентифицируемых искажений, как «артефакты», «рассыпания», часто имеющие локальный характер и в подавляющем большинстве случаев резкие границы, обусловленные блочной структурой. Данный вид визуально проявляемых искажений специфичен только для ЦТВ и в принципе не встречается в системах АТВ.
Развитие программных средств обработки потокового видео, в том числе в виде доступных открытых библиотек, таких как ffinpeg, открывают широкие возможности модификации транслируемого контента в режиме реального времени, что иногда используется операторами телевещания, которые осуществляют незаконную вставку текстовой информации рекламного или иного характера, внося тем самым в транслируемый контент существенные искажения.
Стандартизованные видеодекодеры содержат встроенные алгоритмы диагностики входного цифрового потока на предмет наличия ошибок, однако данные этой диагностики теряются при промежуточном перекодировании цифрового видео, например при изменении масштаба последнего - при этом отсутствие диагностического признака наличия ошибки на выходе декодера не является свидетельством отсутствия искажений самого декодированного изображения.
Многообразие проявлений искажений, встречающихся на практике в системах ЦТВ, значительная резкость их проявления, а также относительная легкость модификации контента телетрансляции в режиме реального времени, определяют высокую востребованность создания способов надежного и достоверного выявления любых видов искажений транслируемого изображения в режиме реального времени.
Наиболее надежным методом выявления искажений трансляции является прямое сравнение кадров исходного и контролируемого телевизионного сигналов, когда для каждой пары сравниваемых кадров вычисляются метрики качества, например известные из литературы PSNR [1] или SSIM [2]. Недостатком применения данных метрик является необходимость осуществления обратной трансляции декодированного сигнала в место его распространения, что трудновыполнимо для таких территориально распределенных систем цифрового телевещания, как, например, система телевещания Российской Федерации.
Указанные недостатки частично устранены в устройстве, реализующем способ аналогичного назначения, заключающемся в приеме транслируемого потока цифровой телетрансляции, его декодировании, после чего осуществляют его обратное кодирование и передачу в центр распространения цифровой телепрограммы, где осуществляют его декодирование и, учитывая задержку распространения сигнала, сравнивают с эталонной цифровой трансляцией, после чего судят о наличии искажений контролируемой трансляции (US 2012/0002059 A1, кл. H04N 17/00, 05.01.2012).
Недостатком аналога является необходимость проведения обратного кодирования сигнала цифровой телетрансляции с неизбежным ухудшением качества последней, при этом на этапе сравнения с исходной телетрансляцией отсутствует возможность однозначного выявления источника искажений, поскольку искажение могло быть вызвано ошибкой в том числе и при обратном кодировании. Недостатком аналога является также существенный объем передаваемой в центр распространения цифровой телепрограммы информации, сопоставимый с объемом самой цифровой трансляции, что налагает серьезные требования на каналы связи и на вычислительную мощность аппаратуры, реализующей способ, которая должна решать задачи сравнения сотен экземпляров региональных трансляций с исходной трансляцией.
Известно устройство, реализующее способ аналогичного назначения, заключающийся в сравнении контролируемого цифрового видеопотока с исходным видеопотоком, предварительно сохраненным в локальный буфер с вычислением показателя (индикатора) качества контролируемого цифрового видеопотока. Второй вариант способа предусматривает анализ контролируемого цифрового видеопотока с использованием набора эвристик, из которых выбирается рабочий набор в зависимости от характера сцены, далее применяют указанные эвристики к контролируемому цифровому видеопотоку и судят о наличии искажений, при этом эталонный цифрового видеопоток не используется (US 9,325,985, кл. H04N 17/00, 26.04.2016). Данный способ принят за прототип.
Недостатками прототипа являются высокие требования к полосе пропускания канала для обратной передачи контролируемой трансляции, которая должна быть сопоставима с полосой пропускания канала исходной трансляции, а также сложность определения характера возникающих искажений и высокие требования к вычислительным ресурсам при реализации алгоритма сравнения изображений.
Недостатком прототипа в варианте его применения без использования информации, получаемой из исходной телетрансляции, является отсутствие возможности выявления искусственных искажений цифровой телевизионной трансляции, например текстовых вставок, а также низкая надежность и достоверность выявления артефактов, возникающих, например, при появлении сбоев в каналах передачи данных, в силу невысокой надежности эвристических методов выявления артефактов, которые могут быть визуально подобны некоторым видам специфических транслируемых сцен, в частности изображений решетчатых структур, например заборов, сцен с текстом, графикой.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Технической проблемой, на решение которой направлено заявленное изобретение, является устранение существующих недостатков аналогов путем реализации нового способа выявления искажений в системах цифрового телевидения.
Техническим результатом является повышение достоверности выявления искажений изображения в системах цифрового телевидения при низких требованиях к полосе пропускания обратного канала передачи информации о параметрах контролируемой трансляции и невысоких требованиях к вычислительной мощности задействованных для реализации способа аппаратных средств.
Заявленный результат достигается за счет способа выявления искажений изображения в системе цифрового телевидения, при котором принимают исходный и контролируемый цифровые телевизионные сигналы, декодируют их и проводят сравнение пар соответствующих кадров, после чего судят о наличии искажений, отличающийся тем, что:
- разбивают кадр исходного и контролируемого цифрового телевизионного сигнала на N сегментов равной площади Se[i] и Sk[i], где i=1, 2, …N;
- вычисляют для каждой пары Se[i] и Sk[i] пару гистограмм модуля градиента яркости He[i] и Hk[i] из M интервалов;
- вычисляют для He[i] вектор Ve[i], j-й элемент которого соответствует порядковому номеру j-го интервала He[i] в упорядоченном по возрастанию наборе значений последних, а для Hk[i] вектор Vk[i], j-й элемент которого соответствует порядковому номеру j-го интервала Hk[i] в упорядоченном по возрастанию наборе значений последних, j=1, 2, …M;
- вычисляют для каждого из i коэффициент ранговой корреляции Cr[i] векторов Vk[i] и Ve[i];
и
- если Cr[i] не превышает пороговое значение Th по крайней мере для одного i, выявляют факт наличия искажения изображения i-го сегмента в системе цифрового телевидения.
В одном из частных вариантов реализации способа количество интервалов гистограмм M выбирают в диапазоне от 4 до 128.
В другом частном варианте реализации способа количество сегментов N выбирают в диапазоне от 8 до 256.
В другом частном варианте реализации способа дополнительно измеряют вектор навигационных параметров Vnp, включающий в себя широту, долготу, высоту и универсальное координированное время (UTC) в месте приема контролируемого цифрового телевизионного сигнала с использованием навигационной аппаратуры потребителей сигналов GPS NAVSTAR и ГЛОНАСС, затем записывают значение векторов Vnp, Vk и Ve в базу данных.
В другом частном варианте реализации способа дополнительно сохраняют в базе данных порядковые номера, а также гистограммы Hk[i] модуля градиента яркости тех i-x сегментов контролируемых кадров, в которых диагностировано искажение.
В другом частном варианте реализации способа после выявления факта искажения дополнительно вычисляют количество последовательных кадров s, в которых было выявлено искажение в i-м сегменте кадра и, если s<Th2, диагностируют наличие артефакта цифровой трансляции в i-м сегменте кадра.
В другом частном варианте реализации способа после выявления факта искажения дополнительно вычисляют количество последовательных кадров w, в которых было выявлено искажение в i-м сегменте кадра и, если w>Th3, диагностируют факт наличия изменения содержания по крайней мере части изображения i-го сегмента кадра.
В другом частном варианте реализации способа в качестве исходного цифрового телевизионного сигнала используют сигнал, получаемый с выхода оборудования центра распространения цифрового телевизионного сигнала, а в качестве контролируемого цифрового телевизионного сигнала используют сигнал, получаемый с выхода оборудования региональной станции мониторинга цифрового телевизионного сигнала.
В другом частном варианте реализации способа после выявления факта искажения контролируемого цифрового телевизионного сигнала включают аппаратуру контрольной записи последнего.
В другом частном варианте реализации способа после выявления факта искажения контролируемого цифрового телевизионного сигнала, выключают аппаратуру распространения последнего конечным потребителям и передают информацию о данном факте в центр распространения цифрового телевизионного сигнала.
В другом частном варианте реализации способа исходный цифровой телевизионный сигнал принимают по спутниковому каналу, а контролируемый телевизионный сигнал принимают по каналам эфирного или кабельного цифрового телевидения.
В другом частном варианте реализации способа прием контролируемого телевизионного сигнала проводят на оборудование мобильной станции мониторинга цифрового телевизионного сигнала.
Заявленное техническое решение также реализуется за счет системы выявления искажений изображения в системе цифрового телевидения, которая содержит один или более процессоров, одно или более средств памяти, причем по меньшей мере одно средство памяти содержит исполняемые процессором машиночитаемые инструкции, которые при их исполнении процессором реализуют этапы, на которых:
- принимают исходный и контролируемый цифровые телевизионные сигналы, декодируют их и проводят сравнение пар соответствующих кадров, причем в ходе упомянутого сравнения:
- разбивают кадр исходного и контролируемого цифрового телевизионного сигнала на N сегментов равной площади Se[i] и Sk[i], где i=1, 2, …N;
- вычисляют для каждой пары Se[i] и Sk[i] пару гистограмм модуля градиента яркости He[i] и Hk[i] из M интервалов;
- вычисляют для He[i] вектор Ve[i], j-й элемент которого соответствует порядковому номеру j-го интервала He[i] в упорядоченном по возрастанию наборе значений последних, а для Hk[i] вектор Vk[i], j-й элемент которого соответствует порядковому номеру j-го интервала Hk[i] в упорядоченном по возрастанию наборе значений последних, j=1, 2, …M;
- вычисляют для каждого из i коэффициент ранговой корреляции Cr[i] векторов Vk[i] и Ve[i];
и
- если Cr[i] не превышает пороговое значение Th по крайней мере для одного i, выявляют факт наличия искажения изображения i-го сегмента в системе цифрового телевидения.
В одном из частных вариантов реализации заявленной системы количество интервалов гистограмм M выбирается в диапазоне от 4 до 128.
В другом частном варианте реализации системы количество сегментов N выбирают в диапазоне от 8 до 256.
В другом частном варианте реализации системы дополнительно измеряют вектор навигационных параметров Vnp, включающий в себя широту, долготу, высоту и универсальное координированное время (UTC) в месте приема контролируемого цифрового телевизионного сигнала с использованием навигационной аппаратуры потребителей сигналов GPS NAVSTAR и ГЛОНАСС, затем записывают значение векторов Vnp, Vk и Ve в базу данных.
В другом частном варианте реализации системы дополнительно сохраняют в базе данных порядковые номера, а также гистограммы Hk[i] модуля градиента яркости тех i-x сегментов контролируемых кадров, в которых диагностировано искажение.
В другом частном варианте реализации системы после выявления факта искажения дополнительно вычисляют количество последовательных кадров s, в которых было выявлено искажение в i-м сегменте кадра и, если s<Th2, диагностируют наличие артефакта цифровой трансляции в i-м сегменте кадра.
В другом частном варианте реализации системы после выявления факта искажения дополнительно вычисляют количество последовательных кадров w, в которых было выявлено искажение в i-м сегменте кадра и, если w>Th3, диагностируют факт наличия изменения содержания по крайней мере части изображения i-го сегмента кадра.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
На Фиг. 1 представлена схема реализации способа.
На Фиг. 2 представлена схема вычисления модуля градиента изображения кадра цифрового телевизионного сигнала.
На Фиг. 3 представлены диаграммы для пояснения сущности способа.
На Фиг. 4 представлен общий вид заявленной системы.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Согласно Фиг. 1 в заявленном изобретении заявленный технический результат достигается за счет того, что в способе выявления искажений в системах цифрового телевидения (100), при котором принимают исходный и контролируемый цифровые телевизионные сигналы (этап 101), декодируют их, после чего проводят сравнение каждого из кадров исходного и контролируемого цифровых телевизионных сигналов, разбивают декодированный кадр исходного и контролируемого цифровых телевизионных сигналов на N сегментов равной площади Se[i] и Sk[i], где i=1, 2, …N (этап 102), например на 16 сегментов, затем для каждого пикселя изображения каждого из сегментов вычисляют значение модуля оператора градиента, например оператора Собеля [3], либо при помощи следующих формул (оператор Cross, фиг. 2):
где
p[x,y] - значение яркости изображения в точке [x,y];
GX[x,y], GY[x,y] - значения градиента яркости изображения в точке [x,y] по осям X и Y;
G[x,y] - значение модуля градиента яркости в точке [x,y].
После вычисления модуля градиента яркости для каждого i-го сегмента исходного и контролируемого кадра, определяют гистограммы He[i] и Hk[i] модулей градиента яркости (этап 103). Количество интервалов М обеих упомянутых гистограмм выбирают в диапазоне от 4 до 128 в зависимости от пропускной способности канала передачи информации от места приема контролируемого цифрового телевизионного сигнала в место осуществления анализа информации, например в пункт контроля соответствия содержания телевизионного сигнала исходному, а также от требуемой чувствительности способа (100). При выборе количества интервалов гистограмм учитывают требуемую точность выявления различий исходной и контролируемой трансляций. Чем больше количество интервалов М, тем выше чувствительность способа к появлению в изображении дополнительных элементов, таких как артефакты компрессии и/или текстовая информация.
После вычисления на этапе 103 гистограмм Hk[i] и He[i] для каждого i-го сегмента контролируемой и, соответственно, исходной трансляций, вычисляют ранги каждого из j-х элементов (значений накопленных интервалов) гистограммы He[i] и записывают полученные значения рангов в вектор Ve[i], таким образом j-я компонента вектора Ve[i][j]=Rg(He[i][j]), где Rg(He[i][j]) обозначает операцию определения порядкового номера элемента j в упорядоченном по возрастанию наборе элементов гистограммы He[i] (этап 104). Аналогичным образом вычисляют N векторов Ve[i], i=1, …, N для каждого из сегментов исходной трансляции.
Значения векторов Vk[i] и Ve[i], i=1, 2, …N, передают (этап 106) в вычислительный комплекс для последующего анализа (этап 107), который заключается в вычислении для каждого i и сравнении с пороговым значением коэффициента ранговой корреляции Cr[i] векторов Vk[i] и Ve[i] (этап 108), которую проводят преимущественно с использованием известного алгоритма ранговой корреляции Кендалла [4], при этом учитывают стандартное для указанного алгоритма правило вычисления рангов для равных значений. В случае существенной удаленности места приема контролируемого телевизионного сигнала, например 2000 км, вычисление Cr[i] проводят с учетом известного из технических параметров аппаратуры трансляции времени задержки распространения телевизионного сигнала δT, проводя сравнение Vk[i] и Ve[i] сегментов кадров с учетом δT, а именно для сравнения используют кадры исходной трансляции с порядковыми номерами, смещенными на величину dn=-δT*fk, где fk - частота кадров, с-1. Например, при δT=0,4 с и fk=25, dn будет равно -10, что означает необходимость смещения перед проведением вычисления коэффициента ранговой корреляции на 10 кадров назад.
В случае отсутствия информации о значении δT, вычисление Cr[i] проводят для набора смещений dn, например dn=-25…+25 кадров, при этом чем выше диапазон возможных значений δT, тем шире должен быть диапазон dn, подбираемый, как правило, экспериментально. В рассматриваемом случае значение Cr[i] определяют как максимальное значение Cr[i], вычисленное для набора смещений dn.
Коэффициент ранговой корреляции Кендалла для i-го сегмента кадра вычисляют следующим образом:
где
Cr[i] - коэффициент ранговой корреляции Кендалла, %;
C+ - количество тех пар {Vk[i][n], Ve[i][n]} и {Vk[i][m], Ve[i][m]}, для которых в случае если Vk[i][n]>Vk[i][m], то Ve[i][n]>Ve[i][m], а если Vk[i][n]<Vk[i][m], то Ve[i][n]<Ve[i][m], причем n≠m;
C- - количество тех пар {Vk[i][n], Ve[i][n]} и {Vk[i][m], Ve[i][m]}, для которых в случае если Vk[i][n]>Vk[i][m], то Ve[i][n]<Ve[i][m], а если Vk[i][n]<Vk[i][m], то Ve[i][n]>Ve[i][m], причем n≠m;
y - количество элементов векторов Vk[i] и Ve[i], n=1, 2, …y, m=1, 2, …y.
В случае, если по крайней мере для одного i-го сегмента кадра Cr[i]<Th, что свидетельствует о наличии существенного различия в статистике модуля градиента по крайней мере i-го сегмента кадра исходного и контролируемого цифровых телевизионных сигналов, переходят к этапу (109) и диагностируют наличие искажения, например в форме артефактов с резкими границами, или в форме наличия дополнительных элементов изображения с высоким контрастом, например внедренной в контролируемую трансляцию текстовой информации, отсутствующей в исходной трансляции, либо в форме отсутствия передачи части изображения, записывают информацию о упомянутом факте в базу данных, после чего переходят к приему следующего кадра (этап 110).
Ранговый характер используемой корреляционной функции помимо существенного уменьшения объема передаваемой информации, характеризующей статистику модуля градиента яркости одного сегмента, реализует такое важное на практике свойство заявленного способа, как отсутствие чувствительности к монотонным изменениям уровня яркости и контраста изображения, вызванного промежуточными преобразованиями цифрового телевизионного сигнала и не несущими искажения содержания последнего.
Значение порога Th задают в интервале (75-100)% с учетом требуемого уровня чувствительности способа к уровню выявляемых искажений, который определяется эмпирически по уровню компрессии цифрового телевизионного сигнала и наличию средств его перекодирования в промежуточных точках распространения. Чем выше уровень компрессии сигнала и чем больше промежуточных точек его перекодирования, тем меньшим выбирают значение Th. В случае если на пути передачи сигнала отсутствуют средства его перекодирования, Th выбирают равным 95-100%. При этом с использованием способа будут выявляться небольшие искажения содержания, при одновременном сохранении нечувствительности к монотонным изменениям яркости и контраста изображения, не связанным с изменением содержания последнего.
В случае если Cr[i]<Th для i-го сегмента кадра, оценивают характер возникшего искажения. Для этого вычисляют количество последовательно переданных кадров s, для которых было справедливо соотношение Cr[i]<Th. В случае если s было небольшим, например 1…5, что свидетельствует о появлении весьма быстрого изменения статистики модуля градиента изображения, с последующим восстановлением, делается вывод о появлении артефакта, характерного для цифровой трансляции, например блочного артефакта.
Заявленный способ преимущественно реализуют в стационарных и мобильных системах диагностики искажений цифровой телетрансляции, при этом в центре распространения исходного цифрового телевизионного сигнала вычисляют для каждого сегмента кадра гистограмму He[i] и затем вектор Ve[i], после чего принимают по каналам связи различной природы от W (на практике W=64…256) региональных станций мониторинга цифрового телевизионного сигнала векторы Vk[i], после чего, с учетом компенсации известной задержки передачи информации δT, проводят реализацию способа на базе любой вычислительной платформы достаточной производительности, в качестве которой может использоваться, например платформа на базе Pentium-4 с 8 Гб оперативной памяти.
Объем передаваемой информации в байтах за время 1 с от одной региональной станции мониторинга цифрового телевизионного сигнала на сервер обработки информации составляет:
где
CPS - число байт, передаваемых за 1 с (characters per second);
Fk - частота кадров, например 25 с-1;
M - количество сегментов разбиения одного кадра, например 16;
Z - количество интервалов гистограммы, например 8.
Для типового варианта применения способа CPS=25*16*8*3/8=1200 байт/с, что более чем в 300..700 раз ниже скорости самого контролируемого потока цифровой телепрограммы, в зависимости от разрешающей способности изображения и типа кодека, причем значение CPS не зависит от масштаба (разрешения) цифрового телевизионного сигнала. Поток значений векторов Vk[i] перед передачей преимущественно подвергают компрессии, например с использованием известного алгоритма LZMA, при этом на практике достигается уровень сжатия 4-8 раз в зависимости от динамических свойств изображения контролируемой трансляции, при этом скорость цифрового потока составит порядка 240-300 байт/с, а для трансляций, подобных новостным передачам с диктором - порядка 120 байт/с.
В целях иллюстрации способа приведем пример его реализации. Значение Th выберем равным 80%, что соответствует большинству практических задач выявления искажений для каналов связи относительно невысокого качества. В примере получены следующие гистограммы, определенные по исходной (He) и трем региональным трансляциям (Hk1, Hk2 и Hk3) для сегмента кадра №1, с соответствующими векторами Ve и Vk1, Vk2, Vk3:
Вычислим коэффициенты ранговой корреляции Кендалла с использованием формулы (3), причем для равных значений из Hk3 применим правило вычисления рангов для равных величин:
Cr1=100%; Cr2=7,1%; Cr3=-53%.
При этом Cr1>Th, то есть в сегменте кадра №1 трансляции №1 искажение не выявлено, не смотря на то, что в региональной трансляции №1 имело место монотонное снижение значений модуля градиента яркости изображения, связанное, например, с небольшим уменьшением яркости и/или контраста контролируемого кадра после его передачи по каналам связи.
Вычисленные значения Cr2<Th, также Cr3<Th, что свидетельствует о выявлении наличия искажения в сегменте кадра №1 2-й и 3-й региональных трансляций. Отрицательные значения коэффициента корреляции наиболее часто свидетельствуют о полном изменении содержания изображения соответствующего сегмента, например при полной деградации последнего в результате сбоя в канале передачи данных и так называемого «рассыпания» изображения.
На Фиг. 4 представлен общий вид системы (200), реализующей заявленный способ (100).
Система выявления искажений в системах цифрового телевидения (200) может выполняться на базе широкого спектра электронно-вычислительных устройств, например, персонального компьютера, ноутбука, серверного кластера и т.п.
В общем случае система (200) содержит один или более процессоров (201), выполняющих основную вычислительную работу при реализации этапов способа (100).
Оперативную память (ОЗУ) (202), предназначенную для оперативного хранения команд, исполняемых одним или более процессорами (201).
Средство хранения данных (203) может представлять собой жесткий диск (HDD), твердотельный накопитель (SSD), флэш-память (NAND-flash, EEPROM, Secure Digital и т.п.), оптический диск (CD, DVD, Blue Ray), мини диск или их совокупности.
Интерфейсы ввода/вывода (В/В) (204) представляют собой стандартные порты и средства сопряжения устройств и передачи данных, выбираемые исходя из необходимой конфигурации исполнения системы (200), в частности: USB (2.0, 3.0, USB-C, micro, mini), Ethernet, PCI, AGP, COM, LPT, PS/2, SATA, FireWire, Lightning и т.п.
Средства B/B (205) также выбираются из известного спектра различных устройств, например, клавиатура, тачпад, сенсорный дисплей, монитор, проектор, манипулятор мышь, джойстик, трекбол, световое перо, стилус, устройства вывода звука (колонки, наушники, встроенные динамики, зуммер) и т.п.
Средства передачи данных (206) выбираются из устройств, предназначенных для реализации процесса коммуникации между различными устройствами посредством проводной и/или беспроводной связи, в частности, таким устройствами могут быть: GSM модем, Wi-Fi приемопередатчик, Bluetooth или BLE модуль, GPS модуль, Глонасс модуль, NFC, Ethernet модуль и т.п.
Компоненты системы (200) сопряжены посредством общей шины передачи данных (210).
Результаты выявления искажений записывают в базу данных сервера мониторинга для последующего составления аналитических отчетов о наличии искажений в трансляции.
При выявлении искажений измеряют с использованием навигационной аппаратуры потребителей GPS NAVSTAR или ГЛОНАСС универсальное координированное время (UTC) реализации данного события, после чего записывают измеренный временной отсчет в базу данных сервера или иного вычислительного устройства.
При выявлении искажений также могут измеряться географические координаты места реализации данного события, после чего данные измеренные координаты записываются в упомянутую базу данных.
Информацию о фактах выявлении искажений отображается на мониторе оператора.
Дополнительно информацию о фактах выявлении искажений передают в центр распространения телепрограммы.
Выявление искажений может осуществляться на стационарном пункте мониторинга качества телевещания, либо на мобильном пункте мониторинга качества телевещания.
Способ реализован в программно-аппаратном комплексе MultiScreen разработки компании «СТРИМ Лабе», прошел приемочные испытания эксплуатируется на ряде пунктов регионального цифрового телевещания ФГУП «Российская телевизионная и радиовещательная сеть», где показал высокую эффективность выявления искажений изображения.
Накапливаемая в базе данных информация о фактах выявления искажений в региональных трансляциях, совместно с точной пространственно-временной привязкой последних, позволяет своевременно выявлять сбои в эксплуатируемом оборудовании, факты изменения содержания трансляции на региональном уровне, что в конечном счете повышает уровень качества систем цифрового телевидения.
По сравнению с прототипом, способ позволяет с высоким уровнем достоверности выявлять искажения содержания цифровой телевизионной трансляции, не реагируя на монотонные изменения яркости и контраста изображения, обеспечивая своевременное информирование эксплуатирующего персонала о фактах появления искажений с идентификацией их типа. Низкие требования к полосе пропускания канала для передачи информации для анализа контролируемой и исходной трансляций позволяют вести контроль единства транслируемого контента одновременно как в крупных мегаполисах, так и в труднодоступных местах, например, в населенных пунктах Крайнего Севера России.
Это подтверждает достижение поставленного технического результата.
Литература
1. Huynh-Thu, Q.; Ghanbari, М. «Scope of validity of PSNR in image/video quality assessment» - Electronics Letters. 44 (13): 800. - 2008.
2. Zhou Wang, Alan Conrad Bovik, Hamid Rahim Sheikh, and Eero P. Simoncelli «Image Quality Assessment: From Error Visibility to Structural Similarity» - IEEE Transactions on Image Processing, Volume 13, Number 4 - 2004.
3. Irwin Sobel «History and Definition of the so-called «Sobel Operator», more appropriately named the Sobel-Feldman Operator» - 2014.
4. Maurice Kendall «A New Measure of Rank Correlation». Biometrika. 30 (1-2): 81-89 - 1938.
Claims (33)
1. Способ выявления искажений изображения в системе цифрового телевидения, при котором:
- принимают исходный и контролируемый цифровые телевизионные сигналы, декодируют их и проводят сравнение пар соответствующих кадров, причем в ходе упомянутого сравнения:
- разбивают кадр исходного и контролируемого цифрового телевизионного сигнала на N сегментов равной площади Se[i] и Sk[i], где i=1, 2, …N;
- вычисляют для каждой пары Se[i] и Sk[i] пару гистограмм модуля градиента яркости He[i] и Hk[i] из М интервалов;
- вычисляют для He[i] вектор Ve[i], j-й элемент которого соответствует порядковому номеру j-го интервала He[i] в упорядоченном по возрастанию наборе значений последних, а для Hk[i] вектор Vk[i], j-й элемент которого соответствует порядковому номеру j-го интервала Hk[i] в упорядоченном по возрастанию наборе значений последних, j=1, 2, …М;
- вычисляют для каждого из i коэффициент ранговой корреляции Cr[i] векторов Vk[i] и Ve[i];
и
- если Cr[i] не превышает пороговое значение Th по крайней мере для одного i, выявляют факт наличия искажения изображения i-го сегмента в системе цифрового телевидения.
2. Способ по п. 1, отличающийся тем, что количество интервалов гистограмм М выбирают в диапазоне от 4 до 128.
3. Способ по п. 1, отличающийся тем, что количество сегментов N выбирают в диапазоне от 8 до 256.
4. Способ по п. 1, отличающийся тем, что дополнительно измеряют вектор навигационных параметров Vnp, включающий в себя широту, долготу, высоту и универсальное координированное время (UTC) в месте приема контролируемого цифрового телевизионного сигнала с использованием навигационной аппаратуры потребителей сигналов GPS NAVSTAR и ГЛОНАСС, затем записывают значение векторов Vnp, Vk и Ve в базу данных.
5. Способ по п. 4, отличающийся тем, что дополнительно сохраняют в базе данных порядковые номера, а также гистограммы Hk[i] для тех i-x сегментов контролируемых кадров, в которых выявлено искажение.
6. Способ по п. 5, отличающийся тем, что после выявления факта искажения дополнительно вычисляют количество последовательных кадров s, в которых было выявлено искажение в i-м сегменте кадра, и, если s<Th2, диагностируют наличие артефакта цифровой трансляции в i-м сегменте кадра.
7. Способ по п. 6, отличающийся тем, что после выявления факта искажения дополнительно вычисляют количество последовательных кадров w, в которых было выявлено искажение в i-м сегменте кадра, и, если w>Th3, диагностируют факт наличия изменения содержания по крайней мере части изображения i-го сегмента кадра.
8. Способ по п. 4, отличающийся тем, что в качестве исходного цифрового телевизионного сигнала используют сигнал, получаемый с выхода оборудования центра распространения цифрового телевизионного сигнала, а в качестве контролируемого цифрового телевизионного сигнала используют сигнал, получаемый с выхода оборудования региональной станции мониторинга цифрового телевизионного сигнала.
9. Способ по п. 1, отличающийся тем, что после выявления факта искажения контролируемого цифрового телевизионного сигнала включают аппаратуру контрольной записи последнего.
10. Способ по п. 4, отличающийся тем, что после выявления факта искажения контролируемого цифрового телевизионного сигнала, выключают аппаратуру распространения последнего конечным потребителям и передают информацию о данном факте в центр распространения цифрового телевизионного сигнала.
11. Способ по п. 4, отличающийся тем, что исходный цифровой телевизионный сигнал принимают по спутниковому каналу, а контролируемый телевизионный сигнал принимают по каналам эфирного цифрового телевидения.
12. Способ по п. 11, отличающийся тем, что прием контролируемого телевизионного сигнала проводят на оборудование мобильной станции мониторинга цифрового телевизионного сигнала.
13. Система выявления искажений изображения в системе цифрового телевидения, содержащая один или более процессоров, одно или более средств памяти, причем по меньшей мере одно средство памяти содержит исполняемые процессором машиночитаемые инструкции, которые при их исполнении процессором реализуют этапы, на которых:
- принимают исходный и контролируемый цифровые телевизионные сигналы, декодируют их и проводят сравнение пар соответствующих кадров, причем в ходе упомянутого сравнения:
- разбивают кадр исходного и контролируемого цифрового телевизионного сигнала на N сегментов равной площади Se[i] и Sk[i], где i=1, 2, …N;
- вычисляют для каждой пары Se[i] и Sk[i] пару гистограмм модуля градиента яркости He[i] и Hk[i] из М интервалов;
- вычисляют для He[i] вектор Ve[i], j-й элемент которого соответствует порядковому номеру j-го интервала He[i] в упорядоченном по возрастанию наборе значений последних, а для Hk[i] вектор Vk[i], j-й элемент которого соответствует порядковому номеру j-го интервала Hk[i] в упорядоченном по возрастанию наборе значений последних, j=1, 2, …М;
- вычисляют для каждого из i коэффициент ранговой корреляции Cr[i] векторов Vk[i] и Ve[i];
и
- если Cr[i] не превышает пороговое значение Th по крайней мере для одного i, выявляют факт наличия искажения изображения i-го сегмента в системе цифрового телевидения.
14. Система по п. 13, отличающаяся тем, что количество интервалов гистограмм М выбирают в диапазоне от 4 до 128.
15. Система по п. 13, отличающаяся тем, что количество сегментов N выбирают в диапазоне от 8 до 256.
16. Система по п. 13, отличающаяся тем, что дополнительно измеряют вектор навигационных параметров Vnp, включающий в себя широту, долготу, высоту и универсальное координированное время (UTC) в месте приема контролируемого цифрового телевизионного сигнала с использованием навигационной аппаратуры потребителей сигналов GPS NAVSTAR и ГЛОНАСС, затем записывают значение векторов Vnp, Vk и Ve в базу данных.
17. Система по п. 16, отличающаяся тем, что дополнительно сохраняют в базе данных порядковые номера, а также гистограммы Hk[i] для тех i-x сегментов контролируемых кадров, в которых диагностировано искажение.
18. Система по п. 17, отличающаяся тем, что после выявления факта искажения дополнительно вычисляют количество последовательных кадров s, в которых было выявлено искажение в i-м сегменте кадра, и, если s<Th2, диагностируют наличие артефакта цифровой трансляции в i-м сегменте кадра.
19. Система по п. 16, отличающаяся тем, что после выявления факта искажения дополнительно вычисляют количество последовательных кадров w, в которых было выявлено искажение в i-м сегменте кадра, и, если w>Th3, диагностируют факт наличия изменения содержания по крайней мере части изображения i-го сегмента кадра.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016150188A RU2651206C1 (ru) | 2016-12-21 | 2016-12-21 | Способ и система выявления искажений в системах цифрового телевидения |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2016150188A RU2651206C1 (ru) | 2016-12-21 | 2016-12-21 | Способ и система выявления искажений в системах цифрового телевидения |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2651206C1 true RU2651206C1 (ru) | 2018-04-18 |
Family
ID=61976973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2016150188A RU2651206C1 (ru) | 2016-12-21 | 2016-12-21 | Способ и система выявления искажений в системах цифрового телевидения |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2651206C1 (ru) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080316363A1 (en) * | 2007-06-20 | 2008-12-25 | Sunplus Technology Co., Ltd. | System and method for estimating noises in a video frame |
| US20120002059A1 (en) * | 2010-06-30 | 2012-01-05 | Isaac Levy | Video Feedback Loop |
| RU2496250C1 (ru) * | 2011-02-03 | 2013-10-20 | Кэнон Кабусики Кайся | Устройство и способ обработки изображения |
| US20140169763A1 (en) * | 2012-12-14 | 2014-06-19 | Tektronix, Inc. | System for detecting structured artifacts in video sequences |
| US20140354826A1 (en) * | 2013-05-28 | 2014-12-04 | Apple Inc. | Reference and non-reference video quality evaluation |
| RU2597493C2 (ru) * | 2011-11-25 | 2016-09-10 | Томсон Лайсенсинг | Оценивание качества видео с рассмотрением искажений перехода сцен |
-
2016
- 2016-12-21 RU RU2016150188A patent/RU2651206C1/ru active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080316363A1 (en) * | 2007-06-20 | 2008-12-25 | Sunplus Technology Co., Ltd. | System and method for estimating noises in a video frame |
| US20120002059A1 (en) * | 2010-06-30 | 2012-01-05 | Isaac Levy | Video Feedback Loop |
| RU2496250C1 (ru) * | 2011-02-03 | 2013-10-20 | Кэнон Кабусики Кайся | Устройство и способ обработки изображения |
| RU2597493C2 (ru) * | 2011-11-25 | 2016-09-10 | Томсон Лайсенсинг | Оценивание качества видео с рассмотрением искажений перехода сцен |
| US20140169763A1 (en) * | 2012-12-14 | 2014-06-19 | Tektronix, Inc. | System for detecting structured artifacts in video sequences |
| US20140354826A1 (en) * | 2013-05-28 | 2014-12-04 | Apple Inc. | Reference and non-reference video quality evaluation |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10957358B2 (en) | Reference and non-reference video quality evaluation | |
| CA2958720C (en) | Method and system for objective perceptual video quality assessment | |
| Lubin | A human vision system model for objective picture quality measurements | |
| CN111193923A (zh) | 视频质量评估方法、装置、电子设备及计算机存储介质 | |
| Poobal et al. | The performance of fractal image compression on different imaging modalities using objective quality measures | |
| US11856285B2 (en) | Systems and methods for adjusting a monitoring device | |
| US20170150140A1 (en) | Measuring media stream switching based on barcode images | |
| US10674328B2 (en) | Providing visualization data to a co-located plurality of mobile devices | |
| Menkovski et al. | Adaptive psychometric scaling for video quality assessment | |
| CN113808112A (zh) | 轨道扣件检测方法、电子设备和计算机可读介质 | |
| RU2651206C1 (ru) | Способ и система выявления искажений в системах цифрового телевидения | |
| US10242463B2 (en) | Providing visualization data to a co-located plurality of mobile devices | |
| Wolf | Measuring the end-to-end performance of digital video systems | |
| KR101520231B1 (ko) | 구조물의 변위량 측정 방법 및 구조물의 변위량 측정 전자기기 | |
| Dosselmann et al. | A prototype no-reference video quality system | |
| JP7431514B2 (ja) | 映像通話サービスの品質をリアルタイムで測定する方法およびシステム | |
| CN110290381B (zh) | 视频质量评估方法、装置、电子设备及计算机存储介质 | |
| US9064183B2 (en) | Computing device and method for identifying border lines of elements on images of objects | |
| US11875495B2 (en) | Methods of video quality assessment using parametric and pixel level models | |
| RU2652508C2 (ru) | Способ и система для идентификации группы кадров цифрового телевещания | |
| Sporer et al. | Automatic Assessment of Image Quality | |
| Gaurav et al. | Efficient quality of multimedia experience using perceptual quality metrics | |
| Suresh et al. | Real-time prototype of a zero-reference video quality algorithm | |
| Kreitmair et al. | Video interpretability rating scale under network impairments | |
| CN117234915A (zh) | 数据测试方法、***及相关设备 |