RU2008105303A - Способ и устройство обработки с временным повышающим преобразованием видео - Google Patents
Способ и устройство обработки с временным повышающим преобразованием видео Download PDFInfo
- Publication number
- RU2008105303A RU2008105303A RU2008105303/09A RU2008105303A RU2008105303A RU 2008105303 A RU2008105303 A RU 2008105303A RU 2008105303/09 A RU2008105303/09 A RU 2008105303/09A RU 2008105303 A RU2008105303 A RU 2008105303A RU 2008105303 A RU2008105303 A RU 2008105303A
- Authority
- RU
- Russia
- Prior art keywords
- interest
- region
- image
- processing
- frame rate
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
Abstract
1. Способ обработки видеоизображений, содержащий этапы, на которых: ! обнаруживают (44), по меньшей мере, одного человека в изображении видеоприложения; ! оценивают (46) движение, ассоциированное с, по меньшей мере, одним обнаруженным человеком в изображении; ! сегментируют (50) изображение на, по меньшей мере, одну представляющую интерес область и, по меньшей мере, одну не представляющую интереса область, при этом упомянутая, по меньшей мере, одна представляющая интерес область содержит упомянутого, по меньшей мере, одного обнаруженного человека в изображении; и ! применяют временную обработку кадров к видеосигналу, включающему в себя изображение, посредством использования более высокой частоты кадров в упомянутой, по меньшей мере, одной представляющей интерес области, чем частота, применяемая в упомянутой, по меньшей мере, одной не представляющей интереса области. ! 2. Способ по п.1, в котором упомянутая временная обработка кадров содержит обработку (56) с временным преобразованием с повышением частоты кадров, применяемую к упомянутой, по меньшей мере, одной представляющей интерес области. ! 3. Способ по п.1, в котором упомянутая временная обработка кадров содержит обработку (58) с временным преобразованием с понижением частоты кадров, применяемую к упомянутой, по меньшей мере, одной не представляющей интереса области. ! 4. Способ по п.3, дополнительно содержащий этап, на котором комбинируют (60) выходную информацию из этапа обработки с временным преобразованием с повышением частоты кадров с выходной информацией из этапа обработки с временным преобразованием с понижением частоты кадров, чтобы сформировать (62) улучшенное вых�
Claims (20)
1. Способ обработки видеоизображений, содержащий этапы, на которых:
обнаруживают (44), по меньшей мере, одного человека в изображении видеоприложения;
оценивают (46) движение, ассоциированное с, по меньшей мере, одним обнаруженным человеком в изображении;
сегментируют (50) изображение на, по меньшей мере, одну представляющую интерес область и, по меньшей мере, одну не представляющую интереса область, при этом упомянутая, по меньшей мере, одна представляющая интерес область содержит упомянутого, по меньшей мере, одного обнаруженного человека в изображении; и
применяют временную обработку кадров к видеосигналу, включающему в себя изображение, посредством использования более высокой частоты кадров в упомянутой, по меньшей мере, одной представляющей интерес области, чем частота, применяемая в упомянутой, по меньшей мере, одной не представляющей интереса области.
2. Способ по п.1, в котором упомянутая временная обработка кадров содержит обработку (56) с временным преобразованием с повышением частоты кадров, применяемую к упомянутой, по меньшей мере, одной представляющей интерес области.
3. Способ по п.1, в котором упомянутая временная обработка кадров содержит обработку (58) с временным преобразованием с понижением частоты кадров, применяемую к упомянутой, по меньшей мере, одной не представляющей интереса области.
4. Способ по п.3, дополнительно содержащий этап, на котором комбинируют (60) выходную информацию из этапа обработки с временным преобразованием с повышением частоты кадров с выходной информацией из этапа обработки с временным преобразованием с понижением частоты кадров, чтобы сформировать (62) улучшенное выходное изображение.
5. Способ по любому из пп.1-4, в котором этапы повышения качества визуальных изображений выполняются либо на передающей стороне, либо на приемной стороне видеосигнала, ассоциированного с изображением.
6. Способ по любому из пп.1-4, в котором обнаружение, по меньшей мере, одного человека, идентифицированного в изображении видеоприложения, содержит этап, на котором обнаруживают (71) движение губ в изображении.
7. Способ по любому из пп.1-4, в котором обнаружение, по меньшей мере, одного человека, идентифицированного в изображении видеоприложения, содержит этап, на котором обнаруживают (82) звуковую речевую активность в изображении.
8. Способ по п.2, в котором этап применения обработки с временным преобразованием с повышением частоты кадров к представляющей интерес области осуществляется, только когда движение губ и/или звуковая речевая активность обнаружены.
9. Способ по п.1, дополнительно содержащий этапы, на которых:
сегментируют (50) изображение на, по меньшей мере, первую представляющую интерес область и вторую представляющую интерес область;
выбирают (102) первую представляющую интерес область, чтобы применить обработку с временным преобразованием с повышением частоты кадров за счет увеличения частоты кадров; и
оставляют без изменения частоту кадров второй представляющей интерес области.
10. Способ по п.2, в котором применение обработки с временным преобразованием с повышением частоты кадров к представляющей интерес области содержит этап, на котором повышают частоту кадров пикселов, ассоциированных с представляющей интерес областью.
11. Способ по п.9, дополнительно содержащий этап, на котором расширяют представляющую интерес область на блочной решетке (150B) изображения и выполняют постепенный переход векторов движения посредством применения анализа интерполяции с компенсацией движения для пикселов в расширенной представляющей интерес области (154).
12. Способ по п.11, дополнительно содержащий этап, на котором отменяют выделение граничной области (152) посредством применения размывающего фильтра вертикально и горизонтально для пикселов в расширенной представляющей интерес области (154).
13. Устройство, сконфигурированное для того, чтобы обрабатывать видеоизображения, при этом устройство содержит:
модуль (14) обнаружения, выполненный с возможностью обнаруживать (14), по меньшей мере, одного человека в изображении видеоприложения;
модуль (16) оценки движения, выполненный с возможностью оценивать движение, ассоциированное с, по меньшей мере, одним обнаруженным человеком в изображении;
модуль (22) сегментирования, выполненный с возможностью сегментировать изображение на, по меньшей мере, одну представляющую интерес область и, по меньшей мере, одну не представляющую интереса область, при этом упомянутая, по меньшей мере, одна представляющая интерес область содержит упомянутого, по меньшей мере, одного обнаруженного человека в изображении; и
по меньшей мере, один модуль обработки, выполненный с возможностью применять временную обработку кадров к видеосигналу, включающему в себя изображение, посредством использования более высокой частоты кадров в упомянутой, по меньшей мере, одной представляющей интерес области, чем частота, применяемая в упомянутой, по меньшей мере, одной не представляющей интереса области.
14. Устройство по п.13, в котором упомянутый модуль обработки содержит модуль (26) повышающего преобразования представляющей интерес области, выполненный с возможностью применять обработку с временным преобразованием с повышением частоты кадров к упомянутой, по меньшей мере, одной представляющей интерес области.
15. Устройство по п.13 или 14, в котором упомянутый модуль обработки содержит модуль (30) понижающего преобразования не представляющей интереса области, выполненный с возможностью применять обработку с временным преобразованием с понижением частоты кадров к упомянутой, по меньшей мере, одной не представляющей интереса области.
16. Устройство по п.15, дополнительно содержащее модуль (32) комбинирования, выполненный с возможностью комбинировать выходную информацию, извлеченную из модуля повышающего преобразования представляющей интерес области, с выходной информацией, извлеченной из модуля понижающего преобразования не представляющей интереса области.
17. Устройство по п.16, дополнительно содержащее модуль (15) обнаружения движения губ.
18. Устройство по п.17, дополнительно содержащее модуль (13) обнаружения звуковой речевой активности.
19. Устройство по п.18, дополнительно содержащее модуль (23) выбора представляющей интерес области, выполненный с возможностью выбирать первую представляющую интерес область для временного преобразования с повышением частоты кадров.
20. Машиночитаемый носитель, ассоциированный с устройством по любому из пп.13-19, на котором сохранена последовательность инструкций, которая при ее исполнении микропроцессором этого устройства, предписывает микропроцессору
обнаруживать (44), по меньшей мере, одного человека в изображении видеоприложения;
оценивать (46) движение, ассоциированное с, по меньшей мере, одним обнаруженным человеком в изображении;
сегментировать (50) изображение на, по меньшей мере, одну представляющую интерес область и, по меньшей мере, одну не представляющую интереса область, при этом упомянутая, по меньшей мере, одна представляющая интерес область содержит упомянутого, по меньшей мере, одного обнаруженного человека в изображении; и
применять временную обработку кадров к видеосигналу, включающему в себя изображение, посредством использования более высокой частоты кадров в упомянутой, по меньшей мере, одной представляющей интерес области, чем частота, применяемая в упомянутой, по меньшей мере, одной не представляющей интереса области.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP05300594 | 2005-07-13 | ||
| EP05300594.8 | 2005-07-13 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2008105303A true RU2008105303A (ru) | 2009-08-20 |
Family
ID=37460196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2008105303/09A RU2008105303A (ru) | 2005-07-13 | 2006-07-07 | Способ и устройство обработки с временным повышающим преобразованием видео |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20100060783A1 (ru) |
| EP (1) | EP1905243A1 (ru) |
| JP (1) | JP2009501476A (ru) |
| KR (1) | KR20080031408A (ru) |
| CN (1) | CN101223786A (ru) |
| RU (1) | RU2008105303A (ru) |
| WO (1) | WO2007007257A1 (ru) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9578345B2 (en) | 2005-03-31 | 2017-02-21 | Euclid Discoveries, Llc | Model-based video encoding and decoding |
| US9743078B2 (en) | 2004-07-30 | 2017-08-22 | Euclid Discoveries, Llc | Standards-compliant model-based video encoding and decoding |
| US9532069B2 (en) | 2004-07-30 | 2016-12-27 | Euclid Discoveries, Llc | Video compression repository and model reuse |
| US8902971B2 (en) | 2004-07-30 | 2014-12-02 | Euclid Discoveries, Llc | Video compression repository and model reuse |
| US8942283B2 (en) | 2005-03-31 | 2015-01-27 | Euclid Discoveries, Llc | Feature-based hybrid video codec comparing compression efficiency of encodings |
| US8908766B2 (en) | 2005-03-31 | 2014-12-09 | Euclid Discoveries, Llc | Computer method and apparatus for processing image data |
| US8553782B2 (en) | 2007-01-23 | 2013-10-08 | Euclid Discoveries, Llc | Object archival systems and methods |
| JP2010517427A (ja) * | 2007-01-23 | 2010-05-20 | ユークリッド・ディスカバリーズ・エルエルシー | 個人向けのビデオサービスを提供するシステムおよび方法 |
| US8175382B2 (en) | 2007-05-10 | 2012-05-08 | Microsoft Corporation | Learning image enhancement |
| JP2009033369A (ja) * | 2007-07-26 | 2009-02-12 | Sony Corp | 記録装置、再生装置、記録再生装置、撮像装置、記録方法およびプログラム |
| US8130257B2 (en) | 2008-06-27 | 2012-03-06 | Microsoft Corporation | Speaker and person backlighting for improved AEC and AGC |
| US8325796B2 (en) | 2008-09-11 | 2012-12-04 | Google Inc. | System and method for video coding using adaptive segmentation |
| JP2012526314A (ja) * | 2009-05-08 | 2012-10-25 | ゾケム オーワイ | 行動およびコンテキストデータを分析するためのシステムおよび方法 |
| US20100296583A1 (en) * | 2009-05-22 | 2010-11-25 | Aten International Co., Ltd. | Image processing and transmission in a kvm switch system with special handling for regions of interest |
| CN102170552A (zh) * | 2010-02-25 | 2011-08-31 | 株式会社理光 | 一种视频会议***及其中使用的处理方法 |
| US20130009980A1 (en) * | 2011-07-07 | 2013-01-10 | Ati Technologies Ulc | Viewing-focus oriented image processing |
| US9262670B2 (en) * | 2012-02-10 | 2016-02-16 | Google Inc. | Adaptive region of interest |
| US10091507B2 (en) | 2014-03-10 | 2018-10-02 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
| US10097851B2 (en) | 2014-03-10 | 2018-10-09 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
| CA2942336A1 (en) | 2014-03-10 | 2015-09-17 | Euclid Discoveries, Llc | Continuous block tracking for temporal prediction in video encoding |
| US9858470B2 (en) * | 2014-07-18 | 2018-01-02 | Htc Corporation | Method for performing a face tracking function and an electric device having the same |
| WO2016207861A1 (en) * | 2015-06-25 | 2016-12-29 | Nokia Technologies Oy | Method, apparatus, and computer program product for predictive customizations in self and neighborhood videos |
| KR20170042431A (ko) | 2015-10-08 | 2017-04-19 | 삼성전자주식회사 | 디스플레이 모양에 따라 영상 데이터를 불균일하게 인코딩/디코딩하도록 구성되는 전자 장치 |
| US10153002B2 (en) * | 2016-04-15 | 2018-12-11 | Intel Corporation | Selection of an audio stream of a video for enhancement using images of the video |
| US10950275B2 (en) | 2016-11-18 | 2021-03-16 | Facebook, Inc. | Methods and systems for tracking media effects in a media effect index |
| US10303928B2 (en) * | 2016-11-29 | 2019-05-28 | Facebook, Inc. | Face detection for video calls |
| US10122965B2 (en) | 2016-11-29 | 2018-11-06 | Facebook, Inc. | Face detection for background management |
| US10554908B2 (en) | 2016-12-05 | 2020-02-04 | Facebook, Inc. | Media effect application |
| CN106604151A (zh) * | 2016-12-28 | 2017-04-26 | 深圳Tcl数字技术有限公司 | 视频聊天方法及装置 |
| US10805676B2 (en) * | 2017-07-10 | 2020-10-13 | Sony Corporation | Modifying display region for people with macular degeneration |
| US11151993B2 (en) * | 2018-12-28 | 2021-10-19 | Baidu Usa Llc | Activating voice commands of a smart display device based on a vision-based mechanism |
| US11893791B2 (en) * | 2019-03-11 | 2024-02-06 | Microsoft Technology Licensing, Llc | Pre-processing image frames based on camera statistics |
| EP3934260A1 (en) * | 2020-06-30 | 2022-01-05 | Ymagis | Transport of a movie in multiple frame rates to a film auditorium |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6330023B1 (en) * | 1994-03-18 | 2001-12-11 | American Telephone And Telegraph Corporation | Video signal processing systems and methods utilizing automated speech analysis |
| JP3086396B2 (ja) * | 1995-03-10 | 2000-09-11 | シャープ株式会社 | 画像符号化装置及び画像復号装置 |
| JPH11285001A (ja) * | 1998-01-27 | 1999-10-15 | Sharp Corp | 動画像符号化装置及び動画像復号装置 |
| GB2357650A (en) * | 1999-12-23 | 2001-06-27 | Mitsubishi Electric Inf Tech | Method for tracking an area of interest in a video image, and for transmitting said area |
| US6650705B1 (en) * | 2000-05-26 | 2003-11-18 | Mitsubishi Electric Research Laboratories Inc. | Method for encoding and transcoding multiple video objects with variable temporal resolution |
| JP2003111050A (ja) * | 2001-09-27 | 2003-04-11 | Olympus Optical Co Ltd | 映像配信サーバ及び映像受信クライアントシステム |
-
2006
- 2006-07-07 RU RU2008105303/09A patent/RU2008105303A/ru not_active Application Discontinuation
- 2006-07-07 US US11/995,017 patent/US20100060783A1/en not_active Abandoned
- 2006-07-07 JP JP2008521006A patent/JP2009501476A/ja active Pending
- 2006-07-07 EP EP06766037A patent/EP1905243A1/en not_active Withdrawn
- 2006-07-07 KR KR1020087003479A patent/KR20080031408A/ko not_active Application Discontinuation
- 2006-07-07 CN CNA2006800254872A patent/CN101223786A/zh active Pending
- 2006-07-07 WO PCT/IB2006/052296 patent/WO2007007257A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009501476A (ja) | 2009-01-15 |
| US20100060783A1 (en) | 2010-03-11 |
| WO2007007257A1 (en) | 2007-01-18 |
| EP1905243A1 (en) | 2008-04-02 |
| KR20080031408A (ko) | 2008-04-08 |
| CN101223786A (zh) | 2008-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2008105303A (ru) | Способ и устройство обработки с временным повышающим преобразованием видео | |
| RU2009135233A (ru) | Устройство и способ обработки изображений и устройство и способ отображения изображений | |
| US20200099944A1 (en) | Real-time adaptive video denoiser with moving object detection | |
| ATE538447T1 (de) | Region-of-interest-trackingverfahren und - vorrichtung zur wavelet-basierenden video- kodierung | |
| EP1868138A3 (en) | Method of tracking a human eye in a video image | |
| SG112928A1 (en) | Method and apparatus for mpeg artifacts reduction | |
| CN1471306A (zh) | 场景改变检测器及其方法 | |
| TW200743372A (en) | Apparatus and method for reducing temporal noise | |
| ATE486462T1 (de) | Unschärfemessung in videosequenzen | |
| KR100901354B1 (ko) | 영상의 에지 보정장치 및 그 방법 | |
| KR960009757A (ko) | 양방향 움직임 추정방법 및 장치 | |
| KR970058040A (ko) | 동화상 검출방법 | |
| GB2353912A (en) | Method and apparatus for increasing video frame rate | |
| EP1773070A3 (en) | Motion estimation method, video encoding method and apparatus using the same | |
| CA2293943A1 (en) | Picture feature extraction device, picture retrieving device, and methods thereof for picture feature extraction and retrieving picture | |
| KR20180054808A (ko) | 이미지들 내의 움직임 검출 | |
| TWI266544B (en) | Method and apparatus for cross color and/or cross luminance suppression | |
| US20100128168A1 (en) | Apparatus and method for coding block boundary detection using interpolated autocorrelation | |
| EP2103106A4 (en) | METHOD AND DEVICE FOR SUPPRESSING NOISE THROUGH CONTENTAL SPACE-TIME MOVEMENTS | |
| EP1519567A3 (en) | Radiographic apparatus and radiographic method | |
| EP4072142A3 (en) | Video motion processing including static scene determination, occlusion detection, frame rate conversion, and adjusting compression ratio | |
| US11205078B2 (en) | System for computationally efficient analysis of traffic details in traffic video stream and a method thereof | |
| US20100111436A1 (en) | Method and apparatus for removing motion compensation noise of image by using wavelet transform | |
| TW200633537A (en) | Device and method for pre-processing before encoding of a video sequence | |
| US20110242423A1 (en) | Method and Apparatus for Motion Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FA92 | Acknowledgement of application withdrawn (lack of supplementary materials submitted) |
Effective date: 20100603 |