KR102489396B1 - 비디오 이미지의 시퀀스를 인코딩하기 위한 이미지 프로세싱 장치, 카메라 및 방법 - Google Patents

비디오 이미지의 시퀀스를 인코딩하기 위한 이미지 프로세싱 장치, 카메라 및 방법 Download PDF

Info

Publication number
KR102489396B1
KR102489396B1 KR1020210125795A KR20210125795A KR102489396B1 KR 102489396 B1 KR102489396 B1 KR 102489396B1 KR 1020210125795 A KR1020210125795 A KR 1020210125795A KR 20210125795 A KR20210125795 A KR 20210125795A KR 102489396 B1 KR102489396 B1 KR 102489396B1
Authority
KR
South Korea
Prior art keywords
frames
base layer
video images
sequence
encoding
Prior art date
Application number
KR1020210125795A
Other languages
English (en)
Other versions
KR20220048935A (ko
Inventor
필 프레드릭
룬드 맷츠
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20220048935A publication Critical patent/KR20220048935A/ko
Application granted granted Critical
Publication of KR102489396B1 publication Critical patent/KR102489396B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9261—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction
    • H04N5/9262—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 이미지의 시퀀스를 동적 비트레이트를 갖는 단일 비디오 스트림으로 인코딩하는 이미지 처리 장치(500), 카메라(505) 및 방법(100)이 제공된다. 상기 비디오 이미지의 시퀀스는 베이스 레이어 해상도 및 베이스 레이어 압축 레벨을 사용하여 상기 단일 비디오 스트림의 베이스 레이어의 프레임으로 인코딩된다(110). 이벤트 트리거를 검출하기 전에 각각의 시간에 해당하는 상기 비디오 이미지 시퀀스의 비디오 이미지는 단일 비디오 스트림의 확장된 레이어의 제1 프레임 세트로 인코딩된다(120). 상기 제1 프레임 세트의 프레임은 상기 베이스 레이어의 해당하는 프레임의 인코딩과 관계없이 빈 프레임이다. 상기 이벤트 트리거가 검출되고(130) 상기 이벤트 트리거가 검출되면, 상기 이벤트 트리거를 검출한 후 각각의 시간에 해당하는 상기 비디오 이미지의 시퀀스의 비디오 이미지가 레이어 해상도 보다 높은 해상도 또는 상기 베이스 레이어 압축 레벨보다 낮은 압축 레벨을 사용하여 확장된 레이어의 제2 프레임 세트로 인코딩된다(140).

Description

비디오 이미지들의 시퀀스를 인코딩하기 위한 이미지 프로세싱 장치, 카메라 및 방법{AN IMAGE PROCESSING DEVICE, A CAMERA AND A METHOD FOR ENCODING A SEQUENCE OF VIDEO IMAGES}
본 발명은 비디오 인코딩, 특히 비디오 이미지들의 시퀀스를 동적 비트레이트(dynamic bitrate)를 갖는 단일 비디오 스트림으로 인코딩하는 것에 관한 것이다.
모니터링 또는 감시에 사용되는 카메라의 경우, 인코딩된 비디오 이미지들의 시퀀스의 비트레이트는 상기 인코딩된 비디오 이미지들의 시퀀스가 전송 및/또는 저장될 때, 제한 인자(limiting factor)일 수 있다. 동시에, 상기 인코딩된 비디오 이미지들의 시퀀스는 추후 법의학 증거로 사용될 수 있으므로 상기 인코딩된 비디오 이미지들의 시퀀스에서 가능한한 많은 세부 사항을 유지해야 한다.
본 발명의 목적은 카메라에 의해 생성되는 비디오 스트림에 대한 비트레이트 절감을 용이하게 하는 것이다.
제1 양태에 따르면, 비디오 이미지들의 시퀀스를 동적 비트레이트를 갖는 단일 비디오 스트림으로 인코딩하는 방법이 제공된다. 상기 방법에서 상기 비디오 이미지들의 시퀀스는 베이스 레이어 해상도와 베이스 레이어 압축 레벨을 사용하여 상기 단일 비디오 스트림의 베이스 레이어의 프레임들로 인코딩된다. 이벤트 트리거(event trigger)를 검출하기 전의 각각의 시간에 대응하는 비디오 이미지들의 시퀀스의 비디오 이미지들은 상기 단일 비디오 스트림의 확장된 레이어의 제1 프레임 세트로 인코딩된다. 상기 제1 프레임 세트의 프레임들은 상기 베이스 레이어의 대응하는 프레임들의 인코딩과 관계없이 빈 프레임들이다. 상기 이벤트 트리거가 검출되고 상기 이벤트 트리거가 검출되면, 상기 이벤트 트리거를 검출한 후의 각각의 시간에 대응하는 상기 비디오 이미지들의 시퀀스의 비디오 이미지들이 상기 베이스 레이어 해상도보다 높은 해상도 및 상기 베이스 레이어 압축 레벨보다 낮은 압축 레벨을 사용하여 상기 확장된 레이어의 제2 프레임 세트로 인코딩된다.
이벤트 트리거는 관심을 가질 수 있는 이벤트가 발생 중이거나 발생하려고 하는 것을 나타내고, 따라서 상기 이벤트 트리거 후에 캡처되는 상기 비디오 이미지들의 시퀀스는 상기 이벤트 트리거 전에 캡처되는 비디오 이미지들의 시퀀스보다 더 관심있는 정보를 포함할 수 있는 것을 나타내는 트리거를 의미한다.
상기 이벤트 트리거를 검출함으로써, 상기 이벤트 트리거의 검출 이전의 시간에 관한 상기 인코딩된 비디오 이미지가 감소된 비트레이트를 가지고 상기 이벤트 트리거의 검출 후의 시간에 관한 인코딩된 비디오 이미지들이 높은 해상도(resolution) 또는 낮은 압축 레벨(compression level)을 갖도록 상기 비디오 이미지들의 시퀀스의 이미지들을 인코딩시키는 것을 적용하는 것이 가능하다.
빈 프레임(empty frame)은 여기서 상기 빈 프레임이 의존하는 인코딩된 프레임에 제공되는 정보에 대한 추가 정보가 거의 또는 전혀 포함되지 않은 인코딩된 프레임을 나타내기 위한 것으로 의도된다. 예를 들어, 상기 확장된 레이어의 빈 프레임은 상기 베이스 레이어의 대응하는 인코딩된 프레임에 제공되는 정보에 대한 추가 정보가 거의 또는 전혀 포함되지 않은 인코딩된 프레임이다. 상기 베이스 레이어의 해당하는 인코딩된 프레임에 대한 추가 정보가 거의 또는 바람직하지 않음으로써, 상기 확장된 레이어의 빈 프레임은 거의 또는 최소 수의 비트를 필요로 할 것이다.
상기 이벤트 트리거를 검출하기 전의 각각의 시간에 대응하는 비디오 이미지들의 시퀀스의 이미지들을 상기 베이스 레이어의 대응하는 프레임들의 인코딩과 관계없이 상기 확장된 레이어의 빈 프레임들로 인코딩함으로써, 비트레이트가 감소될 수 있다. 상기 베이스 레이어의 비어 있지 않은 프레임으로 인코딩되는 이미지의 경우, 상기 이미지를 상기 베이스 레이어의 비어 있지 않은 프레임의 인코딩에 관계없이 상기 확장된 레이어의 빈 프레임으로 인코딩하는 것은 상기 베이스 레이어 프레임의 인코딩이 고려되었을 경우 요구되는 것보다 더 적은 비트가 필요하다. 후자의 경우, 즉 상기 베이스 레이어 프레임의 인코딩이 고려된 경우, 상기 이미지는 더 많은 비트가 요구되는 상기 확장된 레이어의 비어 있지 않은 프레임으로 인코딩되었을 것이다.
상기 제1 프레임 세트의 빈 프레임들은 각각의 프레임들의 대부분의 블록에 대해 스킵 블록(skip block)을 사용하여 인코딩되는 프레임들일 수 있다.
상기 제1 프레임 세트의 빈 프레임들은 각각의 프레임들의 모든 블록에 대해 스킵 블록을 사용하여 인코딩되는 프레임들일 수 있다.
스킵 블록은 이미지 정보가 디코더로 전송되지 않는 블록이고; 상기 블록이 스킵 블록이라는 표시만 있다. 디코더 측면에서, 상기 확장된 레이어의 프레임의 스킵 블록이 식별되고 상기 베이스 레이어의 해당하는 프레임의 해당 블록과 관련하여 향상을 위해 제공되는 추가 정보가 없음을 나타낼 것이다. 블록은 사용된 인코딩 포맷(format)에 따라 블록 또는 매크로블록 또는 코딩 트리 유닛으로도 표시될 수 있는 픽셀 그룹이다.
상기 확장된 레이어의 제2 프레임 세트의 프레임들은 상기 베이스 레이어의 해당하는 프레임들에 의존하는 예측을 사용하여 인코딩되는 인터 프레임들(inter frame)이다.
제2 양태에 따르면 동적 비트레이트를 갖는 비디오 이미지들의 시퀀스를 전송하는 방법이 제공된다. 제 양태의 방법에서 상기 비디오 이미지들의 시퀀스는 제1 양태의 방법에 따라 인코딩된다. 그런 다음 상기 단일 비디오 스트림이 전송되며, 여기서 상기 제1 프레임 세트는 전송되는 것을 방지한다.
제3 양태에 따르면, 비일시적 컴퓨터 판독 가능 저장 매체가 제공된다. 상기 비일시적 컴퓨터 판독 가능 저장 매체는 처리 능력을 갖는 장치에서 실행될 때, 제1 양태에 따른 방법 또는 제2 양태에 따른 방법을 구현하기 위한 명령어들을 저장하고 있다.
제4 양태에 따르면, 비디오 이미지들의 시퀀스를 동적 비트레이트를 갖는 단일 비디오 스트림으로 인코딩하기 위한 이미지 프로세싱 장치가 제공된다. 상기 이미지 프로세싱 장치는 베이스 레이어 인코딩 기능(base layer encoding function) 및 확장된 레이어 인코딩 기능(extended layer encoding function)을 실행하도록 구성되는 인코더(encoder)를 포함한다. 상기 베이스 레이어 인코딩 기능은 상기 비디오 이미지들의 시퀀스를 베이스 레이어 해상도 및 베이스 압축 레벨을 사용하여 상기 단일 비디오 스트림의 베이스 레이어의 프레임들로 인코딩하도록 구성된다. 상기 확장된 레이어 인코딩 기능은 상기 비디오 이미지들의 시퀀스를 상기 단일 비디오 스트림의 확장된 레이어의 프레임들로 인코딩하도록 구성된다. 상기 이미지 프로세싱 장치는 사전-이벤트 지시 기능(pre-event instructing function), 이벤트 트리거 검출 기능(event trigger detecting function), 및 사후-이벤트 지시 기능(post-event instructing function)을 실행하도록 구성되는 회로를 더 포함한다. 상기 사전-이벤트 지시 기능은 이벤트 트리거를 검출하기 전의 각각의 시간에 해당하는 비디오 이미지들의 시퀀스의 비디오 이미지들을 상기 단일 비디오 스트림의 상기 확장된 레이어의 제1 세트의 프레임들로 인코딩하기 위해 상기 인코더를 지시하도록 구성되며, 여기서 상기 제1 프레임 세트의 프레임들은 상기 베이스 레이어의 해당 프레임들의 인코딩과 관계없이 빈 프레임들이다. 상기 이벤트 트리거 검출 기능은 상기 이벤트 트리거를 검출하도록 구성된다. 상기 사후-이벤트 지시 기능은 상기 이벤트 트리거를 검출하면, 상기 이벤트 트리거를 검출한 후의 각각의 시간에 해당하는 상기 비디오 이미지들의 시퀀스의 비디오 이미지를 상기 베이스 레이어 해상도보다 높은 해상도 또는 상기 베이스 레이어 압축 레벨보다 낮은 압축 레벨을 사용하여 상기 확장된 레이어의 제2 프레임 세트로 인코딩하기 위해 상기 인코더를 지시하도록 구성된다.
상기 제1 프레임 세트의 빈 프레임들은 각각의 프레임들의 대부분의 블록들에 대해 스킵 블록들을 사용하여 인코딩되는 프레임들일 수 있다.
상기 제1 프레임 세트의 빈 프레임들은 각각의 프레임들의 모든 블록들에 대해 스킵 블록들을 사용하여 인코딩되는 프레임들일 수 있다.
상기 확장된 레이어의 제2 프레임 세트의 프레임들은 상기 베이스 레이어의 해당 프레임들에 의존하는 예측(prediction)을 사용하여 인코딩되는 인터 프레임들이다.
제5 양태에 따르면, 제4 양태의 이미지 프로세싱 장치를 포함하는 카메라가 제공된다.
상기 카메라는 상기 단일 비디오 스트림을 전송하도록 구성되는 트랜스미터(transmitter)를 더 포함할 수 있다. 상기 이미지 프로세싱 장치의 회로는 사전-이벤트 전송 방지 기능을 실행하도록 추가로 구성될 수 있다. 상기 사전-이벤트 전송 방지 기능은 상기 트랜스미터가 상기 제1 프레임 세트를 전송하는 것을 방지하도록 구성된다.
본 발명의 적용 가능성의 추가 범위는 하기에 제공된 상세한 설명으로부터 명백해질 것이다. 그러나, 상세한 설명 및 특정 실시예들은 본 발명의 범위 내에서 다양한 변경들 및 변형들이 이러한 상세한 설명으로부터 당업자에게 명백할 것이기 때문에, 본 발명의 바람직한 실시 양태들을 나타내면서, 단지 예시의 목적으로 제공되는 것으로 이해되어야 한다.
따라서, 본 발명의 개념은 설명된 방법의 특정 단계 또는 설명된 시스템의 구성 부분에 제한되지 않는다는 것을 이해될 것이며, 이러한 방법 및 시스템은 다양할 수 있다. 본 발명에서 사용된 용어는 단지 특정 실시 형태들을 설명하기 위한 것이며 제한하려는 의도가 아님을 또한 이해될 것이다. 명세서 및 첨부된 청구 범위에서 사용된 바와 같이, 관사 "하나", "하나의", "그" 및 "상기"는 문맥에서 명확하게 달리 지칭하지 않는 한 하나 이상의 요소가 있음을 의미하는 것으로 의도된다는 점에 유의해야 한다. 따라서, 예를 들어 "유닛" 또는 "상기 유닛"에 대한 언급은 여러 장치 등을 포함할 수 있다. 또한, "구성하는", "포함하는", "함유하는" 및 이와 유사한 단어는 다른 요소 또는 단계를 배제하지 않는다.
본 발명의 상기 및 다른 양태는 이제 첨부된 도면을 참조하여, 보다 상세하게 설명될 것이다. 도면들은 제한적인 것으로 간주되어서는 안되며 대신 설명 및 이해를 위해 사용된다. 동일한 참조 번호는 전체에 걸쳐 동일한 요소를 지칭한다.
도 1은 비디오 이미지들의 시퀀스를 동적 비트레이트를 갖는 단일 비디오 스트림으로 인코딩하기 위한 방법의 실시 형태들의 흐름도이다.
도 2는 동적 비트레이트를 갖는 비디오 이미지들의 시퀀스를 전송하는 방법의 실시 형태들의 흐름도이다.
도 3은 비디오 이미지들의 시퀀스를 동적 비트레이트를 갖는 단일 비디오 스트림으로 인코딩하기 위한 방법의 실시 형태들의 흐름도이다.
도 4는 인코딩된 비디오 스트림의 레이어 구조의 개략적인 블록도이다.
도 5는 카메라에 포함되는 이미지 프로세싱 장치의 개략적인 블록도이다.
본 발명은 이제 본 발명의 현재 바람직한 실시 형태들이 도시된 첨부 도면을 참조하여 이하에서 더욱 완전하게 설명될 것이다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 형태들에 한정되는 것으로 해석되어서는 안된다. 오히려, 이들 실시 형태들은 완전성과 온벽함을 위해 제공되며, 그리고 본 발명의 범위를 당업자에게 전달하기 위해 제공된다.
도 1은 비디오 이미지들의 시퀀스를 동적 비트레이트를 갖는 단일 비디오 스트림으로 인코딩하는 방법(100)의 실시 형태들의 흐름도이다. 방법에서 비디오 이미지들의 시퀀스는 베이스 레이어 해상도 및 베이스 레이어 압축 레벨을 사용하여 단일 비디오 스트림의 베이스 레이어의 프레임들로 인코딩된다(S110). 이벤트 트리거를 검출하기 전의 각각의 시간에 해당하는 비디오 이미지들의 시퀀스의 비디오 이미지들은 단일 비디오 스트림의 확장된 레이어의 제1 프레임 세트로 인코딩된다(S120). 제1 프레임 세트의 프레임들은 베이스 레이어의 해당 프레임들의 인코딩과 관계없이 빈 프레임들이다. 이벤트 트리거가 검출되고(S130) 이벤트 트리거가 검출되면, 이벤트 트리거를 검출한 후 각각의 시간에 해당하는 비디오 이미지들의 시퀀스의 비디오 이미지들은 베이스 레이어 해상도보다 높은 해상도 또는 베이스 레이어 압축 레벨보다 낮은 압축 레벨을 사용하여 확장된 레이어의 제2 프레임 세트로 인코딩된다(S140).
방법(100)은 베이스 레이어 해상도 및 베이스 레이어 압축 레벨을 사용하는 베이스 레이어의 인코딩된 프레임들이 베이스 레이어 해상도보다 높은 해상도 또는 베이스 레이어 압축 레벨보다 낮은 압축 레벨을 사용하는 확장된 레이어의 인코딩된 프레임들로 보충된다. 더 높은 해상도를 사용한다는 것은 확장된 레이어의 프레임이 베이스 레이어의 해당 프레임과 결합하여, 베이스 레이어의 프레임의 베이스 해상도보다 더 높은 해상도를 갖는 이미지를 디코더에서 디코딩될 수 있는 정보를 포함한다는 것을 의미한다. 더 낮은 압축 레벨을 사용한다는 것은 확장된 레이어의 프레임이 베이스 레이어의 해당 프레임과 결합하여, 베이스 레이어의 프레임의 베이스 압축 레벨보다 더 낮은 압축을 갖는 이미지를 디코더에서 디코딩될 수 있도록 정보를 포함한다는 것을 의미한다. 압축 레벨은 예를 들어 양자화 파라미터와 관련하여 설정될 수 있다. 이러한 스케일러블 코딩(scalable coding)의 예들은 AV1 및 비디오 코딩 표준 HEVC/H.265에 대한 확장 스케일러블 고효율 비디오 코딩(SHVC)와 같이 알려져 있다. 본 명세서에 개시된 방법의 신규한 양태는 이벤트 트리거를 검출하기 전의 각각 시간에 관한 비디오 이미지들의 시퀀스의 이미지들을 베이스 레이어에서 해당 이미지들의 인코딩에 관계없이 확장된 레이어의 빈 프레임들로 인코딩하는 것이다.
확장된 레이어의 빈 프레임들은 베이스 레이어의 해당 인코딩된 프레임에 제공되는 정보에 대한 추가 정보가 거의 또는 전혀 포함되지 않은 인코딩된 프레임들이다. 베이스 레이어의 해당하는 인코딩된 프레임들에 대한 추가 정보가 거의 또는 바람직하게 없음으로써, 확장된 레이어의 빈 프레임들이 비트 수를 거의 또는 최소로 필요할 것이다. 예를 들어, 제1 프레임 세트와 같은 확장된 레이어의 빈 프레임들은 각각의 프레임들의 대부분의 블록들에 대해 스킵 블록들을 사용하여 인코딩되는 프레임들일 수 있다. 대안적으로, 제1 프레임 세트와 같은 확장된 레이어의 빈 프레임들은 각각의 프레임들의 모든 블록들에 대한 스킵 블록들을 사용하여 인코딩되는 프레임들일 수 있다.
스킵 블록은 이미지 정보가 디코더로 전송되지 않는 블록이고, 블록이 스킵 블록이라는 표시만 있다. 여기서 블록은 인코딩 동안 함께 처리되는 픽셀 그룹을 나타내는데 사용된다. 블록들은 또한 사용되는 인코딩 포맷에 따라 매크로블록 또는 코딩 트리 유닛으로 표시될 수 있다. 이러한 블록들에 대한 용어는 인코딩 포맷들 간에도 다를 수 있으며, 일부 인코딩 포맷들에서, 완전한 프레임은 이미지 정보를 포함하지 않는 것으로 표시될 수 있다. 예를 들어, 완전한 프레임은 이전 프레임이 반복되어야 함을 나타내는 반복-프레임(repeat-frame)으로 표시될 수 있다. 도 1의 방법(100)과 관련하여, 반복-프레임들로서 인코딩되는 제1 프레임 세트는 베이스 레이어의 해당하는 프레임들에 대한 더 이상의 이미지 정보를 포함하지 않도록 디코더에 표시될 것이다. 제1 프레임 세트가 반복-프레임들이라는 디코더에 대한 이러한 표시는 헤더(header)에서 시그널링(signal)될 수 있으며, 즉 표시를 포함하는 프레임들을 반드시 전송하는 것은 아니다. 이러한 반복-프레임들은 예를 들어 AV1에서 사용되며 기능은 "show_existing_frame"으로 표시된다.
이벤트 트리거는 관심을 가질 수 있는 이벤트가 발생 중이거나 발생하려고 하는 것, 그리고 따라서 이벤트 트리거 후에 캡처되는 비디오 이미지들의 시퀀스가 이벤트 트리거 전에 캡처되는 비디오 이미지들의 시퀀스보다 더 관심이 있을 정보를 포함할 수 있다는 것을 나타내는 복수의 서로 다른 것일 수 있다. 예를 들어, 이벤트 트리거는 총소리, 창 부수기 등을 식별하는 오디오 분석을 기반으로 할 수 있다. 이벤트 트리거는 또한 소리가 예상되지 않을 때 식별된 임의의 소리, 예를 들어 비어 있을 것으로 예상되는 건물에서의 소리와 관련될 수도 있다. 이벤트 트리거는 또한 비어 있을 것으로 예상되는 건물에서의 움직임과 같이 움직임이 예상되지 않을 때 움직임을 식별하는 이미지 분석을 기반으로 할 수 있다. 이러한 움직임은 움직임 센서에 의해 검출될 수도 있다. 다른 이벤트 트리거는 문이나 창문을 여는 것일 수 있다. 이벤트 트리거는 인코딩될 비디오 이미지들을 캡처하는 신체 착용 카메라를 사용하는 사람과 같은 사람에 의한 액티브 표시(active indication)일 수도 있다. 예를 들어, 신체 착용 카메라를 착용한 사람은 버튼을 누르거나 임의의 다른 적절한 인터페이스를 사용하여 이벤트 트리거가 검출되었음을 나타낼 수 있다.
확장된 레이어의 빈 프레임의 인코딩은 베이스 레이어의 해당 프레임의 인코딩으로 인해 알려진 방법에서도 가끔 발생한다. 예를 들어, 베이스 레이어 자체의 프레임이 빈 프레임으로 인코딩되면, 확장된 레이어의 해당 프레임들은 베이스 레이어 프레임을 향상시킬 수 없고 결과적으로 빈 프레임으로 인코딩될 것이다. 방법(100)에 따르면, 이벤트 트리거를 검출하기 전의 각각의 시간에 해당하는 비디오 이미지들의 시퀀스의 비디오 이미지들은 확장된 레이어의 제1 프레임 세트로 인코딩되고(S120) 여기서 제1 프레임 세트의 프레임들은 베이스 레이어의 해당 프레임들의 인코딩과 관계없이 빈 프레임들이다. 따라서, 베이스 레이어의 해당 프레임들의 인코딩과 관계없이, 제1 프레임 세트는 빈 프레임들로 인코딩된다. 특히, 베이스 레이어의 해당하는 프레임들이 비어 있지 않은 프레임들로 인코딩되는지 여부에 관계없이 제1 프레임 세트는 빈 프레임들로서 인코딩된다. 이는 제1 프레임 세트가 해당 베이스 레이어 프레임들에 따라 인코딩되어야 하는 경우와 관련하여 단일 비디오 스트림의 비트 레이트가 감소하는 결과를 가져오는데, 이는 해당 베이스 레이어 프레임들이 비어 있지 않은 프레임들인 경우 비어 있지 않은 프레임들로 인코딩될 것이기 때문이다. 베이스 레이어의 해당 프레임이 비어 있지 않은 프레임으로 인코딩될 때 빈 프레임으로 인코딩되는 확장된 레이어의 모든 프레임에 대해 비트레이트 감소가 달성된다. 비트레이트 감소는 베이스 레이어의 해당 프레임이 비어 있지 않은 프레임으로 인코딩될 때 빈 프레임들로 인코딩되는 확장된 레이어의 프레임들 부분에 따라 더 높을 것이다. 따라서, 이벤트 트리거가 검출되기 전의 시간에 해당하는 확장된 레이어의 일부 프레임들이 비어 있지 않은 프레임들로 인코딩되는 경우에도, 베이스 레이어의 해당 프레임이 비어 있지 않은 프레임으로 인코딩될 때 확장된 레이어의 일부 프레임들이 비어 있는 프레임들로 인코딩되는 한 비트레이트 감소가 있을 수 있다.
방법(100)에 따르면, 이벤트 트리거를 검출한 후의 각각의 시간에 해당하는 비디오 이미지들의 시퀀스의 비디오 이미지들은 베이스 레이어 해상도보다 높은 해상도 또는 베이스 레이어 압축 레벨보다 낮은 압축 레벨을 사용하여 확장된 레이어의 제2 프레임 세트로 인코딩된다(S140). 방법(100)은 이벤트 트리거가 검출되기 전에 비트레이트를 감소시키는 것을 주요 목적으로 한다. 이벤트 트리거가 검출된 후(S130), 확장된 레이어의 프레임들은 바람직하게는 인코딩된 비디오 스트림을 향상시키는데 사용되어야 한다. 이는 이벤트 트리거가 관심을 가질 수 있는 이벤트가 발생 중이거나 발생하려고 하는 것이고 따라서 이벤트 트리거 후에 캡처되는 비디오 이미지들의 시퀀스가 이벤트 트리거 전에 캡처되는 비디오 이미지들의 시퀀스보다 더 관심이 있는 정보를 포함할 수 있는 것을 나타내기 때문이다. 따라서, 이벤트 트리거가 검출된 후(S130), 베이스 레이어의 해당 프레임이 빈 프레임으로 인코딩되지 않는 한 확장된 레이어의 프레임은 빈 프레임으로 인코딩되지 않는 것이 바람직하다.
방법은 사전-버퍼(pre-buffer)의 사용과 결합될 수 있다. 사전-버퍼에서, 미리 결정된 시간에 해당하는 프레임들이 선입 선출 방식(in a first in first out manner)으로 일시적으로 저장된다. 여기서, 베이스 레이어 해상도보다 높은 해상도 또는 베이스 레이어 압축 레벨보다 낮은 압축 레벨을 사용하는 확장된 레이어의 프레임들은 이벤트 트리거 검출 이전에 인코딩되고 사전-버퍼에 저장될 수 있다. 이는 이벤트 트리거 검출 이전에 베이스 레이어의 해당 프레임들의 인코딩과 관계없이 확장된 레이어의 프레임들을 빈 프레임들로 인코딩하는 것과 병렬로 수행된다. 사전-버퍼의 프레임들은 사전-버퍼의 크기에 해당하는 사전 종료 시간 내에 이벤트 트리거가 검출되지 않는 한 영구 저장 또는 전송에 사용되지 않는다. 따라서, 이벤트 트리거가 프레임을 인코딩하고 사전-버퍼에 이를 저장하는 것으로부터 사전-버퍼의 크기에 해당하는 사전 종료 시간 내에 검출되지 않으면, 프레임은 폐기될 것이다. 그러나, 이벤트 트리거가 프레임을 인코딩하는 것으로부터 사전-버퍼의 크기에 해당하는 미리 결정된 시간 내에 검출되면, 프레임은 영구적으로 전송 또는 저장하는데 사용될 것이다. 이를 통해 이벤트 트리거를 검출하기 전의 미리 결정된 시간에 인코딩되는 베이스 레이어 해상도보다 높은 해상도 또는 낮은 압축 레벨로 프레임들을 전송하거나 영구적으로 저장하는 것을 포함할 수 있다. 따라서, 이벤트 트리거의 검출 시, 현재 사전-버퍼에 있는 모든 프레임 또는 이들의 일부는 영구 저장 또는 전송을 위해 사용될 수 있다.
인코딩된 프레임들 I, P1, P2, P3, P4 및 인코딩된 프레임들 P0', P1', P2', P3', P4'를 포함하는 확장된 레이어(EL)를 포함하는 베이스 레이어(BL)의 형태로 레이어들을 갖는 스케일러블 인코딩 구조를 나타내는 도 2를 참조한다. 베이스 레이어(BL)의 인코딩된 프레임들은 인트라 프레임(I)과 4개의 인터 프레임들(P1, P2, P3, P4)을 포함한다. 확장된 레이어(EL)의 인코딩되는 프레임은 5개의 인터 프레임 P0', P1', P2', P3', P4'을 포함한다. 베이스 레이어는 베이스 레이어 해상도 및 베이스 레이어 품질 레벨을 사용하여 프레임들(I, P1, P2, P3, P4)을 포함한다. 확장된 레이어(EL) 프레임들(P0', P1', P2', P3', P4')은 베이스 레이어(BL)의 인코딩된 프레임들(I, P1, P2, P3, P4)과 함께 디코더 측에서 향상된 디코딩된 비디오 스트림으로 디코딩될 수 있는 향상된 인코딩된 비디오 스트림을 형성한다. 확장된 레이어(EL)의 인코딩된 프레임들(PO', P1', P2', P3', P4')이 인코딩된 비디오 스트림을 향상시키는 서로 다른 방법을 사용할 수 있다. 확장된 레이어(EL)의 프레임들(P0', P1', P2', P3', P4')은 베이스 레이어 해상도보다 높은 해상도를 사용할 수 있거나 낮은 압축 레벨을 사용할 수 있다. 베이스 레이어(BL)의 인코딩된 프레임들(I, P1, P2, P3, P4)은 확장된 레이어(EL)의 인코딩된 프레임들(P0', P1', P2', P3', P4')과 독립적이다. 디코더 측면에서, 베이스 레이어(BL) 프레임들(I, P1, P2, P3, P4)은 확장된 레이어의 프레임들(P0', P1', P2', P3', P4')과 별도로 디코딩된 프레임들로 디코딩될 수 있다. 확장된 레이어(EL)의 인코딩된 프레임들(P0', P1', P2', P3', P4')은 베이스 레이어(BL)의 인코딩된 프레임들(I, P1, P2, P3, P4)에 의존한다.
도 1과 관련하여 설명된 방법에 의해 인코딩되는 비디오 이미지들의 시퀀스와 관련하여, 이벤트 트리거(ET)는 예를 들어 도 2에 도시된 바와 같이 확장된 레이어(EL)에서 인코딩된 제3 프레임(P2')과 제4 프레임(P3') 사이에서 검출되었을 수 있다. 이벤트 트리거(ET)가 검출되기 전의 시간과 관련된 확장된 레이어(EL)의 세개의 인코딩된 제1 프레임(P0', P1', P2')은 빈 프레임으로서 인코딩되고, 이벤트 트리거(ET) 후의 시간과 관련하여 확장된 레이어(EL)의 마지막 두개의 인코딩된 프레임(P3', P4')은 베이스 레이어 해상도보다 높은 해상도 또는 베이스 레이어 압축 레벨보다 낮은 압축 레벨을 사용하여 인코딩되었을 것이다.
도 2에 도시된 인터프레임들의 수는 단지 예시를 위한 것이다. 인트라 프레임들 사이의 인코딩된 프레임들의 수는 임의의 적절한 수로 설정될 수 있다.
확장된 레이어(EL)의 프레임들이 P-프레임으로 인코딩되는 대신 B-프레임으로 인코딩될 수도 있다.
도 2에서, 베이스 레이어 및 확장된 레이어 형태에서 2개의 층이 예시되어 있지만, 예를 들어 제1 확장된 레이어 및 제2 확장된 레이어가 존재하도록 추가 확장된 레이어를 추가하는 것과 같이 하나 이상의 추가 레이어들이 추가될 수 있다. 예를 들어, 인코딩은 이벤트 이전과 관련하여 뿐만 아니라 이벤트의 다른 중요도와 관련하여 적용될 수 있다. 이벤트 트리거의 임의의 검출 전에, 이미지들은 제1 및 제2 확장된 레이어 모두에서 빈 프레임들로서 인코딩된다. 중요도가 낮은 이벤트와 관련하여 이벤트 트리거를 검출한 후, 이미지들은 제2 확장된 레이어에서 빈 프레임들로서 인코딩되고, 제1 확장된 레이어에서 더 높은 해상도 또는 더 낮은 압축 레벨을 갖는 프레임들로서 인코딩된다. 중요도가 높은 이벤트와 관련하여 이벤트 트리거를 검출한 후, 이미지들은 제1 및 제2 확장된 레이어 모두에서 더 높은 해상도 또는 더 낮은 압축 레벨을 갖는 프레임들로서 인코딩된다. 대안적으로, 2개 이상의 추가 확장된 레이어들에 대해, 비트레이트는 더 많은 확장된 레이어들에서 빈 프레임들을 도입함으로써 단계적으로 감소될 수 있다. 이는 인코딩된 비디오 스트림에서의 세부 사항에 대한 현재 결정된 필요성에 기초하여 수행될 수 있다.
도 3은 동적 비트레이트로 비디오 이미지들의 시퀀스를 전송하는 방법(300)의 실시 형태들의 흐름도이다. 비디오 이미지들의 시퀀스는 먼저 도 1과 관련하여 설명된 방법(100)에 따라 단일 비디오 스트림으로 인코딩되었다. 그런 다음 단일 비디오 스트림이 전송되고(S310), 여기서 이벤트 트리거가 검출되기 전의 각각의 시간에 해당하는 이미지들로부터 인코딩되는 빈 프레임들인 제1 프레임 세트는 전송이 차단된다. 반면에 이벤트 트리거를 검출한 후의 각각의 시간에 해당하는 이미지들로부터 인코딩되는 프레임들인 제2 프레임 세트는 일반적으로 전송된다. 베이스 레이어의 프레임들도 일반적으로 전송된다.
즉, 서로 다른 두개의 레이어들이 하나의 비디오 스트림으로 인코딩된다 할지라도, 상기 인코딩된 비디오 스트림이 전송될 때, 두개의 전송 모드들을 선택할 수 있다. 제1 전송 모드에서, 확장된 레이어의 인코딩된 프레임들이 전송되지 않고 인코딩된 비디오 스트림의 베이스 레이어의 인코딩된 프레임들만 전송되며, 제2 전송 모두에서 베이스 레이어의 인코딩된 프레임들과 인코딩된 비디오 스트림의 확장된 레이어의 인코딩된 프레임들이 전송된다. 그런 다음 이벤트 트리거가 검출되기 전에 제1 전송 모드가 사용되고 이벤트가 검출된 후 제2 전송 모드가 사용된다.
도 4는 비디오 이미지들의 시퀀스를 동적 비트레이트를 갖는 단일 비디오 스트림으로 인코딩하는 방법(400)의 실시 형태들의 흐름도이다. 인코딩을 위한 이미지가 예를 들어, 이미지 센서로부터 이미지를 수신함으로써 획득된다(S410). 그런 다음, 획득된 프레임은 베이스 레이어 해상도 및 베이스 레이어 압축 레벨을 갖는 베이스 레이어의 프레임으로 인코딩된다(S420). C425 이벤트 트리거가 검출되지 않은 경우, 획득된 이미지는 베이스 레이어에서의 프레임의 인코딩과 관계없이 확장된 레이어의 빈 프레임으로 인코딩되고(S440), 방법(400)은 인코딩을 위한 추가 이미지를 획득(S410)함으로써 계속된다. C425 이벤트 트리거가 검출된 경우, 획득된 이미지는 베이스 레이어 해상도보다 높은 해상도 또는 베이스 레이어 압축 레벨보다 낮은 압축 레벨을 사용하여 확장된 레이어의 프레임으로 인코딩(S430)되고, 방법(400)은 인코딩을 위한 추가 이미지를 획득(S410)함으로써 계속된다. 이벤트 트리거가 검출되면, 검출 후 수신된 프레임들은 조건의 재설정, 즉 이벤트 트리거가 검출되는 조건이 사실이 아닌 것으로 야기할 때까지 베이스 레이어 해상도보다 높은 해상도 또는 베이스 레이어 압축 레벨보다 낮은 압축 레벨을 사용하여 확장 레이어의 프레임들로 인코딩(S430)될 것이다. 이는 미리 결정된 기간 후에, 이벤트의 끝을 검출하거나 임의의 다른 적절한 방법에 의해 수동으로 수행될 수 있다. 목표는 조건이 재설정될 때까지 또는 이벤트가 발생하는 한 베이스 레이어 해상도보다 높은 해상도 또는 베이스 레이어 압축 레벨보다 낮은 압축 레벨을 사용하여 확장된 레이어의 프레임들로 이미지들을 계속 인코딩하는 것이다.
도 5는 이미지 데이터를 캡처하도록 구성된 이미지 센서(510)를 포함하는 카메라(505)와 관련된 본 개시물에 따른 이미지 프로세싱 장치(500)의 실시 형태들을 도시한다. 카메라(505)는 신체 착용 카메라, BWC, 또는 다른 이동식 카메라일 수 있거나, 또는 고정 카메라, 예를 들어 모니터링 카메라 또는 감시 카메라일 수 있다. 카메라(505)는 별도의 유닛일 수도 있거나 헬멧, 안경 등과 같은 다른 유닛에 통합될 수도 있다. 카메라(505)는 순찰 또는 사고 동안 비디오 및 가능한 다른 데이터를 캡처하기 위해 경찰관들에 의해 사용될 수 있거나 영역을 모니터링하기 위해 사용될 수 있다. 캡처된 데이터는 추후에 예를 들어 범죄를 조사하고 범죄로 의심되는 사람을 기소할 때, 증거로 필요할 수 있다. 캡처된 데이터를 보존하기 위해, 비디오 관리 시스템 또는 증거 관리 시스템과 같은 카메라(505)로부터 외부의 데이터 관리 시스템이 사용될 수 있다. 이러한 데이터 관리 시스템은 일반적으로 캡처된 데이터의 저장 및 실시간으로 또는 기록된 데이터의 재생(playback)으로서 캡처된 데이터의 보기를 제공한다. 카메라(505)는 예를 들어 데이터 관리 시스템 또는 라이브 피드(live feed)가 보여지는 중앙으로의 연결을 위해 제한된 데이터 저장 및/또는 대역폭에서의 제한으로 인해, 비트레이트 제한에 종속될 수 있다. 또한, 연결을 위한 대역폭에서의 제한은 시간이 지남에 따라 달라질 수 있으므로 비트레이트는 때때로 훨씬 더 제한된다.
이미지 프로세싱 장치는 인코더(520) 및 회로(530)를 포함한다. 이미지 센서(510)는 이미지 데이터를 캡처하도록 구성된다. 이미지 데이터는 예를 들어 이미지 프레임들의 데이터일 수 있다. 이미지 센서들 및 이미지 데이터의 캡처는 당업자에게 잘 알려져 있으며 본 개시물에서 더 이상 상세하게 논의되지 않을 것이다.
인코더(520)는 예를 들어, 카메라(505)의 이미지 센서(510)에 의해 캡처된 이미지들을 비디오 스트림으로 인코딩하도록 구성되고, 때때로 인코더(520)에 의해 제공되는 비디오 스트림은 인코딩된 비디오 스트림으로 지칭된다. 일반적으로, 비디오 인코더(520)는 비디오 스트림의 이미지들 중 일부를 인트라 프레임들 또는 키 프레임들(key frame)로서 인코딩하고 비디오 스트림의 이미지들 중 일부를 인터 프레임들 또는 델타 프레임들로서 인코딩하도록 구성된다. 인트라 프레임은 다른 인코딩된 비디오 프레임의 정보를 디코딩할 필요가 없는 인코딩된 비디오 프레임이다. 따라서, 인트라 프레임은 대응하도록 설정된 비디오 데이터의 이미지 프레임으로부터의 정보를 기반으로 인코딩된다. 일반적으로, 이미지 프레임 내의 유사성은 이미지를 인트라 프레임으로 인코딩하는데 사용된다. 비디오 인코딩에서 인트라 프레임은 종종 I-프레임이라고 한다. 두개의 인트라 프레임들 사이에 있는 비디오 스트림의 이미지들은 인터 프레임들로 인코딩된다. 일반적으로, 인터 프레임은 하나의 프레임에서 다음 프레임으로 발생하는 변경만을 포함한다. 따라서, 인터 프레임은 일반적으로 인트라 프레임들보다 적은 데이터를 포함한다. 비디오 인코딩에서 인터 프레임은 종종 P-프레임 또는 B-프레임으로 지칭된다. P-프레임들은 데이터 참조를 위해 이전 프레임들로 지칭된다. 따라서, P-프레임을 디코딩하기 위해 이전 프레임들의 컨텐츠를 알아야 한다. B-프레임들은 데이터 참조를 위해 이전 및 순방향 프레임들 모두를 지칭할 수 있다. 따라서, B-프레임을 디코딩하기 위해 이전 프레임과 순방향 프레임들 모두의 컨텐츠가 알려져 있어야 한다. 이미지를 인터 프레임으로 인코딩할 때, 이미지는 여러 픽셀 그룹으로 나뉜다. 픽셀 그룹은 예를 들어 블록들, 매크로블록들, 또는 코딩 트리 유닛들로 지칭될 수 있다. 이미지는 참조 이미지와 비교된다. 예를 들어, P-프레임을 인코딩하기 위한 참조 이미지는 이전 이미지이다. 일치 알고리즘(matching algorithm)은 인코딩될 이미지 프레임과 참조 프레임 사이의 일치하는 픽셀 그룹을 식별하는데 사용되며, 픽셀 그룹에 대해 일치가 발견되면, 해당 픽셀 그룹은 픽셀 그룹이 참조 프레임 이후로 이미지 프레임에서 이동하는 방법을 구체화하는 모션 벡터로 인코딩될 수 있다. 모션 벡터를 결정하는 것은 때때로 모션 추정(motion estimation)이라고 한다. 카메라나 캡처된 장면 내 물체들의 빠른 이동으로 인해 움직임이 크면, 모션 추정이 모션 벡터를 식별하지 못할 수 있다. 인코딩될 이미지 프레임에 대해 식별된 모션 벡터가 적을수록, 결과적으로 인코딩된 인터 프레임이 비트 크기가 커지고 따라서, 인코딩된 비디오 스트림의 비트레이트에 대한 기여도가 커진다.
인코더(520)는 베이스 레이어 인코딩 기능(581) 및 확장된 레이어 인코딩 기능(582)을 실행하도록 구성된다. 베이스 레이어 인코딩 기능(581)은 베이스 레이어 해상도 및 베이스 압축 레벨을 사용하여 비디오 이미지들의 시퀀스를 단일 비디오 스트림의 베이스 레이어의 프레임들로 인코딩하도록 구성된다. 확장된 레이어 인코딩 기능(582)은 비디오 이미지들의 시퀀스를 단일 비디오 스트림의 확장된 레이어의 프레임들로 인코딩하도록 구성된다.
회로(530)는 이미지 프로세싱 장치(500)의 기능을 수행하도록 구성된다. 회로(530)는 중앙 처리 장치(CPU), 마이크로컨트롤러 또는 마이크로프로세서와 같은 프로세서(532)를 포함할 수 있다. 프로세서(532)는 프로그램 코드를 실행하도록 구성된다. 프로그램 코드는 예를 들어 웨어러블 카메라(505)의 기능을 수행하도록 구성될 수 있다.
이미지 프로세싱 장치(500)는 메모리(540)를 더 포함할 수 있다. 메모리(540)는 버퍼(buffer), 플래시 메모리, 하드 드라이브, 이동식 미디어, 휘발성 메모리, 비휘발성 메모리, 랜덤 액세스 메모리(RAM) 또는 다른 적절한 장치 중 하나 이상일 수 있다. 일반적인 장치에서, 메모리(540)는 장기 데이터 저장을 위한 비휘발성 메모리 및 회로(530)에 대한 시스템 메모리로서 기능하는 휘발성 메모리를 포함할 수 있다. 메모리(540)는 데이터 버스를 통해 데이터를 카메라 회로(530)와 교환할 수 있다. 메모리(540)와 회로(530) 사이에, 수반되는 제어 라인 및 어드레스 버스(adress bus)가 또한 존재할 수 있다.
이미지 프로세싱 장치(500)의 기능은 카메라(505)의 비일시적 컴퓨터 판독 가능 매체(예를 들어, 메모리(540))에 저장되고 카메라 회로(530)(예를 들어, 프로세서(532)를 사용하여)에 의해 실행되는 실행 가능한 논리 루틴(예를 들어, 코드 라인, 소프트웨어 프로그램 등)의 형태로 구현될 수 있다. 또한, 이미지 프로세싱 장치(500)의 기능은 독립형(stand-alone) 소프트웨어 애플리케이션일 수 있거나 카메라(505)와 관련된 추가 작업을 수행하는 소프트웨어 애플리케이션의 일부를 형성할 수 있다. 설명된 기능은 프로세싱 유닛, 예를 들어 회로(530)의 프로세서(532)는 수행하도록 구성되는 방법을 고려할 수 있다. 또한, 설명된 기능이 소프트웨어로 구현될 수 있지만, 이러한 기능은 전용 하드웨어 또는 펌웨어, 또는 하드웨어, 펌웨어 및/또는 소프트웨어의 일부 조합을 통해 수행될 수도 있다.
회로(530)는 사전 이벤트 지시 기능(583), 이벤트 트리거 검출 기능(584) 및 사후 이벤트 지시 기능(585)을 실행하도록 구성된다. 사전 이벤트 지시 기능(583)은 이벤트 트리거를 단일 비디오 스트림의 확장된 레이어의 제1 프레임 세트로 검출하기 전의 각각의 시간에 대응하는 비디오 이미지들의 시퀀스의 비디오 이미지들을 인코딩하도록 인코더를 지시하도록 구성되고, 여기서 제1 프레임 세트의 프레임들은 베이스 레이어의 대응하는 프레임들의 인코딩에 관계없이 빈 프레임들이다. 이벤트 트리거 검출 기능(584)은 이벤트 트리거를 검출하도록 구성된다. 사후 이벤트 지시 기능(585)은 이벤트 트리거를 검출하면, 베이스 레이어 해상도보다 높은 해상도 또는 베이스 레이어 압축 레벨보다 낮은 압축 레벨을 사용하여 확장된 레이어의 제2 프레임 세트로 이벤트 트리거를 검출한 후 각각의 시간에 대응하는 비디오 이미지들의 시퀀스의 비디오 이미지들을 인코딩하도록 인코더를 지시하도록 구성된다.
카메라(505)는 로컬 데이터 저장소(550)를 더 포함할 수 있다. 로컬 데이터 저장소(550)는 비디오 스트림을 저장하도록 구성될 수 있다. 로컬 데이터 저장소는 일반적으로 제한된 데이터 저장소 용량을 갖는다. 로컬 데이터 저장소(550)는 비디오 스트림의 저장에 적합한 임의의 유형의 로컬 데이터 저장소일 수 있다. 예를 들어, 로컬 데이터 저장소(550)는 SD 카드 리더기 및 SD 카드의 형태일 수 있다. 로컬 데이터 저장소(540)의 다른 예는 플래시 메모리, 예를 들어 NAND 플래시의 형태일 수 있다.
카메라(505)는 트랜스미터(560)를 더 포함할 수 있다. 트랜스미터(560)는 비디오 스트림을 예를 들어, 데이터 관리 시스템에 무선으로 전송하도록 구성될 수 있다. 트랜스미터(560)는 캡처된 비디오 스트림을 비디오 관리 시스템으로 연속적으로 전송하도록 구성될 수 있다. 일반적으로 전송에 사용할 수 있는 대역폭으로 인해 전송이 제한된다. 전송에 사용할 수 있는 대역폭도 시간이 지남에 따라 달라질 수 있다.
회로(530)는 사전 이벤트 전송 방지 기능(586)을 실행하도록 추가로 구성될 수 있다. 사전 이벤트 전송 방지 기능(586)은 트랜스미터가 제1 프레임 세트를 전송하는 것을 방지하도록 구성된다.
인코더(520) 및 회로(530)에 의해 수행되는 기능은 도 1과 관련하여 설명된 방법(100), 도 3과 관련하여 설명된 방법(300), 및 도 4와 관련하여 설명된 방법(400)의 대응하는 단계로서 추가로 적용될 수 있다.
당업자는 본 발명이 전술한 실시 형태들에 제한되지 않는다는 것을 인지할 것이다. 반대로, 첨부된 청구범위 내에서 많은 수정 및 변형이 가능하다. 이러한 수정 및 변형은 도면, 개시물 및 첨부된 청구범위의 연구로부터 청구된 발명을 실시하는 당업자에 의해 이해되고 영향을 받을 수 있다.

Claims (8)

  1. 비디오 이미지들의 시퀀스를 동적 비트레이트를 갖는 단일 비디오 스트림으로 인코딩하는 방법으로서,
    베이스 레이어 해상도 및 베이스 레이어 압축 레벨을 사용하여 상기 비디오 이미지들의 시퀀스를 상기 단일 비디오 스트림의 베이스 레이어의 프레임들로 인코딩하는 단계;
    이벤트 트리거를 검출하기 전에 각각의 시간에 대응하는 비디오 이미지들의 시퀀스의 비디오 이미지들을 상기 단일 비디오 스트림의 확장된 레이어의 제1 프레임 세트로 인코딩하는 단계, 여기서 상기 제1 프레임 세트는 대응하는 상기 베이스 레이어의 프레임들의 인코딩과 관계없이 빈 프레임들이고, 상기 빈 프레임들은 상기 프레임들 각각의 모든 블록들에 대해 스킵 블록들을 사용하여 인코딩된 프레임들이며, 상기 이벤트 트리거는 이벤트가 관심이 될 수 있는 이벤트가 발생 중이거나 발생하려고 하는 것을 표시하고 상기 이벤트 트리거 후의 각각의 시간에 대응하는 비디오 이미지들의 시퀀스의 비디오 이미지들이 이벤트 트리거 이전의 각각의 시간에 대응하는 비디오 이미지들의 시퀀스의 비디오 이미지들보다 더 관심이 있을 정보를 포함할 수 있는 것을 나타냄;
    상기 이벤트 트리거를 검출하는 단계; 및
    상기 이벤트 트리거를 검출하면, 상기 이벤트 트리거를 검출한 후 각각의 시간에 대응하는 비디오 이미지들의 시퀀스의 비디오 이미지들을 상기 베이스 레이어 해상도보다 높은 해상도 또는 상기 베이스 레이어 압축 레벨보다 낮은 압축 레벨을 사용하여 단일 비디오 스트림의 확장된 레이어의 제2 프레임 세트로 인코딩하는 단계를 포함하는 방법.
  2. 제1항에 있어서, 상기 확장된 레이어의 제2 프레임 세트의 프레임들은 상기 베이스 레이어의 대응하는 프레임들에 의존하는 예측을 사용하여 인코딩된 인터 프레임들인 것을 특징으로 하는 방법.
  3. 동적 비트레이트를 갖는 비디오 이미지들의 시퀀스를 전송하는 방법으로서,
    제1항의 방법에 따라 상기 비디오 이미지들의 시퀀스를 인코딩하는 단계;
    상기 베이스 레이어의 프레임들 및 상기 단일 비디오 스트림의 확장된 레이어의 제2 세트 프레임들을 전송하는 단계, 상기 제1 프레임 세트는 전송되는 것을 방지함;을 포함하는 방법.
  4. 처리 능력을 갖는 장치에서 실행될 때, 제1항에 따른 방법을 구현하기 위한 명령어들이 저장된 비일시적 컴퓨터 판독 가능 저장 매체.
  5. 비디오 이미지들의 시퀀스를 동적 비트레이트를 갖는 단일 비디오 스트림으로 인코딩하기 위한 이미지 프로세싱 장치로서, 상기 이미지 프로세싱 장치는:
    상기 비디오 이미지들의 시퀀스를 베이스 레이어 해상도 및 베이스 레이어 압축 레벨을 사용하여 상기 단일 비디오 스트림의 베이스 레이어의 프레임들로 인코딩하도록 구성되는 베이스 레이어 인코딩 기능;
    비디오 이미지들의 시퀀스를 상기 단일 비디오 스트림의 확장된 레이어의 프레임들로 인코딩하도록 구성되는 확장된 레이어 인코딩 기능;을 실행하도록 구성되는 인코더;
    이벤트 트리거를 검출하기 전 각각의 시간에 대응하는 비디오 이미지들의 시퀀스의 비디오 이미지들을 상기 단일 비디오 스트림의 확장된 레이어의 제1 프레임 세트로 인코딩하도록 인코더를 지시하기 위해 구성되는 사전 이벤트 지시 기능, 여기서 상기 제1 프레임 세트는 상기 베이스 레이어의 해당 프레임들의 인코딩과 관계없이 빈 프레임들이며, 상기 빈 프레임들은 각각의 프레임들의 모든 블록들에 대해 스킵 블록들을 사용하여 인코딩되는 프레임들이고, 상기 이벤트 트리거는 관심이 될 수 있는 이벤트가 발생 중이거나 발생하려고 하는 것을 표시하며 상기 이벤트 트리거 후의 각각 시간에 대응하는 비디오 이미지들의 시퀀스의 비디오 이미지들은 상기 이벤트 트리거 전의 각각의 시간에 대응하는 비디오 이미지들의 시퀀스의 비디오 이미지들보다 더 관심이 있을 정보를 포함할 수 있는 것을 표시함;
    상기 이벤트 트리거를 검출하도록 구성되는 이벤트 트리거 검출 기능; 및
    상기 이벤트 트리거를 검출하면, 상기 이벤트 트리거를 검출한 후 각각의 시간에 대응하는 비디오 이미지들의 시퀀스의 비디오 이미지들을 상기 베이스 레이어 해상도보다 높은 해상도 또는 상기 베이스 레이어 압축 레벨보다 낮은 압축 레벨을 사용하여 상기 단일 비디오 스트림의 확장된 레이어의 제2 프레임 세트로 인코딩하도록 상기 인코더를 지시하기 위해 구성되는 사후 지시 기능;을 실행하도록 구성되는 회로를 포함하는 이미지 프로세싱 장치.
  6. 제5항에 있어서, 상기 확장된 레이어의 제2 프레임 세트의 프레임들은 상기 베이스 레이어의 대응하는 프레임들에 의존하는 예측을 사용하여 인코딩되는 인터 프레임들인 것을 특징으로 하는 이미지 프로세싱 장치.
  7. 제5항의 이미지 프로세싱 장치를 포함하는 카메라.
  8. 제7항에 있어서, 상기 베이스 레이어의 프레임들 및 상기 단일 비디오 스트림의 상기 확장된 레이어의 제2 프레임 세트를 전송하도록 구성되는 트랜스미터를 더 포함하고;
    상기 이미지 프로세싱 장치의 회로는 상기 트랜스미터를 상기 제1 프레임 세트를 전송하는 것을 방지하도록 구성되는 사전 이벤트 전송 방지 기능을 실행하도록 추가로 구성되는 것을 특징으로 하는 카메라.


KR1020210125795A 2020-10-13 2021-09-23 비디오 이미지의 시퀀스를 인코딩하기 위한 이미지 프로세싱 장치, 카메라 및 방법 KR102489396B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20201591.3A EP3985974B1 (en) 2020-10-13 2020-10-13 An image processing device, a camera and a method for encoding a sequence of video images
EP20201591.3 2020-10-13

Publications (2)

Publication Number Publication Date
KR20220048935A KR20220048935A (ko) 2022-04-20
KR102489396B1 true KR102489396B1 (ko) 2023-01-17

Family

ID=72852500

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210125795A KR102489396B1 (ko) 2020-10-13 2021-09-23 비디오 이미지의 시퀀스를 인코딩하기 위한 이미지 프로세싱 장치, 카메라 및 방법

Country Status (5)

Country Link
US (1) US11477459B2 (ko)
EP (1) EP3985974B1 (ko)
JP (1) JP7346518B2 (ko)
KR (1) KR102489396B1 (ko)
CN (1) CN114422798B (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3985976B1 (en) * 2020-10-16 2022-09-28 Axis AB Method of encoding an image including a privacy mask

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070230575A1 (en) 2006-04-04 2007-10-04 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding using extended macro-block skip mode
WO2016108188A1 (en) 2014-12-31 2016-07-07 Nokia Technologies Oy Inter-layer prediction for scalable video coding and decoding

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020080878A1 (en) 2000-10-12 2002-06-27 Webcast Technologies, Inc. Video apparatus and method for digital video enhancement
JP2005260912A (ja) * 2004-02-10 2005-09-22 Matsushita Electric Ind Co Ltd 映像通信装置および映像通信方法
US8879857B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
AU2006330457B2 (en) * 2005-12-22 2011-07-14 Vidyo, Inc. System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers
US8619865B2 (en) * 2006-02-16 2013-12-31 Vidyo, Inc. System and method for thinning of scalable video coding bit-streams
CA2644753A1 (en) * 2006-03-03 2007-09-13 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
TW200845723A (en) * 2007-04-23 2008-11-16 Thomson Licensing Method and apparatus for encoding video data, method and apparatus for decoding encoded video data and encoded video signal
CN101383962B (zh) * 2007-09-07 2010-12-01 武汉大学 基于感兴趣区域的低码率空域增强层编解码方法
KR20130037161A (ko) * 2011-10-05 2013-04-15 한국전자통신연구원 스케일러블 비디오 코딩을 위한 향상된 계층간 움직임 정보 예측 방법 및 그 장치
US9179155B1 (en) * 2012-06-14 2015-11-03 Google Inc. Skipped macroblock video encoding enhancements
WO2014002896A1 (ja) * 2012-06-29 2014-01-03 ソニー株式会社 符号化装置および符号化方法、復号装置および復号方法
GB2516826B (en) * 2013-07-23 2016-06-22 Canon Kk Method, device and computer program for encapsulating partitioned timed media data by creating tracks to be independently encapsulated in at least one media f
FR3026260B1 (fr) * 2014-09-22 2018-03-23 Airbus Ds Sas Procede de transmission d'images de surveillance video
EP3151562B1 (en) 2015-09-29 2020-06-17 Dolby Laboratories Licensing Corporation Feature based bitrate allocation in non-backward compatible multi-layer codec via machine learning
US20170359596A1 (en) * 2016-06-09 2017-12-14 Apple Inc. Video coding techniques employing multiple resolution
GB2552376B (en) * 2016-07-22 2020-01-01 Canon Kk Method and device for efficiently generating, based on a video flow, a plurality of video streams required by modules of a video surveillance system
US20190191210A1 (en) * 2017-12-18 2019-06-20 Honeywell International Inc. Systems and methods for transmitting a high quality video image from a low power sensor
US11055976B2 (en) * 2019-09-19 2021-07-06 Axis Ab Using a skip block mask to reduce bitrate from a monitoring camera

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070230575A1 (en) 2006-04-04 2007-10-04 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding using extended macro-block skip mode
WO2016108188A1 (en) 2014-12-31 2016-07-07 Nokia Technologies Oy Inter-layer prediction for scalable video coding and decoding

Also Published As

Publication number Publication date
US20220116625A1 (en) 2022-04-14
US11477459B2 (en) 2022-10-18
TW202220445A (zh) 2022-05-16
CN114422798A (zh) 2022-04-29
JP2022064307A (ja) 2022-04-25
JP7346518B2 (ja) 2023-09-19
CN114422798B (zh) 2023-06-16
EP3985974A1 (en) 2022-04-20
EP3985974B1 (en) 2023-05-10
KR20220048935A (ko) 2022-04-20

Similar Documents

Publication Publication Date Title
KR101928520B1 (ko) 이벤트 비디오 시퀀스를 생성하기 위한 방법 및 시스템과 이러한 시스템을 포함하는 카메라
CN105554498B (zh) 视频编码方法和视频编码器***
US10277901B2 (en) Encoding a video stream having a privacy mask
AU2005272046B2 (en) Method and apparatus for detecting motion in MPEG video streams
US20150036736A1 (en) Method, device and system for producing a merged digital video sequence
KR101553680B1 (ko) 디지털 비디오 데이터를 인코딩하는 방법
KR102489396B1 (ko) 비디오 이미지의 시퀀스를 인코딩하기 위한 이미지 프로세싱 장치, 카메라 및 방법
TWI838649B (zh) 影像處理設備、相機及將視訊影像序列之編碼方法
KR102113948B1 (ko) 비디오 스트림에서 프레임들의 시퀀스를 인코딩하기 위한 방법, 장치 및 시스템
US11750798B2 (en) Image processing device and a method for encoding images captured by a camera
US11716475B2 (en) Image processing device and method of pre-processing images of a video stream before encoding
KR102594565B1 (ko) 웨어러블 카메라 및 웨어러블 카메라에 의해 캡처된 비디오를 인코딩하는 방법
JPH11113022A (ja) ピクチャタイプ毎符号化モード別移動物体検出方法及び装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant