CN108632527B - 控制器、摄像机以及用于控制摄像机的方法 - Google Patents

控制器、摄像机以及用于控制摄像机的方法 Download PDF

Info

Publication number
CN108632527B
CN108632527B CN201810224173.XA CN201810224173A CN108632527B CN 108632527 B CN108632527 B CN 108632527B CN 201810224173 A CN201810224173 A CN 201810224173A CN 108632527 B CN108632527 B CN 108632527B
Authority
CN
China
Prior art keywords
frame
image
camera
frames
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810224173.XA
Other languages
English (en)
Other versions
CN108632527A (zh
Inventor
伏莱德瑞克·皮尔
范星
比约恩·本德留什
维克托·埃德帕尔姆
尼克拉·斯文松
亨里克·伊莱森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN108632527A publication Critical patent/CN108632527A/zh
Application granted granted Critical
Publication of CN108632527B publication Critical patent/CN108632527B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种控制器、摄像机以及用于控制摄像机的方法，其中所述摄像机被配置成在编码之前捕捉和处理图像帧。所述方法包括确定摄像机是否将要将图像帧编码为帧内帧或帧间帧。如果图像帧将被编码为帧间帧，则摄像机被控制以在编码之前使用第一设置来捕捉和处理图像帧。如果图像帧将被编码为帧内帧，则摄像机被控制以在编码之前使用第二设置来捕捉和处理图像帧，其中第二设置相对于第一设置被修改成进一步降低图像帧中的噪声水平。

Description

控制器、摄像机以及用于控制摄像机的方法
技术领域
本发明涉及摄像机领域。具体地，本发明涉及被配置成在编码之前捕捉和处理图像帧的摄像机的控制。
背景技术
传统的摄像机在编码之前捕捉图像帧并且处理捕捉后的图像帧。编码后的图像帧通常以比特流的形式提供，该比特流可以通过网络发送到解码器。在这样的视频编码/解码***中，为了尽量最小化网络上的负载和存储编码后的视频所需的存储空间，通常期望保持尽可能低的比特率。然而，与此同时，当然还期望保持具有尽可能少的伪影的高视频质量。
诸如MPEG-4和H.264的已知的视频编码技术使用帧间帧(inter-frame)预测来减少一系列帧之间的视频数据。这涉及到诸如基于块的运动补偿的技术，其中可以通过在参考帧中寻找匹配块来逐块预测新的帧。
使用帧间帧预测，每个帧被归类为某一种类型的帧，诸如帧内帧(intra-frame)(有时称为I帧，例如在H.264中)或帧间帧(有时称为P帧和B帧，例如，在H.264中)。帧内帧是一种自包含的帧，可以独立解码而不涉及任何其他帧。这与参照一个或多个先前解码的帧的帧间帧形成对比。
在由一组图片(GOP)结构定义的视频流中，帧内帧和帧间帧按一定的顺序布置。帧内帧表示GOP结构的开始，并且其后跟随几个帧间帧。当解码器在比特流中遇到新的GOP结构时，它不需要任何先前解码的帧来解码随后的帧。当解码GOP结构时，解码器将首先解码在GOP结构的开始处的帧内帧，因为帧内帧可以不参考任何其他帧进行解码。然后，解码器使用解码的帧内帧作为参考帧来继续按解码顺序解码下一帧，该下一帧将是帧间帧。然后，解码器继续使用GOP结构的一个或多个解码的帧内帧和先前解码的帧间帧作为参考帧连续地解码帧间帧，直到在比特流中遇到指示新的GOP结构的开始的新的帧内帧。因此，在GOP结构的开始处的帧内帧用作解码随后的帧间帧的基准参考图像，因为随后的帧间帧直接或间接地通过另一参考帧来使用解码的帧内帧作为参考帧。
在编码帧间帧时，将帧间帧中的像素块与参考帧的块进行比较，以便估计运动矢量，即描述块关于参考帧的运动的矢量。这种比较通常包括将帧间帧的块的单个像素值与参考帧中的多个块的单个像素值进行比较，并在参考帧中选择提供最佳匹配的块。作为单个像素值比较的结果，图像帧中的噪声水平极大地影响运动矢量估计的准确性。最后，这将对编码的视频的质量产生负面影响—视频中以及编码的视频的比特率中会存在更多的伪影。
然而，对这个问题的解决方案并不像仅仅减少图像帧中的噪声那样简单，因为噪声的降低以在时域和空域两者中引入模糊为代价，这随后对最终的视频质量产生负面影响。因此，在通过改进运动矢量估计来改进视频质量与通过引入模糊来降低视频质量之间存在微妙的折衷。
发明内容
鉴于以上所述，本发明的目的因此是在通过改进运动矢量估计来改进视频质量与通过引入模糊来降低视频质量之间找到一种良好的折衷。
根据本发明的第一方面，上述目的是通过用于控制摄像机的方法来实现的，该摄像机被配置成在编码之前捕捉和处理图像帧，该方法包括：
确定摄像机是否将要将图像帧编码为帧内帧或帧间帧，
如果图像帧将被编码为帧间帧，则控制摄像机在编码之前使用第一设置来捕捉和处理图像帧，以及
如果图像帧将被编码为帧内帧，则控制摄像机在编码之前使用第二设置来捕捉和处理图像帧，其中第二设置相对于第一设置被修改，以进一步降低图像帧中的噪声水平。
帧内帧是指独立于所有其它帧编码的帧。具体地，帧内帧可以独立解码而不涉及任何其他帧。帧内帧有时称为I帧，例如在H.264中。
帧间帧是指参照一个或多个先前解码的帧进行编码的帧。帧间帧有时称为P帧和B帧，如在H.264中。
第一设置和第二设置通常包括影响图像帧中的噪声水平的设置。例如，这些设置可以与曝光时间、增益、锐度(sharpness)和诸如空间和/或时域噪声滤波等降噪有关。
摄像机通常可以降低图像帧中的噪声水平。当使用第一设置捕捉和处理图像帧时，图像帧中的噪声水平降低到第一水平。相反，如果使用第二个设置来捕捉和处理图像帧，则图像帧中的噪声水平将降低到低于第一水平的第二水平。因此，进一步降低噪声水平意味着如果与已经使用第一设置相比使用第二个设置，则图像帧中的噪声水平降低到更低的水平。
在传统的摄像机中，当涉及为了始终生成最佳可能的图像的目的而捕捉和处理时，每一个图像帧都被同等对待。然而，这并不一定意味着它将产生最佳编码视频。捕捉和处理的一些步骤(诸如曝光处理以及时域和空间噪声滤波，)严重影响了图像帧如何容易地编码，以及影响了其作为将来帧的参考的能力。
根据所提出的方法，图像帧在编码之前取决于它们是否将被编码为帧内帧或帧间帧而被不同地处理。更详细地，取决于图像帧是否将被编码为帧内帧或帧间帧，在编码之前捕捉和/或处理图像帧时，由摄像机应用的设置被不同地选择。具体地，设置被选择使得与要被编码为帧间帧的图像帧相比，捕捉并处理要被编码为帧内帧的图像帧以进一步降低图像帧中的噪声水平。
当涉及降低噪声水平时，通过将帧内帧与帧间帧进行不同地处理，可以发现在通过改进的运动矢量估计来改进视频质量与通过引入模糊来降低视频质量之间存在良好的折衷。
一方面，帧内帧作为GOP结构中的随后的帧的基准参考帧。因此，帧内帧的处理将影响GOP结构中的所有帧的编码质量和比特率。具体地，通过进一步降低帧内帧中的噪声水平，为了运动矢量估计的目的，帧内帧将作为改进的参考帧。由于运动矢量估计是基于帧间帧和参考帧(源于帧内帧)的单个像素值之间的差的计算，因此在参考帧中的降低的噪声水平会产生低方差的运动矢量估计，从而提高了运动矢量估计的精度和编码的视频的最终质量。
另一方面，已经意识到，只需在帧内帧中执行额外的降噪，就可以减轻引入模糊的负面影响。更具体地，附加的降噪可以在帧内帧的存在正在运动的物体的部分处引起模糊。然而，在下一个帧间帧中，将对正在运动的物体的部分重新编码，其中由于较高的噪声水平，存在更小的模糊。因此只有在编码的帧内帧中，在运动的物体的部分处的模糊才会是可见的，而不是在随后的帧间帧可见。这与在所有帧上施加额外的降噪并引入模糊并在所有帧中可见的情况形成对比。
总之，帧内帧中的噪声水平的额外降低，而不是随后的帧间帧中的噪声水平的降低，将对整个GOP结构更精确的运动矢量估计产生积极影响，而只对帧内帧引入模糊方面将产生负面影响。
进一步注意到，图像帧的静止部分仅在帧内帧被编码，而这些静止部分不会针对帧间帧被编码(在帧间帧中只有帧的正在运动的物体被编码)。因此，相对于图像帧的静止部分，通过不对帧间帧执行额外的噪声降低而不会造成损失。
为了允许进一步降低噪声水平，存在不同的方式修改设置。例如，第二设置可以通过增加图像帧的曝光时间与增益之间的比率而相对于第一设置被修改。较长的曝光时间用于随着时间集成入射光，从而导致降低的噪声水平。减少的增益也会导致降低的噪声水平，因为噪声将不会过多地被放大。因此，如果降低增益并且增加曝光时间，则通常会提高信噪比。
在某些情况下，可以针对每个图像使用不同曝光水平和/或增益，通过捕捉快速序列中的多个图像并且将图像组合成复合图像，而增加图像帧的动态范围。这有时被称为高动态范围成像或宽动态范围。在这种情况下，即，其中图像帧由利用不同曝光时间捕捉的和/或具有不同增益的图像组成，第二设置可以通过针对多个图像中的至少一个图像增加曝光时间与增益之间的比率，而相对于第一设置被修改。
进一步，第二设置可以通过相对于彼此修改不同的曝光时间而相对于第一设置被修改。改变曝光时间将改变可用的动态范围。例如，较长的曝光时间会使明亮区域中的更多像素饱和。根据实例，可以修改不同的曝光时间，使得与如果图像帧将被编码为帧内帧相比，如果图像帧将被编码为帧间帧，则在图像帧的黑暗部分使用较长的曝光时间，从而允许在图像的黑暗部分捕捉更多的运动的物体并且获得在I帧中覆盖的更多明亮的静止部分。相反的情况也是可能的。
根据示例，第二设置可以相对于第一设置被修改，以减少图像帧的锐度。减少锐化会产生平滑效果。此外，减少锐化可能会降低比特率，而不会影响压缩后的视觉质量。
根据示例，第二设置可以通过增加图像帧的时域噪声滤波和空间噪声滤波中的至少一个的强度，而相对于第一设置被修改。
滤波器可以与参数或设置关联，这些参数或设置控制图像帧的像素在时间和/或空间上相对于相邻像素被平滑化或被平均化多少。参数或设置也控制有多少相邻像素在时间和/或空间上被滤波器使用。滤波的强度意味着通过滤波实现的平滑程度，或者用不同的方式表示滤波器去除了多少噪声。
根据示例，第二设置可以通过增加应用到图像帧的滤波和处理算法中的至少一种的复杂度水平而相对于第一设置被修改。换句话说，与帧间帧相比，可以针对帧内帧进行更高级的滤波和处理。通常，帧内帧编码要比帧间帧编码快，因为不需要进行运动矢量的搜索。相反，额外的时间可以花费在更复杂的滤波和处理上。
复杂度水平通常意味着在时间和资源方面(例如存储器资源或处理资源)滤波和/或处理算法是如何先进和/或要求多高。通过选择一种更高级、要求更多时间的不同类型的算法，可以提高复杂度水平。可替代的，通过选择相同类型的算法但改变算法的参数而使其更高级和要求更多时间，可以增加复杂度水平。例如，可以增加用于空间或时域噪声滤波的滤波器的尺寸。
可以基于来自编码器的反馈确定图像帧是否将编码为帧内帧或帧间帧。具体地，确定摄像机是否将要将图像帧编码为帧内帧或帧间帧的步骤可以基于从摄像机的编码器接收到的信息。通过这种方式，来自编码器的反馈被用于控制在编码器上游的摄像机，诸如视频帧的捕捉和处理。信息可以例如包括一组图片结构。
该组图片结构可以是静态的，意味着无论图像帧的内容是什么，其总是相同的；或者可以是动态的，这意味着取决于先前图像帧中的内容(例如图像帧中的运动程度)，它可以随着时间而变化。确定摄像机是否将要将图像帧编码为帧内帧或帧间帧的步骤可以基于先前图像帧中的内容。在这样的实施例中，可以对GOP结构进行定制以最佳地跟随图像帧的内容。例如，先前图像帧的内容可以例如由编码器上游的图像处理器进行分析。换句话说，确定摄像机是否要将图像帧编码为帧内帧或帧间帧，可以基于从编码器上游的图像处理器接收到的信息，而不是从编码器本身接收到的信息。
当通过网络从摄像机发送编码的图像帧时，接收侧通常确认接收图像帧。如果没有接收到确认，因此指示图像帧丢失，则摄像机的网络接口可以请求下一帧图像被编码为帧内帧。确定摄像机是否将图像帧编码为帧内帧或帧间帧的步骤可以因此响应于摄像机的网络接口请求摄像机将图像帧编码为帧内帧而进行。由于图像帧的解码，除了帧内帧，取决于先前解码的图像帧，影响随后的帧的丢失帧不能被解码，直到新的帧内帧到达。因此，通过请求新的帧内帧，接收侧将能够立即重新开始图像帧的解码
根据本发明的第二方面，上述目的由用于控制摄像机的控制器实现的，所述摄像机被配置成在编码之前捕捉和处理图像帧，该控制器包括：
处理器，其配置成：
确定摄像机是否将要将图像帧编码为帧内帧或帧间帧；
如果图像帧将被编码为帧间帧，则控制摄像机在编码之前使用第一设置来捕捉和处理图像帧；以及
如果图像帧将被编码为帧内帧，则控制摄像机在编码之前使用第二设置来捕捉和处理图像帧，其中第二设置相对于第一设置被修改，以进一步降低图像帧中的噪声水平。
根据本发明的第三方面，上述目的是由摄像机实现的，该摄像机包括：
用于捕捉图像帧的图像传感器；
用于处理捕捉后的图像帧的图像处理器；
编码器，该编码器被布置在图像传感器和图像处理器的下游，以用于对捕捉后的并且处理后的图像帧进行编码；以及
根据第二方面用于控制摄像机的控制器，其中控制器被配置成控制图像传感器在由编码器编码之前捕捉图像帧以及控制图像处理器在由编码器编码之前处理所捕捉的图像帧。
根据本发明的第四方面，上述目的是由具有计算机代码指令的非瞬态计算机可读介质实现的，所述计算机代码指令存储在所述计算机可读介质上，所述计算机代码指令在由具有处理能力的设备执行时，适于执行根据第一方面的方法。
第二方面、第三方面、第四方面通常具有与第一方面相同的特点和优势。进一步注意到，本发明涉及特征的所有可能组合，除非另有明确说明。
一般而言，权利要求中所用的术语应根据技术领域中的一般含义加以解释，除非本文另有明确限定。所有对“一/该设备、事件、消息、警报、参数、步骤等”的引用都将被开放地解释为所述设备、事件、消息、警报、参数、步骤等中的至少一个的情况，除非另有明确说明。本文公开的任何方法的步骤不必按照公开的确切顺序执行，除非明确说明。
附图说明
参考附图，本发明的以上以及其他的目的、特征和优点通过本发明的优选实施例的以下说明性和非限制性的详细描述将被更好地理解，附图中，相同的附图标记将用于相似的元素，其中：
图1示意性地图示根据实施例的摄像机。
图2是根据实施例的用于控制摄像机的方法的流程图。
具体实施方式
现在将在下文中参照附图更全面地描述本发明，在附图中示出本发明的实施例。本文公开的***和设备将在操作期间被描述。
图1图示摄像机100。摄像机100包括图像传感器102、图像管线104、网络接口106和控制器108。
通常，图像传感器102捕捉场景的一系列的图像帧，即视频。图像传感器102依次将作为原始数据的图像帧输出到图像管线104，然后图像管线104处理图像帧。然后，网络接口106以比特流110的形式通过网络传输捕捉后的和处理后的图像帧。当接收到比特流110时，客户端设备(未示出)可以解码比特流110以生成用于显示给用户的场景视频。
图像传感器102被配置成使用曝光时间和增益来捕捉图像帧。曝光时间和增益影响图像帧中的噪声水平。与较短的曝光时间相比，较长的曝光时间将导致具有较低的噪声水平的图像。然而，较长的曝光时间也将会增加图像帧中的运动模糊量。类似地，与较高的增益相比，较低的增益导致具有较低的噪声水平的图像。因此，如果曝光时间与增益之间的比率增大，则图像帧中的噪声水平降低。
曝光时间和增益通常可以由摄像机自动设置，例如，通过自动曝光算法的方式。然而，曝光时间和增益也可以由控制器108修改和/或设置。
如本领域所知的，图像管线104包括用于执行从图像传感器102接收的原始数据的处理的一组部件。具体地，图像管线可以包括用于执行图像信号处理的图像处理器112和用于编码处理后的图像帧的编码器114。图像信号处理例如可以包括图像传感器校正、图像旋转、图像缩放、伽玛校正、颜色空间转换、色度抽样和帧速率转换。具体地，图像信号处理可以包括影响图像帧中的噪声水平的处理。例如，图像处理器112可以被配置成将不同类型的滤波器应用于图像帧，以便减少图像帧中的噪声水平。这可以包括时域噪声滤波器和/或空间噪声滤波器。根据其他示例，图像处理器112可被配置成处理图像帧以影响图像帧的锐度。
图像管线104进一步包括图像处理器112上游的编码器114。编码器114被配置成压缩一系列的经过处理后的图像帧。为此目的，编码器114通常可以实现诸如MPEG-4、H.264、H.265的任何视频编码技术，这些视频编码技术采用帧间帧预测，包括如前所述的基于块的运动补偿。具体地，编码器114被配置成将图像帧编码为帧内帧或帧间帧。例如，编码器114可以与GOP结构一起工作，该GOP结构规定了其中帧内帧和帧间帧被布置的顺序。GOP结构可以是静态的(即固定的)，或者可以是动态的(即它可以在时域上变化)。无论哪种方式，编码器114通常都知道帧是否被预先编码为帧内的或帧间的一个或者多个帧。
图像管线114，并且具体是包括图像处理器112和编码器114的部件，可以以软件、硬件或其组合实施。例如，图像管线及其部件可以通过存储在(非瞬态)计算机可读介质上的并且由处理器或数字信号处理器执行的计算机代码指令来实施。图像管线114及其部件也可以通过诸如集成电路的电路来实施，集成电路例如现场可编程门阵列或专用集成电路。
网络接口106被配置成以比特流110的形式通过网络将编码后的图像帧传输到客户端设备。网络接口106和客户端设备可以应用握手过程以确认图像帧由客户端设备安全地接收。更详细地，当接收到图像帧时，客户端设备可以向网络接口发送确认。如果没有接收到确认，则网络接口106可以推断在传输中丢失了图像帧。作为对其的响应，它可以请求将下一图像帧编码为帧内帧，以便使客户端设备重新启动对所传输的视频的解码。
控制器108被配置成控制摄像机100。具体地，控制器108被配置成控制编码器114上游的摄像机100。例如，控制器108可以控制图像传感器102以捕捉图像帧和/或可以控制图像处理器112来处理图像帧。更具体地，控制器108可在捕捉图像帧时控制由图像传感器102应用的设置，和/或在处理图像帧时控制由图像处理器112应用的设置。具体地，控制器108可以控制影响图像帧中噪声水平的设置。这些设置的示例是曝光时间、增益、锐度、以及滤波器和处理算法的参数和复杂度水平。
控制器108一般可以以软件、硬件或其组合实施。在软件的情况下，控制器108可包括处理器116和存储器118，存储器118可以作为用于存储计算机代码指令的非瞬态计算机可读介质，计算机代码指令在由处理器116执行时，使得控制器108执行本文所描述的任何方法。在硬件的情况下，控制器可以包括诸如集成电路的电路，集成电路例如采用专用集成电路或现场可编程门阵列的形式。控制器108还可包括接收器以及传输器，接收器例如用于接收关于下一个帧是否将被编码为帧间帧或帧内帧的信息，传输器例如用于向图像传感器102和/或图像处理器112传输控制信号。控制信号可指示在捕捉和/或处理图像帧时要使用的设置。
现在将参照图1和图2的流程图更详细地描述摄像机100的操作，并且具体是控制器108的操作。
步骤S02
在步骤S02，控制器108确定图像帧是否将被编码为帧内帧或帧间帧。通常，步骤S108在摄像机100捕捉图像帧之前执行。例如，该图像帧可以是要捕捉的下一个帧。
在步骤S02中的决定可以基于来自编码器114的信息。具体地，控制器108可以从编码器114接收关于GOP结构的信息。根据GOP结构，控制器108可以确定图像帧是否将被编码为帧内帧(I帧)或帧间帧(P或B帧)。
在步骤S02中的决定可以基于在先前图像帧中的内容，也就是说，该决定是关于在该图像帧之前捕捉和处理的图像帧做出的。例如，图像处理器112可以已经分析了先前图像帧的内容。具体地，图像处理器112可以已经分析了先前图像帧中的运动量，并且在该运动量的基础上确定随后的帧是否应被编码为帧内帧或帧间帧。如果在先前图像帧中存在大量的运动，则与存在较少的运动相比，对帧内帧更频繁地编码将是有益的。
在步骤S02中的决定也可以基于来自网络接口106的信息。更详细地，如果网络接口106接收到在传输中图像帧丢失的指示，例如，如果网络接口106没有接收到有关帧的任何接收确认，则它可以请求对新的帧内帧进行编码。响应于该请求，控制器108可以确定图像帧将被编码为帧内帧。
在步骤S02中的决定也可以基于固定的帧内帧速率。例如，每第n个图像帧(诸如每第十个图像帧)可以被编码为帧内帧。
通常，关于是否将图像帧编码为帧内帧的决定提前若干帧做出，诸如在三帧之前。通过这种方式，关于是否将特定图像帧编码为帧内帧的信息在捕捉和处理该特定图像帧之前对于图像传感器102和/或图像处理器112而言是及时可用的。
如果控制器108确定图像帧将被编码为帧间帧，则其进行到步骤S04。在步骤S04，控制器108控制编码器114上游的摄像机100，并且具体地，控制图像传感器102和图像处理器112使用第一设置来捕捉和处理图像帧。为了这个目的，控制器108可以将表示第一设置的控制信号发送到图像传感器102和/或图像处理器112。例如，第一设置可以与默认设置或由摄像机自动设置的设置(例如，通过自动曝光过程的方式)对应。通常，当使用第一设置进行控制时，图像传感器102和图像处理器112将减少图像帧中的噪声水平到第一级，例如，通过应用特定的曝光时间、增益或噪声滤波器。
相反，如果控制器108确定图像帧将被编码为帧内帧，其进行到步骤S06。在步骤S06，控制器108控制编码器114上游的摄像机100，并且具体地，控制图像传感器102和图像处理器112使用第二设置来捕捉和处理图像帧。为了这个目的，控制器108可以将指示第二设置的控制信号发送到图像传感器102和/或图像处理器112。第二设置与第一设置不同。具体地，第二设置不同于第一设置，因为它们将使图像传感器102和图像处理器112进一步降低图像帧中的噪声水平到低于第一水平的第二水平。因此，与相反地如果使用第一设置来捕捉和处理图像帧相比，当使用第二设置来捕捉和处理图像帧时，最终图像帧中的噪声水平更低。
为了生成第二设置，控制器108可以修改第一设置，即，它可以修改默认参数或者通过自动曝光算法由摄像机100自动设置的那些参数。
根据实施例，控制器108可以修改第一设置，以便增加曝光时间与图像帧的增益之间的比率。更详细地，第一设置可以包括例如由自动曝光设置的曝光时间和增益的值。控制器108可以通过例如增加曝光时间和减小增益来改变曝光时间与增益的比率。以这种方式，图像帧中的噪声水平将进一步降低。
在一些实施例中，摄像机100使用不同的曝光时间和增益捕捉多个图像，并且然后将多个图像组合到单个图像帧中。这有时被称为宽动态范围。在这些实施例中，控制器108可以修改包括多个图像中的一个或更多图像的不同曝光时间和增益的第一设置。例如，它可以增加各图像中的一个或更多图像的曝光时间与增益之间的比率。然而，它不仅可以增加多个图像中的一个或更多图像的曝光时间与增益之间的比率，而且也可以修改相对于彼此的不同的曝光时间。
根据实施例，控制器108可以修改第一设置以便减小图像帧的锐度。以这种方式，图像帧将变得更加平滑，并且同时比特率将降低，而不会在压缩之后对视觉质量产生任何重要影响。
根据实施例，控制器108可以修改第一设置，以便增加图像帧的时域噪声滤波器和空间噪声滤波器中的至少一个的强度。如上面进一步描述的，图像处理器112可被配置成将不同类型的滤波器(诸如时域噪声滤波器和/或空间噪声滤波器)应用于图像帧，以便减少图像帧中的噪声水平。滤波器可以与参数或设置关联，这些参数或设置控制图像帧的像素在时域和/或空间上相对于相邻像素被平滑或平均多少。参数或设置也控制滤波器在时间和/或空间上使用多少相邻像素。在本文中，平滑程度被称为滤波器的强度。滤波器越强，平滑程度越高。例如，考虑简单的时域滤波器，其中在时间t的像素值Pt是通过相对于在时间t-1的对应像素值Pt-1根据
Figure BDA0001600821770000101
形成加权平均值而被平滑，其中α在范围(0，1)内。较高的α值提供更高的平滑度以及因此更强的滤波器。
根据实施例，控制器108可以通过增加应用于图像帧的滤波和处理算法中的至少一个的复杂度水平来修改第一设置。例如，与如果将被编码为帧间帧相比，如果图像帧将被编码为帧内帧，则可以使用更复杂或更高级的噪声滤波算法。通过选择一种更高级、更耗时的不同类型的算法，可以提高复杂度水平。通常，帧内帧编码要比帧间帧编码快，因为不需要搜索运动矢量。相反地，额外的时间可以花费在更复杂的滤波和处理上。
当摄像机100捕捉并处理如由控制器108控制的图像帧时，编码器114对图像帧进行编码并经由网络接口106以比特流110的形式将其传输。如果在步骤S02中决定图像帧要被编码为帧内帧，则编码器114将编码图像帧为帧内帧，并且如果决定图像帧要被编码为帧间帧，则编码器114将编码图像帧为帧间帧。为了这个目的，该编码器可以使用任何已知的编码技术，其使用帧间帧预测，例如，通过H.264或MPEG4标准化。
将理解，本领域技术人员可以以多种方式修改上述实施例，并且仍然可以使用如上面的实施例所示的本发明的优点。因此，本发明不应受限于所示的实施例，而应仅由附加的权利要求来限定。此外，如技术人员所理解的，所示的实施例可以组合。

Claims (10)

1.一种用于控制摄像机的方法，所述摄像机被配置成在编码之前捕捉和处理多个图像帧，所述方法包括：
针对所述多个图像帧之中的每个图像帧，确定所述摄像机是否将要将所述图像帧编码为帧内帧或帧间帧；
针对将要被编码为帧间帧的图像帧，控制所述摄像机在编码之前使用第一设置来捕捉和处理要被编码为帧间帧的所述图像帧；以及
针对将要被编码为帧内帧的图像帧，控制所述摄像机在编码之前使用第二设置来捕捉和处理要被编码为帧内帧的所述图像帧，其中，所述第二设置通过执行以下操作中的至少一种而相对于所述第一设置被修改：
增加所述图像帧的曝光时间与增益之间的比率，
减少所述多个图像帧的锐度,
增加所述多个图像帧的时域噪声滤波和空间噪声滤波中的至少一个的强度，以及
增加应用到所述多个图像帧的滤波和处理算法中的至少一个的复杂度水平，其中，所述复杂度水平指示所述滤波或所述处理算法需要多少时间或资源。
2.根据权利要求1所述的方法，其中所述多个图像帧由利用不同曝光时间捕捉的和/或具有不同增益的多个图像组成，其中所述第二设置通过针对所述多个图像中的至少一个图像增加曝光时间与增益之间的比率而相对于所述第一设置被修改。
3.根据权利要求2所述的方法，其中所述第二设置通过相对于彼此修改不同的曝光时间和/或不同的增益而相对于所述第一设置被修改。
4.根据权利要求1所述的方法，其中确定所述摄像机是否将要将所述多个图像帧编码为帧内帧或编码为帧间帧基于从所述摄像机的编码器接收到的信息。
5.根据权利要求4所述的方法，其中从所述摄像机的所述编码器接收到的所述信息包括一组图片结构。
6.根据权利要求1所述的方法，其中确定所述摄像机是否将要将所述多个图像帧编码为帧内帧或编码为帧间帧基于先前图像帧中的内容。
7.根据权利要求1所述的方法，其中确定所述摄像机是否将要将所述多个图像帧编码为帧内帧或编码为帧间帧是响应于所述摄像机的网络接口请求将所述图像帧编码为帧内帧而进行的。
8.一种用于控制摄像机的控制器，所述摄像机被配置成在编码之前捕捉和处理多个图像帧，所述控制器包括处理器和存储器，
所述存储器作为用于存储计算机程序的计算机可读介质，所述计算机程序在由所述处理器执行时，使得所述处理器：
针对所述多个图像帧之中的每个图像帧，确定所述摄像机是否将要将所述图像帧编码为帧内帧或帧间帧；
针对将要被编码为帧间帧的图像帧，控制所述摄像机在编码之前使用第一设置来捕捉和处理所述图像帧；以及
针对将要被编码为帧内帧的图像帧，控制所述摄像机在编码之前使用第二设置来捕捉和处理所述图像帧，其中，所述第二设置通过执行以下操作中的至少一种而相对于所述第一设置被修改：
增加所述图像帧的曝光时间与增益之间的比率，
减少所述多个图像帧的锐度,
增加所述多个图像帧的时域噪声滤波和空间噪声滤波中的至少一个的强度，以及
增加应用到所述多个图像帧的滤波和处理算法中的至少一个的复杂度水平，其中，所述复杂度水平指示所述滤波或所述处理算法需要多少时间或资源。
9.一种摄像机，包括：
用于捕捉多个图像帧的图像传感器；
用于处理捕捉后的图像帧的图像处理器；
编码器，所述编码器被布置在所述图像传感器和所述图像处理器的下游，以用于对捕捉后的并且处理后的图像帧进行编码；以及
用于控制所述摄像机的控制器，所述控制器包括：
处理器，所述处理器被配置成：
针对所述多个图像帧之中的每个图像帧，确定所述摄像机是否将要将所述图像帧编码为帧内帧或帧间帧；
针对将要被编码为帧间帧的图像帧，控制所述摄像机在编码之前使用第一设置来捕捉和处理所述图像帧；以及
针对将要被编码为帧内帧的图像帧，控制所述摄像机在编码之前使用第二设置来捕捉和处理所述图像帧，其中，所述第二设置通过执行以下操作中的至少一种而相对于所述第一设置被修改：
增加所述图像帧的曝光时间与增益之间的比率，
减少所述多个图像帧的锐度,
增加所述多个图像帧的时域噪声滤波和空间噪声滤波中的至少一个的强度，以及
增加应用到所述多个图像帧的滤波和处理算法中的至少一个的复杂度水平，其中，所述复杂度水平指示所述滤波或所述处理算法需要多少时间或资源；
其中所述控制器被配置成控制所述图像传感器在由所述编码器编码之前捕捉图像帧以及控制所述图像处理器在由所述编码器编码之前处理所捕捉的图像帧。
10.一种计算机可读介质，所述计算机可读介质存储计算机程序，所述计算机程序用于控制摄像机，所述摄像机被配置成在编码之前捕捉和处理多个图像帧，其中，所述计算机程序能够由处理器执行以实现以下步骤：
针对所述多个图像帧之中的每个图像帧，确定所述摄像机是否将要将所述图像帧编码为帧内帧或帧间帧；
针对将要被编码为帧间帧的图像帧，控制所述摄像机在编码之前使用第一设置来捕捉和处理要被编码为帧间帧的所述图像帧；以及
针对将要被编码为帧内帧的图像帧，控制所述摄像机在编码之前使用第二设置来捕捉和处理要被编码为帧内帧的所述图像帧，其中，所述第二设置通过执行以下操作中的至少一种而相对于所述第一设置被修改：
增加所述图像帧的曝光时间与增益之间的比率，
减少所述多个图像帧的锐度,
增加所述多个图像帧的时域噪声滤波和空间噪声滤波中的至少一个的强度，以及
增加应用到所述多个图像帧的滤波和处理算法中的至少一个的复杂度水平，其中，所述复杂度水平指示所述滤波或所述处理算法需要多少时间或资源。
CN201810224173.XA 2017-03-24 2018-03-19 控制器、摄像机以及用于控制摄像机的方法 Active CN108632527B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17162802.7 2017-03-24
EP17162802.7A EP3379820B1 (en) 2017-03-24 2017-03-24 Controller, video camera, and method for controlling a video camera

Publications (2)

Publication Number Publication Date
CN108632527A CN108632527A (zh) 2018-10-09
CN108632527B true CN108632527B (zh) 2021-05-14

Family

ID=58448366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810224173.XA Active CN108632527B (zh) 2017-03-24 2018-03-19 控制器、摄像机以及用于控制摄像机的方法

Country Status (3)

Country Link
US (1) US10531001B2 (zh)
EP (1) EP3379820B1 (zh)
CN (1) CN108632527B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110677653B (zh) * 2019-09-27 2024-01-09 腾讯科技（深圳）有限公司 视频编解码方法和装置及存储介质
CN111010495B (zh) * 2019-12-09 2023-03-14 腾讯科技（深圳）有限公司 一种视频降噪处理方法及装置
CN111901596B (zh) * 2020-06-29 2021-10-22 北京大学 基于深度学习的视频混合编码与解码方法及装置、介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5550595A (en) * 1994-12-16 1996-08-27 Intel Corporation Apparatus and method for motion estimation with enhanced camera interface
CN103636188A (zh) * 2011-06-30 2014-03-12 思科技术公司 用于摄影机的编码器监督成像
US8948529B1 (en) * 2012-10-30 2015-02-03 Google Inc. Multi-pass encoding

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6904169B2 (en) 2001-11-13 2005-06-07 Nokia Corporation Method and system for improving color images
US20030161407A1 (en) 2002-02-22 2003-08-28 International Business Machines Corporation Programmable and adaptive temporal filter for video encoding
CN1233171C (zh) 2004-01-16 2005-12-21 北京工业大学 一种用于视频编码的简单化环路滤波方法
US8218655B2 (en) 2005-09-19 2012-07-10 Maxim Integrated Products, Inc. Method, system and device for improving video quality through in-loop temporal pre-filtering
US7589796B2 (en) 2006-02-06 2009-09-15 Vixs Systems Inc. Video display device, video encoder, and methods for use therewith
US20080101469A1 (en) 2006-10-31 2008-05-01 Motorola, Inc. Method and apparatus for adaptive noise filtering of pixel data
WO2008075261A1 (en) 2006-12-18 2008-06-26 Koninklijke Philips Electronics N.V. Automatic noise reduction improvement in video sequences
US8385425B2 (en) 2007-10-25 2013-02-26 Microsoft Corporation Temporal video filtering for real time communication systems
KR101438480B1 (ko) * 2008-04-01 2014-09-12 삼성전자 주식회사 영상 촬상 장치 및 방법
US8264587B2 (en) 2009-01-15 2012-09-11 Nokia Corporation Increasing frame rate for imaging
TWI440363B (zh) 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
US8493499B2 (en) * 2010-04-07 2013-07-23 Apple Inc. Compression-quality driven image acquisition and processing system
CN102164278B (zh) 2011-02-15 2013-05-15 杭州海康威视数字技术股份有限公司 用于去除i帧闪烁的视频编码方法及其装置
US9402034B2 (en) * 2011-07-29 2016-07-26 Apple Inc. Adaptive auto exposure adjustment
US8666042B2 (en) * 2011-11-02 2014-03-04 Cisco Technology, Inc. Techniques for performing key frame requests in media servers and endpoint devices
JP5980618B2 (ja) 2012-08-09 2016-08-31 オリンパス株式会社 画像処理装置及び画像処理方法
US10080017B2 (en) 2012-12-26 2018-09-18 Avago Technologies General Ip (Singapore) Pte. Ltd. Reduction of I-pulsing artifacts
JP2015023498A (ja) * 2013-07-22 2015-02-02 キヤノン株式会社 画像符号化装置、画像符号化方法およびプログラム
US20160112707A1 (en) * 2014-10-15 2016-04-21 Intel Corporation Policy-based image encoding
EP3016383B1 (en) 2014-11-03 2017-06-21 Axis AB Method, device, and system for pre-processing a video stream for subsequent motion detection processing
JPWO2017060951A1 (ja) 2015-10-05 2018-07-05 株式会社日立製作所 画像圧縮装置、画像復号装置、および画像処理方法
EP3328051B1 (en) * 2016-11-29 2019-01-02 Axis AB Method for controlling an infrared cut filter of a video camera
US10341658B2 (en) 2017-01-30 2019-07-02 Intel Corporation Motion, coding, and application aware temporal and spatial filtering for video pre-processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5550595A (en) * 1994-12-16 1996-08-27 Intel Corporation Apparatus and method for motion estimation with enhanced camera interface
CN103636188A (zh) * 2011-06-30 2014-03-12 思科技术公司 用于摄影机的编码器监督成像
US8948529B1 (en) * 2012-10-30 2015-02-03 Google Inc. Multi-pass encoding

Also Published As

Publication number Publication date
US10531001B2 (en) 2020-01-07
US20180278849A1 (en) 2018-09-27
EP3379820B1 (en) 2020-01-15
EP3379820A1 (en) 2018-09-26
CN108632527A (zh) 2018-10-09

Similar Documents

Publication Publication Date Title
US9402034B2 (en) Adaptive auto exposure adjustment
JP5174958B2 (ja) ビデオのコーダとデコーダとの同時最適化のための方法およびシステム
KR101045199B1 (ko) 화소 데이터의 적응형 잡음 필터링을 위한 방법 및 장치
US10277901B2 (en) Encoding a video stream having a privacy mask
US20100309987A1 (en) Image acquisition and encoding system
US8493499B2 (en) Compression-quality driven image acquisition and processing system
WO2014139396A1 (en) Video coding method using at least evaluated visual quality and related video coding apparatus
US10341675B2 (en) Video encoding method and video encoder system
EP2727330B1 (en) Encoder-supervised imaging for video cameras
CN108632527B (zh) 控制器、摄像机以及用于控制摄像机的方法
US9930345B2 (en) Image encoding apparatus, image encoding method, and image encoding program
TWI776867B (zh) 用於編碼視訊串流之方法、視訊編碼器及視訊攝影機
JP2019068248A (ja) 画像処理装置、画像処理方法、及びプログラム
KR20180006972A (ko) 비디오 모션 보상을 위한 장치 및 방법
US8488892B2 (en) Image encoder and camera system
US10834394B2 (en) Method and a controller for adding comfort noise to a video sequence
JP2005295215A (ja) 動画像符号化装置
US10856002B2 (en) Method, device and system for method of encoding a sequence of frames in a video stream
JPH0984024A (ja) 動画像信号の符号化装置
US20130064302A1 (en) Video compression coding device and decoding device applied with motion compensation technique using selective reference frame, and method for determining selective reference frame for motion compensation
JP2018050150A (ja) 画像符号化装置、画像符号化方法及びコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant