CN105391972A - 图像通信设备、图像发送设备和图像接收设备 - Google Patents

图像通信设备、图像发送设备和图像接收设备 Download PDF

Info

Publication number
CN105391972A
CN105391972A CN201510524774.9A CN201510524774A CN105391972A CN 105391972 A CN105391972 A CN 105391972A CN 201510524774 A CN201510524774 A CN 201510524774A CN 105391972 A CN105391972 A CN 105391972A
Authority
CN
China
Prior art keywords
image
coding mode
transmission apparatus
recognition section
image recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510524774.9A
Other languages
English (en)
Other versions
CN105391972B (zh
Inventor
柴山哲也
望月诚二
松原胜重
岩田宪一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Publication of CN105391972A publication Critical patent/CN105391972A/zh
Application granted granted Critical
Publication of CN105391972B publication Critical patent/CN105391972B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及图像通信设备、图像发送设备和图像接收设备。包括编码部分、解码部分和图像识别部分。编码部分基于计算的编码模式对要输入的视频信号执行编码处理，并且发送编码流。解码部分对接收的编码流执行解码处理，并且输出解码图像。图像识别部分对解码图像执行图像识别处理。编码部分基于代表图像识别部分中的识别结果的确定性的识别准确性信息调整编码模式。

Description

图像通信设备、图像发送设备和图像接收设备
相关申请的交叉引用
包括说明书、附图和摘要的于2014年8月25日提交的第2014-170404号日本专利申请的公开的全部内容通过引用包含于此。
技术领域
本发明涉及一种特别地优选地适用于包括图像识别的图像编码发送/接收装置的图像通信设备、图像发送设备和图像接收设备。
背景技术
一种用于发送和显示图像信息(诸如，由照相机成像的原始图像)的***对原始图像进行编码/压缩，并且发送原始图像。在此之后，该***显示已通过对该图像进行解码而获得的图像(解码图像)。因为图像信息通常包括大量的信息，所以需要在作为网络传输时限制传输带宽。在这个图像传输***中，替代于显示或除了显示之外，可能有时需要图像识别。例如，监测照相机发现任何可疑人员，而车载照相机获得车辆之间的空间，识别交通标识，或执行图像识别以避免与行人、其它车辆和任何其它障碍物碰撞。
第2008-22404号日本未审专利申请公报公开了一种图像编码设备。这个设备包括位于图像识别的前级的特征量提取部分，使用特征量计算部分获得图像的平坦度(活动)，并且通过确定关于图像编码处理中所包括的解块滤波的参数来提高图像质量。
第2013-239995号日本未审专利申请公报公开了一种用于在用于车辆的驾驶辅助的车载照相机***中实现高识别率的方法。在这个***中，视频发送装置对视频图像进行编码并且发送视频图像，并且使用由视频接收装置解码的视频图像执行图像识别。根据车辆的行驶状态和驾驶辅助应用(诸如，车道偏离警告、碰撞预防或后运动图像显示)，视频接收装置将编码控制信息(诸如，运动图像格式的图像尺寸、颜色格式、帧速、位深)发送给视频发送装置的编码器控制部分。发送侧基于编码控制信息改变编码模式，并且产生运动图像流。例如，当视频信号被输出到外部显示装置时，解块滤波功能开启。相反地，当视频信号被用于图像识别处理时，解块滤波功能关闭。这防止识别率的下降，因为边缘信息变差(该文献的第“0048”段)。另外，能够进一步提高识别率(该文献的第“0044”段)。对于这种提高，作为图像识别处理的预处理通过粗略搜索确定关注区域，这种信息被发送给编码单元侧，并且通过编码单元侧的编码处理来将关注区域的量化步长控制得较小。
发明内容
作为本发明人对于以上日本未审专利申请公报的考虑的结果，已发现新问题，如以下所述。
通常的图像编码技术包括用于产生具有较少的人眼可视识别的噪声的图像的编码技术和用于确定用于使将要产生的位的数量最小化的编码模式的编码技术。当要对其解码图像执行图像识别时，图像编码技术可能未必适用于图像识别处理。因此，应该理解，对于已根据通常的图像编码技术压缩/扩展的解码图像，不能充分地提高识别率。
第2008-22404号日本未审专利申请公报中公开的图像编码技术是一种用于以在由人眼识别时提高解码图像的图像质量的方式确定用于解块滤波的参数的方法。因此，不能说该参数适合提高图像识别的识别率。
在第2013-239995号日本未审专利申请公报中公开的车载照相机***中，根据车辆的行驶状态和驾驶辅助应用(车道偏离警告、碰撞预防和后运动图像显示)执行图像识别的视频接收装置将编码控制信息发送给视频发送装置的编码器控制单元。因此，需要与车辆的每个行驶状态和每个驾驶辅助应用关联地清楚地定义对应编码控制信息。例如，需要与车辆的每个行驶状态和每个驾驶辅助应用关联地预先定义图像识别的关注区域。当不能预先对此进行定义时，需要作为图像识别处理的预处理另外执行粗略搜索(该文献的第“0044”段)。
然而，可能无法根据车辆的行驶状态和驾驶辅助应用唯一地定义用于提高图像识别的识别率的编码模式的最佳值。通常，像上述关注区域一样，它根据在执行图像识别处理时的条件实时地改变。
因此，在第2013-239995号日本未审专利申请公报中公开的车载照相机***中，根据车辆的行驶状态和驾驶辅助应用定义的编码控制信息可能并不总是用于图像识别处理的最佳编码控制信息。理解的问题是识别率下降。
对视频信号执行编码处理，并且发送和解码该信号。在对这种解码图像执行图像识别处理的图像通信中，可实时地改变将要被发送的视频信号。应该理解，即使在这种情况下，也需要根据编码处理的变化提供适合图像识别处理的编码模式的值，而不降低图像识别率。
现在将描述一种用于解决这些问题的***。通过本说明书和附图的描述，任何其它问题和新的特征将会是明显的。
下面是一个实施例的描述。
包括编码部分、解码部分和图像识别部分。编码部分基于计算的编码模式对输入视频信号执行编码处理，并且发送编码流。解码部分对接收的编码流执行解码处理，并且输出解码图像。图像识别部分对解码图像执行图像识别处理。编码部分基于代表图像识别部分的识别的结果的确定性的识别准确性信息调整编码模式。
将如下简要地描述根据一个实施例的效果。
也就是说，可实时地按照视频信号的变化使用合适的编码模式执行编码处理，并且保持高图像识别率。
附图说明
图1是示出根据实施例1的图像通信设备的结构例子的方框图。
图2是示出编码部分的结构例子的方框图。
图3是示出根据实施例2的图像通信设备的结构例子的方框图。
图4是示出根据实施例3的图像通信设备的结构例子的方框图。
图5是示出根据实施例4的图像通信设备的结构例子的方框图。
图6是示出根据实施例5的编码部分的结构例子的方框图。
具体实施方式
1.现在将示意性地描述本申请中公开的优选实施例，首先，描述代表性实施例。在对代表性实施例的示意性描述中，在括号中提及的附图的这些标号仅举例说明具有所附标号的构成元件的构思中所包括的这些元件。
[1]<基于图像识别准确性信息的编码模式的优化>
根据本发明中公开的代表性实施例的图像通信设备(100)包括编码部分(12)、解码部分(22)和图像识别部分(25)。编码部分(12)基于计算的编码模式对将要输入的视频信号执行编码处理，并且产生编码流。解码部分(22)对接收的编码流执行解码处理，并且输出解码图像。图像识别部分(25)对解码图像执行图像识别处理。编码部分基于代表图像识别部分的识别结果的确定性的识别准确性信息调整编码模式。
作为结果，可实时地按照视频信号的变化使用合适的编码模式执行编码处理，并且保持高图像识别率。
[2]<从接收部分的参数发送部分发送识别准确性信息>
图像通信设备包括图像发送设备(发送单元)(10)和图像接收设备(接收单元)(20)。
图像接收设备包括解码部分、图像识别部分和参数发送部分(26)，参数发送部分(26)发送包括由图像识别部分产生的识别准确性信息的控制信息。
图像发送设备包括编码部分和接收部分(14)，接收部分(14)接收控制信息并且将控制信息中所包括的识别准确性信息提供给编码部分。
作为结果，图像接收设备(接收单元)发送代表图像识别部分中的识别结果的确定性的识别准确性信息，因此减少处理负载。除了接收的识别准确性信息之外，图像发送设备(发送单元)侧还参照由自身保存的参数，计算或选择合适的编码模式，因此能够执行编码处理。
[3]<从接收单元的参数发送部分发送编码模式>
图像通信设备包括图像发送设备(10)和图像接收设备(20)。
图像接收设备包括解码部分、图像识别部分和参数发送部分(26)，参数发送部分(26)发送包括基于由图像识别部分产生的识别准确性信息调整的编码模式的控制信息。
图像发送设备包括编码部分和接收部分，接收部分接收控制信息并且将控制信息中所包括的编码模式提供给编码部分。
作为结果，图像接收设备(接收单元)侧计算或选择合适的编码模式，并且将该编码模式发送给图像发送设备(发送单元)侧，由此简化图像发送设备(发送单元)。
[4]<由成像信号处理部分使用接收的控制信息>
图像发送设备还包括成像信号处理部分(11)，成像信号处理部分(11)从将要输入的成像信号产生视频信号。
编码模式包括用于成像信号处理部分执行以产生视频信号的信号处理的参数，并且由接收部分接收的控制信息中所包括的参数被提供给成像信号处理部分。
作为结果，输入到编码部分的视频信号在编码处理之前被优化，并且可在图像接收设备(接收单元)侧保持图像识别处理的高识别率。
[5]<由内置在发送单元中的图像识别部分提取识别准确性信息>
图像通信设备包括图像发送设备(10)和图像接收设备(20)。图像识别部分被用作接收侧图像识别部分(25)。图像接收设备包括解码部分和接收侧图像识别部分。
图像发送设备包括从将要输入的成像信号产生视频信号的成像信号处理部分(11)、发送侧图像识别部分(15)和编码部分。
发送侧图像识别部分对由成像信号处理部分处理的视频信号执行图像识别处理，并且向编码部分提供发送侧图像识别部分中的识别结果的确定性作为代表接收侧图像识别部分中的识别结果的确定性的识别准确性信息。编码部分基于识别准确性信息调整编码模式。
作为结果，图像发送设备(发送单元)能够估计和使用代表位于图像识别部分(接收单元)侧的接收侧图像识别部分中的识别结果的确定性的识别准确性信息。因此，能够快速地计算或选择最佳编码模式，因此能够执行编码处理。
[6]<用于识别的图像/用于识别的标记>
图像发送设备被构造(34,35)为包括预先给出的用于评估的图像作为视频信号。
编码部分对包括用于评估的图像的视频信号执行编码处理。图像接收设备中的图像识别部分对与用于评估的图像对应的解码图像执行图像识别处理以获得识别准确性信息。图像发送设备或图像接收设备以获得的识别准确性信息等于预期识别准确性信息的方式调整编码模式。
作为结果，能够准确地获得编码模式的最佳值。
[7]<图像发送设备>
根据本申请中公开的代表性实施例的图像发送设备(10)包括编码部分(12)和发送部分(13)。编码部分基于计算的编码模式对将要输入的视频信号执行编码处理。发送部分将编码流发送给图像接收设备。
图像接收设备包括图像识别部分(25)，图像识别部分(25)对接收的编码流执行解码处理并且对产生的解码图像执行图像识别处理。
编码部分基于代表图像接收设备的图像识别部分中的识别结果的确定性的识别准确性信息调整编码模式。
作为结果，可提供实时地按照视频信号的变化使用合适的编码模式执行编码处理的图像发送设备，并且保持高图像识别率。
[8]<从接收单元的参数发送部分接收识别准确性信息>
图像接收设备被构造(26)为发送包括由图像识别部分产生的识别准确性信息的控制信息。
图像发送设备还包括接收部分(14)，接收部分(14)接收控制信息并且将控制信息中所包括的识别准确性信息提供给编码部分。编码部分基于从接收部分提供的识别准确性信息调整编码模式，并且基于调整的编码模式执行编码处理。
作为结果，减少在图像接收设备(接收单元)侧的处理负载。除了接收的识别准确性信息之外，图像发送设备(发送单元)侧还参照由自身保存的参数，并且计算或选择合适的编码模式，由此执行编码处理。
[9]<从接收单元的参数发送部分接收编码模式>
图像接收设备被构造(26)为发送包括基于由图像识别部分产生的识别准确性信息调整的编码模式的控制信息。
图像发送设备还包括接收部分(14)，接收部分(14)接收控制信息并且将控制信息中所包括的编码模式提供给编码部分。编码部分基于从接收部分提供的编码模式执行编码处理。
作为结果，图像接收设备(接收单元)侧计算或选择合适的编码模式，并且将该编码模式发送给图像发送设备(发送单元)侧，由此简化图像发送设备(发送单元)。
[10]<在成像信号处理部分中使用接收的控制信息>
图像发送设备还包括成像信号处理部分(11)，成像信号处理部分(11)从将要输入的成像信号产生视频信号。
控制信息包括用于成像信号处理部分执行以产生视频信号的信号处理的参数。由接收部分接收的控制信息中所包括的参数被提供给成像信号处理部分。
作为结果，将要被输入到编码部分的视频信号在编码处理之前被优化，并且可保持图像接收设备(接收单元)侧的图像识别部分的高识别率。
[11]<在内置在发送单元中的图像识别部分中提取识别准确性信息>
图像识别部分被用作接收侧图像识别部分，并且图像接收设备包括解码部分和接收侧图像识别部分。
图像发送设备包括从将要输入的成像信号产生视频信号的成像信号处理部分(11)、发送侧图像识别部分(15)和编码部分。
发送侧图像识别部分对由成像信号处理部分处理的视频信号执行图像识别处理，并且向编码部分提供发送侧图像识别部分中的识别结果的确定性作为代表接收侧图像识别部分中的识别结果的确定性的识别准确性信息。编码部分基于识别准确性信息调整编码模式。
作为结果，图像发送设备(发送单元)能够估计和使用代表位于图像接收设备(接收单元)侧的接收侧图像识别设备中的识别结果的确定性的识别准确性信息。因此，可快速地计算或选择编码模式，因此能够执行编码处理。
[12]<用于识别的图像/用于识别的标记>
图像发送设备被构造(34,35)为包括预先给出的用于评估的图像作为视频信号。
编码部分对包括用于评估的图像的视频信号执行编码处理。图像接收设备中的图像识别部分对与用于评估的图像对应的解码图像执行图像识别处理以获得识别准确性信息。图像发送设备或图像接收设备以获得的识别准确性信息等于预期识别准确性信息的方式调整编码模式。
作为结果，可准确地获得编码模式的最佳值。
[13]<切换至用于识别的图像>
图像发送设备还包括选择器(34)，选择器(34)选择视频信号和用于评估的图像中的哪一个被提供给编码部分。
作为结果，可替代于将要输入的视频信号使用用于评估的图像准确地获得编码模式的最佳值。
[14]<***用于识别的标记>
图像发送设备还包括用于识别的标记***部分(35)，用于识别的标记***部分(35)能够将用于评估的图像***到视频信号中。
作为结果，可使用***到将要输入的视频信号中的用于评估的标记图像准确地获得编码模式的最佳值。
[15]<图像接收设备>
根据本申请中公开的代表性实施例的图像接收设备(20)包括接收部分(21)、解码部分(22)、图像识别部分(25)和参数发送部分(26)。接收部分接收从图像发送设备(10)发送的编码流。解码部分对由接收部分接收的编码流执行解码处理，并且输出解码图像。图像识别部分对解码图像执行图像识别处理。
在图像发送设备中，对视频信号使用编码模式通过编码处理产生编码流。
参数发送部分发送用于基于代表图像识别部分的识别结果的确定性的识别准确性信息调整图像发送设备中的编码模式的控制信息。
作为结果，可提供实时地按照视频信号的变化使用合适的编码模式执行编码处理的图像接收设备并且保持高图像识别率。
[16]<从接收单元的参数发送部分发送识别准确性信息>
参数发送部分发送识别准确性信息作为用于调整图像发送设备中的编码模式的控制信息。图像发送设备基于接收的识别准确性信息调整编码模式。
作为结果，图像接收设备(接收单元)侧发送代表图像识别部分中的识别结果的确定性的识别准确性信息，因此减少处理负载。另一方面，除了接收的识别准确性信息之外，图像发送设备(发送单元)侧还参照由自身保存的参数，计算或选择合适的编码模式，由此能够执行编码处理。
[17]<从接收单元的参数发送部分发送编码模式>
参数发送部分发送基于由图像识别部分产生的识别准确性信息调整的编码模式作为控制信息。图像发送设备使用作为控制信息接收的编码模式执行编码处理。
作为结果，图像接收设备(接收单元)侧计算或选择最佳编码模式，并且将该编码模式发送给图像发送设备(发送单元)侧，由此简化图像发送设备(发送单元)。
[18]<从参数发送部分发送解码信息>
在图像接收设备中，由参数发送部分发送的控制信息包括通过解码部分中的解码处理获得的解码信息或基于解码信息产生的信息。
作为结果，编码模式被合适地优化。
2.优选实施例的具体描述
现在将具体地描述优选实施例。
[实施例1]
<基本结构(基于识别准确性信息的编码模式的优化)>
图1是示出根据实施例1的图像通信设备100的结构例子的方框图。
图像通信设备100被构造为包括发送单元10和接收单元20，发送单元10和接收单元20通过通信路径29(诸如，网络)互相耦接。发送单元10包括编码部分12和发送部分13。编码部分12基于获得的编码模式对视频信号进行编码以产生编码流。发送部分13经预定协议将产生的编码流发送给通信路径29。接收单元20包括接收部分21、解码部分22和图像识别部分25。接收部分21根据从通信路径29接收的信号(包)再现编码流。解码部分22对接收的编码流进行解码以产生解码图像。图像识别部分25对解码图像执行图像识别处理。在这种情况下，词语“获得的”表示用于基于编码效率选择合适的编码模式的编码部分12的处理，并且可在外部指定该处理。
发送单元10中的编码部分12基于代表接收单元20的图像识别部分25中的识别结果的确定性的识别准确性信息调整用于对上述视频信号进行编码的编码模式。也就是说，以提高识别结果的确定性(诸如，图像识别率)的方式改变编码模式。
作为结果，可实时地按照视频信号的变化执行合适的编码模式，并且保持高图像识别率。
图2是示出发送单元10中的编码部分12的结构例子的方框图。编码部分12包括编码处理部分16和编码模式确定部分17。编码处理部分16接收输入视频信号，并且输出编码流。编码模式确定部分17将编码模式给予编码处理部分16。编码模式包括关于预测模式和解块滤波器的参数。编码模式确定部分17基于代表接收单元20的图像识别部分25中的识别结果的确定性并且被包括在输入的控制信息中的识别准确性信息，以提高识别结果的确定性的方式改变编码模式。编码模式确定部分17将改变后的编码模式提供给编码处理部分16。此时，除了识别准确性信息之外，编码部分12还包括解码信息或识别区域信息。除此之外，编码模式确定部分17参照编码部分12的内部参数，获得最佳编码模式，并且将获得的模式提供给编码处理部分16。编码部分12的内部参数包括例如在预测时的SAD(绝对差之和：输入信号和预测信号之间的误差的绝对值之和)和量化值。
在这种情况下，最佳编码模式并不表示能够一定使图像识别率最大化的参数值。例如，在接收单元20中，当解码图像不仅被用于图像识别还被用于显示时，合适的参数是在考虑可见性(由人眼感觉到的视野)的情况下最适当的参数。
代表识别结果的确定性的识别准确性信息包括例如代表由图像识别部分25执行的图像检测、识别和跟踪的结果的确定性的识别准确性信息。该信息还包括代表识别区域的信息和识别区域信息。能够从代表处理的相似度或识别电路的经过的级数的阈值获取识别和检测的结果的确定性。可给出几种方法作为用于使用识别/检测算法或应用获取识别和检测的结果的确定性的方法。以下提供一些例子。
对于脸或标识的物体检测，主要方法是用于组合局部特征量和统计学习技术的技术。例如，对于脸检测，结合多个Haar-like特征量构造脸检测电路。在该检测电路中，弱识别电路被级联耦接，并且使用AdaBoost从多个局部特征量选择用于识别的最佳特征量。在这种情况下，级联耦接的弱识别电路的经过的级数能够成为检测的确定性的指标。
在特定物体识别处理(诸如，标识识别)中，可使用以前的学习。因此，通过使用预先从参考图像和输入图像获得的特征量执行对应点搜索可实现标识识别。对代表相似度的值执行阈值处理。因此，与阈值的欧氏距离变为代表相似度的指标。
在物体跟踪中，KLT(KanedaLucasTomasi)技术被用于基于局部区域中的点的移动相同的假设和微小时间中的区域处于仅平行移动的状态的假设获得移动目的地。使用特征量(诸如，在移动之前或之后的SIFT(尺度不变特征变换))的相似度(欧氏距离)来确定特征点。因此，特征量的欧氏距离变为指标。
需要注意的是，代表接收单元20的图像识别部分25中的识别结果的确定性的识别准确性信息不限于由接收单元20的图像识别部分25获得的信息。可在发送单元10上提供用于获取或估计接收单元20的图像识别部分25中的识别结果的确定性的装置。例如，在发送单元10侧对由编码部分12产生的本地解码图像执行简单的图像识别处理，或者尤其是为了估计识别率的目的而提供识别率评估部分。这能够在发送单元10中获取或估计接收单元20的图像识别部分25中的识别结果的确定性。以下提供一些例子。
[实施例2]
<从参数发送部分发送识别准确性信息或编码模式>
图3是示出根据实施例2的图像通信设备100的结构例子的方框图。
图像通信设备100被构造为包括发送单元10和接收单元20，发送单元10和接收单元20通过通信路径29(诸如，网络)互相耦接。
发送单元10包括成像信号处理部分11、编码部分12、发送部分13和接收部分。成像信号处理部分11处理从耦接的成像装置19输入的成像信号。编码部分12基于计算的编码模式对视频信号进行编码以产生编码流。发送部分13使用预定协议将产生的编码流发送给通信路径29。接收单元20包括接收部分21、解码部分22、图像识别部分25和参数发送部分26。接收部分21根据从通信路径29接收的信号再现编码流。解码部分22对接收的编码流进行解码以产生解码图像。图像识别部分25对解码图像执行图像识别处理。
参数发送部分26向发送单元10发送用于基于代表图像识别部分25中的识别结果的确定性的识别准确性信息调整用于对上述视频信号进行编码的编码模式的控制信息。发送单元10的接收部分14接收该控制信息，并且将该控制信息提供给编码部分12。编码部分12基于接收的控制信息以提高接收单元20中的识别结果的确定性(诸如，图像识别率)的方式改变编码模式。
上述控制信息(从接收单元20的参数发送部分26发送给发送单元10的接收部分14)可自身是代表图像识别部分25中的识别结果的确定性的识别准确性信息，或者可以是已改变为基于识别准确性信息优化的值的编码模式。在前者的情况下，接收单元20侧发送代表图像识别部分中的识别结果的确定性的识别准确性信息，因此减少处理负载。另外，除了接收的识别准确性信息之外，发送单元10侧还参照由自身保存的参数以计算或选择合适的编码模式，因此能够执行编码处理。另一方面，在后者的情况下，接收单元20侧计算或选择合适的编码模式，并且将该编码模式发送给发送单元10侧，由此简化发送单元10。
现在将进一步具体地描述图3中示出的根据实施例2的图像通信设备100。
成像装置19可例如是CCD(电荷耦接器件)、CMOS(互补金属氧化物半导体)传感器等。由发送单元10中的成像信号处理部分11对来自成像装置19的成像信号执行成像处理，并且处理后的信号被发送给编码部分12作为视频信号。编码部分12根据编码标准(例如，H.264等)对输入的视频信号的图像数据执行图像编码处理。如图2中所示，编码部分12被分成编码模式确定部分17和编码处理部分16。编码处理部分16根据由编码模式确定部分17确定的编码模式按照标准执行编码。除了过去在编码部分12中获得的(预测时的)SAD或量化参数之外，编码模式确定部分17使用从接收单元20发送的控制信息中所包括的各种参数作为评估值确定编码模式。编码流由发送单元10中的发送部分13发送给接收单元20。由接收单元20内的接收部分21接收的编码流由解码部分22解码。接收单元20中的图像识别部分25使用由解码部分22解码的图像执行图像识别。作为图像识别的结果，通过通信路径29将图像识别率或识别区域信息从参数发送部分26发送给发送单元10。
优选地，从接收单元20向发送单元10发送的控制信息包括通过解码处理获得的解码信息、包括由图像识别部分获得的图像识别率的识别准确性信息和图像识别区域信息。然而，不限于这些信息项，并且该信息可包括包含接收单元20中获得的数据的任何其它信息。例如，可能的信息可以是图像识别的应用信息、关于车辆的行驶状态的信息或者关于时间、天气或自然光亮度的信息。解码信息不限于由接收单元20获得的数据，并且可以是可由发送单元10的编码部分12获得的信息。例如，当不需要像帧内编码器一样执行解块处理时，发送单元10内的编码部分12发送解码信息(解块滤波算术运算时的参数)，该解码信息被包括在从参数发送部分26到发送单元10的控制信息中并且与该控制信息一起发送该解码信息。需要注意的是，已在由接收单元20内的解码部分22对解码图像进行解码时使用这种解码信息。相反地，当发送单元10内的解码部分12执行解块处理时，不需要发送解块滤波算术运算时的参数，因为能够在发送单元10内获得该参数，并且因此能够使用该参数。
如上所述，当基于H.264执行图像编码时，使用可双向通信的通信路径(29)上的来自解码部分(22)和图像识别部分(25)的信息。因此，能够执行高效编码作为***。也就是说，可在编码时准确地估计预测模式或确定关于解块的参数值。特别地，在对解码图像执行图像识别处理的***中，可抑制识别率的降低。
将更具体地描述例子。
如实施例1中所述，图像识别部分25使用各种技术提取特征量，并且使用特定阈值确定提取的特征量的特征点。也就是说，因为由于编码引起的劣化导致误判在阈值附近的图像数据，所以与目标是未压缩图像的情况相比，识别率降低更多。因此，为了提高识别率，即使通过将许多代码分派给特征量存在于阈值附近的位置或通过增加将要产生的代码的数量，也需要执行用于切换至用于保持特征的编码技术的处理。对于边缘检测，执行一些处理，例如，将许多代码分派给宏块(包括边缘)的处理或按原样以未压缩形式发送信息的处理。
这个实施例的编码部分12按照标准规范执行编码。然而，它的特征是：编码技术能够基于从接收单元20提供的控制信息实时地改变。例如，可改变的编码参数包括能够基于从接收单元20提供的识别准确性信息根据重要度应用的下面的参数(1)至(4)。作为结果，由图像识别部分26指定的区域能够被以接近原始图像的形式编码，因此减少由于编码引起的劣化导致的误判。
(1)滤波强度的调整(减弱滤波强度或关闭滤波器)
(2)块划分(以小部分进行的块划分(预测模式))
(3)位分派(小量化值)
(4)IPCM(帧内脉冲编码调制)编码(按照16*16单位未压缩)
在这个实施例2中，接收单元20将识别准确性信息发送给发送单元10，并且在发送单元10中确定编码模式。然而，可在接收单元10内确定合适的编码模式，并且直接由自身指定模式。
[实施例3]
<由内置在发送单元中的图像识别部分提取识别准确性信息>
图4是示出根据实施例3的图像通信设备的结构例子的方框图。像图3中示出的根据实施例2的图像通信设备一样，根据实施例3的图像通信设备100被构造为包括发送单元10和接收单元20，发送单元10和接收单元20通过通信路径29(诸如，网络)互相耦接。像实施例2的发送单元一样，发送单元10包括成像信号处理部分11、编码部分12、发送部分13，并且还包括图像识别部分15，但不包括接收部分14。成像信号处理部分11处理从成像装置19输入的成像信号。编码部分12基于编码模式对视频信号进行编码以产生编码流。发送部分13按预定协议将产生的编码流发送给通信路径29。像实施例2的接收单元一样，接收单元20包括接收部分21、解码部分22和图像识别部分25，但不包括参数发送部分26。接收部分21根据从通信路径29接收的信号再现编码流。解码部分22对接收的编码流进行解码以产生解码图像。图像识别部分25对解码图像执行图像识别处理。
在实施例2中，已基于由接收单元20的图像识别部分实际执行的图像识别处理的结果以提高接收单元20的识别结果的确定性(诸如，图像识别率)的方式执行用于编码的编码模式的调整(优化)。在实施例3中，替代于从接收单元20发送控制信息，在发送单元10内提供另一图像识别部分15以执行图像识别处理，由此估计代表接收单元20的图像识别部分25中的识别结果的确定性的识别准确性信息。基于估计的识别准确性信息等，调整(优化)用于发送单元10中的编码的编码模式。作为结果，更快速地计算或选择最佳编码模式以执行编码处理。例如，在实施例2中，发生几帧的延迟，因为在由接收单元20解码和图像识别处理的执行之后，控制信息首先被反馈至发送单元10。然而，在实施例3中，能够在最短时间内基于关于要被编码的目标帧的视频图像的图像识别的结果调整目标帧的编码模式，因此能够使延迟最小化。
在图4中示出的结构例子中，发送侧图像识别部分15被耦接到成像信号处理部分11。然而，替代于这种结构，它可被耦接到编码部分12以便能够对本地解码图像执行图像识别处理。
像实施例2一样，接收单元20被构造为包括参数发送部分26，而发送单元10被构造为包括接收部分14。结合代表发送侧图像识别部分15中的识别结果的确定性的识别准确性信息和从接收单元20发送的接收侧图像识别部分25的识别准确性信息执行评估。另外，可调整(优化)用于编码的编码模式。
[实施例4]
<在成像信号处理部分中使用接收的编码模式>
图5是示出根据实施例4的图像通信设备的结构例子的方框图。像图3中示出的根据实施例2的图像通信设备一样，根据实施例5的图像通信设备100被构造为包括发送单元10和接收单元20，发送单元10和接收单元20通过通信路径29(诸如，网络)互相耦接。像实施例2的接收单元一样，接收单元20包括接收部分21、解码部分22、图像识别部分25和参数发送部分26。接收部分21根据从通信路径29接收的信号再现编码流。解码部分22对接收的编码流进行解码以产生解码图像。图像识别部分25对解码图像执行图像识别处理。像实施例2的发送单元一样，发送单元10包括成像信号处理部分11、编码部分12、发送部分13和接收部分14。成像信号处理部分11处理从成像装置19输入的成像信号。编码部分12对视频信号进行编码以产生编码流。发送部分13按预定协议将产生的编码流发送给通信路径29。由接收部分14接收的控制信息被提供给成像信号处理部分11。
成像信号处理部分11对输入成像信号执行各种处理。例如，各种处理包括增益调整、背光校正、图像水平调整、伽马校正、颜色校正和滤波处理。对于这些校正和处理，通常，由该应用设置视为最佳参数的那些参数。在这个实施例中，因为可由发送单元10从接收单元20获取控制信息。因此，图像识别率或识别结果能够被反馈至成像信号处理部分11的信号处理，因此能够产生适合图像识别的视频信号。
例如，当要识别交通标识时，可由接收单元20中的图像识别部分25的应用或算法使用颜色信息。在这种情况下，可在使用来自接收单元20的控制信息并且调整成像信号处理部分11中的颜色校正的同时提高识别率。当在成像信号处理部分内执行滤波处理(诸如，低通滤波)时，控制滤波的强/弱和开启/关闭以在它们之间切换，并且特别地控制切换识别区域周围的强/弱和开启/关闭。
因此，可在成像信号处理部分11内的信号处理的优化处理中使用图像识别率、识别区域或解码信息(原本不能由发送单元10获取这些信息)。因此，在由成像信号处理部分11执行的图像产生中，可产生适合图像识别的图像并且提高接收单元20的图像识别率。
在图5中示出的结构例子中，控制信息未被从接收部分14提供给编码部分12。然而，像实施例2一样，可构造为将控制信息从接收部分14提供给编码部分12。这能够以适合图像识别处理的方式调整(优化)输入到编码部分12的视频信号及其编码模式。
[实施例5]
<用于识别的图像/用于识别的标记>
在上述实施例中，按原样使用输入视频信号执行编码和解码，并且使用在执行图像识别处理时的识别准确性信息调整(优化)编码模式。然而，在实施例5中，将描述用于替代于输入视频信号使用已知图像来调整(优化)编码模式的实施例。因为使用已知图像，所以可准备图像识别处理的结果的预期值。因此，可更准确地确定编码模式。将要在实施例5中解释的技术不仅能够与以上解释的实施例1至4组合，还能够与各种实施例组合。
图6是示出根据实施例5的编码部分12的结构例子的方框图。替代于作为要输入的视频信号的原始图像，编码部分12对用于评估的目标图像或用于评估的标记被***到原始图像中的目标图像执行编码处理以产生编码流。编码部分12包括选择器33和34、用于识别的标记***部分35、减法器36、帧内预测31、帧间预测32、变换37、逆变换41、量化38、逆量化40、编码39、解块滤波器42和参考图像存储器43。选择器34选择原始图像和用于评估的图像中的任一个作为要输入的视频信号，并且将它输入到编码部分12。用于识别的标记***部分35能够将用于识别的标记***到输入图像信号中。选择器33将帧内预测31或帧间预测32的结果输入到减法器36以从作为将要被编码的目标并且从选择器34输入的图像信号减去它，并且从减法器36输出差信号。该差信号被使用例如离散余弦变换进行正交变换37，并且被量化38，并且还被使用例如熵编码进行编码39。然后，该信号被输出为编码流。量化38的输出通过逆量化40、变换37和逆变换41被输出为本地解码图像。然后，它被提供给帧内预测31，并且通过解块滤波器42存储在参考图像存储器43中。由帧间预测32参照存储在参考图像存储器43中的本地解码图像。解块滤波器42的参数通过编码部分39而被包括在编码流中，并且被发送给解码部分。图6仅示出编码部分12。然而，其它结构和操作与图1、3、4和5中示出的实施例的图像通信设备100的结构和操作相同。
在根据以上实施例的图像通信设备100中，安装根据实施例5的编码部分12。这能够在该***上实现高效校准。例如，当接收单元20内的图像识别23的算法被优化时，可使用预先知道其预期值的编码图像。这将是用于支持用于选择编码部分12的编码模式的识别率的测量的功能，因此实现更准确的反馈。
通常，传输路径29处于有限频带中，并且编码部分12需要在有限频带中更适当地执行编码处理。在这种情况下，当“更适当地编码”表示用于在接收单元20中实现高图像识别率的编码时，可通过使用这种结构来高效地调整与由该***确定的序列水平对应的参数。
与序列水平对应的参数具有4:2:0/4:2:2的颜色格式和/或8/10/12/14位的位深。例如，当考虑利用8位的位深或10位的位深对图像进行编码时，如果应用相同比特率(相同频带)，则与利用8位的位深编码的情况相比，在利用10位的位深编码的情况下的信息量更大。因此，量化值需要更大。在这种情况下，根据情况，图像质量可能劣化。就图像识别率而言，根据图像识别算法的效果，可能难以判断哪个更加有益。通过使用本结构，可确定合适的编码技术作为包括图像识别算法的***。
因此，已具体地描述了由本发明人提出的本发明的实施例。然而，本发明不限于这些，而是可在不脱离本发明的范围的情况下做出各种改变。
例如，成像信号处理部分11、编码部分12、解码部分22以及图像识别部分15和25的信号处理可使用专用逻辑电路实现，或者可由由处理器等执行的软件实现。传输路径29可以是有线网络、无线网络或对等通信电路。

Claims (18)

1.一种图像通信设备，包括：
编码部分，基于计算的编码模式对要输入的视频信号执行编码处理，并且发送编码流；
解码部分，对接收的编码流执行解码处理，并且输出解码图像；和
图像识别部分，对解码图像执行图像识别处理，并且
其中所述编码部分基于代表图像识别部分中的识别结果的确定性的识别准确性信息调整编码模式。
2.如权利要求1所述的图像通信设备，
其中所述图像通信设备包括图像发送设备和图像接收设备，
图像接收设备包括所述解码部分、所述图像识别部分和参数发送部分，该参数发送部分发送包括由所述图像识别部分产生的识别准确性信息的控制信息，并且
图像发送设备包括所述编码部分和接收部分，该接收部分接收所述控制信息并且将所述控制信息中所包括的识别准确性信息提供给所述编码部分。
3.如权利要求1所述的图像通信设备，
其中所述图像通信设备包括图像发送设备和图像接收设备，
图像接收设备包括所述解码部分、所述图像识别部分和参数发送部分，该参数发送部分发送包括基于由所述图像识别部分产生的识别准确性信息调整的编码模式的控制信息，并且
图像发送设备包括所述编码部分和接收部分，该接收部分接收所述控制信息并且将所述控制信息中所包括的编码模式提供给编码部分。
4.如权利要求3所述的图像通信设备，
其中所述图像发送设备还包括成像信号处理部分，该成像信号处理部分从要输入的成像信号产生所述视频信号，
所述控制信息包括用于成像信号处理部分执行以产生所述视频信号的信号处理的参数，并且
由接收部分接收的所述控制信息中所包括的参数被提供给成像信号处理部分。
5.如权利要求1所述的图像通信设备，
其中所述图像通信设备包括图像发送设备和图像接收设备，
所述图像识别部分被用作接收侧图像识别部分，
所述图像发送设备包括从要输入的成像信号产生所述视频信号的成像信号处理部分、发送侧图像识别部分和所述编码部分，
图像接收设备包括所述解码部分和所述接收侧图像识别部分，
发送侧图像识别部分对由成像信号处理部分处理的视频信号执行图像识别处理，并且向编码部分提供发送侧图像识别部分中的识别结果的确定性，作为代表接收侧图像识别部分中的识别结果的确定性的识别准确性信息，并且
编码部分基于所述识别准确性信息调整编码模式。
6.如权利要求2所述的图像通信设备，
其中所述图像发送设备被构造为包括预先给出的用于评估的图像作为所述视频信号，
编码部分对包括所述用于评估的图像的视频信号执行编码处理，
图像接收设备中的图像识别部分对与用于评估的图像对应的解码图像执行图像识别处理以获得识别准确性信息，并且
图像发送设备或图像接收设备以使获得的识别准确性信息等于预期识别准确性信息的方式调整编码模式。
7.一种图像发送设备，包括：
编码部分，基于计算的编码模式对要输入的视频信号执行编码处理，并且发送编码流；和
发送部分，将所述编码流发送给图像接收设备，并且
其中所述图像接收设备包括图像识别部分，该图像识别部分对接收的编码流执行解码处理并且对产生的解码图像执行图像识别处理，并且
编码部分基于代表图像接收设备的图像识别部分中的识别结果的确定性的识别准确性信息调整编码模式。
8.如权利要求7所述的图像发送设备，
其中所述图像接收设备被构造为发送包括由图像识别部分产生的识别准确性信息的控制信息，
图像发送设备还包括接收部分，该接收部分接收所述控制信息并且将所述控制信息中所包括的识别准确性信息提供给编码部分，并且
编码部分基于从接收部分提供的识别准确性信息调整编码模式，并且基于调整后的编码模式执行所述编码处理。
9.如权利要求7所述的图像发送设备，
其中所述图像接收设备被构造为发送包括基于由图像识别部分产生的识别准确性信息调整的编码模式的控制信息，并且图像发送设备还包括接收部分，该接收部分接收所述控制信息并且将所述控制信息中所包括的编码模式提供给编码部分，并且
编码部分基于从接收部分提供的编码模式执行所述编码处理。
10.如权利要求9所述的图像发送设备，还包括：
成像信号处理部分，从要输入的成像信号产生所述视频信号，并且
其中所述控制信息包括用于成像信号处理部分执行以产生所述视频信号的信号处理的参数，并且
由接收部分接收的所述控制信息中所包括的参数被提供给成像信号处理部分。
11.如权利要求7所述的图像发送设备，其中
所述图像识别部分被用作接收侧图像识别部分，
图像接收设备包括解码部分和所述接收侧图像识别部分，
图像发送设备包括从要输入的成像信号产生所述视频信号的成像信号处理部分、发送侧图像识别部分和所述编码部分，
发送侧图像识别部分对由成像信号处理部分处理的视频信号执行图像识别处理，并且向编码部分提供发送侧图像识别部分中的识别结果的确定性，作为代表接收侧图像识别部分中的识别结果的确定性的识别准确性信息，并且
编码部分基于所述识别准确性信息调整编码模式。
12.如权利要求8所述的图像发送设备，
其中所述图像发送设备被构造为包括预先给出的用于评估的图像作为所述视频信号，
编码部分对包括所述用于评估的图像的视频信号执行编码处理，
图像接收设备中的图像识别部分对与用于评估的图像对应的解码图像执行图像识别处理以获得识别准确性信息，并且
图像发送设备或图像接收设备以使获得的识别准确性信息等于预期识别准确性信息的方式调整编码模式。
13.如权利要求12所述的图像发送设备，还包括：
选择器，选择所述视频信号和所述用于评估的图像中的哪一个被提供给编码部分。
14.如权利要求12所述的图像发送设备，还包括：
用于识别的标记***部分，能够将所述用于评估的图像***到所述视频信号中。
15.一种图像接收设备，包括：
接收部分，接收从图像发送设备发送的编码流；
解码部分，对由接收部分接收的编码流执行解码处理，并且输出解码图像；
图像识别部分，对解码图像执行图像识别处理；和
参数发送部分，并且
其中所述编码流是在所述图像发送设备中对视频信号使用编码模式通过编码处理产生的，并且
参数发送部分发送用于基于代表图像识别部分中的识别结果的确定性的识别准确性信息调整图像发送设备中的所述编码模式的控制信息。
16.如权利要求15所述的图像接收设备，
其中所述参数发送部分发送识别准确性信息作为用于调整图像发送设备中的编码模式的所述控制信息，并且
图像发送设备基于接收的识别准确性信息调整编码模式。
17.如权利要求15所述的图像接收设备，
其中所述参数发送部分发送基于由图像识别部分产生的识别准确性信息调整的编码模式作为所述控制信息，并且
图像发送设备使用作为所述控制信息接收的编码模式执行所述编码处理。
18.如权利要求15所述的图像接收设备，
其中由参数发送部分发送的所述控制信息包括通过解码部分中的解码处理获得的解码信息或基于该解码信息产生的信息。
CN201510524774.9A 2014-08-25 2015-08-25 图像通信设备、图像发送设备和图像接收设备 Active CN105391972B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014170404A JP6357385B2 (ja) 2014-08-25 2014-08-25 画像通信装置、画像送信装置および画像受信装置
JP2014-170404 2014-08-25

Publications (2)

Publication Number Publication Date
CN105391972A true CN105391972A (zh) 2016-03-09
CN105391972B CN105391972B (zh) 2021-01-05

Family

ID=53938171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510524774.9A Active CN105391972B (zh) 2014-08-25 2015-08-25 图像通信设备、图像发送设备和图像接收设备

Country Status (5)

Country Link
US (1) US10362306B2 (zh)
EP (1) EP2990993B1 (zh)
JP (1) JP6357385B2 (zh)
KR (1) KR20160024771A (zh)
CN (1) CN105391972B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109752679A (zh) * 2017-11-06 2019-05-14 西门子保健有限责任公司 Mr***和将数据传输至mr***的数字控制装置的方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101887595B1 (ko) * 2016-11-21 2018-08-13 엔쓰리엔 주식회사 원격 제어 지원을 위한 송신기, 수신기, 그의 동작 방법, 및 원격제어 시스템
JP7148878B2 (ja) * 2017-12-18 2022-10-06 ｉ－ＰＲＯ株式会社 動画像符号化システム及び動画像符号化方法
JP6554200B1 (ja) * 2018-03-29 2019-07-31 エヌ３エヌ、カンパニー、リミテッドＮ３Ｎ Ｃｏ．，Ｌｔｄ． 遠隔制御サポートのための送信機、受信機、その動作方法、及び遠隔制御システム
JP7310148B2 (ja) * 2019-01-21 2023-07-19 日本電気株式会社 メディア符号化方法および装置
CN112118446B (zh) * 2019-06-20 2022-04-26 杭州海康威视数字技术股份有限公司 图像压缩方法及装置
JP2021106305A (ja) 2019-12-26 2021-07-26 日本電気株式会社 データ圧縮装置、モデル生成装置、データ圧縮方法、モデル生成方法及びコンピュータプログラム
WO2021152849A1 (ja) * 2020-01-31 2021-08-05 富士通株式会社 データ処理装置及びデータ処理プログラム
JP7491388B2 (ja) 2020-10-13 2024-05-28 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
WO2022130497A1 (ja) * 2020-12-15 2022-06-23 富士通株式会社 解析装置、解析方法及び解析プログラム
WO2022137463A1 (ja) * 2020-12-24 2022-06-30 富士通株式会社 符号化システム、符号化方法及び符号化プログラム
US20240236316A9 (en) * 2021-02-24 2024-07-11 Nec Corporation Information processing device, information processing method and recording medium
WO2022190203A1 (ja) * 2021-03-09 2022-09-15 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法、および、記憶媒体
JPWO2023053166A1 (zh) * 2021-09-28 2023-04-06
CN113837305B (zh) * 2021-09-29 2022-09-23 北京百度网讯科技有限公司 目标检测及模型训练方法、装置、设备和存储介质
WO2023181323A1 (ja) * 2022-03-25 2023-09-28 富士通株式会社 画像処理システム、画像処理装置、画像処理方法及び画像処理プログラム
WO2024024283A1 (ja) * 2022-07-29 2024-02-01 株式会社Ｊｖｃケンウッド 画像認識支援装置、方法及びプログラム
WO2024070190A1 (ja) * 2022-09-27 2024-04-04 パナソニックＩｐマネジメント株式会社 送受信システム、受信装置、送信装置、送受信方法、受信装置の制御方法、送信装置の制御方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100303296A1 (en) * 2009-06-01 2010-12-02 Canon Kabushiki Kaisha Monitoring camera system, monitoring camera, and monitoring cameracontrol apparatus
WO2011135776A1 (ja) * 2010-04-26 2011-11-03 パナソニック株式会社 監視カメラおよび監視システム
JP2013239995A (ja) * 2012-05-17 2013-11-28 Clarion Co Ltd 車載カメラシステム及びこれに用いる映像受信装置と映像送信装置
CN103577802A (zh) * 2012-07-19 2014-02-12 松下电器产业株式会社 图像发送装置、方法及程序、图像识别认证***及图像接收装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852669A (en) * 1994-04-06 1998-12-22 Lucent Technologies Inc. Automatic face and facial feature location detection for low bit rate model-assisted H.261 compatible coding of video
JP2001331892A (ja) * 2000-05-18 2001-11-30 Mitsubishi Electric Corp 画像認識処理方式
FR2879387B1 (fr) 2004-12-15 2007-04-27 Tdf Sa Procede de transmission a debit binaire variable a travers un canal de transmission.
JP4747975B2 (ja) 2006-07-14 2011-08-17 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
JP2010136032A (ja) * 2008-12-04 2010-06-17 Hitachi Ltd 映像監視システム
JP5232109B2 (ja) * 2009-09-09 2013-07-10 富士フイルム株式会社 画像管理装置、画像管理方法及びプログラム、ならびに撮像装置
JP2013161126A (ja) * 2012-02-01 2013-08-19 Honda Elesys Co Ltd 画像認識装置、画像認識方法および画像認識プログラム
JP5986877B2 (ja) * 2012-10-17 2016-09-06 日立マクセル株式会社 画像伝送システム
US8886011B2 (en) * 2012-12-07 2014-11-11 Cisco Technology, Inc. System and method for question detection based video segmentation, search and collaboration in a video processing environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100303296A1 (en) * 2009-06-01 2010-12-02 Canon Kabushiki Kaisha Monitoring camera system, monitoring camera, and monitoring cameracontrol apparatus
WO2011135776A1 (ja) * 2010-04-26 2011-11-03 パナソニック株式会社 監視カメラおよび監視システム
JP2013239995A (ja) * 2012-05-17 2013-11-28 Clarion Co Ltd 車載カメラシステム及びこれに用いる映像受信装置と映像送信装置
CN103577802A (zh) * 2012-07-19 2014-02-12 松下电器产业株式会社 图像发送装置、方法及程序、图像识别认证***及图像接收装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109752679A (zh) * 2017-11-06 2019-05-14 西门子保健有限责任公司 Mr***和将数据传输至mr***的数字控制装置的方法

Also Published As

Publication number Publication date
EP2990993A1 (en) 2016-03-02
KR20160024771A (ko) 2016-03-07
US20160057432A1 (en) 2016-02-25
EP2990993B1 (en) 2021-08-04
CN105391972B (zh) 2021-01-05
JP2016046707A (ja) 2016-04-04
JP6357385B2 (ja) 2018-07-11
US10362306B2 (en) 2019-07-23

Similar Documents

Publication Publication Date Title
CN105391972A (zh) 图像通信设备、图像发送设备和图像接收设备
US11671632B2 (en) Machine-learning-based adaptation of coding parameters for video encoding using motion and object detection
US9554137B2 (en) Image receiving device, image transmission system, and image receiving method
US9014268B2 (en) Video encoder and its decoder
AU2011318506B2 (en) Method and apparatus for adjusting video compression parameters for encoding source video based on a viewer&#39;s environment
US20150139500A1 (en) Method and System for Optimizing Image Processing in Driver Assistance Systems
EP2782344A1 (en) Inter-image prediction method and device and corresponding coding method and apparatus
CN104756497A (zh) 图像传送***
WO2023280558A1 (en) Performance improvements of machine vision tasks via learned neural network based filter
US9986260B2 (en) Census transform data compression methods and systems
US20220321873A1 (en) Program, device, and method for generating significant video stream from original video stream
US9374597B2 (en) Inter-image prediction method and device and corresponding encoding method and device
US11991371B2 (en) Image processing system for region-of-interest-based video compression
Donzella et al. Optimising Faster R-CNN training to enable video camera compression for assisted and automated driving systems
US20240259571A1 (en) Image processing system for region-of-interest-based video compression
KR101776910B1 (ko) 화면 생략에 의해 영상 인식속도를 향상시키는 영상 데이터 처리 시스템
CN116438798A (zh) 针对多个机器任务的学习型视频压缩和连接器
JP2021034983A (ja) 映像ストリームに影響した外的要因情報を推定するプログラム、サーバ、システム、端末及び方法
Jakhetiya et al. Lossless/near lossless compression using bilateral filter and symmetrical structure based bias cancellation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant