CN104796756A - 图像记录*** - Google Patents

图像记录*** Download PDF

Info

Publication number
CN104796756A
CN104796756A CN201510013218.5A CN201510013218A CN104796756A CN 104796756 A CN104796756 A CN 104796756A CN 201510013218 A CN201510013218 A CN 201510013218A CN 104796756 A CN104796756 A CN 104796756A
Authority
CN
China
Prior art keywords
information
image
video
subsystem
host computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510013218.5A
Other languages
English (en)
Other versions
CN104796756B (zh
Inventor
赵成峯
李成勋
蔡锡镐
金孝真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanhua Vision Co ltd
Original Assignee
Samsung Techwin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Techwin Co Ltd filed Critical Samsung Techwin Co Ltd
Publication of CN104796756A publication Critical patent/CN104796756A/zh
Application granted granted Critical
Publication of CN104796756B publication Critical patent/CN104796756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J37/00—Baking; Roasting; Grilling; Frying
    • A47J37/06—Roasters; Grills; Sandwich grills
    • A47J37/07—Roasting devices for outdoor use; Barbecues
    • A47J37/0704—Roasting devices for outdoor use; Barbecues with horizontal fire box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/309—Table of contents
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

一种图像记录***，包括：可安装在网络视频记录器(NVR)中的能够显示和处理图像的组件(诸如中央处理单元(CPU)/数字信号处理器(DSP))，使得图像记录***可被用于在具有主机CPU和多个DSP核心的嵌入式NVR/数字视频记录器(DVR)/机顶盒(SETTOP)***中实现视频概要/视频摘要技术。

Description

图像记录***
相关申请的交叉引用
本申请要求于2014年1月20日在韩国知识产权局提交的第10-2014-0006736号韩国专利申请的优先权，该申请的公开通过引用完全合并于此。
技术领域
与示例性实施例一致的设备和方法涉及一种产生视频概要(videosummary)的方法，更具体的讲，涉及一种无需单独的服务器在图像记录***(诸如网络视频记录器(NVR))中产生视频概要的方法。
背景技术
用于产生并再现视频概要图像的现有技术***包括用于发送图像的***、用于以10秒间隔发送图像的***、用于产生压缩视频概要图像的***以及用于再现压缩视频概要图像的客户机***。
视频摘要(Video Synopsis)是将长期存档视频减小为短视频概要的技术。该技术可包括跟踪并分析运动对象(例如事件)以及将视频流转换为检测到的对象和活动的数据库。摘要视频剪辑是产生的剪辑，在产生的剪辑中，最初在不同时间发生的对象和活动被同时显示。
发明内容
示例性实施例克服以上缺点和以上没有描述的其他缺点。另外，示例性实施例不需要克服上述缺点，并且示例性实施例可不克服任何上述问题。
一个或更多个示例性实施例提供了一种无需单独的服务器产生视频概要的图像记录***。图像记录***可包括或可被配置为嵌入式网络视频记录器(NVR)/数字视频记录器(DVR)/机顶盒(SETTOP)***。
根据示例性实施例的一方面，提供了一种图像记录***，包括：可安装在网络视频记录器(NVR)中的能够显示和处理图像的组件(诸如中央处理单元(CPU)/数字信号处理器(DSP))，使得图像记录***可被用于在具有主机CPU和多个DSP核心的嵌入式NVR/DVR/SETTOP***中实现视频概要(即，视频摘要)技术，而无需单独的服务器。
根据示例性实施例的一方面，提供了一种图像记录***，包括：主机***和子***。主机***包括：原始图像存储器，被配置为存储由至少一个网络相机获取的原始图像；压缩图像存储器，被配置为存储与原始图像相应的压缩视频概要图像；第一快速外设组件互联(PCIe)数据通信器，被配置为使用PCIe通信协议来在主机***内执行数据通信，并且与子***收发数据；控制器，被配置为控制原始图像存储器、压缩图像存储器、第一PCIe数据通信器以及子***的显示器。子***包括：原始视频处理器，被配置为产生从主机***接收的图像的视频概要；第二PCIe数据通信器，被配置为使用PCIe通信协议与主机***执行数据通信，在子***内执行数据通信，并且将视频概要发送到主机***；显示器，被配置为显示视频概要。
根据另一示例性实施例的一方面，提供了一种图像记录***，包括：主机***和至少一个子***，被配置为使用快速外设组件互联(PCIe)通信方法彼此通信。主机***还被配置为存储由至少一个网络相机获取的原始图像和原始图像的压缩视频概要图像。所述至少一个子***还被配置为从主机***接收原始图像，处理原始图像，并且产生与原始图像的特定时间间隔相应的视频概要。图像记录***被配置为显示视频概要，其中，视频概要包括在原始图像的特定时间间隔期间通过高级运动检测(AMD)方法检测到的对象的对象信息以及所述对象的时间信息。当在所述特定时间间隔期间在显示的视频概要的特定区域检测到多于一个对象时，所检测到的对象以叠加状态被显示在所述特定区域。
根据另一示例性实施例的一方面，提供了一种产生由图像记录***的网络相机捕获的视频的视频概要的方法，图像记录***包括被组合为单个装置的主机***和子***，所述方法包括：在主机***接收由网络相机捕获的视频；在主机***中存储由网络相机捕获的视频；使用快速外设组件互联(PCIe)通信方法将由网络相机捕获的视频从主机***发送到子***；由子***产生与由网络相机捕获的视频的特定时间间隔相应的视频概要；由子***显示视频概要。视频概要包括在所述特定时间间隔期间在由网络相机捕获的视频中检测到的至少一个对象的对象信息和时间信息。
另外方面的部分将在下面的描述中进行阐述，以及部分将从描述中是清楚的，或者可通过示例性实施例的实施被学到。
附图说明
通过下面结合附图对示例性实施例进行的描述，这些和/或其他方面将变得清楚和更易于理解，其中：
图1是根据示例性实施例的图像记录***的示意图；
图2是根据示例性实施例的图像记录***的内部框图；
图3是根据示例性实施例的原始视频图像的示例的示图；
图4是根据示例性实施例的显示在图像记录***的显示器上的原始视频图像的对象信息列表的表；
图5是根据示例性实施例的在作为图像记录***的示例的嵌入式网络视频记录器(NVR)***中产生视频概要的方法的流程图；
图6是根据示例性实施例的压缩图像流的框图；
图7和图8是示出根据示例性实施例的在子***中的原始视频处理器产生简短概要的方法的流程图；
图9至图14是原始视频图像的示例性实施例的示图，其中，在原始视频图像的特定区域中至少一次检测到相同或不同的对象。
具体实施方式
现在将参照附图对特定示例性实施例进行更加详细地描述。
在以下描述中，尽管在不同附图中，相同的标号始终表示相同的元件。对此，示例性实施例可具有不同形式并且不应被解释为限于这里阐述的描述。因此，以下仅通过参照附图来描述示例性实施例以解释本发明的各方面。另外，由于公知功能或构造将在不必要的细节上模糊示例性实施例，因此不对公知功能或构造进行详细描述。
在下述示例性实施例中，诸如“第一”和“第二”的术语并不意图限制示例性实施例的范围，而是意图将一个组件与另一组件区分开。此外，除非另有明确说明，否则单数表达包括复数表达。另外，诸如“包括”和“具有”的术语并不排除添加一个或更多个其它特征或功能的可能性。
相反，提供这些示例性实施例使得此公开将是彻底和完整的，并将把本发明的范围充分传达给本领域的普通技术人员。为了解释方便，可放大附图中的组件的尺寸。换句话说，由于为了解释方便可任意示出附图中的组件的尺寸和厚度，因此以下示例性实施例不限于此。
图1是根据示例性实施例的图像记录***的示意图。参照图1，图像记录***包括相机10、主机***20、子***30和存储装置40。为了描述方便，图1中显示的图像记录***仅包括与本示例性实施例相关的组件。然而，本领域的普通技术人员将容易地理解，除了图1中显示的组件之外，图像记录***也可包括其他通用组件。
相机10可捕获监控区域的图像。相机10可对获得的图像编码并将编码后的图像发送到主机***20。相机10还可获得监控区域的音频并产生音频信号以及图像，并且产生元数据。相机10可将图像、音频信号和元数据发送到主机***20。尽管图1仅显示一个相机10，但是图像记录***可包括多个相机10。以下将参照图3对相机10的详细配置进行更加详细地描述。
主机***20可从相机10获得图像信号。根据一个示例，主机***20可通过网络15从相机10获得图像信号。根据另一示例，主机***20通过串行总线(未示出)从相机10获得图像信号。根据另一示例，主机***20可通过线缆(未示出)从相机10获得图像信号。然而，主机***20获得图像信号的方法不限于以上示例。
主机***20可包括中央处理单元(CPU)。主机***20支持串行总线协议。串行总线协议包括快速外设组件互联(PCIe)。PCIe协议是允许使用2.5Gbps的差分信号并且支持达到80Gbps的各种速度的高速串行总线标准。主机***20管理在相机10、子***30和存储装置40之间的信号和数据的发送和接收。
根据示例性实施例的图像记录***可以是松散耦合***。在本示例性实施例中，主机***20和子***30可分别具有独立的操作***，并且包括在主机***20和子***30的每个中的处理器可独立地操作。这样，主机***20可将数据分配给子***30来处理以便减小其计算数据负荷。
当主机***20将数据发送到子***30/从子***30接收数据时，主机***20基于串行总线协议操作。例如，主机***20根据PCIe协议将数据发送到子***30/从子***30接收数据(即收发数据)。当主机***20将数据发送到存储装置40/从存储装置40接收数据时，主机***20可基于串行总线协议操作。例如，主机***20可根据PCIe协议将数据发送到存储装置40/从存储装置40接收数据。
图像记录***包括至少一个子***30。例如，子***30包括第一子***31和第二子***32。每个子***30包括从主机***20接收数据或者将数据发送到主机***20的串行总线接口。串行总线接口允许每个子***30中处理的数据的格式与串行总线协议兼容。串行总线接口可以是支持PCIe协议的PCIe接口。
每个子***30可从主机***20接收图像信号并且处理图像信号。每个子***30可对应于至少一个处理器并且可具有至少一个处理器。
每个子***30可通过使用不同的方法来处理图像。每个子***30可被包括在另一硬件装置(诸如微处理器和通用计算机***)中。
根据示例性实施例，子***30可被分为用于实时图像处理的子***和用于图像搜索和再现的子***。
此外，网络视频记录器(NVR)中的图像接收信道的数量可以是16、32、64、124个信道等。因此，在示例性实施例中，子***30的数量可随着图像接收信道的数量增加而增加。
每个子***30可被实现为数字信号处理器(DSP)、具有特定功能的专用集成电路(ASIC)以及片上***(SoC)。每个子***30与主机***松散耦接。
存储装置40可从主机***20接收图像信号并且存储图像信号。例如，主机***20可将从相机10获得的图像信号发送到存储装置40，并且存储装置40可存储图像信号。此时，图像信号可以以由相机10编码的状态被存储在存储装置40中。在本示例性实施例中，主机***20还可从相机10获得音频信号和元数据以便将音频信号和元数据发送到存储装置40。因此，存储装置40可存储音频信号、图像信号和元数据。
根据另一示例性实施例，主机***20可将从子***30获得的数据存储在存储装置40中。从子***30获得的数据可以是例如解码状态的图像信号。主机***20可从子***30获得解码后的图像信号并将图像信号发送到存储装置40。存储装置40可获得并存储解码后的图像信号。
根据另一示例性实施例，存储装置40可被集成在主机***20中，或者可以是主机***20外部的单独装置。
从子***30获得的数据可还包括音频信号和元数据。存储装置40可存储解码后的图像信号、音频信号和元数据。
图2是根据示例性实施例的图像记录***200的内部框图。
图像记录***200可以是嵌入式***。因此，主机***220和至少一个子***230、231可被集成在图像记录***200的单个装置中。根据示例性实施例，一个或更多个子***230、231可对从主机***220接收的原始视频图像执行解码、重采样、缩放。
主机***220可从网络相机210接收视频流并存储该视频流，并且还具有存储和控制从网络相机210接收的视频数据的功能。来自主机***220的视频数据可通过第一PCIe数据通信单元225被发送到一个或更多个子***230、231。
一个或更多个子***230、231可将从主机***220接收的视频信号输出到解码器233、重采样器234、缩放器235以对图像解码、重采样和缩放，在对图像解码、重采样和缩放之后输出到显示器237，或者可在对图像进行解码和重采样之后将图像发送到原始视频处理器236。
原始视频处理器236可通过设置信息等产生压缩的图像，并且可通过第二PCIe数据通信单元232将压缩的图像发送到主机***220。
主机***220可以以特定文件格式存储从子***230、231接收的压缩的图像，并且根据再现控制方法(诸如前向再现或后向再现)读取特定文件格式的压缩的图像。随后，主机***220可通过第一PCIe数据通信单元225和第二PCIe数据通信单元232将特定文件格式的压缩的图像发送到子***230、231。一个或更多个子***230、231可将接收的特定文件格式的压缩的图像(诸如视频帧)输出在显示器237上。
以下对主机***220和一个或更多个子***230、231进行更加详细地描述。此外，为了方便，以下对子***230的示例进行更加详细地描述。
根据示例性实施例，主机***220包括图像接收器221、控制器222、原始图像存储器223、压缩图像存储器224、第一PCIe数据通信单元225和子***管理器226。
包括有原始图像存储器223的主机***220可从网络相机210接收视频流并存储视频流。
参照图5，图像接收器221从网络相机210接收图像(S510)，并将图像存储在主机***的原始图像存储器223中(S511)。网络相机210可以以60FPS将高分辨率全HD图像发送到图像接收器221。然而，由于需要相对高性能处理器采用视频概要算法来处理这种数量的高清晰图像帧，因此现有技术的网络相机不适合被配置为嵌入式***。
因此，根据示例性实施例，通过在子***中对输入图像进行解码来产生原始图像(S512)，以特定间隔对原始图像帧进行重采样(S514)，将原始图像帧缩放为能够被原始视频处理器236处理的范围内的图像尺寸(参照图2)(S516)并且产生视频概要(S518)。
利用视频概要功能将所述产生的视频概要用于通过使用设置信息来产生压缩的图像，并且压缩的图像被存储在主机***的压缩图像存储器224中(S520)。其后，由子***中的显示器再现并显示存储的图像(S530)。
第一PCIe数据通信单元225可基于PCIe通信方法在主***520中执行数据通信，并将数据发送到一个或更多个子***230、231/从一个或更多个子***230、231接收数据。
子***管理器226可管理与连接到主***220的子***的数据传输。子***管理器226可根据控制器222的命令将数据发送到子***或者从子***获得数据。子***管理器226可注册新的子***并建立与主***220的连接。此外，子***管理器226可终止主***220和子***之间的连接。
子***管理器226可根据PCIe方法将数据发送到子***/从子***接收数据。子***管理器226可存储并管理子***信息。控制器222包括原始图像存储器223、压缩图像存储器224、第一PCIe数据通信单元225和子***管理器226。
子***230包括第二PCIe数据通信单元232、解码器233、重采样器234、缩放器235、原始视频图像单元236和显示器237。
第二PCIe数据通信单元232可将原始视频图像发送到主机***220，并且可将数据发送到子***230/从子***230接收数据。
原始视频图像单元236产生从主机***220接收的图像的原始视频图像。解码器233、重采样器234和缩放器235可对接收的图像执行视频图像处理的功能。由于这些功能对于本领域普通技术人员是公知的，因此在这里不对这些功能进行更加详细地描述。
原始视频处理器236可从自主机***220接收的图像检测图像帧和时间信息，并且产生压缩的图像帧。原始视频处理器236可从图像帧检测背景信息，并且通过高级运动检测(AMD)方法检测显著运动。其后，原始视频处理器236可从显著运动信息检测对象信息。
该对象信息包括人或物的所有特征信息。作为示例，在车辆的情况下，所有信息(诸如车辆类型(客车、公交车或卡车等))、车辆颜色和车辆号码)可被包括在对象信息和特征信息中。
显著运动可指人、车辆或特定对象的运动，或指特定区域中的特定对象的运动。例如，风中摇摆的树叶的运动或天空中云的运动不被视为显著运动。
显示器237可显示产生的视频概要。
图3显示根据示例性实施例的视频概要的示例。
视频概要是包括具有输入图像的不同时间信息的对象信息的图像，并且被显示在屏幕上。根据示例性实施例，原始视频处理器236(参照图2)在输入图像的特定时间范围内收集所有对象信息以产生视频概要(S310)，并且将收集的信息显示在短时间图像上(S320)。
短时间图像(S320)包括：包括出现在不同时间的对象301、302、303、304、305、306、307和308的事件信息以及屏幕上显示的对象的时间信息。例如，如图3所示，时间“9：29”被显示为靠近对象301。
图4是根据示例性实施例的显示在图像记录***的显示器上的视频概要的对象信息列表的图表。
根据本示例性实施例，对象信息列表可包括每个对象的时间信息、每个对象的位置信息、每个对象的颜色信息以及每个对象的尺寸信息或用户输入信息。
可分别对应于图3中显示的视频概要中的每个对象301、302、303和304产生图4中显示的对象信息列表401、402、403和404。
此外，在视频概要中，对象信息列表可包括对应于叠加对象(overlay object)的时间线形式的每个对象的出现时间(entry time)，并且可支持能够增加用户输入信息的界面。
根据示例性实施例，当几个对象叠加在特定区域中时，用户可使用界面从如图4所示的对象信息列表选择用户想要查看的对象。此外，用户可移动到选择的对象被存储处的原始图像的频道和时间，并且可通过使用选择的对象的信息来再现原始图像。
例如，当用户想要查看图3中显示的对象302时，用户可从对象信息列表中选择09：32的对象列表，并且通过移动到原始图像中的09：32的对象来再现原始图像。
根据本示例性实施例，对象信息列表可将对象信息划分为时间单元，并可同时描述每个对象的信息和特征，以区分在相同的对象出现时间叠加的对象。
图5是用于描述根据示例性实施例的在作为图像记录***的示例的嵌入式网络视频记录器(NVR)***中产生视频概要的方法的流程图。
图像接收器221从网络相机接收图像(S510)，并将图像存储在主机***的原始图像存储器中(S511)。
网络相机可以以60FPS将高分辨率全HD图像发送到图像接收器221。然而，由于需要相对高性能处理器采用视频概要算法来处理这种数量的高清晰度图像帧，因此现有技术中的网络相机不适合被配置有嵌入式***。
因此，在本示例性实施例中，通过在子***中对输入图像进行解码来产生原始图像(S512)，原始图像帧以特定时间间隔被重采样(S514)，原始图像帧被缩放为能够被原始视频处理器236处理的范围内的图像尺寸(参照图2)(S516)，并且视频概要被产生(S518)。
经由视频概要功能将视频概要用于创建通过使用设置信息而获得的压缩的图像，并且压缩的图像被存储在主机***的压缩图像存储器中(S520)。其后，经由子***中的显示器来再现和显示存储的图像(S530)。
图6是根据示例性实施例的压缩的图像流的框图。
压缩的图像流可包括视频帧头信息610、630和压缩帧620。视频帧头信息630可包括元数据，其中，元数据包括压缩时间、信道、图像压缩条件、编解码器、分辨率、帧率、压缩图像整体帧数以及由用户另外输入的描述信息。
图7是用于描述根据示例性实施例的子***中的原始视频处理器的操作的流程图。
当接收到输入图像时(S710)，原始视频处理器通过使用AMD方法来检测背景信息和显著运动事件信息。其后，原始视频处理器从运动事件信息检测对象信息(S720)。对象信息包括对象的特征信息和时间信息。此外，对象的每条信息可被划分为唯一ID和时间(S730)。
对象信息包括人类、车辆和动物。特征信息包括对象的颜色、尺寸和区域信息。原始视频处理器利用元数据来配置对象信息，并且元数据被存储在单独的对象信息数据库中(S732)。
其后，通过制作背景图像和对象图像来产生压缩的图像帧(S740)，并且通过使用元数据对压缩的图像帧进行编码来产生图像帧(S750)。
图8是用于描述根据示例性实施例的子***中的原始视频处理器的操作的流程图。
图像接收器从网络相机接收实时图像(S810)，并将图像存储在主机***的原始图像存储器中(S811)。在这种情况下，图像接收器从实时图像信息中检测AMD信息，并将图像连同事件产生信息存储在原始图像存储器223中(参照图2)(S811)。
其后，由用户输入用于制作压缩视频概要图像的信道和时间范围(S820)。
此外，用户可设置特定AMD事件信息以及与特定AMD事件产生区域和特定AMD事件产生频率相应的阈值(S817)。在这种情况下，仅将存储的图像中的与由用户设置的阈值匹配的图像时间和AMD事件发送到原始视频处理器。其结果是，视频概要产生时间可被减少。其后，根据预定条件采用AMD方法(S818)，并且通过检测运动事件信息产生AMD事件(S819)。
子***对输入图像进行解码并且产生原始图像(S812)，并且以特定间隔对原始图像的帧进行重采样。
通过在子***中对输入图像进行解码来产生原始图像(S812)，以特定时间间隔对原始图像帧进行重采样(S814)，原始图像帧被缩放为能够被原始视频处理器236处理的范围内的图像尺寸(参照图2)(S816)，并且视频概要被产生(S830)。
产生的视频概要被压缩并发送到主***220的压缩图像存储器224(参照图2)并被存储在压缩图像存储器224中(S840)。主***220可包括压缩图像再现单元(在图2中未显示)。
压缩图像再现单元可分析存储在压缩图像存储器224中的压缩视频概要图像，并响应于输入的再现控制将帧输出在屏幕上(S850)。对象信息可与屏幕的图像帧中的对象同时输出在屏幕上或者可被单独显示在屏幕上。
当几个对象叠加在特定区域时，用户可从对象信息列表选择用户想要查看的对象。用户移动到所选择的对象被存储处的原始图像的信道和时间，并且通过使用所选择的对象的信息来再现原始图像。
图9显示根据示例性实施例的视频概要，其中，几个对象叠加在特定区域。
根据示例性实施例，用户在特定信道提供特定时间间隔期间拍摄的视频图像的视频概要。在这种情况下，在视频图像的特定时间范围的所有对象和时间信息被显示在视频概要900上。当在特定区域检测到几个对象时，这几个对象以叠加状态被显示在视频概要显示中。
根据示例性实施例，当对象在特定时间间隔期间在特定区域内移动时，对象的第一检测点被存储在视频概要中。
参照图9，在第一检测点910附近检测到4个对象(即，用户1、用户2、用户3、用户4)。也就是，在08：21检测到用户1，在08：29检测到用户2，在08：41检测到用户3，在08：49检测到用户3。
另外，在第二检测点920附近检测到3个对象(即，用户8、用户5和用户6)。也就是，在08：01检测到用户8，在08：33检测到用户5，在08：51检测到用户6。
此外，在第三检测点930附近检测到2个对象(即，用户7和用户1)。也就是，在08：41检测到用户7，在08：51检测到用户1。在这种情况下，在08：21在第一检测点910附近检测到用户1，在08：51在第三检测点930附近再次检测到用户1。换句话说，在第一时间在特定区域检测到用户1，在用户1离开该特定区域之后，在第二时间在该特定区域再次检测到用户1。
此外，在08：49在第四检测点940附近检测到用户9(也就是，一个对象)，在08：41在第五检测点950附近检测到用户10(也就是，一个对象)。
图10显示根据示例性实施例的在几个对象叠加在特定区域的情况下向用户显示对象列表的视频概要的示例。
根据示例性实施例，当几个对象叠加在特定区域时，对象的数量可被显示在特定区域。参照图10，用户可从指示符911、921和931理解几个对象被叠加。指示符911、921和931可覆盖在特定区域910、920和930，或者被显示在每个特定区域910、920和930附近的区域中。
例如，“④”可被显示在第一检测点910上，“③”可被显示在第二检测点上，“②”可被显示在第三检测点930上。
根据示例性实施例，当用户触摸或选择叠加有对象的区域或者当用户选择指示符911、921和931时，叠加对象可被显示在屏幕上。
例如，当用户选择特定区域时，可以以二维或三维缩略图的形式或以分级列表、全景画图标、圆形和多面体中的至少一个的形式显示通过被叠加在屏幕上而显示的每个对象的时间信息和图像信息。
图10中显示的示例性实施例示出显示叠加对象的方法。
根据示例性实施例，可如图4所示显示视频概要的对象信息列表。
根据另一示例性实施例，当用户触摸或选择叠加对象时，可将叠加对象的信息列表显示在屏幕上。在这种情况下，可以以如图4所示的图表的形式显示叠加对象的信息列表。
根据示例性实施例，可以以横向扩展显示器913、923的平面形式或以纵向扩展显示器933的平面形式显示对象的信息列表。可以以具有无限数量的平面的三维形式913、923来显示对象的信息列表。三维形式可以是多面体，并且相应的对象信息可被显示在多面体的每个表面上。在这种情况下，对象信息可显示对象的图像、对象的位置信息、对象出现时的时间信息、对象的特征信息和任何其他信息中的至少一个或更多个。
当对象的信息列表被显示在多面体上时，叠加对象可被分别显示在多面体的每个表面上。
图11中显示的示例性实施例示出以图表形式显示的对象列表的示例。在这种情况下，可基于用户的选择按照叠加对象的增加数量的顺序将对象列表显示在屏幕上。
例如，对象列表的顺序如下。叠加了4个对象的第一检测点(42.24.80.120)910的信息可在图表的顶部列出。叠加了3个对象的第二检测点(42.24.80.130)920的信息可在第一检测点的信息下列出。接下来，叠加了2个对象的第三检测点(52.24.81.140)930的信息可在第二检测点的信息下列出。
图12显示根据示例性实施例的基于时间排列的视频概要的另一示例。当用户请求08：00～09：00时间间隔的视频概要时，视频概要信息可以以时间顺序被列出。其后，通过在对象各自的特定时间显示对象来显示摘要视频。
图13显示根据示例性实施例的基于时间排列的视频概要的另一示例。视频概要显示时间线，并且还将检测到的对象信息显示在时间线上。在这种情况下，当在特定时间检测到一个或更多个对象时，视频概要可在多个相应的特定时间显示每个对象信息。此外，可以以缩略图的形式显示检测到的每个对象的图像。此外，检测到的对象信息可同时显示在屏幕上。
图14显示根据示例性实施例的以时间顺序的视频概要的另一示例。在图13中，视频概要被显示在时间线上，并且在特定时间没有检测到对象的时间线部分是空的。
与图13不同，图14中显示的视频概要不是空的。相反，视频概要基于每个事件被检测到时的时间顺序来显示视频概要。当如图14所示以当检测到事件时的时间顺序显示视频概要时，能够以三维形式显示视频概要。在图14中，以横向扩展显示器的形式显示视频概要。应该注意，也可以纵向扩展显示器、多面体显示器或多维显示器的形式对视频概要进行变形和显示。
如上所述，根据以上示例性实施例中的一个或更多个，图像记录***无需单独的服务器在NVR中产生原始视频图像。此外，在原始视频图像中，图像记录***产生时间线形式的与叠加对象相应的每个对象的出现时间的列表，并且支持能够增加用户的意见或注释的界面。因此，即使在相同的对象出现时间重复地叠加对象，也可清楚地区分叠加对象。
此外，也能够通过用于控制至少一个处理元件实现任何上述示例性实施例的介质(诸如，计算机可读介质)中/上的计算机可读代码/指令来实现其他示例性实施例。介质能够对应于允许计算机可读代码的存储和/或传输的任何介质/媒介。
可以以各种方式在介质上记录/传送计算机可读代码，其中，介质的示例包括记录介质，诸如磁存储介质(例如，ROM、软盘、硬盘等)和光记录介质(例如，CD-ROM或DVD)以及传输介质(例如，互联网传输媒介)。因此，介质可以是根据一个或更多个示例性实施例的包括或携带信号或信息的这种经定义且可测量的结构，诸如携带比特流的装置。媒介也可以是分布式网络，从而计算机可读代码以分布式方式被存储/传送和执行。此外，处理元件可包括至少一个处理器或计算机处理器，并且处理元件可分布和/或包括在单个装置中。应该理解，这里描述的示例性实施例应该仅被认为是描述意义的，而不是限制的目的。每个示例性实施例内的特征或方面的描述应一般认为可用于其他示例性实施例的其他类似特征或方面。
应该理解，这里描述的示例性实施例应该被认为仅是描述意义的，而不是限制的目的。每个示例性实施例内的特征或方面的描述应一般认为可用于其他示例性实施例的其他类似特征或方面。
虽然已经参照附图描述了一个或更多个示例性实施例，但本领域的普通技术人员应该理解，在不脱离所附权利要求书限定的发明构思的精神和范围的情况下进行形式和细节上的各种改变。

Claims (20)

1.一种图像记录***，包括：
主机***和子***，
其中，主机***包括：
原始图像存储器，被配置为存储由至少一个网络相机获取的原始图像；
压缩图像存储器，被配置为存储与原始图像相应的压缩视频概要图像；
第一PCIe数据通信器，被配置为使用PCIe通信协议在主机***内执行数据通信，并与子***收发数据；
控制器，被配置为控制原始图像存储器、压缩图像存储器、第一PCIe数据通信器以及子***的显示器，
其中，子***包括：
原始视频处理器，被配置为产生从主机***接收的图像的视频概要；
第二PCIe数据通信器，被配置为使用PCIe通信协议与主机***执行数据通信，在子***内执行数据通信，并将视频概要发送到主机***；
显示器，被配置为显示视频概要。
2.如权利要求1所述的图像记录***，其中，原始视频处理器还被配置为从压缩视频概要图像分离包括视频帧信息和对象信息的元数据。
3.如权利要求1所述的图像记录***，其中，显示器还被配置为在视频概要中显示每个对象的对象信息列表，其中，所述对象信息列表包括以下信息中的至少一个：每个对象的时间信息、每个对象的位置信息、每个对象的颜色信息、每个对象的尺寸信息、用户输入信息。
4.如权利要求3所述的图像记录***，其中，对象信息列表还包括每个对象的出现时间的列表，其中，该列表以时间线的形式被显示并支持能够接收用户输入信息的界面。
5.如权利要求1所述的图像记录***，其中，控制器是CPU。
6.如权利要求1所述的图像记录***，其中，主机***被配置为将数据分配给子***以减小主机***的计算数据负荷。
7.如权利要求1所述的图像记录***，其中，子***被配置为通过从多个不同的图像处理方法之中所选择的图像处理方法来处理图像信号。
8.如权利要求1所述的图像记录***，其中，图像记录***是嵌入式***，主机***和子***被集成在图像记录***的单个装置中。
9.一种图像记录***，包括：
主机***和至少一个子***，被配置为使用PCIe通信方法彼此通信，
其中，主机***还被配置为存储由至少一个网络相机获取的原始图像和原始图像的压缩视频概要图像，
其中，所述至少一个子***还被配置为从主机***接收原始图像，处理原始图像，并产生与原始图像的特定时间间隔相应的视频概要，
其中，图像记录***被配置为显示视频概要，其中，视频概要包括在原始图像的所述特定时间间隔期间通过高级运动检测方法检测到的对象的对象信息以及所述对象的时间信息，
当在所述特定时间间隔期间在显示的视频概要的特定区域检测到多于一个对象时，所检测到的对象以叠加状态被显示在所述特定区域。
10.如权利要求9所述的图像记录***，其中，显示的视频概要包括在所述特定时间间隔期间使用高级运动检测方法检测到的所有对象以及每个对象的检测时间信息。
11.如权利要求9所述的图像记录***，其中，当在所述特定区域检测到多于一个对象时，通过使用覆盖显示方法，显示检测到的对象的数量的指示符被显示在所述特定区域和所述特定区域附近的区域之一。
12.如权利要求9所述的图像记录***，其中，当在所述特定区域检测到多于一个对象时，每个检测到的对象的时间信息和图像信息以叠加状态被显示在所述特定区域。
13.如权利要求12所述的图像记录***，其中，当用户选择所述特定区域时，每个检测到的对象的时间信息和图像信息被显示为二维缩略图或三维缩略图，并以分级列表、全景画图标、圆形和多面体中的至少一个的形式被显示。
14.如权利要求13所述的图像记录***，其中，缩略图包括对象的图像信息、对象的对象信息以及与对象出现时的时间相应的时间信息，
其中，对象信息包括对象的颜色信息、对象的尺寸信息和对象的区域信息中的至少一个。
15.如权利要求9所述的图像记录***，其中，当在所述特定区域检测到多于一个对象时，在用户选择所述特定区域时，所有检测到的对象以时间线形式被显示。
16.如权利要求13所述的图像记录***，其中，当所有检测到的对象以多面体的形式被显示时，每个检测到的对象以叠加状态被显示在多面体的每个表面上。
17.如权利要求9所述的图像记录***，其中，与所述特定时间间隔相应的视频概要包括：以从当事件被产生时的时间开始的时间顺序显示的在所述特定时间间隔期间通过高级运动检测方法检测到的事件信息。
18.一种产生由图像记录***的网络相机捕获的视频的视频概要的方法，其中，图像记录***包括被组合为单个装置的主机***和子***，所述方法包括：
在主机***接收由网络相机捕获的视频；
在主机***中存储由网络相机捕获的视频；
使用PCIe通信方法将由网络相机捕获的视频从主机***发送到子***；
由子***产生与由网络相机捕获的视频的特定时间间隔相应的视频概要；
由子***显示视频概要，
其中，视频概要包括在所述特定时间间隔期间在由网络相机捕获的视频中检测到的至少一个对象的对象信息和时间信息。
19.如权利要求18所述的方法，其中，使用高级运动检测方法检测所述至少一个对象。
20.如权利要求19所述的方法，其中，响应于在显示的视频概要的特定区域检测到多于一个对象，通过使用叠加显示方法，检测到的对象被显示在显示的视频概要的所述特定区域。
CN201510013218.5A 2014-01-20 2015-01-09 图像记录*** Active CN104796756B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140006736A KR102070924B1 (ko) 2014-01-20 2014-01-20 영상 기록 시스템
KR10-2014-0006736 2014-01-20

Publications (2)

Publication Number Publication Date
CN104796756A true CN104796756A (zh) 2015-07-22
CN104796756B CN104796756B (zh) 2019-08-20

Family

ID=53545923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510013218.5A Active CN104796756B (zh) 2014-01-20 2015-01-09 图像记录***

Country Status (3)

Country Link
US (1) US9667908B2 (zh)
KR (1) KR102070924B1 (zh)
CN (1) CN104796756B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108351965A (zh) * 2015-09-14 2018-07-31 罗技欧洲公司 视频摘要的用户界面
CN108833967A (zh) * 2018-07-06 2018-11-16 江西洪都航空工业集团有限责任公司 一种基于视频的快速切片方法
CN108881119A (zh) * 2017-05-12 2018-11-23 华为技术有限公司 一种视频浓缩的方法、装置和***
CN110278483A (zh) * 2018-03-13 2019-09-24 联发科技股份有限公司 图像处理方法和相关的图像处理装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10090020B1 (en) * 2015-06-30 2018-10-02 Amazon Technologies, Inc. Content summarization
KR102556393B1 (ko) * 2016-06-30 2023-07-14 주식회사 케이티 영상 축약 시스템 및 방법
KR102618404B1 (ko) 2016-06-30 2023-12-26 주식회사 케이티 영상 축약 시스템 및 방법
JP6740539B2 (ja) * 2016-11-07 2020-08-19 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US20180150698A1 (en) 2017-01-09 2018-05-31 Seematics Systems Ltd System and method for collecting information about repeated behavior
US10521699B2 (en) * 2017-10-12 2019-12-31 Lawrence Livermore National Security, Llc Multi-scale deep learning system
KR102362513B1 (ko) * 2017-12-04 2022-02-14 주식회사 케이티 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말
US20200036909A1 (en) * 2018-07-27 2020-01-30 BriefCam Ltd. System and method allowing simultaneous viewing of live and recorded video content

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1633692A (zh) * 2002-02-14 2005-06-29 皇家飞利浦电子股份有限公司 视频内容正向和反向扫描时的图像概要
CN1795506A (zh) * 2003-05-26 2006-06-28 皇家飞利浦电子股份有限公司 用于产生视听节目内容的视听概要的***和方法
EP1819169A2 (en) * 2006-02-13 2007-08-15 Sony Corporation Transmitting and receiving system apparatus and method
CN101553814A (zh) * 2006-11-14 2009-10-07 皇家飞利浦电子股份有限公司 用于产生视频数据流摘要的方法和设备
CN101729838A (zh) * 2009-12-24 2010-06-09 中国航空工业集团公司第六三一研究所 一种图像记录***

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7702015B2 (en) * 2003-03-20 2010-04-20 Ge Security, Inc. Systems and methods for multi-resolution image processing
KR20060028307A (ko) 2004-09-24 2006-03-29 주식회사 케이티 실시간 개인형 동영상 요약 시스템 및 그의 동영상 요약정보 생성 장치 및 그 방법과 맞춤형 동영상 요약 정보제공 장치 및 그 방법
US8949235B2 (en) * 2005-11-15 2015-02-03 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Methods and systems for producing a video synopsis using clustering
US8311277B2 (en) 2007-02-01 2012-11-13 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for video indexing and video synopsis
US20110075042A1 (en) * 2009-09-30 2011-03-31 Dongjian Wang Method and System for Advanced Motion Detection and Decision Mechanism for a Comb Filter in an Analog Video Decoder
US8643746B2 (en) 2011-05-18 2014-02-04 Intellectual Ventures Fund 83 Llc Video summary including a particular person
US8869198B2 (en) 2011-09-28 2014-10-21 Vilynx, Inc. Producing video bits for space time video summary
US9661106B2 (en) * 2013-12-04 2017-05-23 Facebook, Inc. Uploading and transcoding media files
KR102170694B1 (ko) * 2014-07-07 2020-10-27 한화테크윈 주식회사 비디오써머리를 제공하는 영상재생장치 및 영상재생장치에서 비디오써머리를 제공하는 방법
KR102170693B1 (ko) * 2014-07-18 2020-10-27 한화테크윈 주식회사 영상재생장치 및 영상재생장치에서 영상정보 제공 방법
US9313556B1 (en) * 2015-09-14 2016-04-12 Logitech Europe S.A. User interface for video summaries

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1633692A (zh) * 2002-02-14 2005-06-29 皇家飞利浦电子股份有限公司 视频内容正向和反向扫描时的图像概要
CN1795506A (zh) * 2003-05-26 2006-06-28 皇家飞利浦电子股份有限公司 用于产生视听节目内容的视听概要的***和方法
EP1819169A2 (en) * 2006-02-13 2007-08-15 Sony Corporation Transmitting and receiving system apparatus and method
CN101553814A (zh) * 2006-11-14 2009-10-07 皇家飞利浦电子股份有限公司 用于产生视频数据流摘要的方法和设备
CN101729838A (zh) * 2009-12-24 2010-06-09 中国航空工业集团公司第六三一研究所 一种图像记录***

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108351965A (zh) * 2015-09-14 2018-07-31 罗技欧洲公司 视频摘要的用户界面
CN108351965B (zh) * 2015-09-14 2022-08-02 罗技欧洲公司 视频摘要的用户界面
CN108881119A (zh) * 2017-05-12 2018-11-23 华为技术有限公司 一种视频浓缩的方法、装置和***
CN108881119B (zh) * 2017-05-12 2021-02-12 华为技术有限公司 一种视频浓缩的方法、装置和***
CN110278483A (zh) * 2018-03-13 2019-09-24 联发科技股份有限公司 图像处理方法和相关的图像处理装置
CN108833967A (zh) * 2018-07-06 2018-11-16 江西洪都航空工业集团有限责任公司 一种基于视频的快速切片方法

Also Published As

Publication number Publication date
US20150208021A1 (en) 2015-07-23
US9667908B2 (en) 2017-05-30
CN104796756B (zh) 2019-08-20
KR20150086723A (ko) 2015-07-29
KR102070924B1 (ko) 2020-01-29

Similar Documents

Publication Publication Date Title
CN104796756A (zh) 图像记录***
US9406342B2 (en) Imaging apparatus and method of providing imaging information
US9392218B2 (en) Image processing method and device
CN101606384B (zh) 图像处理装置、运动图像再现装置及其处理方法
US20170110155A1 (en) Automatic Generation of Video and Directional Audio From Spherical Content
CN100568984C (zh) 图像数据生成装置和再生该数据的图像数据再生装置
US20190051127A1 (en) A method and apparatus for conducting surveillance
WO2015134537A1 (en) Generation of video based on spherical content
CN105323657B (zh) 提供视频摘要的成像设备和方法
US20180103197A1 (en) Automatic Generation of Video Using Location-Based Metadata Generated from Wireless Beacons
JP6860485B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
KR20110072846A (ko) 감시 카메라 장치 및 영상 데이터 처리 방법
JP2018129790A (ja) 録画したビデオを再生するための方法およびシステム
CN102204248B (zh) 视频数据处理方法、视频图像展示方法和装置
WO2012040115A1 (en) Virtual video capture device
US20180213185A1 (en) Method and system for monitoring a scene based on a panoramic view
JP6203188B2 (ja) 類似画像検索装置
JP4504452B1 (ja) 映像視聴装置及び映像再生制御方法及び記録再生用プログラム
KR20140106161A (ko) 콘텐츠 재생 방법 및 장치
US20190005133A1 (en) Method, apparatus and arrangement for summarizing and browsing video content
CN104113729A (zh) 一种同时支持两路音频输入的监听***和监听方法
JP5484132B2 (ja) 映像処理装置及びその制御方法
EP4084481A1 (en) Transmission device and receiving device
KR101906947B1 (ko) 다채널 멀티 재생 시스템 및 방법
CN208424594U (zh) 车载网络直播***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Gyeongnam Changwon City, South Korea

Applicant after: HANWHA TECHWIN Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: Samsung Techwin Co.,Ltd.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: SAMSUNG TAI KEWEI CO., LTD. TO: HANWHA TECHWIN CO., LTD.

Free format text: CORRECT: ADDRESS; FROM:

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Gyeongnam Changwon City, South Korea

Applicant after: HANWHA AEROSPACE Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: HANWHA TECHWIN Co.,Ltd.

TA01 Transfer of patent application right

Effective date of registration: 20190228

Address after: Gyeonggi Do city of South Korea

Applicant after: HANWHA TECHWIN Co.,Ltd.

Address before: Gyeongnam Changwon City, South Korea

Applicant before: HANWHA AEROSPACE Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Gyeonggi Do city of South Korea

Patentee after: Hanhua Vision Co.,Ltd.

Address before: Gyeonggi Do city of South Korea

Patentee before: HANWHA TECHWIN Co.,Ltd.