WO2017204598A1 - 촬영된 영상에 관한 데이터 프로토콜을 설정하는 단말기 및 방법 - Google Patents

촬영된 영상에 관한 데이터 프로토콜을 설정하는 단말기 및 방법 Download PDF

Info

Publication number
WO2017204598A1
WO2017204598A1 PCT/KR2017/005547 KR2017005547W WO2017204598A1 WO 2017204598 A1 WO2017204598 A1 WO 2017204598A1 KR 2017005547 W KR2017005547 W KR 2017005547W WO 2017204598 A1 WO2017204598 A1 WO 2017204598A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
coordinate system
image
terminal
original image
Prior art date
Application number
PCT/KR2017/005547
Other languages
English (en)
French (fr)
Inventor
조성봉
수지트라만
차일황
아노모루 타라크람고팔
아라바팔리 벤카테스와라라오
Original Assignee
한화테크윈주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈주식회사 filed Critical 한화테크윈주식회사
Priority to US16/304,922 priority Critical patent/US11528402B2/en
Priority to KR1020187034426A priority patent/KR102149277B1/ko
Publication of WO2017204598A1 publication Critical patent/WO2017204598A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet

Definitions

  • the present invention relates to a method for setting an image data protocol in a terminal including a network camera.
  • an image in which a motion detection area or a privacy mask area is set is transferred to a DVR device or an image output device through a wired cable. Area information set in the analog camera was transferred to the video output device without any change.
  • the network camera converts the captured image into a digital signal, encodes and compresses the converted digital signal, and then transfers the compressed converted signal to the image output device through a network.
  • the image output apparatus receives an encoded stream, decodes the output stream, and outputs an image.
  • a coordinate system such as a motion detection region, an ROI region, a video analytics (VA) region, and a privacy mask region of an image output from an image output apparatus may be combined with a coordinate system of an image first captured by a network camera. Differences can occur.
  • the network camera may perform a rotation, mirror, crop, etc. in the encoding process and may be converted into a different form from the image originally captured by the network camera.
  • the data change value between the original image photographed by the network camera and the encoded image is transmitted as metadata to check information on the original image photographed by the network camera separately in the image output apparatus. I want to solve the inconvenience.
  • the change of the original video image will be transmitted by setting the data protocol. For example, we want to set changes such as Scale, Rotation, Mirror, Crop, Flip, and Crop as the data protocol.
  • a change in the image angle or rotation angle of the image sensor that changes every time is set as a data protocol and transmitted.
  • the cropping information is provided for each encoding stream supporting dynamic crops, such as frame or event generation criteria, so that the dynamic crop is reflected without requesting additional information from the image output apparatus. I want to output an image.
  • a method for setting a data protocol relating to an image captured by a terminal includes detecting first area information in a coordinate system of an original image originally captured by the terminal; Detecting second region information in a coordinate system of an encoding stream encoding the original image; And a transmitting unit of the terminal includes the transformation information between the coordinate system of the original image and the coordinate system of the encoding stream or the transformation information between the first region information and the second region information in metadata.
  • the conversion information between the coordinate system of the original image and the coordinate system of the encoding stream may include transform values of scales of x and y axes, flip values of x and y axes, and mirrors of x and y axes. ) To at least one of rotation values of the x-axis and the y-axis.
  • the rotation value is an integer value representing from -359 degrees to +359 degrees, indicating the degree of rotation of the x-axis and y-axis of the original image coordinate system, and a positive value indicates rotation in the clockwise direction, If the value is characterized in that it represents a counterclockwise rotation.
  • the conversion information between the first area information and the second area information includes area information cropped in the first area, wherein the cropped area information is the first area information. It is characterized by the area information and the width and length of the cropped area.
  • the metadata may include area information cropped from the first area information and converted values of scale values of x and y axes.
  • the client terminal that receives and reproduces the encoded stream supporting dynamic cropping includes real-time cropped region information in the first region included in the metadata.
  • the transmission unit of the terminal is characterized in that for each frame transmits the conversion information between the coordinate system of the original image and the coordinate system of the encoding stream or conversion information between the first region information and the second region information. .
  • the transmission unit of the terminal when the terminal is equipped with a rotatable image sensor, whenever the rotation angle of the image sensor is changed, the transmission unit of the terminal due to the rotation angle of the changed image sensor of the original image And converting the conversion information between the coordinate system and the coordinate system of the encoding stream.
  • the transmitter of the terminal changes the changed image angle value of the terminal. And converting information between the coordinate system of the original image and the coordinate system of the encoding stream.
  • the terminal is characterized in that the drone.
  • the client unit for receiving the metadata and the video stream transmitted from the transmission unit of the terminal can store the received video stream and the first region information identified based on the metadata. It is characterized by.
  • the data protocol for the image taken by the terminal is characterized in that it follows the ONVIF standard.
  • the data change value between the original image photographed by the network camera and the encoded image is transmitted as metadata to check information on the original image photographed by the network camera separately in the image output apparatus. Discomfort can be eliminated.
  • FIG. 1 is a diagram illustrating an internal configuration of a network camera as a preferred embodiment of the present invention.
  • FIG. 2 is a diagram for one example of conversion performed in the encoding process of a network camera according to one embodiment of the present invention.
  • FIG. 3 illustrates an example of a normalized coordinate system used in the Open Network Video Interface Forum (ONVIF) as a preferred embodiment of the present invention.
  • ONVIF Open Network Video Interface Forum
  • FIG. 4 illustrates an example of a hallway view as a preferred embodiment of the present invention.
  • 5 to 7 are exemplary embodiments of the present invention, and show examples of different resolutions.
  • FIG. 8 illustrates an example of a drone as a preferred embodiment of the present invention.
  • FIG 9 illustrates an example of setting a data protocol according to the ONVIF standard as a preferred embodiment of the present invention.
  • FIG. 10 illustrates an example of using dynamic crop as a preferred embodiment of the present invention.
  • 11 to 12 are flowcharts illustrating a method of setting a data protocol relating to an image captured by a terminal according to an exemplary embodiment of the present invention.
  • a method for setting a data protocol relating to an image captured by a terminal includes: detecting first area information in a coordinate system of an original image originally captured by the terminal; Detecting second region information in a coordinate system of an encoding stream encoding the original image; Setting conversion information between a coordinate system of the original image and a coordinate system of the encoding stream or conversion information between first area information and second area information according to a setting value received from a client that receives and reproduces an encoded stream of the terminal; And a transmission unit of the terminal transmitting conversion information between a coordinate system of the original image and a coordinate system of the encoding stream or conversion information between first region information and second region information. Characterized in that it comprises a.
  • FIG. 1 is a diagram illustrating an internal configuration of a network camera as a preferred embodiment of the present invention.
  • a method of setting a data protocol relating to an image captured by a terminal is disclosed.
  • terminals include network cameras, mobile phones, smartphones, wearable devices, handheld devices, smart watches, robots, drones, cameras, PTRZ cameras, and other devices capable of taking pictures. do.
  • the original image photographed through the lens 110, the optical unit 120, and the camera module 130 of the network camera 100 is converted into a digital signal.
  • the codec 140 performs encoding on the converted digital signal, converts it into a compressed encoding stream such as MJPEG, H.264, H.265, and transmits the converted digital signal to the client through the network interface 160 in the form of a network packet.
  • the client decodes the encoded stream from the received network packet and outputs an image.
  • the network camera 100 includes the lens 110, the optical unit 120, the camera module 130, the codec 140, the flash memory 154, the memory 156 through the controller 150 to the CPU 152. Control the network interface 160.
  • the encoded stream and metadata may be stored in flash memory 154 through memory 156.
  • the metadata includes a data protocol relating to the captured image
  • the data protocol relating to the captured image includes transform information or first region information between the coordinate system of the original image and the coordinate system of the encoding stream.
  • the scale information refers to the embodiment of FIG. 3.
  • the Rotate information may be set to an integer value between -359 degrees and +359 degrees.
  • the rotation value indicates the degree of rotation of the x-axis and y-axis of the original image coordinate system photographed by the terminal, and a positive value indicates rotation in a clockwise direction, and a negative value indicates rotation in a counterclockwise direction.
  • Rotate information may be configured using a vector.
  • a vector As an example, if the value rotated by 90 degrees is displayed as a vector, it may be displayed as follows.
  • Rotate information can be configured using a vector as shown in Equation (1).
  • Equation 1 represents a rotation transformation matrix rotated by ⁇ .
  • the mirror information and flip information are expressed as "true” or "false” using a Boolean variable. If you want to perform mirroring, display as below.
  • Crop information is utilized when using a cut image from the original image.
  • the cropped image is represented by x, y, and cx, cy of the original image.
  • the starting point of the coordinate system is sent as x, y, and cx, cy indicates the width and length of the area.
  • FIG. 2 is a diagram for one example of conversion performed in the encoding process of a network camera according to one embodiment of the present invention.
  • ONVIF passes the information in tt: Frame.
  • transformation information between the coordinate system of the original image and the coordinate stream of the encoding stream can be expressed by using the Traslate command.
  • Translate means the phase change of the coordinate system.
  • Translate is a vector value, and in the case of a quadrant, the original video coordinate system 200 and the encoding stream of the image have the same coordinate system 210.
  • the translate vector has a coordinate system 220 of right and left images.
  • the image inverted up and down has a coordinate system 230 of the image in which the image is symmetrical.
  • the translate vector is a quadrant, the image has a coordinate system 240 of upside down images.
  • FIG. 3 illustrates an example of a normalized coordinate system used in the Open Network Video Interface Forum (ONVIF) as a preferred embodiment of the present invention.
  • ONVIF Open Network Video Interface Forum
  • ONVIF delivers data based on the coordinate system of the encoded stream to the display of the client terminal.
  • FIG. 2 illustrates an example in which ONVIF uses a region normalized to (-1,1), (1,1), (1, -1), and (-1, -1) based on an encoded stream.
  • the image size conversion method normalizes the width and height values from -1 to 1, which is an absolute value of 2.
  • the X axis 310 has a distance from -1 to 1 2
  • Y axis 320 in the ONVIF coordinate system has a distance from -1 to 1 2
  • FIG. 4 illustrates an example of a hallway view as a preferred embodiment of the present invention.
  • a function of automatically rotating the first image captured by the terminal is applied. Rotation is often set to 90 degrees when setting the image sensor value used in the terminal.
  • the rotation angle value may be continuously changed.
  • the rotation value representing the rotation angle of the image sensor may be set to an integer value between -359 degrees and +359 degrees.
  • the rotation value indicates the degree of rotation of the x-axis and y-axis of the original image coordinate system photographed by the terminal, and a positive value indicates rotation in a clockwise direction, and a negative value indicates rotation in a counterclockwise direction.
  • the rotation value may be set every time the rotation angle of the image sensor is detected instead of setting the rotation value in advance.
  • a predetermined time unit, event unit, or other user may set variously to transmit information on the rotation angle detected by the image sensor.
  • the rotation value may be transmitted together with metadata every image frame or whenever the rotation angle of the image sensor is detected.
  • 5 to 7 are exemplary embodiments of the present invention, and show examples of different resolutions.
  • 5 shows an example when the resolution is 4: 3, 3: 2, and 16: 9. It has area information of 4000: 3000 when the resolution is 4: 3, 4128: 2752 when the resolution is 3: 2, and 4352: 2448 when the resolution is 16: 9.
  • FIG. 6 illustrates an example in which the resolution of the original image 610 captured by the terminal is 16: 9 and the resolution of the output image 620 output from the encoder is 4: 3 according to an embodiment of the present invention. do.
  • a CROP should be performed on the original image 610.
  • the left and right regions are cut out from the original image 610 and image compression is performed.
  • the image is cropped from the central portion of the image sensor to perform a CROP on the original image 610.
  • a CROP on the original image 610.
  • 240 pixels of the left and right symmetry areas disappear.
  • FIG. 7 illustrates an example in which an image 710 having a 4: 3 resolution and an image 720 having a 16: 9 resolution are overlaid. As illustrated in FIG. 7, cropping should be performed at the horizontal 722 and the vertical 712, respectively.
  • the resolution of the encoding stream of the encoding process and the original video taken by the terminal is different, as in the embodiment shown in Figures 5 to 7, or receives the original video and video taken by the terminal
  • each crop is required, and the scale value may be additionally adjusted.
  • the information on the size of the original image can be obtained using the crop information, and the size information of the cropped image can also be obtained.
  • FIG. 8 illustrates an example of a drone as a preferred embodiment of the present invention.
  • the rotation or the moving angle of the mobile terminal may be determined using a gyro sensor mounted on the drone, and the change of the image angle may be transmitted in real time.
  • Rotate information can be identified and transferred to the client as the gyro sensor's change value.
  • FIG 9 illustrates an example of setting a data protocol according to the ONVIF standard as a preferred embodiment of the present invention.
  • transformation information between the coordinate system of the original image and the coordinate system of the encoding stream or transformation information between the first region information and the second region information is added to the transformation of the ONVIF in the form of metadata.
  • At least one scale information, mirror information, flip information, rotate information, and crop information may be transmitted to the transformation.
  • FIG. 10 illustrates an example of using dynamic crop as a preferred embodiment of the present invention.
  • a coordinate system for the original image may be configured to transmit accurate coordinates.
  • the transmitted coordinate system is always the value corresponding to the original image coordinate system, it can be set without any conversion process or dependence on the image.
  • the current coordinate system information is a certain region of the original image. It can be converted to belong to and saved. Then, when the event information about the area is to be obtained from the stored image information, the change to the consistent area can be tracked using the original image coordinate system.
  • a time value may be received in an existing frame.
  • whether the image is flipped from the original image and the size of the image may be obtained using Translate and Scale information from the received image. And using the crop information (1005, 1006, 1007) proposed in the present invention it can be seen from which region the image information is cropped from the original image.
  • FIG. 11 is a flowchart for setting a data protocol for an image captured by a terminal according to an embodiment of the present invention.
  • the network camera detects the first region information in the coordinate system of the original captured image (S1110), and then detects the second region information in the coordinate system of the encoded stream encoding the original image. (S1120).
  • the transmission unit of the terminal transmits the transformation information between the coordinate system of the original image and the coordinate system of the encoding stream or transformation information between the first region information and the second region information in metadata (S1130).
  • the conversion information between the coordinate system of the original image and the coordinate system of the encoding stream includes scale information, mirror information, flip information, rotation information, and the like.
  • the conversion information between the first area information and the second area information includes crop information.
  • FIG. 12 is a flowchart for setting a data protocol regarding an image captured by a terminal according to another preferred embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating a case in which an accurate coordinate is transmitted by configuring a coordinate system of an original image when a client wants to set an event region of a desired image in the client, or when a setting is changed in the client.
  • the first area information is detected in the coordinate system of the original image captured by the terminal.
  • the terminal detects second region information in the coordinate system of the encoding stream encoding the original image.
  • the first area information and the second area information are detected in the process of compressing the original image of the terminal.
  • the first region information when the terminal receives a setting value from the client, the first region information may be newly set by configuring a coordinate system for the original image requested by the client (S1230).
  • the terminal transmits transformation information between the coordinate system of the original image and the coordinate system of the encoding stream or the transformation information between the first region information and the second region information in the form of metadata (S1240).
  • the invention can also be embodied as computer readable code on a computer readable recording medium.
  • the computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명의 바람직한 일 실시예에서는 단말기에서 ONVIF 방식의 Event 정보에 추가적으로 Rotation 을 확인할 수 있는 정보와 원본 영역으로부터 Crop 된 정보를 전달하고자 한다.

Description

촬영된 영상에 관한 데이터 프로토콜을 설정하는 단말기 및 방법
본 발명은 네트워크 카메라를 포함하는 단말기에서 영상 데이터 프로토콜을 설정하는 방법에 관한 것이다.
아날로그 카메라에서는 움직임 검출 영역이나 프라이버시 마스크(Privacy Mask)영역을 설정한 영상이 유선 케이블을 통해 DVR 장치 또는 영상 출력 장치에 전달하였다. 아날로그 카메라에서 설정된 영역 정보는 별도의 변경없이 영상 출력 장치에 전달되었다.
그러나, 네트워크 카메라는 촬상된 영상을 디지털 신호로 변환하고, 변환된 디지털 신호를 인코딩하여 압축한 후, 압축된 변환 신호를 네트워크를 통해 영상 출력 장치에 전달한다.
영상출력 장치에서는 인코딩된 스트림을 수신하여 디코딩을 수행한 후 영상을 출력한다. 그러나, 인코딩과 디코딩을 수행하는 과정에서 영상출력 장치에서 출력되는 영상의 움직임 검출 영역, ROI 영역, VA(Video Analytics)영역, 프라이버시 마스크 영역 등의 좌표계가 네트워크 카메라에서 최초에 촬상된 영상의 좌표계와 차이가 발생할 수 있다. 또한, 네트워크 카메라는 인코딩 과정에서 Rotation, Mirror, Crop 등을 수행하여 네트워크 카메라에서 최초에 촬상된 영상과 다른 형태로 변환될 수 있다.
본 발명의 바람직한 일 실시예에서는 네트워크카메라에서 촬영된 원본영상과 인코딩이 수행된 영상 간의 데이터 변경값을 메타데이터로 전송하여 영상출력장치에서 별도로 네트워크카메라에서 촬영된 원본영상에 대한 정보를 확인해야 하는 불편함을 해소하고자 한다.
본 발명의 또 다른 바람직한 일 실시예에서는 ONVIF 방식의 Event 정보에 추가적으로 Rotation 을 확인할 수 있는 정보와 원본 영역으로부터 Crop 된 정보를 전달하고자 한다.
본 발명의 또 다른 바람직한 일 실시예에서는 네트워크카메라에서 촬영된 원본영상과 인코딩이 수행되는 영상간에 해상도가 상이한 경우, 또는 네트워크카메라에서 촬영된 원본영상과 영상출력장치의 해상도가 상이한 경우 네트워크카메라에서 촬영된 원본영상의 변경사항을 데이터 프로토콜로 설정하여 전송하고자 한다. 예를 들어, Scale, Rotation, Mirror, Crop, Flip, Crop 등의 변경사항을 데이터 프로토콜로 설정하고자 한다.
본 발명의 또 다른 바람직한 일 실시예에서는 드론이나 로봇 그 외 회전형 이미지 센서가 장착된 단말기에서 영상을 촬영할 경우 시시각각 변하는 영상 앵글이나 이미지 센서의 회전각의 변경 사항을 데이터 프로토콜로 설정하여 전송하고자 한다.
본 발명의 또 다른 바람직한 일 실시예에서는 다이내믹 크랍(Dynamic Crop) 등을 지원하는 인코딩 스트림에 대해서는 프레임별, 또는 이벤트 발생기준 별로 크랍 정보를 제공하여 영상출력장치에서 별도의 정보 요청 없이 다이내믹 크랍이 반영된 영상을 출력하고자 한다.
본 발명의 바람직한 일 실시예로서, 단말기에서 촬영된 영상에 관한 데이터 프로토콜을 설정하는 방법은 단말기에서 최초 촬상된 원본영상의 좌표계에서 제 1 영역 정보를 검출하는 단계; 상기 원본영상을 인코딩한 인코딩 스트림의 좌표계에서 제 2 영역 정보를 검출하는 단계; 상기 단말기의 전송부는 상기 원본영상의 좌표계와 상기 인코딩 스트림의 좌표계 간의 변환 정보 또는 제 1 영역 정보와 제 2 영역 정보 간의 변환 정보를 메타데이터에 포함시켜 전송하는 단계;를 포함하는 것을 특징으로 한다.
바람직하게, 상기 원본영상의 좌표계와 상기 인코딩 스트림의 좌표계 간의 변환 정보는 x 축 및 y축의 스케일(Scale)의 변환값, x 축 및 y축의 플립(fip)값, x 축 및 y축의 미러(mirror)값 내지 x 축 및 y축의 로테이션(rotation)값 중 적어도 하나를 포함하는 것을 특징으로 한다.
이 경우, 상기 로테이션 값은 -359도부터 +359도까지를 나타나는 정수 값으로, 상기 원본영상 좌표계의 x축 및 y축의 회전 정도를 표시하고, 양수의 값일 경우 시계 방향의 회전을 나타내고, 음수의 값일 경우 반시계 방향의 회전을 나타내는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 제 1 영역 정보와 제 2 영역 정보 간의 변환 정보는 상기 제 1 영역에서 크랍(crop)된 영역 정보를 포함하고, 이 경우 상기 크랍된 영역 정보는 상기 제 1 영역 정보와 크랍된 영역의 가로 길이 및 세로 길이로 표시되는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 원본영상의 해상도와 상기 인코딩 스트림의 해상도가 상이한 경우, 또는 상기 원본영상의 녹화해상도와 상기 인코딩 스트림을 수신하여 재생하는 클라이언트 단말기에서의 재생해상도가 상이한 경우 상기 메타데이터는 상기 제 1 영역 정보에서 크랍(crop)된 영역 정보, 그리고 x 축 및 y축의 스케일 값의 변환값을 포함하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 다이내믹 크라핑(Dynamic Croppin)을 지원하는 상기 인코딩 스트림을 수신하여 재생하는 클라이언트 단말기는 실시간으로 상기 메타데이터에 포함된 상기 제 1 영역에서 크랍(crop)된 영역 정보를 이용하여 상기 제 1 영역 중 어느 영역에서 크랍핑된 영상 정보인지 파악하는 것을 특징으로 하는 방법.
본 발명의 바람직한 일 실시예로서, 상기 단말기의 전송부는 프레임마다 상기 원본영상의 좌표계와 상기 인코딩 스트림의 좌표계 간의 변환 정보 또는 제 1 영역 정보와 제 2 영역 정보 간의 변환 정보를 전송하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 단말기가 회전가능한 이미지 센서를 장착한 경우, 상기 이미지 센서의 회전 각도가 변경될 때마다 상기 단말기의 전송부는 변경된 상기 이미지 센서의 회전 각도로 인한 상기 원본영상의 좌표계와 상기 인코딩 스트림의 좌표계 간의 변환 정보를 전송하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 단말기에 자이로 센서가 장착된 경우, 상기 자이로 센서에서 상기 단말기의 영상 앵글값의 변화를 검출할 때마다 상기 단말기의 전송부는 변경된 상기 단말기의 영상 앵글값 변화로 인한 상기 원본영상의 좌표계와 상기 인코딩 스트림의 좌표계 간의 변환 정보를 전송하는 것을 특징으로 한다. 이 경우, 상기 단말기는 드론인 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 단말기의 전송부에서 전송한 상기 메타데이터 및 영상 스트림을 수신하는 클라이언트부는 수신한 영상 스트림과 상기 메타데이터를 기초로 파악한 상기 제 1 영역정보를 함께 저장할 수 있는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서, 상기 단말기에서 촬영된 영상에 관한 데이터 프로토콜은 ONVIF 표준을 따르는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예에서는 네트워크카메라에서 촬영된 원본영상과 인코딩이 수행된 영상 간의 데이터 변경값을 메타데이터로 전송하여 영상출력장치에서 별도로 네트워크카메라에서 촬영된 원본영상에 대한 정보를 확인해야 하는 불편함을 해소할 수 있다.
도 1 은 본 발명의 바람직한 일 실시예로서, 네트워크카메라의 내부 구성도를 도시한다.
도 2 는 본 발명의 바람직한 일 실시예로서, 네트워크카메라의 인코딩 과정에서 수행되는 변환의 일 예를 도시한다.
도 3 은 본 발명의 바람직한 일 실시예로서, ONVIF (Open Network Video Interface Forum)에서 이용하는 정규화된 좌표계의 일 예를 도시한다.
도 4 는 본 발명의 바람직한 일 실시예로서, Hallway View의 일 예를 도시한다.
도 5 내지 7은 본 발명의 바람직한 일 실시예로서, 해상도가 상이한 일 예를 도시한다.
도 8 은 본 발명의 바람직한 일 실시예로서, 드론의 일 예를 도시한다.
도 9 는 본 발명의 바람직한 일 실시예로서, ONVIF 표준에 따라 데이터 프로토콜을 설정하는 일 예를 도시한다.
도 10 은 본 발명의 바람직한 일 실시예로서, 다이내믹 크랍을 이용하는 경우의 일 예를 도시한다.
도 11 내지 12 는 본 발명의 바람직한 일 실시예로서, 단말기에서 촬영된 영상에 관한 데이터 프로토콜을 설정하는 방법의 흐름도를 도시한다.
본 발명의 또 다른 바람직한 일 실시예로서, 단말기에서 촬영된 영상에 관한 데이터 프로토콜을 설정하는 방법은 단말기에서 최초 촬상된 원본영상의 좌표계에서 제 1 영역 정보를 검출하는 단계; 상기 원본영상을 인코딩한 인코딩 스트림의 좌표계에서 제 2 영역 정보를 검출하는 단계; 상기 단말기의 인코딩 스트림을 수신하여 재생하는 클라이언트로부터 수신한 설정값에 따라 상기 원본영상의 좌표계와 상기 인코딩 스트림의 좌표계 간의 변환 정보 또는 제 1 영역 정보와 제 2 영역 정보 간의 변환 정보를 설정하는 단계;및 상기 단말기의 전송부는 상기 원본영상의 좌표계와 상기 인코딩 스트림의 좌표계 간의 변환 정보 또는 제 1 영역 정보와 제 2 영역 정보 간의 변환 정보를 전송하는 단계; 를 포함하는 것을 특징으로 한다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명한다. 본 발명의 실시예는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되는 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
도 1 은 본 발명의 바람직한 일 실시예로서, 네트워크카메라의 내부 구성도를 도시한다.
본 발명의 바람직한 일 실시예에서는 단말기에서 촬영된 영상에 관한 데이터 프로토콜을 설정하는 방법을 개시한다. 단말기의 예로는 네트워크카메라, 핸드폰, 스마트폰, 웨어러블디바이스, 핸드헬드 디바이스, 스마트와치, 로봇, 드론, 카메라, PTRZ(Pent-Tilt-Roll-Zoom) 카메라, 그 외 영상촬영이 가능한 장치를 모두 포함한다.
본 발명의 바람직한 일 실시예에서는 네트워크카메라(100)의 렌즈(110), 광학부(120) 및 카메라모듈(130)을 통해 촬영된 원본영상이 디지털신호로 변환된다. 코덱(140)에서는 변환된 디지털신호에 대해 인코딩을 수행하여 MJPEG, H.264, H.265 등의 압축된 인코딩 스트림으로 변환한 후 네트워크 패킷 형태로 네트워크 인터페이스(160)를 통해 클라이언트에게 전송한다. 클라이언트는 수신한 네트워크 패킷에서 인코딩스트림을 디코딩하여 영상을 출력한다.
네트워크카메라(100)는 제어부(150) 내지 CPU(152)를 통해 렌즈(110), 광학부(120), 카메라모듈(130), 코덱(140), 플래쉬메모리(154), 메모리(156) 및 네트워크인터페이스(160)를 제어한다. 인코딩된 스트림 및 메타데이터는 플래쉬메모리(154) 내지 메모리(156)에 저장될 수 있다.
본 발명의 바람직한 일 실시예에서 메타데이터는 촬영된 영상에 관한 데이터 프로토콜을 포함하고, 촬영된 영상에 관한 데이터 프로토콜은 원본영상의 좌표계와 상기 인코딩 스트림의 좌표계 간의 변환 정보 또는 제 1 영역 정보와 제 2 영역 정보 간의 변환 정보를 표시하는 프로토콜을 표시한다. 구체적인 일 예는 도 9에 도시된 scale, Rotate, Mirror, Crop 등을 포함하며, 이 외에 Flip 등을 포함한다.
본 발명의 바람직한 일 실시예로서, Scale 정보는 도 3의 일 실시예를 참고한다.
본 발명의 바람직한 일 실시예로서, Rotate 정보는 -359도부터 +359도 사이의 정수값으로 설정할 수 있다. 이 경우 로테이션 값은 단말기에서 촬용한 원본영상 좌표계의 x축 및 y축의 회전 정도를 표시하고, 양수의 값일 경우 시계 방향의 회전을 나타내고, 음수의 값일 경우 반시계 방향의 회전을 나타낸다.
본 발명의 또 다른 바람직한 일 실시예로서, Rotate 정보를 벡터를 이용하여 구성할 수 있다. 일 실시예로서, 90도 회전한 값을 벡터로 표시하면 다음과 같이 표시할 수 있다.
<Rotate a="cos(90)", b="-sin(90)", c="sin(90)", d="cos(90)">
Figure PCTKR2017005547-appb-M000001
본 발명의 바람직한 일 실시예에서는 Rotate 정보를 수학식 1과 같이 벡터를 이용하여 구성할 수 있다. 수학식 1은 Θ만큼 회전한 회전변환 행렬을 나타낸다.
본 발명의 바람직한 일 실시예로서, Mirror 정보, Flip 정보는 Boolean 변수를 이용하여 "True" 또는 "False"로 표시한다. 미러링을 수행하고자 하는 경우 아래와 같이 표시한다.
<tt: Mirror mirror="True">
본 발명의 바람직한 일 실시예로서, Crop 정보는 원본 영상에서 잘려진 영상을 사용하는 경우 활용된다. Crop 된 영상은 원본 영상의 x, y, 그리고 cx, cy로 표시한다. 좌표계의 시작점은 x, y 로 보내고, cx, cy 는 영역의 가로와 세로 길이를 표시한다.
도 2 는 본 발명의 바람직한 일 실시예로서, 네트워크카메라의 인코딩 과정에서 수행되는 변환의 일 예를 도시한다.
ONVIF 에서는 tt:Frame 으로 정보를 전달한다. ONVIF에서는 Traslate 명령어를 이용하여 원본영상의 좌표계와 인코딩 스트림의 좌표계 간의 변환 정보를 표현할 수 있다.
Translate는 좌표계의 위상 변화를 의미한다. Translate는 벡터값으로 1사분면인 경우는 영상의 원본 영상 좌표계(200)와 인코딩 스트림이 동일한 좌표계(210)를 가진다. Translate 벡터가 2 사분면인 경우는 좌우가 대칭된 영상의 좌표계(220)를 가진다. Translate 벡터가 3사분면인 경우에는 상하가 반전된 영상이 대칭이 된 영상의 좌표계(230)를 가진다. Translate 벡터가 4 사분면인 경우에는 상하가 반전된 영상의 좌표계(240)를 가진다.
본 발명의 바람직한 일 실시예로서 Translate 벡터는 제1사분면일 때 Translate Vector = (1, 1)(210), 제 2사분면일 때 Translate Vector = (-1, 1)(220), 제 3 사분면일 때 Translate Vector = (-1, -1)(230), 제4 사분면일 때 Translate Vector=(1, -1)(240) 로 표현된다.
도 3 은 본 발명의 바람직한 일 실시예로서, ONVIF (Open Network Video Interface Forum)에서 이용하는 정규화된 좌표계의 일 예를 도시한다.
ONVIF에서는 클라이언트 단말기의 디스플레이에 인코딩된 스트림의 좌표계를 기준으로 데이터를 전달하고 있다. 도 2 는 ONVIF에서는 인코딩된 스트림을 기준으로 (-1,1), (1,1), (1,-1), (-1,-1)로 정규화된 영역을 이용하는 일 예를 도시한다.
영상 크기 변환 방법은 가로(Width) 와 세로(Height) 값을 -1 부터 1의 절대 값인 2로 정규화한다.
(Width) x (scale:x) = 2, (Height) x (scale:y) = 2 로 처리한다. 따라서, (scale:x) = 2 / (Width), (scale:y) = 2/(Height) 이다. 가로의 길이(Width)가 640인 영상의 scale:x = 2/640 = 0.003125, 세로(Height)의 길이가 480 인 영상의 scale:y = 2/480 = 0.0041667 이 된다.
본 발명의 바람직한 일 실시예로서, 단말기에서 최초 촬상된 원본영상의 좌표계에서 (0,0) ~ (320, 240)이란 제 1 영역 정보를 ONVIF에서 사용되는 좌표계로 정규화(Normalize) 할 경우, 아래와 같이 변환된다.
* ONVIF 좌표계에서 X 축(310)은 -1 부터 1까지 거리 2
이 경우, 정규화된 된 Scale X축의 값은 2/320 = 0.00625
* ONVIF 좌표계에서 Y축(320)은 -1 부터 1까지 거리 2
이 경우, 정규화된 된 Scale Y 축의 값은 2/240= 0.00834
도 4 는 본 발명의 바람직한 일 실시예로서, Hallway View의 일 예를 도시한다. 도 4 의 일 실시예와 같은 Hallway View 의 경우에는 단말기에서 최초로 촬상되는 영상을 자동으로 회전시키도록 하는 기능이 적용되어 있다. 단말기에서 이용하는 이미지 센서값 설정시 Rotation을 90도로 설정되어 있는 경우가 많다.
그러나, 최근에는 이동형 단말기나 도 8에 도시된 드론(800)과 같은 이동형 장치에 장착되어 회전 가능한 이미지 센서를 이용하는 카메라(도 8, 810)의 경우, 회전 각도 값을 계속적으로 변경할 수 있다.
본 발명의 바람직한 일 실시예에서는 이미지센서의 회전 각도를 나타내는 로테이션(Rotation) 값을 -359도부터 +359도 사이의 정수값으로 설정할 수 있다. 이 경우 로테이션 값은 단말기에서 촬용한 원본영상 좌표계의 x축 및 y축의 회전 정도를 표시하고, 양수의 값일 경우 시계 방향의 회전을 나타내고, 음수의 값일 경우 반시계 방향의 회전을 나타낸다.
또한, 본 발명의 바람직한 일 실시예에서는 로테이션 값을 미리 고정적으로 설정하는 것이 아니라, 이미지 센서의 회전 각도를 검출할 때마다 로테이션 값을 설정할 수 있다. 또는 기설정된 시간 단위, 이벤트 단위, 기타 사용자가 다양하게 설정하여 이미지 센서에서 검출된 회전 각도의 정보를 전달할 수 있다.
도 8의 일 실시예와 같은 드론에서 영상을 전송할 때, 영상 프레임마다 또는 이미지 센서의 회전 각도를 검출할 때마다 로테이션값을 함께 메타데이터로 전달할 수 있다.
도 5 내지 7은 본 발명의 바람직한 일 실시예로서, 해상도가 상이한 일 예를 도시한다.
도 5 는 해상도가 4:3, 3:2, 16:9인 경우의 일 예를 도시한다. 해상도가 4:3인 경우 4000:3000, 해상도가 3:2인 경우 4128:2752, 그리고 해상도가 16:9 인 경우 4352:2448의 영역 정보를 지닌다.
도 6은 본 발명의 바람직한 일 실시예로서, 단말기에서 촬영한 원본 영상(610)의 해상도가 16:9 이고, 인코더에서 출력된 출력 영상(620)의 해상도가 4:3인 경우의 예시를 도시한다.
본 발명의 바람직한 일 실시예로서, 16:9의 이미지 센서를 가지는 단말기에서 왜곡없이 4:3으로 인코딩된 스트림(620)을 얻기 위해서는 원본영상(610)에서 크랍(CROP)이 수행되어야 한다. 도 6의 일 실시예에서는 영상 왜곡을 방지하기 위해서는 원본영상(610)에서 좌우 영역을 잘라내고 영상압축을 진행하여야 한다.
원본영상(610)에서 크랍(CROP)을 수행하기 위해 이미지 센서의 중앙 부분영역으로부터 영상을 크랍한다. 도 6 의 경우에서는 좌우 대칭 영역의 240 pixel 이 사라지게 된다.
도 7 은 4:3 해상도의 영상(710)과 16:9 해상도의 영상(720)을 겹쳐 표시한 일 예를 도시한다. 도 7에 도시된 바와 같이 가로(722)와 세로(712)에서 각각 크랍이 수행되어야 한다.
본 발명의 바람직한 일 실시예로서, 도 5 내지 7에 도시된 일 실시예와 같이 단말기에서 촬영한 원본 영상과 인코딩 과정의 인코딩 스트림의 해상도가 상이한 경우, 또는 단말기에서 촬영한 원본 영상과 영상을 수신하여 재생하는 클라이언트 단말기에서 해상도가 상이한 경우, 또는 인코딩 스트림의 해상도와 영상을 수신하여 재생하는 클라이언트 단말기에서 해상도가 상이한 경우 각각 crop이 필요하며, 추가적으로 scale 값을 조정해야 될 수 있다.
본 발명의 일 실시예로서, 원본 영상인 16:9 영상에서 1920x1080 으로 동작할 때, Scale.x = 0.001041667, Scale.y= 0.0018519 가 되고, Crop.x=0, Crop.y=0, Crop.cx=1920, Crop.cy=1080 이다.
본 발명의 또 다른 일 실시예로서, 원본 영상인 16:9 로부터 1440x1080 으로 동작할 때, Scale.x= 0.0013889, Scale.y=0.0018519 가 되고, Crop.x= 240, Crop.y=0, Crop.cx=1440, Crop.cy=1080 이다.
본 발명의 또 다른 일 실시예로서, 원본 영상인 16:9 로부터 640x480 으로 동작할 때, Scale.x= 0.003125, Scale.y=0.004167가 되고, Crop.x= 240, Crop.y=0, Crop.cx=1440, Crop.cy=1080 이다.
본 발명의 바람직한 일 실시예에서는 크랍 정보를 이용하여 원본 영상의 크기에 관한 정보를 얻을 수 있고, 또한 크랍된 영상의 크기 정보도 얻을 수 있다.
도 8 은 본 발명의 바람직한 일 실시예로서, 드론의 일 예를 도시한다.
본 발명의 바람직한 일 실시예에서는 드론과 같은 이동형 단말기에서 촬영되는 영상 앵글의 변경 사항을 실시간으로 전송이 가능하다. 본 발명의 바람직한 일 실시예에서는 드론에 장착된 자이로 센서를 이용하여 이동형 단말기의 회전이나 이동 각도를 판단하고, 이를 기초로 영상 앵글의 변경 사항을 실시간으로 전달할 수 있다. 자이로 센서의 변동값으로 Rotate 정보를 파악하여 클라이언트에게 전달할 수 있다.
도 9 는 본 발명의 바람직한 일 실시예로서, ONVIF 표준에 따라 데이터 프로토콜을 설정하는 일 예를 도시한다.
본 발명의 바람직한 일 실시예에서는 ONVIF의 Transformation에 원본영상의 좌표계와 인코딩 스트림의 좌표계 간의 변환 정보 또는 제 1 영역 정보와 제 2 영역 정보 간의 변환 정보를 메타데이터의 형태로 추가한다.
본 발명의 바람직한 일 실시예에서는 Transformation에 Scale 정보, Mirror 정보, Flip 정보, Rotate 정보, Crop 정보를 적어도 하나 이상 전송할 수 있다.
본 발명의 바람직한 일 실시예로서, 도 9는 Translate 의 값이 x=-1, y=-1(910), 원점 대칭 이미지이다. 원점 대칭 이미지를 <tt:Scale x="0.00625" y="0.00834"> (920) 만큼 스케일 변환을 한 것을 나타낸다. 이 후,
90도 회전한 영상의 경우 ONVIF의 Transformation에 <tt:Rotate angle="90"/>(930)을 추가할 수 있다. 또는 <tt: Rotate a="cos(90)", b="-sin(90)", c="sin(90)", d="cos(90)"> 와 같이 추가할 수 있다.
미러 영상의 경우 <tt: Mirror mirror="True"/>(940)를 추가할 수 있다.
크랍 영상의 경우 만약 640x480 영상이 원본이 1920x1080 영상으로부터 생성되어 크랍된 영상이라면, <tt:Crop x="240" y="0" cx="1440" cy="1080"> (950)을 추가한다.
도 10 은 본 발명의 바람직한 일 실시예로서, 다이내믹 크랍을 이용하는 경우의 일 예를 도시한다.
본 발명의 바람직한 일 실시예에서는, Client에서 원하는 영상의 이벤트 영역을 설정하려는 경우에 원본 영상에 대한 좌표계를 구성해서 정확한 좌표를 전달할 수 있다. 카메라에서는 전송된 좌표계가 어떤 영상으로부터 전달된 좌표계이든지 항상 원본 영상 좌표계에 해당되는 값이기 때문에 별도의 변환 과정이나 영상에 대한 의존도 없이 설정이 가능하다.
또한 수신된 영상을 저장하는 시스템 또는 클라이언트 단말기에서 영상의 좌표계 값을 같이 저장하는 것도 가능하다. 카메라에서 수신된 영상이 원본 영상으로부터 Crop된 영역을 가지고 있고, Crop 영역이 지속적으로 변경되는 도 10의 일 실시예와 같은 다이내믹 크랍(Dynamic Crop) 영상인 경우에 현재 좌표계 정보가 원본 영상의 어떤 영역에 속한 것인지 변환하여 저장할 수 있다. 이후 저장된 영상 정보로부터 영역에 대한 이벤트 정보를 얻고자 할 때, 원본 영상 좌표계를 사용하여 일관된 영역에 대한 변경사항을 추적할 수 있다.
도 10에 도시된 원본 영상 T1(1100), T2(1200), T3(1300) 에서 이벤트 영역(1001, 1002, 1003, 1004, 1005, 1006, 1007)에 따라 다이내믹 크랍(Dynamic Cropping)을 지원하는 영상 스트림 또는 인코딩 스트림을 수신하고 있는 클라이언트 단말기가 있는 경우, 본 발명의 바람직한 일 실시예에서는 기존의 Frame으로 시간 값을 수신할 수 있다.
그리고 수신되는 영상으로부터 Translate, Scale 정보를 이용하여 원본 영상으로부터 대칭 이동된 영상인지 여부와 영상의 크기를 얻을 수 있다. 그리고 본 발명에서 제안하는 Crop 정보(1005, 1006, 1007)를 이용하여 원본 영상으로부터 어떤 영역에서 Cropping 된 영상 정보인지 알 수 있다.
도 11 은 본 발명의 바람직한 일 실시예로서, 단말기에서 촬영된 영상에 관한 데이터 프로토콜을 설정하는 흐름도를 도시한다.
본 발명의 바람직한 일 실시예로서, 네트워크 카메라는 최초 촬상된 원본영상의 좌표계에서 제 1 영역 정보를 검출한다(S1110), 그 후 원본영상을 인코딩한 인코딩 스트림의 좌표계에서 제 2 영역 정보를 검출한다(S1120). 단말기의 전송부는 원본영상의 좌표계와 인코딩 스트림의 좌표계 간의 변환 정보 또는 제 1 영역 정보와 제 2 영역 정보 간의 변환 정보를 메타데이터에 포함시켜 전송한다(S1130).
본 발명의 바람직한 일 실시예로서, 원본영상의 좌표계와 인코딩 스트림의 좌표계 간의 변환 정보는 Scale 정보, Mirror 정보, Flip 정보, Rotation 정보 등을 포함한다. 제 1 영역 정보와 제 2 영역 정보 간의 변환 정보는 Crop 정보를 포함한다.
도 12는 본 발명의 또 다른 바람직한 일 실시예로서, 단말기에서 촬영된 영상에 관한 데이터 프로토콜을 설정하는 흐름도를 도시한다.
도 12 는 도 11과 달리 클라이언트에서 원하는 영상의 이벤트 영역을 설정하려는 경우에 원본 영상에 대한 좌표계를 구성해서 정확한 좌표를 전달하는 경우 또는 클라이언트에서 설정을 변경하는 경우의 흐름도를 도시한다.
단말기에서 최초 촬상된 원본영상의 좌표계에서 제 1 영역 정보를 검출한다(S1210). 그리고, 단말기는 원본영상을 인코딩한 인코딩 스트림의 좌표계에서 제 2 영역 정보를 검출한다(S1220). 본 발명의 바람직한 일 실시예에서는 단말기의 원본 영상을 압축하는 과정에서 제 1 영역 정보와 제 2 영역 정보를 검출한다.
본 발명의 바람직한 일 실시예에서, 단말기가 클라이언트로부터 설정값(setting)을 수신하는 경우, 클라이언트가 요청한 원본 영상에 대한 좌표계를 구성하여 상기 제 1 영역 정보를 새롭게 설정할 수 있다(S1230).
그 후, 단말기는 클라이언트의 요청에 따라 변경된 원본영상의 좌표계와 상기 인코딩 스트림의 좌표계 간의 변환 정보 또는 제 1 영역 정보와 제 2 영역 정보 간의 변환 정보를 메타데이터 형태로 전송한다(S1240).
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (18)

  1. 단말기에서 촬영된 영상에 관한 데이터 프로토콜을 설정하는 방법으로서,
    단말기에서 최초 촬상된 원본영상의 좌표계에서 제 1 영역 정보를 검출하는 단계;
    상기 원본영상을 인코딩한 인코딩 스트림의 좌표계에서 제 2 영역 정보를 검출하는 단계;
    상기 단말기의 전송부는 상기 원본영상의 좌표계와 상기 인코딩 스트림의 좌표계 간의 변환 정보 또는 제 1 영역 정보와 제 2 영역 정보 간의 변환 정보를 메타데이터에 포함시켜 전송하는 단계;를 포함하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서, 상기 원본영상의 좌표계와 상기 인코딩 스트림의 좌표계 간의 변환 정보는 x 축 및 y축의 스케일(Scale)의 변환값, x 축 및 y축의 플립(fip)값, x 축 및 y축의 미러(mirror)값 내지 x 축 및 y축의 로테이션(rotation)값 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
  3. 제 2 항에 있어서, 상기 로테이션 값은 -359도부터 +359도까지를 나타나는 정수 값으로, 상기 원본영상 좌표계의 x축 및 y축의 회전 정도를 표시하고, 양수의 값일 경우 시계 방향의 회전을 나타내고, 음수의 값일 경우 반시계 방향의 회전을 나타내는 것을 특징으로 하는 방법.
  4. 제 2 항에 있어서, 상기 로테이션 값은
    Figure PCTKR2017005547-appb-I000001
    위의 Θ만큼 회전한 회전변환 행렬을 이용하여 표시가 가능한 것을 특징으로 하는 방법.
  5. 제 1 항에 있어서, 상기 제 1 영역 정보와 제 2 영역 정보 간의 변환 정보는
    상기 제 1 영역에서 크랍(crop)된 영역 정보를 포함하고,
    이 경우 상기 크랍된 영역 정보는 상기 제 1 영역 정보와 크랍된 영역의 가로 길이 및 세로 길이로 표시되는 것을 특징으로 하는 방법.
  6. 제 1 항에 있어서,
    상기 원본영상의 해상도와 상기 인코딩 스트림의 해상도가 상이한 경우, 또는 상기 원본영상의 녹화해상도와 상기 인코딩 스트림을 수신하여 재생하는 클라이언트 단말기에서의 재생해상도가 상이한 경우
    상기 메타데이터는 상기 제 1 영역 정보에서 크랍(crop)된 영역 정보, 그리고 x 축 및 y축의 스케일 값의 변환값을 포함하는 것을 특징으로 하는 방법.
  7. 제 1 항에 있어서,
    다이내믹 크라핑(Dynamic Croppin)을 지원하는 상기 인코딩 스트림을 수신하여 재생하는 클라이언트 단말기는 실시간으로 상기 메타데이터에 포함된 상기 제 1 영역에서 크랍(crop)된 영역 정보를 이용하여 상기 제 1 영역 중 어느 영역에서 크랍핑된 영상 정보인지 파악하는 것을 특징으로 하는 방법.
  8. 제 1 항에 있어서, 상기 단말기의 전송부는
    프레임마다 상기 원본영상의 좌표계와 상기 인코딩 스트림의 좌표계 간의 변환 정보 또는 제 1 영역 정보와 제 2 영역 정보 간의 변환 정보를 전송하는 것을 특징으로 하는 방법.
  9. 제 1 항에 있어서, 상기 단말기가 회전가능한 이미지 센서를 장착한 경우, 상기 이미지 센서의 회전 각도가 변경될 때마다 상기 단말기의 전송부는 변경된 상기 이미지 센서의 회전 각도로 인한 상기 원본영상의 좌표계와 상기 인코딩 스트림의 좌표계 간의 변환 정보를 전송하는 것을 특징으로 하는 방법.
  10. 제 1 항에 있어서, 상기 단말기에 자이로 센서가 장착된 경우, 상기 자이로 센서에서 상기 단말기의 영상 앵글값의 변화를 검출할 때마다 상기 단말기의 전송부는 변경된 상기 단말기의 영상 앵글값 변화로 인한 상기 원본영상의 좌표계와 상기 인코딩 스트림의 좌표계 간의 변환 정보를 전송하는 것을 특징으로 하는 방법.
  11. 제 10 항에 있어서, 상기 단말기는 드론인 것을 특징으로 하는 방법.
  12. 제 1 항에 있어서,
    상기 단말기의 전송부에서 전송한 상기 메타데이터 및 영상 스트림을 수신하는 클라이언트부는 수신한 영상 스트림과 상기 메타데이터를 기초로 파악한 상기 제 1 영역정보를 함께 저장할 수 있는 것을 특징으로 하는 방법.
  13. 제 1 항에 있어서, 상기 단말기에서 촬영된 영상에 관한 데이터 프로토콜은 ONVIF 표준을 따르는 것을 특징으로 하는 방법.
  14. 단말기에서 촬영된 영상에 관한 데이터 프로토콜을 설정하는 방법으로서,
    단말기에서 최초 촬상된 원본영상의 좌표계에서 제 1 영역 정보를 검출하는 단계;
    상기 원본영상을 인코딩한 인코딩 스트림의 좌표계에서 제 2 영역 정보를 검출하는 단계;
    상기 단말기의 인코딩 스트림을 수신하여 재생하는 클라이언트로부터 수신한 설정값에 따라 상기 원본영상의 좌표계와 상기 인코딩 스트림의 좌표계 간의 변환 정보 또는 제 1 영역 정보와 제 2 영역 정보 간의 변환 정보를 설정하는 단계;및
    상기 단말기의 전송부는 상기 원본영상의 좌표계와 상기 인코딩 스트림의 좌표계 간의 변환 정보 또는 제 1 영역 정보와 제 2 영역 정보 간의 변환 정보를 전송하는 단계; 를 포함하는 것을 특징으로 하는 방법.
  15. 촬영된 영상에 관한 데이터 프로토콜을 설정하는 단말기로서,
    최초 촬상된 원본영상의 좌표계에서 상기 원본영상을 나타내는 제 1 영역 정보를 검출하고, 상기 원본영상을 인코딩한 인코딩 스트림의 좌표계에서 상기 인코딩 영상을 나타내는 제 2 영역 정보를 검출하는 제어부; 및
    상기 원본영상의 좌표계와 상기 인코딩 스트림의 좌표계 간의 변환 정보 또는 제 1 영역 정보와 제 2 영역 정보 간의 변환 정보를 메타데이터에 포함시켜 전송하는 전송부;를 포함하는 것을 특징으로 하는 단말기.
  16. 촬영된 영상에 관한 데이터 프로토콜을 설정하는 단말기로서,
    클라이언트의 설정값 변경요청을 수신하는 네트워크인터페이스;
    최초 촬상된 원본영상의 좌표계에서 상기 원본영상을 나타내는 제 1 영역 정보를 검출하고, 상기 원본영상을 인코딩한 인코딩 스트림의 좌표계에서 상기 인코딩 영상을 나타내는 제 2 영역 정보를 검출하는 제어부;
    상기 클라이언트의 설정값 변경요청에 따라 변경된 상기 원본영상의 좌표계와 상기 인코딩 스트림의 좌표계 간의 변환 정보 또는 제 1 영역 정보와 제 2 영역 정보 간의 변환 정보를 메타데이터에 포함시켜 전송하는 전송부;를 포함하는 것을 특징으로 하는 단말기.
  17. 제 15항 또는 제 16 항에 있어서, 상기 원본영상의 좌표계와 상기 인코딩 스트림의 좌표계 간의 변환 정보는 x 축 및 y축의 스케일(Scale)의 변환값, x 축 및 y축의 플립(fip)값, x 축 및 y축의 미러(mirror)값 내지 x 축 및 y축의 로테이션(rotation)값 중 적어도 하나를 포함하는 것을 특징으로 하는 단말기.
  18. 제 15항 또는 제 16 항에 있어서, 상기 제 1 영역 정보와 제 2 영역 정보 간의 변환 정보는
    상기 제 1 영역에서 크랍(crop)된 영역 정보를 포함하는 것을 특징으로 하는 단말기.
PCT/KR2017/005547 2016-05-27 2017-05-26 촬영된 영상에 관한 데이터 프로토콜을 설정하는 단말기 및 방법 WO2017204598A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/304,922 US11528402B2 (en) 2016-05-27 2017-05-26 Terminal and method for setting data protocol for photographed image
KR1020187034426A KR102149277B1 (ko) 2016-05-27 2017-05-26 촬영된 영상에 관한 데이터 프로토콜을 설정하는 단말기 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662342339P 2016-05-27 2016-05-27
US62/342,339 2016-05-27

Publications (1)

Publication Number Publication Date
WO2017204598A1 true WO2017204598A1 (ko) 2017-11-30

Family

ID=60411345

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/005547 WO2017204598A1 (ko) 2016-05-27 2017-05-26 촬영된 영상에 관한 데이터 프로토콜을 설정하는 단말기 및 방법

Country Status (3)

Country Link
US (1) US11528402B2 (ko)
KR (1) KR102149277B1 (ko)
WO (1) WO2017204598A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111498096A (zh) * 2020-04-23 2020-08-07 珠海精讯知识产权管理有限公司 一种高续航功能的大自然动物监测用无人机
CN114390186A (zh) * 2020-10-19 2022-04-22 华为技术有限公司 视频拍摄方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120039164A (ko) * 2010-10-15 2012-04-25 (주) 아이티비엠지 Ｃｃｔｖ 영상을 송신하고 수신하는 방법 및 장치
KR20130047439A (ko) * 2011-10-31 2013-05-08 삼성에스디에스 주식회사 정보 수집 장치 및 그 방법
KR101451115B1 (ko) * 2014-02-28 2014-10-22 (주) 네온텍 다양한 프로토콜을 지원하는 영상감시장치
KR20140132575A (ko) * 2013-05-08 2014-11-18 심영석 카메라 시스템
KR101577409B1 (ko) * 2014-08-05 2015-12-17 주식회사 다이나맥스 데이터 저장용량을 절약할 수 있도록 촬영 영역별 차별적 해상도를 적용한 cctv 시스템

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020057337A1 (en) 2000-11-15 2002-05-16 Kumler James J. Immersive time sequential imaging system
KR101034493B1 (ko) 2004-01-09 2011-05-17 삼성전자주식회사 화상 변환 장치, 화상 변환을 위한 직접 메모리 액세스장치 및 화상 변환을 지원하는 카메라 인터페이스
US20110072479A1 (en) * 2009-09-23 2011-03-24 Industrial Technology Research Institute System and method for reporting a position of a video device and network video transmitter thereof
US9280718B2 (en) * 2010-11-24 2016-03-08 Nocimed, Llc Systems and methods for automated voxelation of regions of interest for magnetic resonance spectroscopy
US9704393B2 (en) 2011-01-11 2017-07-11 Videonetics Technology Private Limited Integrated intelligent server based system and method/systems adapted to facilitate fail-safe integration and/or optimized utilization of various sensory inputs
JP5925059B2 (ja) 2012-06-12 2016-05-25 キヤノン株式会社 撮像制御装置、撮像制御方法及びプログラム
US9516229B2 (en) 2012-11-27 2016-12-06 Qualcomm Incorporated System and method for adjusting orientation of captured video
JP2015220693A (ja) 2014-05-20 2015-12-07 キヤノン株式会社 撮像装置、撮像システム、及びそれらの制御方法、ならびにプログラム
US9881647B2 (en) * 2016-06-28 2018-01-30 VideoStitch Inc. Method to align an immersive video and an immersive sound field

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120039164A (ko) * 2010-10-15 2012-04-25 (주) 아이티비엠지 Ｃｃｔｖ 영상을 송신하고 수신하는 방법 및 장치
KR20130047439A (ko) * 2011-10-31 2013-05-08 삼성에스디에스 주식회사 정보 수집 장치 및 그 방법
KR20140132575A (ko) * 2013-05-08 2014-11-18 심영석 카메라 시스템
KR101451115B1 (ko) * 2014-02-28 2014-10-22 (주) 네온텍 다양한 프로토콜을 지원하는 영상감시장치
KR101577409B1 (ko) * 2014-08-05 2015-12-17 주식회사 다이나맥스 데이터 저장용량을 절약할 수 있도록 촬영 영역별 차별적 해상도를 적용한 cctv 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111498096A (zh) * 2020-04-23 2020-08-07 珠海精讯知识产权管理有限公司 一种高续航功能的大自然动物监测用无人机
CN114390186A (zh) * 2020-10-19 2022-04-22 华为技术有限公司 视频拍摄方法及电子设备
CN114390186B (zh) * 2020-10-19 2023-05-19 华为技术有限公司 视频拍摄方法及电子设备

Also Published As

Publication number Publication date
KR20180135971A (ko) 2018-12-21
US20210227124A1 (en) 2021-07-22
KR102149277B1 (ko) 2020-08-28
US11528402B2 (en) 2022-12-13

Similar Documents

Publication Publication Date Title
WO2011139070A2 (en) Method and apparatus for recognizing location of user
US9967518B2 (en) Video conference system
WO2013115541A1 (ko) 단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법
WO2017090986A1 (en) Electronic apparatus and method for controlling electronic apparatus thereof
WO2016048020A1 (ko) 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
EP3473008A1 (en) Method and system for interactive transmission of panoramic video
WO2020185029A1 (ko) 전자 장치 및 증강 현실 기반의 공유 정보 표시 방법
WO2014073841A1 (ko) 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기
WO2015046674A1 (en) Head-mounted display and method of controlling the same
WO2017090892A1 (ko) Osd 정보 생성 카메라, osd 정보 합성 단말기(20) 및 이들로 구성된 osd 정보 공유 시스템
WO2018070672A1 (en) Electronic device and method for controlling the electronic device
US11006042B2 (en) Imaging device and image processing method
WO2020197070A1 (en) Electronic device performing function according to gesture input and operation method thereof
WO2021221334A1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
WO2021167374A1 (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
WO2012077912A1 (en) Three-dimensional display apparatus and 3d display method thereof
WO2018135906A1 (ko) 카메라 및 카메라의 영상 처리 방법
WO2020218717A1 (ko) 어라운드 뷰 장치
WO2015160052A1 (ko) 광각 렌즈 이미지 보정 방법 및 그 장치
WO2017204598A1 (ko) 촬영된 영상에 관한 데이터 프로토콜을 설정하는 단말기 및 방법
WO2014065495A1 (en) Method for providing contents and a digital device for the same
WO2019139404A1 (ko) 전자 장치 및 그의 영상 처리 방법
WO2019164287A1 (ko) 전자 장치 및 그의 증강 현실 객체 제공 방법
WO2019098729A1 (ko) 차량용 모니터링 방법 및 장치
JP2018014572A (ja) 情報処理装置、画像処理システム、プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 20187034426

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17803116

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17803116

Country of ref document: EP

Kind code of ref document: A1