WO2019103240A1 - Ip를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법 - Google Patents

Ip를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법 Download PDF

Info

Publication number
WO2019103240A1
WO2019103240A1 PCT/KR2018/001729 KR2018001729W WO2019103240A1 WO 2019103240 A1 WO2019103240 A1 WO 2019103240A1 KR 2018001729 W KR2018001729 W KR 2018001729W WO 2019103240 A1 WO2019103240 A1 WO 2019103240A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
images
mipmap
combination
Prior art date
Application number
PCT/KR2018/001729
Other languages
English (en)
French (fr)
Inventor
박춘대
김창수
Original Assignee
(주)루먼텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)루먼텍 filed Critical (주)루먼텍
Publication of WO2019103240A1 publication Critical patent/WO2019103240A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the present invention relates to a system and method for distributing and distributing multi-camera video over IP, and more particularly, to a system and method for multi-camera video distribution and combination via IP, And distributes the distributed video through the Internet Protocol (IP) according to the request, thereby displaying a video image of a higher resolution and a wide angle, A camera, a video server, and a client terminal.
  • IP Internet Protocol
  • UHD Ultra High Definition
  • a plurality of images may be stitched by vertically and horizontally stitching together images to cover a wider area, thereby providing a more realistic image to the user.
  • a video captured by a multi-camera is converted into a mipmap image having various resolutions and provided according to a request of a client terminal, and the client terminal constructs a mipmap image and a video server to form a large-
  • the present invention proposes a method of displaying a video image at a higher resolution and a wide angle by configuring an image according to a user's desired based on image combination information about the stitching point information and the blending parameter between adjacent adjacent images.
  • a method to synchronize the time synchronization between each camera by calculating the network delay between each camera when the video data transmitted from each of the plurality of cameras reaches the receiving side after passing through the network.
  • Korean Patent Registration No. 1603976 (Mar. 26, 2016) relates to a moving picture file combining method and apparatus thereof, and relates to a moving picture file combining method and apparatus thereof, in which moving picture files are transcoded and stored, The file processing speed is improved, and the processing load required for combining moving picture files can be reduced.
  • the present invention utilizes the image combining information including the stitching point information and the blending parameter between neighboring images constructed when forming a large-scale image based on the mipmap image for each resolution, Since the technical structure for creating a final image by cutting or combining images as desired by the user is presented, it is clear that there is a difference in technical characteristics compared with a technology construction for combining moving picture files stored in advance in the above-described prior art .
  • Korean Patent Laid-Open Publication No. 2014-0011964 (Apr. 29, 2014) discloses a surveillance and reconnaissance method using high-quality panorama video, and stitches a plurality of images acquired by a multi-camera to create a panorama video having high- .
  • the technical structure of the present invention for creating an image according to the bar is different from the technical structure of the prior art for generating a panoramic moving image by stitching a plurality of images acquired by a multi-camera.
  • the above prior arts have a configuration in which a video file processing speed is improved and a processing load is reduced to combine moving images with few resources, a configuration in which a plurality of images acquired by a multi-camera are stitched to generate a panoramic video having a high-
  • the technical feature of the present invention is a mipmap image in which a user converts a video shot by a multi-camera into various resolutions and a mipmap image in a video server.
  • a video server The technical differences are obvious because there is no detailed description about the configuration of cutting or combining to create the desired image.
  • the present invention has been made to solve the above problems, and it is an object of the present invention to provide a mipmap image having a variety of resolutions with respect to a photographed image, .
  • the present invention also provides a video server that stitches, blends, or combines mipmap images of various resolutions provided by a multi-camera to construct a large-scale image, and provides stitching point information between adjacent images when forming a large- Parameters and the like to a corresponding client terminal by providing the image combining information, the mipmap image, or a combination thereof, which is constructed when a large-sized image is configured for each resolution according to a request from each client terminal, .
  • the present invention provides a client terminal including a mipmap image provided from a video server or a multi-camera, and a stitching point information, a blending parameter, or a combination thereof between neighboring images generated in advance when a large- It is another object of the present invention to provide a method for displaying an image on a screen by composing and combining images according to a desired resolution based on image combining information.
  • the present invention synchronizes the individual camera images in accordance with the scan order from left to right so that there is no parallax between adjacent frames when spatially combining each frame of the multi-camera image, Another object of the present invention is to minimize parallax between frames.
  • the present invention receives video data transmitted from each camera of a multi-camera at a receiving end, calculates a network delay, and then performs frame synchronization between video data received from a plurality of cameras in consideration of the time delay, Another object of the present invention is to enable handling of synchronized video data.
  • the present invention can change the display of the multi-camera image according to the display resolution to the previous screen in time, and then change the display back to the screen.
  • the present invention can display a multi-camera image in three dimensions.
  • a multi-camera uses an adjacent camera as a pair of stereo cameras, or a two-dimensional image is converted into a three-
  • a depth camera may be separately provided and a three-dimensional image may be generated using the depth camera. That is, another object of the present invention is to make it possible to output a stereoscopic image using a multi-camera, and to output a combined 3D graphic to an object.
  • a multi-camera control apparatus receives image data taken by a plurality of cameras, converts each image data into a mipmap image having at least one resolution, And controlling generation of the mipmap image according to a predetermined setting, wherein the mipmap image is generated by preliminarily determining image data of each full resolution photographed by a plurality of cameras And the image is generated by reducing by resolution.
  • the multi-camera control apparatus further comprises packetizing the converted mipmap image into an IP packet, and transmitting the mipmap image converted into the IP packet to a video server or a client terminal through a network .
  • the multi-camera control apparatus may further include a multi-camera control unit that controls driving of the plurality of cameras based on a drive control signal received from a video server or a client terminal, And driving the driving unit.
  • the multi-camera control device may further include a plurality of cameras arranged in a predetermined scanning order according to a multi-camera shooting environment from left to right so as not to cause a parallax between adjacent frames when the frames of the multi- The synchronization of the individual camera images in the camera is adjusted to maintain the entire frame synchronization, thereby minimizing the parallax between the frames.
  • the multi-camera control device adjusts the multi-camera image according to the display resolution, and then moves to the previous screen in time, changes the display to the next screen again, or changes the direction of the multi-camera image horizontally, vertically or diagonally, Display, or a combination thereof, so that a user can select and output a desired portion of the multi-camera image.
  • the multi-camera control device it is possible to support display of a multi-camera image as a three-dimensional stereoscopic image, and in the multi-camera, the cameras adjacent to each other among a plurality of cameras may be used as a pair of stereo cameras, Dimensional image into a three-dimensional image and outputting the converted three-dimensional image or a three-dimensional image with a separate depth camera, wherein the multi-camera image includes a three-dimensional graphic .
  • the multi-camera video distribution apparatus performs stitching, blending, or a combination thereof between adjacent camera images for a full image provided from a plurality of cameras, a mipmap image having a plurality of resolutions, A video server for generating information required to construct a multi-camera image and providing a full image, a mipmap image of a plurality of resolutions, or a combination thereof to the client, .
  • the video server may further include a step of stitching, blending, or a combination thereof between adjacent camera images for a full image provided from a plurality of cameras, a mipmap image having a plurality of resolutions, or a combination thereof to construct a multi-
  • the information is obtained by previously calculating information necessary for constructing a multi-camera image based on the mipmap images of respective resolutions.
  • the information includes coordinates of a junction between neighboring images, a horizontal synchronizing signal, a vertical synchronizing signal, Stitching point information including a combination, blending parameters including a contrast, brightness, color, or a combination thereof, of a junction portion between adjacent images, or a combination thereof.
  • the video server may further include a controller for generating a control signal for controlling the driving of each of the plurality of cameras and transmitting the generated control signal to the camera control unit, Or providing the updated firmware to the plurality of cameras or the multi-camera control device when the firmware for operation of the multi-camera control device is updated.
  • the video server also detects overlapping portions between adjacent images among a plurality of images provided from the multi-camera, moves any one of the adjacent images with reference to the detected overlapping portion, And performing blending processing by adjusting brightness, contrast, color, or a combination of the adjacent portions of the synchronized adjacent images.
  • the multi-camera video distribution apparatus may change the display of the multi-camera video according to the display resolution to the previous screen in time and then change the display back to the screen, or may change the direction of the multi- Or a combination thereof, so that a user can select and output a desired portion of the multi-camera image.
  • the multi-camera video distribution apparatus it is possible to support display of the multi-camera image as a three-dimensional image.
  • a plurality of cameras adjacent to each other among a plurality of cameras may be used as a pair of stereo cameras, Dimensional image to a three-dimensional image and outputting the converted three-dimensional image or a three-dimensional image by providing a separate depth camera, wherein the multi-camera image includes a three-dimensional graphic .
  • a client terminal receives a mipmap image according to a specific resolution, image combination information between adjacent images according to the resolution, or a combination thereof from a multi-camera or a video server,
  • the mipmap image is cut or spliced according to the specific resolution to generate a multi-camera image to be output to a display screen, and the generated multi-camera image is output through a display screen.
  • the client terminal may request and receive a mipmap image according to a specific resolution to be rendered on a display screen, image combination information between adjacent images according to the resolution, or a combination thereof through a multi-camera or a video server via IP, Or the video server receives the mipmap image, the image combination information, or a combination thereof without the request, or receives the mipmap image, the image combination information, or a combination thereof periodically from the multi-camera or video server .
  • the client terminal may display the multi-camera image in accordance with the display resolution and then display the previous screen in a temporal manner and then change the display to the screen again, or change the display direction to left, Or a combination thereof to select and output a portion desired by the user in a large-sized multi-camera image.
  • the video server information required to construct a multi-camera image by performing stitching, blending, or a combination thereof between adjacent camera images for a full image, a mipmap image of a plurality of resolutions supplied from a plurality of cameras, And providing the video server with a full image, a mipmap image of a plurality of resolutions supplied from the plurality of cameras, or a combination of the mipmap images or a combination of the mipmap images and the plurality of resolutions.
  • the client terminal may also request a multi-camera or a video server to provide a mipmap image according to a specific resolution, image combination information between adjacent images according to the resolution, or a combination thereof,
  • the multi-camera image is cut off or connected according to the specific resolution and output to the display screen, and the client terminal outputs the generated multi-camera image through the display screen.
  • video is captured in a multi-camera, and mipmap images having various resolutions for the video are transmitted to IP Resolution and wide-angle video can be displayed on the screen by dividing and combining the distributed video in each client terminal according to a desired manner, so that the user can display a more beautiful and aesthetic video It is possible to view an image.
  • FIG. 3 is a diagram showing the configuration of the multi-camera control apparatus of FIG. 1 in more detail.
  • FIG. 4 is a diagram showing the configuration of the video server of FIG. 1 in more detail.
  • FIG. 5 is a diagram showing the configuration of the client terminal of FIG. 1 in more detail.
  • FIG. 6 is a flowchart illustrating an operation procedure of a multi-camera control apparatus to which a multi-camera video distribution and combination method according to an exemplary embodiment of the present invention is applied.
  • FIG. 7 is a flowchart illustrating an operation of a video server to which a method of distributing and combining multi-camera video according to an exemplary embodiment of the present invention is applied.
  • FIG. 1 is a view schematically showing a configuration of a multi-camera video distribution and combination system via IP according to an embodiment of the present invention.
  • FIG. 2 is a conceptual diagram for explaining a multi-camera video distribution and combination process to which the present invention is applied .
  • the multi-camera video distribution and combination system via IP of the present invention includes a plurality of multi-cameras 100, a multi-camera control apparatus 200, a video server 300, a database 400 A client terminal 500, a display device 600, and the like.
  • the multi-camera 100 is composed of a plurality of IP cameras capable of capturing UHD-class images, and each camera is communicatively connected to the multi-camera control device 200 locally.
  • the multi-camera 100 divides and captures a large-scale specific shooting target space, such as a stadium, based on the driving control of the multi-camera control device 200, and outputs the photographed video data to the multi-camera control device 200 do.
  • the multi-camera control apparatus 200 is connected to each of a plurality of cameras constituting the multi-camera 100 via a local network.
  • the multi-camera control apparatus 200 receives image data photographed by the multi-camera 100 through a local IP, And converts the mipmap image into a mipmap image such as a full resolution, a 1/4 resolution, a 1/16 resolution, and the like, and then transmits the mipmap image to a video server (not shown) through a network, a user interface, 300).
  • the multi-camera control apparatus 200 can directly provide a mipmap image of a specific resolution to the corresponding client terminal 500 at the request of the client terminal 500.
  • a mipmap image of a specific resolution to the corresponding client terminal 500 at the request of the client terminal 500.
  • the multi-camera control device 200 may be implemented in a single physical structure as shown in FIG. 1A, or may be built in each camera of the multi-camera 100.
  • the image data directly captured by the camera can be configured as a mipmap image having at least one resolution.
  • the mipmap image generated based on the image data photographed by the multi-camera 100 in the multi-camera control device 200 may include a basic texture and a continuous texture image for the purpose of improving the rendering speed in the texture mapping field of the three- A collection of bitmap images of previously collapsed textures, also called mipmaps (MIP maps). That is, the mipmap image is an image generated by reducing image data of each full resolution taken by a plurality of cameras by predetermined resolution.
  • MIP maps mipmaps
  • the resulting mipmap sets are each 1/4 the size of the previous image, 64, 32 ⁇ 32, 16 ⁇ 16, 8 ⁇ 8, 4 ⁇ 4, 2 ⁇ 2, 1 ⁇ 1.
  • the 64 ⁇ 64 size and 32 ⁇ 32 size mipmap images are interpolated in the appropriate way to get the final image.
  • the simplest method is to average the pixels of the mipmap image that is closest to each pixel in the final image.
  • complex methods using signal processing or Fourier transforms can be used.
  • the advantage of this method is that it does not require a large capacity, but in many cases the enlargement and reduction are not made regardless of the direction, and one direction is enlarged and reduced more than the other. In this case, the image with the proper resolution is used. If the resolution is high, the cache efficiency is lowered, the anti-aliasing occurs in one direction, but the quality of the final image is high. If the resolution is low, the cache efficiency is increased. However, It becomes difficult to do.
  • the multi-camera control device 200 controls the driving of each of the multi-cameras 100 that divides a specific shooting target space based on control signals provided from the video server 300 or the client terminal 500
  • the firmware for operating the multi-camera 100 is updated from the video server 300, the updated firmware is applied to each of the multi-cameras 100 and operated.
  • the video server 300 receives a full image, a mipmap image for a plurality of resolutions, or a combination thereof from the multi-camera control device 200 through a network, and receives a full image, A mipmap image for a plurality of resolutions, or a combination thereof, stitching, blending, or a combination thereof between adjacent camera images to construct a multi-camera image, and a stitching point between adjacent camera images And parameters for blending of image portions overlapping with each other are stored in the database 400 and managed.
  • the video server 300 transmits information such as a stitching point between adjacent camera images generated when a multi-camera image is formed according to a request of the client terminal 500, To the client terminal (500).
  • the video server 300 emulates a combination of the mipmap images having various resolutions provided from the multi-camera control device 200, and generates point information on which neighboring images are joined, parameters for blending the joints, and the like And build it into a database.
  • the client can combine and produce images desired by the client.
  • the information is obtained by preliminarily calculating the information necessary for constructing the multi-camera image based on the mipmap images for respective resolutions and storing the information in a database.
  • the information includes a stitching point including coordinates for a junction point between adjacent images, a horizontal synchronizing signal, Information, blending parameters including contrast, brightness, color and the like for a junction portion between adjacent images, or a combination thereof. Since the information is provided to the client terminal 500 on an IP basis, the information can be directly used for image combining on the receiving side.
  • the video server 300 may provide the client terminal 500 with the information, a full image provided from the plurality of cameras, a mipmap image having a plurality of resolutions, or a combination thereof.
  • Multicasting and transmitting information such as stitching points and blending parameters between camera images can reduce traffic on the network.
  • the video server 300 receives a full image, a mipmap image having a plurality of resolutions, or an image including a combination thereof, from the multi-camera control device 200. However, After receiving the data, you can create mipmap images with various resolutions directly.
  • the database 400 stores mipmap images having various resolutions provided from the multi-camera control device 200 based on the control of the video server 300, and combines multi-camera images for mipmap images having a plurality of resolutions A stitching point between adjacent images generated based on the image data, and blending parameters of overlapping image parts.
  • the database 400 stores and manages a firmware program for driving the multi-camera 100 or the multi-camera control device 200.
  • the client terminal 500 requests the video server 300 to provide image combining information such as a stitching point and a blending parameter between a mipmap image of a specific resolution desired by the client and a neighboring image formed in advance,
  • image combining information necessary for composing the mipmap image and the multi-camera image for a specific resolution is received.
  • the mipmap image may be directly transmitted to the multi-camera 100 in addition to the video server 300.
  • the client terminal 500 may also include a stitching point between adjacent images generated when the mipmap image provided from the video server 300 or the multi camera 100 and the multi camera image provided from the video server 300 are configured. Information, blending parameters, and the like on the basis of the image combining information, and displays the combined image on the display device 600.
  • ROI Region Of Interest
  • the client terminal 500 fetches a full resolution image and combines the images and selectively outputs information such as image, point junction information, and blending parameters of a required resolution without outputting the combined image to the display device 600, And can output the combined image to the display device 600.
  • the client terminal 500 may receive the mipmap image, the image combination information, or a combination thereof from the multi-camera 100 or the video server 300 without a request from the client, or may be periodically provided.
  • the client terminal 500 may output the combined final image according to the resolution desired by the client to the display device 600, and may output the broadcast image through the broadcast transmitter.
  • the display device 600 is an electronic device such as a general television and a monitor, and displays an image formed by the client terminal 500 on the screen.
  • the multi-camera video distribution and combination system via IP of the present invention can be applied to a plurality of multi-camera 100, multi-camera control apparatus 200A, client terminal 500A and display apparatus 600 Camera control apparatus 200A directly to the client terminal 500A without configuring the video server 300 and the database 400 described with reference to FIG. (I.e., stitching point information, blending parameters, and the like) that are calculated and stored in advance when a large-scale image is constructed based on each mipmap image for each resolution,
  • the controller 200A can receive the information and configure the desired image.
  • the multi-camera control device 200A converts the image data photographed by the multi-camera 100 into a mipmap image having various resolutions, as well as emulating a large-scale image based on each mipmap image for each resolution, And stores and manages the image combining information generated based on the result of the execution and provides the mipmap image and the image combining information of the corresponding resolution at the request of the client terminal 500A.
  • the multi-camera control device 200A can control the driving of each of the multi-cameras 100 that divides a specific shooting subject space based on a control signal provided from the client terminal 500A.
  • the firmware for operating the multi-camera 100 or the multi-camera control device 200 is updated from the client terminal 500A or the multi-camera manufacturer, the updated firmware is applied to each of the multi-cameras 100 Can be operated.
  • each frame of the multi-camera image is spatially combined It is necessary to perform processing so that no parallax occurs between adjacent frames.
  • the individual camera images of a plurality of cameras are synchronized based on a predetermined scanning order according to the shooting environment of the multi-camera to maintain the entire frame synchronization. This can minimize the parallax between adjacent frames when constructing a multi-camera image.
  • the present invention can further provide a function of supporting a client to select and output a desired portion in a multi-camera image formed by combining adjacent images.
  • the display is changed to the previous screen, By displaying each image using only a part, or by performing a combination thereof, the client can provide a desired portion.
  • the present invention generates Precision Time Protocol (PTP) timestamps in each camera when transmitting video data from each camera of the multi-camera, and transmits a packet including video data and a time stamp in accordance with the IEEE 1588 standard
  • the video server or the terminal extracts the video data and the time stamp from the packets transmitted from the plurality of cameras and calculates the time delay between each camera and the video server or the terminal using the time stamp and the local clock , And performs frame synchronization between video data received from a plurality of cameras in consideration of the time delay.
  • IP network
  • the reference clock necessary for generating the time stamp or the time stamp may be generated separately from each camera belonging to the multi-camera, or may be generated by the multi-camera control device and provided to each camera. Alternatively, It may be used by being distributed by a camera. It is also possible to generate them in a dedicated master device.
  • the present invention can further provide a function of supporting a multi-camera image formed by combining adjacent images as a three-dimensional stereoscopic image.
  • a method of using a camera adjacent to each other among a plurality of cameras constituting the multi-camera 100 as a pair of stereo cameras a method of converting two-dimensional image data into three-dimensional image data Dimensional stereoscopic image including three-dimensional images using a depth camera to additionally configure a depth camera in addition to the multi-camera to support the generation of a three-dimensional image through the depth camera, So that the camera image can be implemented.
  • FIG. 3 is a diagram showing the configuration of the multi-camera control device 200 of FIG. 1 in more detail.
  • the multi-camera control device 200 includes an imaging data input unit 210, a mipmap image conversion unit 220, a packet conversion unit 230, a communication unit 240, a storage unit 250, A multi-camera driving unit 260, a control unit 270, and the like.
  • the photographing data input unit 210 receives the image data photographed by each camera and outputs the image data to the mipmap image converting unit 220.
  • the mipmap image converting unit 220 converts the mipmap image having various resolutions into various mipmap images based on the image data received from each camera through the shooting data input unit 210, . At this time, the mipmap image is generated by reducing the full resolution texture by resolution of 1/4 resolution, 1/16 resolution, etc. predetermined in advance.
  • the packet conversion unit 230 packetizes the mipmap image converted by the mipmap image conversion unit 220 into an IP packet and outputs the mipmap image converted into the IP packet to the communication unit 240 and outputs the mipmap image to the video server 300 or And provides it to the client terminal 500.
  • the communication unit 240 transmits the mipmap image converted into the IP packet through the packet conversion unit 230 to the video server 300 or the client terminal 500 through a network, a user interface, or a combination thereof . That is, the mipmap image is distributed to the video server 300 or the client terminal 500 via IP and transmitted.
  • the communication unit 240 receives various program information for driving the multi-camera control device 200 from the video server 300, a drive control signal for controlling the driving of each of the multi-cameras 100, and the like .
  • the storage unit 250 stores various programs for driving the plurality of multi-cameras 100 and the multi-camera control device 200.
  • the multi-camera driving unit 260 controls the driving of each of the multi-cameras 100 based on the driving control signal received from the video server 300 or the client terminal 500. [ That is, the multi-camera 100 divides a specific shooting target space and controls the shooting.
  • the control unit 270 controls the overall operation of the multi-camera control device 200.
  • the control unit 270 controls input processing of image data taken by each camera in the shooting data input unit 210, And controls the mipmap image conversion of the image data photographed by each camera in the image conversion unit 220.
  • the control unit 270 controls the IP packet conversion of the mipmap image in the packet conversion unit 230 and transmits the mipmap image transmission in the communication unit 240, 200, and controls driving of each of the cameras in the multi-camera driving unit 260. [0050] FIG.
  • FIG. 4 is a diagram showing the configuration of the video server 300 of FIG. 1 in more detail.
  • the video server 300 includes a communication unit 310, a packet conversion unit 320, a stitching and blending processing unit 330, an image combining information generating unit 340, an image combining information providing unit 350, a multi-camera management unit 360, a control unit 370, and the like.
  • the communication unit 310 receives the mipmap image converted into the IP packet from the multi-camera control device 200 communicatively connected through the network, and outputs the received mipmap image to the packet conversion unit 320.
  • the communication unit 310 may include a stitching point between neighboring images generated when a multi-camera image is formed through a mipmapped image of a specific resolution and a mipmap image of a specific resolution in response to a request from the client terminal 500 communicatively connected through a network And parameters for blending the image portions overlapping the image portion, to the corresponding client terminal 500.
  • the mipmap image and the image combining information of the specific resolution provided to the client terminal 500 may be provided without any separate request by the client or periodically provided.
  • the communication unit 310 transmits various program information for driving the multi-camera control device 200, a drive control signal for controlling driving of the plurality of cameras, and the like.
  • the packet converter 320 decompresses the IP packet received from the multi-camera control device 200 through the communication unit 310 and converts the decompressed IP packet into a mipmap image having various resolutions and outputs the mipmap image to the stitching and blending processor 330 .
  • the packet conversion unit 320 may convert the stitching point information between neighboring images generated when the multi-camera image is formed, the blending parameters of the overlapped image parts, and the like to the mipmap image of the specific resolution requested by the client terminal 500 And outputs the image combining information converted into the IP packet to the communication unit 310 to provide the image combining information to the client terminal 500.
  • the stitching and blending processing unit 330 performs stitching, blending, or a combination of mipmap images of various resolutions received from the multi-camera 100 through the communication unit 310, And includes a redundant image extracting unit 332, a synchronization unit 334, a blending unit 336, and the like.
  • the redundant image extracting unit 332 detects redundant portions between adjacent images among the images provided from the respective cameras.
  • the overlapping image extracting unit 332 searches overlapping areas while moving from the center of the image taken by two adjacent cameras to the edge gradually, and detects the overlapping part based on the search result. This is one of the fastest ways to find overlapping areas in stitching.
  • the synchronization unit 334 moves any one of the adjacent images by referring to the overlapping part detected by the overlapping image extracting unit 332 and synchronizes the images so that they are stitched without a discontinuous part.
  • each camera when transmitting video data from each camera of the multi-camera, each camera generates a PTP timestamp and transmits a packet including video data and a time stamp to the video server or the terminal.
  • the video data and the time stamp are extracted from the transmitted packet, the time delay between each camera and the video server or the terminal is calculated using the corresponding time stamp and the local clock, And performs frame synchronization between the data.
  • the blending unit 336 adjusts the brightness, contrast, color, or a combination of the adjacent portions of the adjacent images synchronized by the synchronization unit 334 so that a foreign object is not felt between adjacent images.
  • the image combining information generating unit 340 checks the image combining information between adjacent images generated when the multi-camera image is formed based on the mipmap images for each resolution in the stitching and blending processor 330, (400).
  • the image combining information is calculated in advance and formed into a database when the multi-camera image is constructed based on the mipmap images for respective resolutions.
  • the image combining information includes at least one of a coordinate, a horizontal synchronizing signal, a vertical synchronizing signal, or a combination thereof, of a junction point between adjacent images, a contrast, a brightness, a color, or a combination thereof , Or a combination thereof.
  • ≪ RTI ID 0.0 >
  • the image combining information providing unit 350 checks whether image combining information between adjacent images according to a specific resolution is requested from the client terminal 500 through the communication unit 310. If the image combining information is requested from the client terminal 500 Resolution image is requested, the image combining information, such as the stitching point information and the blending parameter, between the adjacent images of the mipmap image of the specific resolution requested by the client terminal 500, To the client terminal (500).
  • the image combining information is provided to the packet converting unit 320, converted into an IP packet, and then transmitted to the client terminal 500 through the IP in the communication unit 310.
  • the image combining information providing unit 350 may provide the mipmap image having a specific resolution requested by the client terminal 500 to the client terminal 500 together with the image combining information.
  • the image combining information providing unit 350 may store the combined image information of adjacent images according to the specific resolution requested by the client terminal 500 in the database 400 if the image combining information is not previously stored in the database 400 Based on the image combining information according to the two resolutions closest to the resolution requested by the client terminal 500 among the image combining information for each mipmap image for each resolution being managed, the image combining information according to the resolution requested by the client terminal 500 And provide it to the client terminal 500.
  • the image combining information providing unit 350 sets the image combining information according to the 64 ⁇ 64 resolution and the 32 ⁇ 32 resolution
  • the image combining information according to the 40? 40 resolution requested by the client is calculated by referring to the image combining information, and then the image combining information is provided to the client terminal 500.
  • the multi-camera management unit 360 generates control signals for controlling the respective cameras constituting the multi-camera 100 and transmits the generated control signals to the multi-camera control unit 200 ).
  • the multi-camera management unit 360 updates the updated firmware through the communication unit 310 200).
  • the control unit 370 controls the overall operation of the video server 300.
  • the control unit 370 controls the overall operation of the video server 300 according to the mipmap image reception in the communication unit 310 and the driving of the multi camera 100 or the multi- A client request confirmation in the image combination information providing unit 350, a combination of a mipmap image according to a specific resolution requested from a client and stitching point information between neighboring images, blending parameters, etc. And controls the transmission of information.
  • the controller 370 cancels the IP packet for the mipmap image received from the multi-camera control device 200 in the packet converter 320, decodes the image combining information for the mipmap image of the specific resolution requested from the client, And controls the IP packet conversion of the mipmap image by stitching or blending the mipmap images of various resolutions in the stitching and blending processing unit 330 and the adjacent image in the image combining information generating unit 340 And controls generation and storage of image combination information.
  • FIG. 5 is a diagram showing the configuration of the client terminal 500 of FIG. 1 in more detail.
  • the client terminal 500 includes a data requesting unit 510, a communication unit 520, a packet converting unit 530, an image combining unit 540, a video output unit 550, (560), a control unit (570), and the like.
  • the client terminal 500 may be configured by adding a multi-camera management unit for generating a control signal for controlling the operation of each multi-camera 100 and providing the control signal to the multi-camera control device 200 .
  • the data requesting unit 510 transmits the mipmap image according to the specific resolution to be rendered by the image combining unit 540 and the image combining information between adjacent images that are constructed in advance according to the resolution on the basis of the input operation of the client, Camera control apparatus 200 or the video server 300 via the network.
  • the communication unit 520 transmits the image combination information between the mipmap image according to the specific resolution requested by the data request unit 510 and the neighboring images that are constructed in advance according to the resolution to the multimedia camera control apparatus 200 or the video server 300, And receives image combining information between a mipmap image according to a specific resolution and an adjacent image that is constructed in advance according to the resolution from the multi-camera control device 200 or the video server 300 through the IP.
  • the communication unit 520 receives both the mipmap image for a specific resolution and the image combination information between adjacent images that are constructed in advance according to the resolution, from the video server 300,
  • the mipmap image for the resolution is provided from the video camera 300, and image combining information between adjacent images provided in advance according to the resolution is provided from the multi-camera control device 200.
  • the communication unit 520 receives both the mipmap image for a specific resolution and the image combination information between adjacent images previously constructed according to the resolution, from the multi-camera control device 200A.
  • the communication unit 510 receives the mipmap image and the image combination information of a specific resolution directly from the multi-camera control apparatus 200 or the video server 300 without a request through the data request unit 510, or periodically Can be provided.
  • the packet converting unit 530 releases the IP packet received from the multi-camera control device 200 or the video server 300 through the communication unit 520 and outputs the mipmap image for the specific resolution to the image combining unit 540, .
  • the packet converting unit 530 may also decode the IP packets for the image combining information between the adjacent images that are constructed in advance according to the specific resolution received from the video server 300 and may transmit the image combining information to the image combining unit 540, .
  • the image combining unit 540 cuts or splices the image using the mipmap image of the specific resolution desired by the client input from the packet converting unit 530 and the image combining information between adjacent images previously constructed according to the resolution, And outputs the generated image to the image output unit 550.
  • the image combining unit 540 receives the coordinates of the junction between the mipmap image for the specific resolution and the adjacent image constructed in the dictionary provided from the video server 300, the horizontal synchronization signal, the stitching point information including the vertical synchronization signal,
  • the image combining information such as contrast, brightness, and color blending parameters for the joint portion between adjacent images is referenced to perform operations such as cutting and connecting multiple images, interpolation work for filling empty space, blending processing of joint portions, and the like To create the desired image.
  • the storage unit 560 stores various programs used by the client terminal 500.
  • the storage unit 560 stores a mipmap image for a specific resolution provided from the multimedia camera control apparatus 200 or the video server 300, Image combining information between adjacent images that are constructed in advance and information on the final image performed by the image combining unit 540 are stored.
  • the control unit 570 collectively controls the overall operation of the client terminal 500.
  • the control unit 570 controls the overall operation of the client terminal 500 in accordance with the resolution of the mipmap image according to the specific resolution and the adjacent image And controls the request for the removal of the IP packet for the mipmap image and the image combination information for the specific resolution received from the multimedia camera control apparatus 200 or the video server 300 in the packet conversion unit 530 .
  • FIG. 6 It is noted that the steps according to the method of the present invention may be changed in the use environment or the order of those skilled in the art.
  • FIGS. 6 to 8 are flowcharts illustrating an operation procedure of a multi-camera control device, a video server, and a client terminal to which the multi-camera video distribution and combination method according to an exemplary embodiment of the present invention is applied.
  • a plurality of cameras each of which is made up of an IP camera capable of capturing a UHD-class image, take a specific object to be imaged and output the imaged image data to the multi-camera control device 200 connected to the local network (S110) .
  • the multi-camera control device 200 converts the image data taken by each camera received through the local network into mipmap images having various resolutions (S120), and converts the converted mipmap images into IP packets S130).
  • step S120 the mipmap image converted by the multi-camera control device 200 is generated by reducing the full-resolution texture by resolution of 1/4 resolution, 1/16 resolution, or the like determined in advance.
  • the multi-camera control device 200 After performing the mipmap image conversion and the IP packet conversion in steps S120 and S130, the multi-camera control device 200 transmits the mipmap image converted into the IP packet to the video server 300 or the client terminal 500 in step S140.
  • the video server 300 receives the IP packet from the multi-camera control device 200 through the network (S210), the IP packet is released and restored to a mipmap image having various resolutions (S220).
  • the video server 300 transmits the mipmap image (i.e., the image obtained by converting the image data photographed by each of the plurality of cameras 100 to various resolutions) received at various resolutions received from the multi-camera control device 200, And stitching, blending, or a combination thereof is performed between images to configure a multi-camera image (S230). In other words, it combines the image data taken by each camera included in the mipmap image for each resolution to produce a high resolution and wide angle image.
  • the mipmap image i.e., the image obtained by converting the image data photographed by each of the plurality of cameras 100 to various resolutions
  • the video server 300 In operation S240, the video server 300 generates image combining information including stitching point information, blending parameters, or a combination of neighboring images at the time of forming the multi-camera image in operation S240,
  • the image combining information is stored and managed in the database 400 (S250). That is, when a large-scale image is constructed based on each mipmap image of each resolution, the image combining information between adjacent images is calculated in advance and converted into a database.
  • the image combining information generated in step S240 may include the stitching point information including the coordinates of the junction between the adjacent images, the horizontal synchronizing signal, the vertical synchronizing signal, etc., the blending parameter including the contrast, brightness, And are stored in the database 400 by dividing the images into mipmap images for respective resolutions.
  • the image combining information between adjacent images is calculated in advance and constructed as a database. Then, the video server 300 acquires In operation S260, it is determined whether image combining information between neighboring images according to a specific resolution is requested from the client terminal 500 to be displayed on the display device 600 by combining one image data according to a desired resolution.
  • the video server 300 transmits the image information of the adjacent images according to the specific resolution stored in the database 400 Extracts the combined information, and transmits the combined information to the corresponding client terminal 500 (S270). At this time, the image combining information is converted into an IP packet and then transmitted to the client terminal 500 through the network.
  • the video server 300 may provide the mipmap image of a specific resolution requested by the client terminal 500 to the client terminal 500 together with the image combination information.
  • the video server 300 transmits image combination information between adjacent images according to a specific resolution requested by the client to the client terminal 500 through steps S260 and S270, IP packet is received (S310), the received IP packet is released, and the image combining information between the mipmap image for the specific resolution desired by the client and the adjacent image constructed in advance according to the resolution is confirmed.
  • a mipmap image for a specific resolution desired by the client may be provided from the video server 300 or may be directly requested to the multi-camera control device 200.
  • the client terminal 500 may receive the mipmap image, the image combination information, or a combination thereof from the multi-camera 100 or the video server 300 without a request from the client, or may be periodically provided.
  • the client terminal 500 uses the image combination information between the mipmap image for the specific resolution desired by the client and the neighboring image that is constructed in advance according to the resolution to fill in the empty space Interpolating operation for inserting, blending processing for the joint portion, and the like to form a desired final image (S320).
  • a mipmap image having a plurality of resolutions is distributed to an image taken by a multi-camera through an IP according to a request of a client terminal, and the distributed video is cut out and combined Because it can be displayed on the screen, it is possible to use video shot with higher resolution and wide angle.
  • the receiving side receives video data transmitted from each camera of the multi-camera, calculates a network delay, and performs frame synchronization between the video data received from each of the plurality of cameras in consideration of the time delay, Handling of synchronized video data is possible.
  • the present invention enables the client to change the display to the previous screen after moving to the previous screen in time according to the display resolution, and to display the desired portion of the large-sized multi-camera image by displaying only a part of each image of the multi- It is possible to select and output it.
  • the present invention can convert a two-dimensional image captured by a client using a multi-camera into a three-dimensional image and display the converted three-dimensional image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 IP를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 멀티카메라에서 비디오를 촬영하고, 해당 비디오에 대해서 다양한 해상도를 가진 밉맵 영상을 제공하면, 이를 복수의 클라이언트 단말로 각 클라이언트 단말의 요구에 따라 IP를 통해서 분배하고, 각 클라이언트 단말에서는 상기 분배되어 온 비디오를 원하는 바에 따라 결합함으로써, 보다 고해상도이며 광각으로 촬영된 비디오를 디스플레이할 수 있는 멀티카메라 비디오 분배 및 결합을 위한 멀티카메라, 비디오서버 및 클라이언트 단말을 포함하는 시스템 및 그 방법에 관한 것이다.

Description

IP를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법
본 발명은 IP를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 멀티카메라에서 비디오를 촬영하고, 해당 비디오에 대해서 다양한 해상도를 가진 밉맵(mipmap) 영상을 클라이언트 단말의 요구에 따라 IP(Internet Protocol)를 통해서 분배하고, 각 클라이언트 단말에서 상기 분배되어 온 비디오를 원하는 바에 따라 결합함으로써, 보다 고해상도이며 광각으로 촬영된 비디오를 디스플레이할 수 있는 멀티카메라 비디오 분배 및 결합을 위한 멀티카메라, 비디오서버 및 클라이언트 단말을 포함하는 시스템 및 그 방법에 관한 것이다.
최근 들어 통신기술의 발달에 따라 네트워크의 대역폭이 점점 증가하고 있으나, 상기 네트워크를 통해서 송수신하고자 하는 콘텐츠의 크기가 상기 네트워크의 대역폭에 대한 증가 속도보다 한층 더 빠르게 증가하고 있는 실정이다.
또한 콘텐츠의 크기(예: 해상도)와 품질에 대해서도 점점 더 고도화되고 있으므로, 해당 카메라에서 촬영한 비디오를 네트워크를 통해서 송수신하는 할 때 매우 많은 대역폭과 비용을 필요로 한다.
한편 초고해상도의 동영상, 즉 UHD(Ultra High Definition) 동영상에 대한 사용자의 니즈가 증가하고, 이를 지원하는 광대역 네트워크와 방송기술의 발전으로 UHD 동영상을 편집하여 송출하거나 분배하는 기술도 필요하게 되었다.
예를 들어 복수 개의 영상을 서로 종횡으로 이어붙이는 방식으로 스티칭(stitching)하여 더 넓은 영역을 커버하는 영상을 만들어 사용자에게 보다 실감나는 영상을 제공할 수 있다.
이 경우 각각의 카메라는 서로 촬영하는 위치가 조금씩 차이가 날 수 있고 정확하게 배열되어 있지 않으므로 각각의 카메라에서 촬영한 영상을 그대로 스티칭하여 이어 붙이면 영상 사이의 경계에서 불연속점이 생기게 된다. 그러므로 이를 해결하기 위해서는 카메라에서 촬영한 영상에서 중복된 부분을 검출하고 이를 제거하면서 각 프레임에 대해 수직 및 수평동기를 맞추어야 한다.
하지만 사용자 측의 요구에 따라 각각의 카메라에서 촬영한 영상을 결합하여 대규모 영상을 구성하기 위해서는, 데이터 송수신에 많은 트래픽이 요구됨은 물론, 각 영상 간에 중복된 부분을 추적하여 정확하게 구분하는 데에 매우 많은 처리시간이 소요되기 때문에 대규모 영상의 결합 작업을 용이하게 수행하지 못하는 문제점이 있었다. 또한 복수의 각 카메라에서 송신된 비디오 데이터가 네트워크를 통과함에 따라 네트워크 지연으로 인해서 시간동기가 맞지 않는 문제가 있다.
따라서 본 발명에서는 멀티카메라에서 촬영한 비디오를 다양한 해상도를 가진 밉맵 영상으로 변환하여 클라이언트 단말의 요구에 따라 제공하고, 상기 클라이언트 단말에서 상기 밉맵 영상과 비디오서버에서 각 해상도별로 대규모 영상을 구성할 때 구축해 놓은 인접한 영상 간의 스티칭 포인트 정보, 블렌딩(blending) 파라미터 등에 대한 영상결합정보를 토대로 사용자가 원하는 바에 따라 영상을 구성하도록 함으로써, 보다 고해상도이며 광각으로 촬영된 비디오를 디스플레이할 수 있는 방안을 제시하고자 한다. 또한 복수의 각 카메라에서 송신된 비디오 데이터가 네트워크를 통과한 다음 수신측에 도달했을 때 각 카메라에서 수신측 간의 네트워크 지연을 계산하여 각 카메라 간의 시간동기가 맞추는 방안을 제시하고자 한다.
다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.
먼저 한국등록특허 제1603976호(2016.03.16.)는 동영상 파일 결합 방법 및 그 장치에 관한 것으로, 동영상 파일들을 미리 트랜스코딩하여 저장한 상태에서 제공할 영상 파일들을 선택하여 결합 처리하여 제공함으로써, 영상 파일 처리 속도가 향상되고 동영상 파일을 결합하는데 소요되는 처리 부하를 감소시킬 수 있는 효과를 제공하는 것이다.
하지만 본 발명은 멀티카메라에서 촬영하여 변환한 각 해상도별 밉맵 영상은 물론 각 해상도별 밉맵 영상을 토대로 대규모 영상을 구성할 때 구축한 인접 영상 간의 스티칭 포인트 정보, 블렌딩 파라미터를 포함한 영상결합정보를 활용하여 사용자가 원하는 대로 영상을 자르거나 결합하여 최종영상을 만드는 기술적 구성을 제시하고 있기 때문에, 상기 선행기술의 미리 트랜스코딩하여 저장한 동영상 파일들을 결합하는 기술 구성과 비교해 볼 때 기술적 특징의 차이점이 분명하다.
또한 한국공개특허 제2014-0011964호(2014.01.29.)는 고품질, 전방위 파노라마 동영상을 이용한 감시 정찰 방법에 관한 것으로, 멀티카메라로 획득한 복수의 영상을 스티칭하여 고품질 대화각을 가진 전방위 파노라마 동영상을 생성하는 것을 특징으로 한다.
하지만 멀티카메라에서 촬영한 비디오를 다양한 해상도로 변환한 밉맵 영상과 함께 비디오서버에서 각 해상도별로 대규모 영상을 구성할 때 구축해 놓은 인접한 영상 간의 스티칭 포인트 정보, 블렌딩 파라미터 등의 영상결합정보를 토대로 사용자가 원하는 바에 따른 영상을 만드는 본 발명의 기술적 구성은 멀티카메라로 획득한 복수의 영상을 스티칭하여 파노라마 동영상을 생성하는 상기 선행기술의 기술적 구성과는 상이한 것이다.
즉 상기 선행기술들은 영상 파일 처리 속도가 향상되고 처리 부하를 감소시켜 적은 자원으로 동영상을 결합할 수 있는 구성, 멀티카메라로 획득한 복수의 영상을 스티칭하여 고품질 대화각을 가진 파노라마 동영상을 생성하는 구성을 제시하고 있지만, 본 발명의 기술적 특징인 사용자가 멀티카메라에서 촬영한 비디오를 다양한 해상도로 변환한 밉맵 영상과 비디오서버에서 각 해상도별로 대규모 영상을 구성할 때 구축해 놓은 영상결합정보를 사용하여 영상을 자르거나 결합하여 원하는 영상을 만드는 구성에 대해서는 구체적인 기재가 없기 때문에 기술적 차이점이 분명한 것이다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 멀티카메라에서 각각 영상을 촬영하고, 촬영한 영상에 대하여 다양한 해상도를 가진 밉맵 영상을 구성하여 비디오서버나 클라이언트 단말로 IP를 통해 분배하여 제공하는 것을 목적으로 한다.
또한 본 발명은 비디오서버에서 멀티카메라로부터 제공받은 다양한 해상도의 밉맵 영상을 서로 스티칭, 블렌딩 또는 이들의 조합을 수행하여 대규모 영상을 구성하고, 대규모 영상을 구성할 때의 인접한 영상 간의 스티칭 포인트 정보, 블렌딩 파라미터 등에 대한 영상결합정보를 데이터베이스로 구축하고, 각 클라이언트 단말의 요청에 따라 각 해상도별로 대규모 영상을 구성할 때 구축해 놓은 영상결합정보, 밉맵 영상 또는 이들의 조합을 해당 클라이언트 단말로 제공하는 것을 다른 목적으로 한다.
또한 본 발명은 클라이언트 단말에서 비디오서버나 멀티카메라로부터 제공받은 밉맵 영상과 각각의 해상도별 밉맵 영상을 토대로 대규모 영상을 구성할 때 미리 생성한 인접 영상 간의 스티칭 포인트 정보, 블렌딩 파라미터 또는 이들의 조합을 포함한 영상결합정보를 토대로 원하는 해상도에 따라 영상을 잘라내거나 결합하여 구성하고, 최종적으로 구성한 영상을 화면상에 디스플레이하도록 하는 것을 또 다른 목적으로 한다.
또한 본 발명은 멀티카메라 영상의 각 프레임을 공간적으로 결합할 때 인접한 프레임 간 시차가 발생하지 않도록 좌에서 우측으로 상측에서 하측으로 스캔순서에 맞추어 각 개별 카메라 영상의 동기를 맞춤으로써 전체 프레임 동기를 유지하도록 하여, 프레임간의 시차를 최소화하는 것을 또 다른 목적으로 한다.
또한 본 발명은 멀티카메라의 각 카메라에서 전송한 비디오 데이터를 수신측에서 수신하고 네트워크 지연을 계산한 다음 상기 시간지연을 고려하여 복수의 각 카메라에서 수신된 비디오 데이터들 간에 프레임 동기화를 수행함으로써, 시간 동기화된 비디오 데이터의 핸들링이 가능하도록 하는 것을 또 다른 목적으로 한다.
또한 본 발명은 멀티카메라 영상을 디스플레이 해상도에 맞추어 시간적으로 이전 화면으로 갔다가 다시 이후 화면으로 디스플레이를 변화시킬 수 있는 것은 물론이고, 이와 결합하여 좌우, 상하, 대각선 방향으로 변화하면서 멀티카메라의 각 영상을 일부만 사용하여 디스플레이할 수 있도록 하여, 대형의 멀티카메라 영상에서 사용자가 원하는 부분을 선택하여 출력하는 것이 가능하도록 하는 것을 또 다른 목적으로 한다.
또한 본 발명은 멀티카메라 영상을 3차원으로 디스플레이 할 수 있으며, 이때 멀티카메라에서 인접한 카메라를 스테레오 카메라의 쌍으로 활용하거나, 개별 카메라 영상에 시차를 반영하여 2차원 영상을 3차원 영상으로 변환하여 출력할 수도 있고, 뎁쓰 카메라를 별도로 구비하고 이를 이용하여 3차원 영상을 생성하는 것도 가능하다. 즉 본 발명은 멀티카메라를 이용하여 입체영상을 출력하는 것이 가능하고, 특히 3차원 그래픽을 오브젝트와 결합하여 출력하는 것이 가능하도록 하는 것을 또 다른 목적으로 한다.
본 발명의 일 실시예에 따른 멀티카메라 제어장치는, 복수의 카메라에서 촬영한 영상 데이터를 입력받아 각각의 영상 데이터를 적어도 하나 이상의 해상도를 가진 밉맵 영상으로 변환하고, 네트워크, 사용자 인터페이스 또는 이들의 조합을 통해서 외부로부터 상기 밉맵 영상의 제공을 요청 받거나 미리 결정된 설정에 따라 상기 밉맵 영상의 생성을 제어하는 것을 포함하며, 상기 밉맵 영상은, 복수의 카메라에서 촬영한 각 풀 해상도의 영상 데이터를 사전에 결정한 해상도별로 축소하여 생성한 영상인 것을 특징으로 한다.
또한 상기 멀티카메라 제어장치는, 상기 변환한 밉맵 영상을 IP 패킷으로 패킷화하고, 상기 IP 패킷으로 변환한 상기 밉맵 영상을 네트워크를 통해 비디오서버 또는 클라이언트 단말로 전송하는 것을 더 포함하는 것을 특징으로 한다.
또한 상기 멀티카메라 제어장치는, 비디오서버 또는 클라이언트 단말로부터 수신한 구동제어신호를 토대로 상기 복수의 카메라에 대한 구동을 제어하여, 상기 복수의 카메라 각각에서 특정 촬영대상의 공간을 나누어 촬영하도록 하는 멀티카메라를 구동하는 것을 더 포함하는 것을 특징으로 한다.
또한 상기 멀티카메라 제어장치는, 멀티카메라 영상의 각 프레임을 공간적으로 결합할 때 인접한 프레임 간 시차가 발생하지 않도록 좌에서 우측으로 상측에서 하측으로 멀티카메라 촬영 환경에 따른 미리 정해진 스캔순서에 따라 복수의 카메라 중 각 개별 카메라 영상의 동기를 맞춤으로써 전체 프레임 동기를 유지하도록 하여, 프레임간의 시차를 최소화하는 것을 특징으로 한다.
또한 상기 멀티카메라 제어장치는, 멀티카메라 영상을 디스플레이 해상도에 맞추어 시간적으로 이전 화면으로 갔다가 다시 이후 화면으로 디스플레이를 변화시키거나, 좌우, 상하 또는 대각선 방향으로 변화하면서 멀티카메라의 각 영상을 일부만 사용하여 디스플레이하거나, 또는 이들의 조합을 수행하여, 멀티카메라 영상에서 사용자가 원하는 일부분을 선택하여 출력할 수 있도록 지원하는 것을 특징으로 한다.
또한 상기 멀티카메라 제어장치에서, 멀티카메라 영상은 3차원 입체영상으로 디스플레이하는 것을 지원하며, 상기 멀티카메라에서 복수의 카메라 중 서로 인접한 카메라를 스테레오 카메라의 쌍으로 활용하거나, 복수의 개별 카메라 영상에 시차를 반영하여 2차원 영상을 3차원 영상으로 변환하여 출력하거나, 별도의 뎁쓰 카메라를 구비하여 3차원 영상을 생성하도록 지원하는 것을 포함하며, 상기 멀티카메라 영상은 3차원 그래픽을 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 멀티카메라 비디오 분배장치는, 복수의 카메라로부터 제공받은 풀 영상, 복수의 해상도의 밉맵 영상 또는 이들의 조합에 대하여, 인접한 카메라 영상 간에 스티칭, 블렌딩 또는 이들의 조합을 수행하여 멀티카메라 영상을 구성하는 데 필요한 정보를 생성하고, 상기 복수의 카메라로부터 제공받은 풀 영상, 복수의 해상도의 밉맵 영상 또는 이들의 조합을 클라이언트에게 제공하거나 데이터베이스에 저장하여 관리하는 비디오서버를 포함하는 것을 특징으로 한다.
또한 상기 비디오서버는, 복수의 카메라로부터 제공받은 풀 영상, 복수의 해상도의 밉맵 영상 또는 이들의 조합에 대하여, 인접한 카메라 영상 간에 스티칭, 블렌딩 또는 이들의 조합을 수행하여 멀티카메라 영상을 구성하는 것을 더 포함하며, 상기 정보는 각각의 해상도별 밉맵 영상을 토대로 멀티카메라 영상을 구성할 때 필요한 정보를 미리 계산하여 데이터베이스화한 것으로서, 인접 영상 간의 접합점에 대한 좌표, 수평동기신호, 수직동기신호 또는 이들의 조합을 포함한 스티칭 포인트 정보, 인접한 영상 간의 접합부분에 대한 명암, 밝기, 색 또는 이들의 조합을 포함한 블렌딩 파라미터, 또는 이들의 조합을 포함하는 것을 특징으로 한다.
또한 상기 비디오서버는, 상기 복수의 카메라 각각의 구동을 제어하기 위한 제어신호를 생성하여 멀티카메라 제어장치로 전송하는 멀티카메라 관리를 수행하는 것을 더 포함하며, 상기 멀티카메라 관리는, 상기 복수의 카메라 또는 상기 멀티카메라 제어장치의 운용을 위한 펌웨어가 업데이트되면 업데이트된 펌웨어를 상기 복수의 카메라 또는 멀티카메라 제어장치로 제공하는 것을 포함하는 것을 특징으로 한다.
또한 상기 비디오서버는, 멀티카메라로부터 제공받은 복수의 영상 중에서 인접한 영상 간에 중복된 부분을 검출하고, 상기 검출한 중복된 부분을 참조하여 인접한 영상 중 어느 하나의 영상을 이동시켜 불연속적인 부분이 없이 스티칭되도록 동기화시키며, 상기 동기화시킨 인접 영상 간의 접합부분에 대한 밝기, 명암, 색 또는 이들의 조합을 조정하여 블렌딩 처리하는 것을 포함하는 것을 특징으로 한다.
또한 상기 멀티카메라 비디오 분배장치는, 상기 멀티카메라 영상의 각 프레임을 공간적으로 결합할 때 인접한 프레임 간 시차가 발생하지 않도록 좌에서 우측으로 상측에서 하측으로 멀티카메라 촬영 환경에 따른 미리 정해진 스캔순서에 따라 복수의 카메라 중 각 개별 카메라 영상의 동기를 맞춤으로써 전체 프레임 동기를 유지하도록 하여, 프레임간의 시차를 최소화하는 것을 특징으로 한다.
또한 상기 멀티카메라 비디오 분배장치는, 상기 멀티카메라 영상을 디스플레이 해상도에 맞추어 시간적으로 이전 화면으로 갔다가 다시 이후 화면으로 디스플레이를 변화시키거나, 좌우, 상하 또는 대각선 방향으로 변화하면서 멀티카메라의 각 영상을 일부만 사용하여 디스플레이하거나, 또는 이들의 조합을 수행하여, 멀티카메라 영상에서 사용자가 원하는 일부분을 선택하여 출력할 수 있도록 지원하는 것을 특징으로 한다.
또한 상기 멀티카메라 비디오 분배장치에서, 상기 멀티카메라 영상은 3차원 입체영상으로 디스플레이하는 것을 지원하며, 상기 멀티카메라에서 복수의 카메라 중 서로 인접한 카메라를 스테레오 카메라의 쌍으로 활용하거나, 복수의 개별 카메라 영상에 시차를 반영하여 2차원 영상을 3차원 영상으로 변환하여 출력하거나, 별도의 뎁쓰 카메라를 구비하여 3차원 영상을 생성하도록 지원하는 것을 포함하며, 상기 멀티카메라 영상은 3차원 그래픽을 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 클라이언트 단말은, 멀티카메라 또는 비디오서버로부터 특정 해상도에 따른 밉맵 영상, 상기 해상도에 따른 인접한 영상 간의 영상결합정보 또는 이들의 조합을 제공받고, 상기 영상결합정보를 이용하여 상기 밉맵 영상을 상기 특정 해상도에 따라 잘라내거나 이어 붙여 디스플레이 화면에 출력할 멀티카메라 영상을 생성하고, 상기 생성한 멀티카메라 영상을 디스플레이 화면을 통해 출력하는 것을 특징으로 한다.
또한 상기 클라이언트 단말은, 디스플레이 화면에 렌더링할 특정 해상도에 따른 밉맵 영상, 상기 해상도에 따른 인접한 영상 간의 영상결합정보 또는 이들의 조합을 IP를 통해 멀티카메라 또는 비디오서버로 요청하여 수신하거나, 상기 멀티카메라 또는 비디오서버로부터 상기 밉맵 영상, 상기 영상결합정보 또는 이들의 조합을 상기 요청 없이 제공받거나, 또는 상기 멀티카메라 또는 비디오서버로부터 상기 밉맵 영상, 상기 영상결합정보 또는 이들의 조합을 주기적으로 제공받는 것을 특징으로 한다.
또한 상기 클라이언트 단말은, 상기 멀티카메라 영상의 각 프레임을 공간적으로 결합할 때 인접한 프레임 간 시차가 발생하지 않도록 좌에서 우측으로 상측에서 하측으로 멀티카메라 촬영 환경에 따른 미리 정해진 스캔순서에 따라 복수의 카메라 중 각 개별 카메라 영상의 동기를 맞춤으로써 전체 프레임 동기를 유지하도록 하여, 프레임간의 시차를 최소화하는 것을 특징으로 한다.
또한 상기 클라이언트 단말은, 상기 멀티카메라 영상을 디스플레이 해상도에 맞추어 시간적으로 이전 화면으로 갔다가 다시 이후 화면으로 디스플레이를 변화시키거나, 좌우, 상하 또는 대각선 방향으로 변화하면서 멀티카메라의 각 영상을 일부만 사용하여 디스플레이하거나, 또는 이들의 조합을 수행하여, 대형의 멀티카메라 영상에서 사용자가 원하는 일부분을 선택하여 출력하는 것을 특징으로 한다.
또한 상기 멀티카메라 영상은 3차원 입체영상으로 디스플레이하는 것을 포함하며, 상기 멀티카메라에서 복수의 카메라 중 서로 인접한 카메라를 스테레오 카메라의 쌍으로 활용하거나, 개별 카메라 영상에 시차를 반영하여 2차원 영상을 3차원 영상으로 변환하여 출력하거나, 뎁쓰 카메라를 별도로 구비하여 3차원 영상을 생성하는 것을 포함하며, 상기 멀티카메라 영상은 3차원 그래픽을 포함하는 것을 특징으로 한다.
아울러, 본 발명의 일 실시예에 따른 멀티카메라 비디오 제어 방법은, 멀티카메라에서 복수의 카메라에서 촬영한 영상 데이터를 입력받아 각각의 영상 데이터를 적어도 하나 이상의 해상도를 가진 밉맵 영상으로 변환하고, 멀티카메라에서 네트워크, 사용자 인터페이스 또는 이들의 조합을 통해서 외부로부터 상기 밉맵 영상의 제공을 요청 받거나 미리 결정된 설정에 따라 상기 밉맵 영상의 생성을 제어하는 것을 포함하며, 상기 밉맵 영상은, 복수의 카메라에서 촬영한 각 풀 해상도의 영상 데이터를 사전에 결정한 해상도별로 축소하여 생성한 영상인 것을 특징으로 한다.
또한 비디오서버에서 복수의 카메라로부터 제공받은 풀 영상, 복수의 해상도의 밉맵 영상 또는 이들의 조합에 대하여, 인접한 카메라 영상 간에 스티칭, 블렌딩 또는 이들의 조합을 수행하여 멀티카메라 영상을 구성하는 데 필요한 정보를 생성하고, 상기 비디오서버에서 상기 복수의 카메라로부터 제공받은 풀 영상, 복수의 해상도의 밉맵 영상 또는 이들의 조합을 클라이언트에게 제공하거나 데이터베이스에 저장하여 관리하는 것을 더 포함하는 것을 특징으로 한다.
또한 클라이언트 단말에서 멀티카메라 또는 비디오서버에 요청하여 특정 해상도에 따른 밉맵 영상, 상기 해상도에 따른 인접한 영상 간의 영상결합정보 또는 이들의 조합을 제공받고, 상기 클라이언트 단말에서 상기 영상결합정보를 이용하여 상기 밉맵 영상을 상기 특정 해상도에 따라 잘라내거나 이어 붙여 디스플레이 화면에 출력할 멀티카메라 영상을 생성하고, 상기 클라이언트 단말에서 상기 생성한 멀티카메라 영상을 디스플레이 화면을 통해 출력하는 것을 특징으로 한다.
이상에서와 같이 본 발명의 IP를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법에 따르면, 멀티카메라에서 비디오를 촬영하고, 해당 비디오에 대해서 다양한 해상도를 가진 밉맵 영상을 클라이언트 단말의 요구에 따라 IP를 통해서 분배하고, 각 클라이언트 단말에서 상기 분배되어 온 비디오를 원하는 바에 따라 잘라내고 결합함으로써, 보다 고해상도이며 광각으로 촬영된 비디오를 화면상에 디스플레이할 수 있으며, 이에 따라 사용자는 보다 미려하고 심미감 있는 비디오를 시청할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 IP를 통한 멀티카메라 비디오 분배 및 결합 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명이 적용된 멀티카메라 비디오 분배 및 결합 과정을 설명하기 위한 개념도이다.
도 3은 상기 도 1의 멀티카메라 제어장치의 구성을 보다 상세하게 나타낸 도면이다.
도 4는 상기 도 1의 비디오서버의 구성을 보다 상세하게 나타낸 도면이다.
도 5는 상기 도 1의 클라이언트 단말의 구성을 보다 상세하게 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 멀티카메라 비디오 분배 및 결합 방법이 적용된 멀티카메라 제어장치의 동작과정을 상세하게 나타낸 순서도이다.
도 7은 본 발명의 일 실시예에 따른 멀티카메라 비디오 분배 및 결합 방법이 적용된 비디오서버의 동작과정을 상세하게 나타낸 순서도이다.
도 8은 본 발명의 일 실시예에 따른 멀티카메라 비디오 분배 및 결합 방법이 적용된 클라이언트 단말의 동작과정을 상세하게 나타낸 순서도이다.
이하, 첨부한 도면을 참조하여 본 발명의 IP를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법에 대한 바람직한 실시 예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.
도 1은 본 발명의 일 실시예에 따른 IP를 통한 멀티카메라 비디오 분배 및 결합 시스템의 구성을 개략적으로 나타낸 도면이며, 도 2는 본 발명이 적용된 멀티카메라 비디오 분배 및 결합 과정을 설명하기 위한 개념도이다.
도 1a 및 도 2에 도시된 바와 같이, 본 발명의 IP를 통한 멀티카메라 비디오 분배 및 결합 시스템은 복수의 멀티카메라(100), 멀티카메라 제어장치(200), 비디오서버(300), 데이터베이스(400), 클라이언트 단말(500), 디스플레이 장치(600) 등으로 구성된다.
멀티카메라(100)는 UHD급의 영상을 촬영할 수 있는 복수의 IP카메라로 구성되며, 각각의 카메라는 로컬 상에서 멀티카메라 제어장치(200)와 통신 접속되어 있다.
상기 멀티카메라(100)는 상기 멀티카메라 제어장치(200)의 구동제어를 토대로 경기장 등과 같이 대규모의 특정 촬영대상의 공간을 나누어 촬영하고, 촬영한 영상 데이터를 상기 멀티카메라 제어장치(200)로 출력한다.
멀티카메라 제어장치(200)는 멀티카메라(100)를 구성하는 복수의 카메라 각각과 로컬 네트워크를 통해 통신 접속되어 있고, 상기 멀티카메라(100)에서 촬영한 영상 데이터를 로컬 IP를 통해 전송받으며, 상기 멀티카메라(100)에서 촬영한 영상 데이터를 풀 해상도, 1/4 해상도, 1/16 해상도 등의 밉맵 영상으로 변환하여 생성한 다음 상기 밉맵 영상을 네트워크, 사용자 인터페이스 또는 이들의 조합을 통해서 비디오서버(300)로 제공한다.
또한 상기 멀티카메라 제어장치(200)는 클라이언트 단말(500)의 요청에 따라 특정 해상도의 밉맵 영상을 해당 클라이언트 단말(500)로 직접 제공할 수 있다. 즉 상기 설명한 것과 같이 상기 멀티카메라(100)에서 촬영한 영상 데이터에 대하여 적어도 하나 이상의 해상도를 가진 밉맵 영상으로 변환하여 상기 비디오서버(300)로 제공하는 방식 이외에, 클라이언트의 요구에 따른 해상도의 밉맵 영상을 해당 클라이언트 단말(500)로 IP를 통해 분배하여 직접 제공할 수 있는 것이다.
또한 상기 멀티카메라 제어장치(200)는 도 1a에서와 같이 하나의 독립적인 물리적 구성으로 구현되는 것 이외에, 상기 멀티카메라(100)의 각 카메라에 내장된 형태로 구성할 수 있으며, 이 경우 각각의 카메라에서 직접 촬영한 영상 데이터를 적어도 하나 이상의 해상도를 가진 밉맵 영상으로 구성할 수 있다.
이때 상기 멀티카메라 제어장치(200)에서 멀티카메라(100)에서 촬영한 영상 데이터를 토대로 생성하는 밉맵 영상은, 3차원 그래픽스의 텍스처 매핑 분야에서 렌더링 속도를 향상시키기 위한 목적으로 기본 텍스처와 이를 연속적으로 미리 축소시킨 텍스처들로 이루어진 비트맵 이미지의 집합으로서, 밉맵스(mipmaps, MIP maps)라고도 한다. 즉 상기 밉맵 영상은 복수의 카메라에서 촬영한 각 풀 해상도의 영상 데이터를 사전에 결정한 해상도별로 축소하여 생성한 영상이다.
본 발명에 적용되는 밉맵의 동작 원리를 설명하면, 밉맵 집합의 각각의 비트맵 이미지는 기본 텍스처를 일정한 수준만큼 미리 축소한 것이다. 텍스처가 원래 크기 이상으로 보일 경우 기본 텍스처를 그대로 쓸 수도 있지만, 원래보다 멀거나 작게 보일 경우 축소된 텍스처를 렌더링에 대신(실제로는 보간 과정을 거쳐서) 사용한다. 이렇게 하면 렌더링에 사용되는 텍스처 픽셀(텍셀)의 수가 훨씬 줄어들기 때문에 렌더링 속도를 높일 수 있다. 밉맵 이미지들은 이미 안티 에일리어싱(anti-aliasing) 처리가 되어 있으므로 렌더링 과정에서 일어날 수 있는 손실이 줄고, 실시간 렌더링의 부하도 줄일 수 있다. 확대 및 축소 과정도 이 방법으로 효율적으로 할 수 있다. 텍스처의 크기가 256ㅧ256 픽셀이라고 할 때(텍스처는 보통 정사각형 모양이므로 한 변의 길이는 2의 거듭제곱이다), 만들어지는 밉맵 집합은 각각 이전 이미지의 1/4 크기, 즉 128ㅧ128, 64ㅧ64, 32ㅧ32, 16ㅧ16, 8ㅧ8, 4ㅧ4, 2ㅧ2, 1ㅧ1 크기의 여덟 개의 이미지로 구성된다. 예를 들어 이 텍스처를 40ㅧ40 크기로 렌더링할 경우 64ㅧ64 크기와 32ㅧ32 크기 밉맵 이미지를 적절한 방법으로 보간해서 최종 이미지를 얻을 수 있다. 가장 간단한 방법은 최종 이미지의 각 픽셀과 가장 가까운 밉맵 이미지의 픽셀들의 평균을 구하는 것이고, 그 외에 신호 처리나 푸리에 변환 등을 사용하는 복잡한 방법도 사용할 수 있다.
또한 밉맵 집합을 저장하는 데 필요한 용량은 원래 텍스처 용량의 1/4 + 1/16 + 1/256 + … = 1/3이다. 큰 용량을 필요로 하지 않는다는 것이 이 방법의 장점이지만, 많은 경우 확대 및 축소가 방향과 관계없이 이루어지지 않고 한 방향이 다른 방향보다 더 많이 확대 및 축소가 된다. 이런 경우 적절한 해상도의 이미지를 사용하게 되는데, 해상도가 높다면 캐시 효율은 떨어지고 안티 에일리어싱이 한 방향으로 많이 일어나지만 최종 이미지의 품질은 높으며, 해상도가 낮다면 캐시 효율은 높아지지만 이미지가 너무 흐릿해져서 구별하기 힘들어진다.
한편 상기 멀티카메라 제어장치(200)는 상기 비디오서버(300) 또는 상기 클라이언트 단말(500)로부터 제공받은 제어신호를 토대로 특정 촬영대상의 공간을 나누어 촬영하는 상기 멀티카메라(100) 각각의 구동을 제어하며, 상기 비디오서버(300)로부터 상기 멀티카메라(100)의 운용을 위한 펌웨어가 업데이트되면 업데이트된 펌웨어를 상기 멀티카메라(100) 각각에 적용하여 운용한다.
비디오서버(300)는 네트워크를 통해 상기 멀티카메라 제어장치(200)로부터 풀 영상, 복수의 해상도에 대한 밉맵 영상 또는 이들의 조합을 제공받고, 상기 멀티카메라 제어장치(200)로부터 제공받은 풀 영상, 복수의 해상도에 대한 밉맵 영상 또는 이들의 조합에 대하여, 인접한 카메라 영상 간에 스티칭, 블렌딩 또는 이들의 조합을 수행하여 멀티카메라 영상을 구성하며, 멀티카메라 영상을 구성할 때 생성되는 인접한 카메라 영상 간의 스티칭 포인트와 중복되는 영상 부분의 블렌딩을 위한 파라미터 등의 정보를 데이터베이스(400)에 저장하여 관리한다.
또한 상기 비디오서버(300)는 네트워크를 통해 클라이언트 단말(500)의 요청에 따라 멀티카메라 영상을 구성할 때 생성되는 인접한 카메라 영상 간의 스티칭 포인트와 중복되는 영상 부분의 블렌딩을 위한 파라미터 등의 정보를 해당 클라이언트 단말(500)로 전송한다.
즉 비디오서버(300)는 상기 멀티카메라 제어장치(200)로부터 제공받은 다양한 해상도를 갖는 밉맵 영상에 대한 결합을 에뮬레이션하고, 각 인접 영상이 접합되는 포인트 정보, 접합 부분의 블렌딩을 위한 파라미터 등을 생성하여 데이터베이스로 구축해 놓는 것이다. 그리고 클라이언트 단말(500)의 요구에 따라 데이터베이스로 구축한 정보를 제공함으로써, 클라이언트가 자신이 원하는 영상을 결합하여 생성할 수 있도록 한다.
이때 상기 정보는 각각의 해상도별 밉맵 영상을 토대로 멀티카메라 영상을 구성할 때 필요한 정보를 미리 계산하여 데이터베이스화한 것으로서, 인접 영상 간의 접합점에 대한 좌표, 수평동기신호, 수직동기신호 등을 포함한 스티칭 포인트 정보, 인접한 영상 간의 접합부분에 대한 명암, 밝기, 색 등을 포함한 블렌딩 파라미터, 또는 이들의 조합을 포함한 정보이다. 상기 정보는 IP 기반으로 상기 클라이언트 단말(500)로 제공되기 때문에 수신측에서 바로 영상결합에 사용할 수 있다.
또한 상기 비디오서버(300)는 상기 정보와 함께 상기 복수의 카메라로부터 제공받은 풀 영상, 복수의 해상도의 밉맵 영상 또는 이들의 조합을 상기 클라이언트 단말(500)로 제공할 수 있다.
또한 상기 비디오서버(300)에서 상기 클라이언트 단말(500)로 제공되는 상기 복수의 카메라로부터 제공받은 풀 영상, 복수의 해상도의 밉맵 영상 또는 이들의 조합은 물론, 멀티카메라 영상을 구성할 때 생성되는 인접한 카메라 영상 간의 스티칭 포인트, 블렌딩 파라미터 등의 정보를 멀티캐스팅하여 전송하면 네트워크상의 트래픽을 줄일 수 있다.
한편 상기 비디오서버(300)는 상기 멀티카메라 제어장치(200)로부터 풀 영상, 복수의 해상도를 가진 밉맵 영상 또는 이들의 조합을 포함한 영상을 제공받는 것으로 설명하였지만, 각각의 멀티카메라(100)로부터 촬영 데이터를 전송받은 후, 직접 다양한 해상도를 갖는 밉맵 영상을 만들어 사용할 수 있다.
데이터베이스(400)는 상기 비디오서버(300)의 제어를 토대로 상기 멀티카메라 제어장치(200)로부터 제공받은 다양한 해상도를 갖는 밉맵 영상을 저장하고, 복수의 해상도를 갖는 밉맵 영상에 대한 멀티카메라 영상의 결합을 토대로 생성되는 인접 영상 간의 스티칭 포인트, 중복되는 영상 부분의 블렌딩 파라미터 등의 정보를 저장하여 관리한다.
또한 상기 데이터베이스(400)는 상기 멀티카메라(100) 또는 상기 멀티카메라 제어장치(200)의 구동을 위한 펌웨어 프로그램을 저장하여 관리한다.
클라이언트 단말(500)은 클라이언트가 원하는 특정 해상도의 밉맵 영상 및 사전에 구축해 놓은 인접 영상 간의 스티칭 포인트, 블렌딩 파라미터 등의 영상결합정보를 상기 비디오서버(300)로 요청하고, 상기 비디오서버(300)로부터 특정 해상도에 대한 밉맵 영상과 멀티카메라 영상을 구성하는 데 필요한 영상결합정보를 전송받는다. 상기 밉맵 영상은 상기 비디오서버(300) 이외에 상기 멀티카메라(100)로 직접 요청하여 전송받을 수도 있다.
또한 상기 클라이언트 단말(500)은 상기 비디오서버(300)나 멀티카메라(100)로부터 제공받은 밉맵 영상, 및 상기 비디오서버(300)로부터 제공받은 멀티카메라 영상을 구성할 때 생성되는 인접한 영상 간의 스티칭 포인트 정보, 블렌딩 파라미터 등의 영상결합정보를 토대로 영상을 잘라내거나 이어붙이는 영상 결합을 수행하고, 결합된 영상을 디스플레이 장치(600)를 통해 디스플레이한다.
예를 들어 상기 클라이언트 단말(500)은 풀 해상도의 영상을 제공받아 결합하면, 2Kㅧ4개=8K 해상도의 영상을 결합할 수 있다. 그리고 1/4 해상도 영상을 제공받아 결합하면, 전체적으로 1/4 해상도로 줄어든 영상을 결합할 수 있다. 또한 일정 부분에 대해서 풀 해상도의 영상을 제공받고, 그 주위로는 1/4 해상도의 영상을 제공받으면, 중심은 고해상도이며 가장자리로 갈수록 해상도가 떨어지는 영상을 구성할 수 있다. 또한 ROI(Region Of Interest, 관심영역)만을 쪼개서 영상을 제공받은 후 이를 결합할 수도 있다.
즉 상기 클라이언트 단말(500)은 풀 해상도의 영상을 가져와서 영상을 결합하여 디스플레이 장치(600)로 출력하지 않고 필요한 해상도의 영상과 포인트 접합 정보, 블렌딩 파라미터 등의 정보를 선택적으로 가져온 다음, 이를 토대로 영상을 결합하여 디스플레이 장치(600)로 출력할 수 있는 것이다.
또한 상기 클라이언트 단말(500)은 상기 멀티카메라(100) 또는 상기 비디오서버(300)로부터 상기 밉맵 영상, 상기 영상결합정보 또는 이들의 조합을 클라이언트에 의한 요청 없이 제공받거나 또는 주기적으로 제공받을 수 있다.
또한 상기 클라이언트 단말(500)은 클라이언트가 원하는 해상도에 따라 결합한 최종영상을 디스플레이 장치(600)로 출력하는 것 이외에, 방송송출기를 거쳐 방송수신단말로 출력할 수 있다.
디스플레이 장치(600)는 일반적인 텔레비전, 모니터 등의 전자기기로서, 상기 클라이언트 단말(500)에서 구성한 영상을 화면상에 디스플레이한다.
또한, 본 발명의 IP를 통한 멀티카메라 비디오 분배 및 결합 시스템은 도 1b에 도시된 바와 같이, 복수의 멀티카메라(100), 멀티카메라 제어장치(200A), 클라이언트 단말(500A) 및 디스플레이 장치(600)로 시스템을 구성함으로써, 상기 도 1a에서 설명한 상기 비디오서버(300) 및 데이터베이스(400)를 구성할 필요 없이 상기 멀티카메라 제어장치(200A)에서 직접 클라이언트 단말(500A)로 클라이언트가 원하는 해상도의 밉맵 영상은 물론, 각각의 해상도별 밉맵 영상을 토대로 대규모 영상을 구성할 때 미리 산출하여 저장한 영상결합정보(즉 스티칭 포인트 정보, 블렌딩 파라미터 등)를 제공하여, 상기 클라이언트 단말(500A)에서 상기 멀티카메라 제어장치(200A)로부터 정보를 제공받아 자신이 원하는 영상을 구성하도록 할 수 있다.
즉 상기 멀티카메라 제어장치(200A)는 상기 멀티카메라(100)에서 촬영한 영상 데이터를 다양한 해상도를 가진 밉맵 영상으로 변환하는 것은 물론, 자체적으로 각각의 해상도별 밉맵 영상을 토대로 대규모 영상을 구성하는 에뮬레이션을 수행한 다음, 수행결과를 토대로 생성되는 영상결합정보를 저장, 관리하고, 클라이언트 단말(500A)의 요청에 따라 해당 해상도의 밉맵 영상과 영상결합정보를 제공할 수 있도록 구성한 것이다.
또한 상기 멀티카메라 제어장치(200A)는 상기 클라이언트 단말(500A)로부터 제공받은 제어신호를 토대로 특정 촬영대상의 공간을 나누어 촬영하는 상기 멀티카메라(100) 각각의 구동을 제어할 수 있다. 그리고 상기 클라이언트 단말(500A)이나 멀티카메라 제작사 등으로부터 상기 멀티카메라(100) 또는 상기 멀티카메라 제어장치(200)의 운용을 위한 펌웨어가 업데이트되면 업데이트된 펌웨어를 상기 멀티카메라(100) 각각에 적용하여 운용할 수 있다.
한편 본 발명은 각각의 개별 카메라에서 촬영한 영상 데이터에 대하여, 인접한 카메라 영상 간에 스티칭, 블렌딩 또는 이들의 조합을 수행하여 멀티카메라 영상을 구성하는 경우, 상기 멀티카메라 영상의 각 프레임을 공간적으로 결합할 때 인접한 프레임 간에 시차가 발생하지 않도록 처리하는 것이 필요하다.
예를 들어 좌측에서 우측으로, 상측에서 하측으로 멀티카메라의 촬영 환경에 따른 미리 정해진 스캔순서를 토대로 복수의 카메라 중 개별 카메라 영상의 동기를 맞추어 전체 프레임 동기를 유지하도록 한다. 이렇게 하면 멀티카메라 영상을 구성할 때 인접한 프레임간의 시차를 최소화할 수 있다.
또한 본 발명은 인접한 영상 간의 결합을 통해 구성되는 멀티카메라 영상에서 클라이언트가 원하는 일부분을 선택하여 출력할 수 있도록 지원하는 기능을 추가로 제공할 수 있다.
예를 들어 상기 멀티카메라(100)에서 촬영한 영상 데이터를 디스플레이 해상도에 맞추어 시간적으로 이전 화면으로 갔다가 다시 이후 화면으로 디스플레이를 변화시키거나, 좌우, 상하 또는 대각선 방향으로 변화하면서 멀티카메라(100)의 각 영상을 일부만 사용하여 디스플레이하거나, 또는 이들의 조합을 수행함으로써, 클라이언트가 원하는 일부분을 제공할 수 있는 것이다.
또한 본 발명은 멀티카메라의 각 카메라에서 비디오 데이터를 전송할 때 각 카메라에서 PTP(Precision Time Protocol) 타임스탬프를 생성하여, 예를 들어 IEEE 1588규격에 따라, 비디오 데이터와 타임스탬프를 포함한 패킷을 비디오서버나 단말로 송신하고, 비디오서버나 단말에서는 복수의 카메라로부터 전송되어온 패킷으로부터 비디오 데이터와 타임스탬프를 추출하고, 해당 타임스탬프와 로컬 클록을 이용하여 각 카메라와 비디오서버 혹은 단말간의 시간지연을 계산하고, 상기 시간지연을 고려하여 복수의 각 카메라에서 수신된 비디오 데이터들 간에 프레임 동기화를 수행하고자 한다. 이러한 방식으로 비디오 프레임간의 시간동기화를 수행함으로써, 멀티카메라에 포함된 각 카메라에서 송신한 비디오 데이터들 사이에서 네트워크(IP) 지연으로 인해 수신측에서 발생하는 시간 축 상의 혼선을 방지하고 동기화된 비디오 데이터의 핸들링이 가능하게 된다.
타임스탬프나 상기 타임스탬프를 생성하는데 필요한 기준클럭은 멀티카메라에 속한 각 카메라에서 별도로 생성할 수도 있으며, 멀티카메라 제어장치에서 생성하여 각 카메라에 제공하여도 되고, 복수의 카메라 중 하나에서 생성하여 다른 카메라로 분배하여 사용하도록 하여도 된다. 또한 별도의 전용 마스터 장치에서 생성하여도 무방하다.
또한 본 발명은 인접한 영상 간의 결합을 통해 구성되는 멀티카메라 영상을 3차원 입체영상으로 지원하는 기능을 추가로 제공할 수 있다.
예를 들어 상기 멀티카메라(100)를 구성하는 복수의 카메라 중 서로 인접한 카메라를 스테레오 카메라의 쌍으로 활용하는 방식, 복수의 개별 카메라 영상에 시차를 반영하여 2차원 영상 데이터를 3차원 영상 데이터로 변환하여 출력하는 방식, 상기 멀티카메라 이외에 별도의 뎁쓰 카메라를 추가로 구성하여 상기 뎁쓰 카메라를 통해 3차원 영상을 생성하도록 지원하는 방식 등을 사용하여, 3차원 그래픽을 포함한 3차원 입체영상을 지원하는 멀티카메라 영상을 구현할 수 있도록 하는 것이다.
도 3은 상기 도 1의 멀티카메라 제어장치(200)의 구성을 보다 상세하게 나타낸 도면이다.
도 3에 도시된 바와 같이, 상기 멀티카메라 제어장치(200)는 촬영 데이터 입력부(210), 밉맵 영상 변환부(220), 패킷 변환부(230), 통신부(240), 저장부(250), 멀티카메라 구동부(260), 제어부(270) 등으로 구성된다.
촬영 데이터 입력부(210)는 각각의 카메라에서 촬영한 영상 데이터를 입력받아 밉맵 영상 변환부(220)로 출력한다.
밉맵 영상 변환부(220)는 상기 촬영 데이터 입력부(210)를 통해 각각의 카메라로부터 입력받은 영상 데이터를 토대로 다양한 해상도를 가진 밉맵 영상으로 변환하고, 다양한 해상도를 가진 밉맵 영상을 패킷 변환부(230)로 출력한다. 이때 상기 밉맵 영상은 풀 해상도의 텍스처를 사전에 결정한 1/4 해상도, 1/16 해상도 등의 해상도별로 축소하여 생성한 것이다.
패킷 변환부(230)는 상기 밉맵 영상 변환부(220)에서 변환한 밉맵 영상을 IP 패킷으로 패킷화하고, 상기 IP 패킷으로 변환한 밉맵 영상을 통신부(240)로 출력하여 비디오서버(300) 또는 클라이언트 단말(500)로 제공하도록 한다.
통신부(240)는 상기 패킷 변환부(230)를 통해 상기 IP 패킷으로 변환한 상기 밉맵 영상을 네트워크, 사용자 인터페이스 또는 이들의 조합을 통해 상기 비디오서버(300) 또는 상기 클라이언트 단말(500)로 전송한다. 즉 상기 밉맵 영상을 상기 비디오서버(300) 또는 상기 클라이언트 단말(500)로 IP를 통해 분배하여 전송하는 것이다.
또한 상기 통신부(240)는 상기 비디오서버(300)로부터 상기 멀티카메라 제어장치(200)의 구동을 위한 각종 프로그램 정보, 상기 멀티카메라(100) 각각의 구동을 제어하기 위한 구동제어신호 등을 수신한다.
저장부(250)는 상기 복수의 멀티카메라(100) 및 상기 멀티카메라 제어장치(200)의 구동을 위한 각종 프로그램을 저장하고 있다.
멀티카메라 구동부(260)는 상기 비디오서버(300) 또는 상기 클라이언트 단말(500)로부터 수신한 구동제어신호를 토대로 상기 멀티카메라(100) 각각의 구동을 제어한다. 즉 상기 멀티카메라(100)에서 특정 촬영대상의 공간을 나누어 촬영하도록 제어하는 것이다.
제어부(270)는 상기 멀티카메라 제어장치(200)의 전반적인 구동을 총괄적으로 제어하는 부분으로서, 상기 촬영 데이터 입력부(210)에서의 각각의 카메라에서 촬영한 영상 데이터의 입력처리를 제어하며, 상기 밉맵 영상 변환부(220)에서의 각각의 카메라에서 촬영한 영상 데이터의 밉맵 영상 변환을 제어한다.
또한 상기 제어부(270)는 상기 패킷 변환부(230)에서의 밉맵 영상의 IP 패킷 변환을 제어하고, 상기 통신부(240)에서의 밉맵 영상 전송, 상기 멀티카메라(100) 및 상기 멀티카메라 제어장치(200)의 구동을 위한 각종 프로그램 정보의 수신을 제어하며, 상기 멀티카메라 구동부(260)에서의 각각의 카메라별 구동을 제어한다.
도 4는 상기 도 1의 비디오서버(300)의 구성을 보다 상세하게 나타낸 도면이다.
도 4에 도시된 바와 같이, 상기 비디오서버(300)는 통신부(310), 패킷 변환부(320), 스티칭 및 블렌딩 처리부(330), 영상결합정보 생성부(340), 영상결합정보 제공부(350), 멀티카메라 관리부(360), 제어부(370) 등으로 구성된다.
통신부(310)는 네트워크를 통해 통신 접속된 상기 멀티카메라 제어장치(200)로부터 IP 패킷으로 변환한 밉맵 영상을 수신하여 패킷 변환부(320)로 출력한다.
또한 상기 통신부(310)는 네트워크를 통해 통신 접속된 상기 클라이언트 단말(500)의 요청에 따라 특정 해상도의 밉맵 영상과 특정 해상도의 밉맵 영상을 통해 멀티카메라 영상을 구성할 때 생성되는 인접 영상 간의 스티칭 포인트와 중복되는 영상 부분의 블렌딩을 위한 파라미터 등의 영상결합정보를 해당 클라이언트 단말(500)로 전송한다. 이때 클라이언트 단말(500)로 제공되는 특정 해상도의 밉맵 영상과 영상결합정보는 클라이언트에 의한 별도의 요청 없이 제공하거나 또는 주기적으로 제공할 수 있다.
또한 상기 통신부(310)는 상기 멀티카메라 제어장치(200)의 구동을 위한 각종 프로그램 정보, 상기 복수의 카메라의 구동을 제어하기 위한 구동제어신호 등을 전송한다.
패킷 변환부(320)는 상기 통신부(310)를 통해 상기 멀티카메라 제어장치(200)로부터 수신한 IP 패킷을 해제(depacketizing)하여 다양한 해상도를 갖는 밉맵 영상으로 변환하고, 이를 스티칭 및 블렌딩 처리부(330)로 출력한다.
또한 상기 패킷 변환부(320)는 상기 클라이언트 단말(500)의 요청에 따른 특정 해상도의 밉맵 영상에 대하여 멀티카메라 영상을 구성할 때 생성한 인접 영상 간의 스티칭 포인트 정보, 중복되는 영상 부분의 블렌딩 파라미터 등의 영상결합정보를 IP 패킷으로 변환하고, 상기 IP 패킷으로 변환한 영상결합정보를 상기 통신부(310)로 출력하여 상기 클라이언트 단말(500)로 제공하도록 한다.
스티칭 및 블렌딩 처리부(330)는 상기 통신부(310)를 통해 상기 멀티카메라(100)로부터 수신받은 다양한 해상도의 밉맵 영상에 대하여, 각각의 카메라에서 촬영한 인접 영상 간에 스티칭, 블렌딩 또는 이들의 조합을 수행하여 멀티카메라 영상을 구성하는 부분으로서, 중복 영상 추출부(332), 동기화부(334), 블렌딩부(336) 등으로 구성된다.
상기 중복 영상 추출부(332)는 각각의 카메라로부터 제공받은 영상 중에서 인접한 영상 간에 중복된 부분을 검출하는 기능을 수행한다.
이때 상기 중복 영상 추출부(332)는 인접한 두 개의 카메라에서 촬영한 영상의 중심에서 점점 가장자리로 움직이면서 중복되는 영역을 탐색하고, 탐색결과를 토대로 중복 부분을 검출하는 방식을 사용한다. 이는 스티칭에서 중복되는 영역을 가장 빨리 찾기 위한 방법 중 하나이다.
상기 동기화부(334)는 상기 중복 영상 추출부(332)에서 검출한 중복된 부분을 참조하여 인접한 영상 중 어느 하나의 영상을 이동시켜 불연속적인 부분이 없이 스티칭되도록 동기화시킨다.
또한 본 발명은 멀티카메라의 각 카메라에서 비디오 데이터를 전송할 때 각 카메라에서 PTP 타임스탬프를 생성하여 비디오 데이터와 타임스탬프를 포함한 패킷을 비디오서버나 단말로 송신하고, 비디오서버나 단말에서는 복수의 카메라로부터 전송되어온 패킷으로부터 비디오 데이터와 타임스탬프를 추출하고, 해당 타임스탬프와 로컬 클록을 이용하여 각 카메라와 비디오서버 혹은 단말간의 시간지연을 계산하고, 상기 시간지연을 고려하여 복수의 각 카메라에서 수신된 비디오 데이터들 간에 프레임 동기화를 수행한다.
상기 블렌딩부(336)는 상기 동기화부(334)에서 동기화시킨 인접 영상 간의 접합부분에 대한 밝기, 명암, 색 또는 이들의 조합을 조정하여 인접 영상 간에 이물감이 느껴지지 않도록 한다.
영상결합정보 생성부(340)는 상기 스티칭 및 블렌딩 처리부(330)에서 각 해상도별 밉맵 영상을 토대로 멀티카메라 영상을 구성할 때 생성되는 인접한 영상 간의 영상결합정보를 확인하고, 상기 영상결합정보를 데이터베이스(400)에 저장하여 관리한다.
이때 상기 영상결합정보는 각각의 해상도별 밉맵 영상을 토대로 멀티카메라 영상을 구성할 때 미리 계산하여 데이터베이스화한 것이다.
예를 들어 상기 영상결합정보로는 인접 영상 간의 접합점에 대한 좌표, 수평동기신호, 수직동기신호 또는 이들의 조합을 포함한 스티칭 포인트 정보, 인접한 영상 간의 접합부분에 대한 명암, 밝기, 색 또는 이들의 조합을 포함한 블렌딩 파라미터, 또는 이들의 조합을 포함할 수 있다.
영상결합정보 제공부(350)는 상기 통신부(310)를 통해 상기 클라이언트 단말(500)로부터 특정 해상도에 따른 인접한 영상 간의 영상결합정보가 요청되는지를 확인하고, 확인결과 상기 클라이언트 단말(500)로부터 특정 해상도의 영상에 대하여 사전에 데이터베이스로 구축해 놓은 영상결합정보가 요청되면, 상기 클라이언트 단말(500)로부터 요청받은 특정 해상도의 밉맵 영상에 대한 인접한 영상 간의 스티칭 포인트 정보, 블렌딩 파라미터 등의 영상결합정보를 해당 클라이언트 단말(500)로 전송하도록 한다.
이때 상기 영상결합정보는 상기 패킷 변환부(320)로 제공되어 IP 패킷으로 변환한 다음, 상기 통신부(310)에서 IP를 통해 상기 클라이언트 단말(500)로 전송하도록 한다.
또한 상기 영상결합정보 제공부(350)는 상기 클라이언트 단말(500)에서 요청하는 특정 해상도의 밉맵 영상을 상기 영상결합정보와 함께 상기 클라이언트 단말(500)로 제공할 수 있다.
한편 상기 영상결합정보 제공부(350)는 상기 클라이언트 단말(500)로부터 요청된 특정 해상도에 따른 인접한 영상 간의 영상결합정보가 데이터베이스(400)에 사전에 저장되어 있지 않으면, 상기 데이터베이스(400)에 저장하여 관리중인 각 해상도별 밉맵 영상에 대한 영상결합정보 중에서 상기 클라이언트 단말(500)에서 요청한 해상도와 가장 근접한 두 개의 해상도에 따른 영상결합정보를 토대로 상기 클라이언트 단말(500)에서 요청한 해상도에 따른 영상결합정보를 생성하여 상기 클라이언트 단말(500)로 제공할 수 있다.
예를 들어 상기 데이터베이스(400)에 128ㅧ128, 64ㅧ64, 32ㅧ32, 16ㅧ16, 8ㅧ8, 4ㅧ4, 2ㅧ2, 1ㅧ1의 해상도에 따른 인접한 영상 간의 영상결합정보가 저장된 상태에서, 상기 클라이언트 단말(500)로부터 40ㅧ40 해상도에 따른 영상결합정보가 요청되면, 상기 영상결합정보 제공부(350)는 사전에 구축해 놓은 64ㅧ64 해상도와 32ㅧ32 해상도에 따른 영상결합정보를 참조하여 클라이언트가 요청한 40ㅧ40 해상도에 따른 영상결합정보를 계산한 다음, 이를 클라이언트 단말(500)로 제공하는 것이다.
멀티카메라 관리부(360)는 상기 멀티카메라(100)를 구성하는 각각의 카메라 구동을 제어하기 위한 제어신호를 생성하고, 상기 생성한 제어신호를 상기 통신부(310)를 통해 상기 멀티카메라 제어장치(200)로 전송하도록 한다.
또한 상기 멀티카메라 관리부(360)는 상기 멀티카메라(100) 또는 상기 멀티카메라 제어장치(200)의 운용을 위한 펌웨어가 업데이트되면, 업데이트된 펌웨어를 상기 통신부(310)를 통해 상기 멀티카메라 제어장치(200)로 전송하도록 한다.
제어부(370)는 상기 비디오서버(300)의 전반적인 구동을 총괄적으로 제어하는 부분으로서, 상기 통신부(310)에서의 밉맵 영상 수신, 상기 멀티카메라(100) 또는 상기 멀티카메라 제어장치(200)의 구동을 위한 각종 프로그램 정보의 전송을 제어하며, 상기 영상결합정보 제공부(350)에서의 클라이언트 요청 확인, 클라이언트로부터 요청받은 특정 해상도에 따른 밉맵 영상과 인접 영상 간의 스티칭 포인트 정보, 블렌딩 파라미터 등의 영상결합정보의 전송을 제어한다.
또한 상기 제어부(370)는 상기 패킷 변환부(320)에서의 상기 멀티카메라 제어장치(200)로부터 수신한 밉맵 영상에 대한 IP 패킷의 해제, 클라이언트로부터 요청받은 특정 해상도의 밉맵 영상에 대한 영상결합정보의 IP 패킷 변환을 제어하며, 상기 스티칭 및 블렌딩 처리부(330)에서의 다양한 해상도의 밉맵 영상에 대한 스티칭이나 블렌딩을 통한 대규모 영상 구성 및 이에 따른 상기 영상결합정보 생성부(340)에서의 인접한 영상 간의 영상결합정보 생성 및 저장을 제어한다.
도 5는 상기 도 1의 클라이언트 단말(500)의 구성을 보다 상세하게 나타낸 도면이다.
도 5에 도시된 바와 같이, 상기 클라이언트 단말(500)은 데이터 요청부(510), 통신부(520), 패킷 변환부(530), 영상 결합부(540), 영상 출력부(550), 저장부(560), 제어부(570) 등으로 구성된다. 이때 도면에 도시하지는 않았지만 상기 클라이언트 단말(500)은 각각의 멀티카메라(100)의 구동을 제어하기 위한 제어신호를 생성하여 상기 멀티카메라 제어장치(200)로 제공하는 멀티카메라 관리부를 추가하여 구성할 수 있다.
데이터 요청부(510)는 클라이언트의 입력 조작을 토대로 상기 영상 결합부(540)에서 렌더링할 특정 해상도에 따른 밉맵 영상, 상기 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보를 상기 통신부(520)를 통해 상기 멀티카메라 제어장치(200) 또는 상기 비디오서버(300)로 요청한다.
통신부(520)는 상기 데이터 요청부(510)에서 요청한 특정 해상도에 따른 밉맵 영상, 상기 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보를 상기 멀티카메라 제어장치(200) 또는 상기 비디오서버(300)로 전송하고, 상기 멀티카메라 제어장치(200) 또는 상기 비디오서버(300)로부터 특정 해상도에 따른 밉맵 영상과 상기 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보를 IP를 통해 수신한다.
예를 들어 도 1a의 실시예의 경우, 상기 통신부(520)는 특정 해상도에 대한 밉맵 영상과 상기 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보 모두를 상기 비디오서버(300)로부터 제공받거나, 또는 특정 해상도에 대한 밉맵 영상은 상기 멀티카메라 제어장치(200)로부터 제공받고 상기 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보는 상기 비디오서버(300)로부터 제공받는다.
또한 도 1b의 실시예의 경우, 상기 통신부(520)는 특정 해상도에 대한 밉맵 영상과 상기 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보 모두를 상기 멀티카메라 제어장치(200A)로부터 제공받는다.
이때 상기 통신부(510)는 특정 해상도의 밉맵 영상과 영상결합정보를 상기 멀티카메라 제어장치(200) 또는 상기 비디오서버(300)로부터 상기 데이터 요청부(510)를 통한 요청 없이 직접 제공받거나 또는 주기적으로 제공받을 수 있다.
패킷 변환부(530)는 상기 통신부(520)를 통해 상기 멀티카메라 제어장치(200) 또는 상기 비디오서버(300)로부터 수신한 IP 패킷을 해제하여 특정 해상도에 대한 밉맵 영상을 영상 결합부(540)로 출력한다.
또한 상기 패킷 변환부(530)는 상기 비디오서버(300)로부터 수신한 특정 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보에 대한 IP 패킷을 해제하고, 상기 영상결합정보를 영상 결합부(540)로 출력한다.
영상 결합부(540)는 상기 패킷 변환부(530)로부터 입력되는 클라이언트가 원하는 특정 해상도에 대한 밉맵 영상과 상기 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보를 이용하여 영상을 잘라내거나 이어붙여 영상을 생성하고, 상기 생성한 영상을 영상 출력부(550)로 출력한다.
즉 상기 영상 결합부(540)는 특정 해상도에 대한 밉맵 영상과 상기 비디오서버(300)로부터 제공받은 사전에 구축해 놓은 인접 영상 간의 접합점에 대한 좌표, 수평동기신호, 수직동기신호를 포함한 스티칭 포인트 정보, 인접한 영상 간의 접합부분에 대한 명암, 밝기, 색을 포함한 블렌딩 파라미터 등의 영상결합정보를 참조하여, 여러 영상을 잘라내거나 이어붙이는 등의 작업, 빈 공간을 채워넣는 보간작업, 접합 부분의 블렌딩 처리 등을 수행하여 원하는 영상을 만드는 것이다.
영상 출력부(550)는 상기 영상 결합부(540)에서 생성한 영상을 디스플레이 장치(600)로 출력하여 화면상에 디스플레이하도록 한다.
저장부(560)는 상기 클라이언트 단말(500)에서 사용하는 각종 프로그램을 저장하고 있으며, 상기 멀티카메라 제어장치(200) 또는 상기 비디오서버(300)로부터 제공받은 특정 해상도에 대한 밉맵 영상과 상기 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보, 상기 영상 결합부(540)에서 수행한 최종영상에 대한 정보를 저장한다.
제어부(570)는 상기 클라이언트 단말(500)의 전반적인 구동을 총괄적으로 제어하는 부분으로서, 상기 통신부(520)에서의 특정 해상도에 따른 밉맵 영상과 상기 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보의 요청 및 수신을 제어하고, 상기 패킷 변환부(530)에서의 상기 멀티카메라 제어장치(200) 또는 상기 비디오서버(300)로부터 수신한 특정 해상도에 대한 밉맵 영상 및 영상결합정보에 대한 IP 패킷의 해제를 제어한다.
또한 상기 제어부(570)는 상기 영상 결합부(540)에서의 특정 해상도에 대한 밉맵 영상과 상기 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보를 이용한 영상 결합을 제어하며, 상기 영상 출력부(550)에서의 상기 결합한 최종영상의 디스플레이 장치(600)로의 출력을 제어한다.
다음에는, 이와 같이 구성된 본 발명에 따른 멀티카메라 비디오 분배 및 결합 방법의 일 실시예를 도 6 내지 도 8을 참조하여 상세하게 설명한다. 이때 본 발명의 방법에 따른 각 단계는 사용 환경이나 당업자에 의해 순서가 변경될 수 있음을 밝혀둔다.
도 6 내지 도 8은 본 발명의 일 실시예에 따른 멀티카메라 비디오 분배 및 결합 방법이 적용된 멀티카메라 제어장치, 비디오서버 및 클라이언트 단말의 동작과정을 상세하게 나타낸 순서도이다.
우선, UHD급의 영상을 촬영할 수 있는 IP카메라로 구성된 복수의 카메라에서 특정 촬영대상을 나누어 촬영하고, 촬영한 영상 데이터를 로컬 네트워크로 연결되어 있는 멀티카메라 제어장치(200)로 출력한다(S110).
그리고 상기 멀티카메라 제어장치(200)는 로컬 네트워크를 통해 수신한 각각의 카메라에서 촬영한 영상 데이터를 다양한 해상도를 가진 밉맵 영상으로 변환하고(S120), 상기 변환한 밉맵 영상을 IP 패킷으로 변환한다(S130).
이때 상기 S120 단계를 통해 상기 멀티카메라 제어장치(200)에서 변환하는 상기 밉맵 영상은 풀 해상도의 텍스처를 사전에 결정한 1/4 해상도, 1/16 해상도 등의 해상도별로 축소하여 생성한 것이다.
상기 S120 단계와 S130 단계를 통해 밉맵 영상 변환 및 IP 패킷 변환을 수행한 이후, 상기 멀티카메라 제어장치(200)는 IP 패킷으로 변환한 상기 밉맵 영상을 네트워크를 통해 비디오서버(300) 또는 클라이언트 단말(500)로 전송한다(S140).
상기 S140 단계를 통해 상기 멀티카메라 제어장치(200)에서 밉맵 영상을 IP 패킷으로 변환하여 전송하면, 상기 비디오서버(300)는 네트워크를 통해 상기 멀티카메라 제어장치(200)로부터 IP 패킷을 수신한 다음(S210), IP 패킷을 해제하여 다양한 해상도를 갖는 밉맵 영상으로 복원한다(S220).
이후 상기 비디오서버(300)는 상기 멀티카메라 제어장치(200)로부터 수신한 다양한 해상도의 밉맵 영상(즉 각각의 멀티카메라(100)에서 촬영한 영상 데이터를 다양한 해상도로 변환한 영상)에 대하여, 인접한 영상 간에 스티칭, 블렌딩 또는 이들의 조합을 수행하여 멀티카메라 영상을 구성한다(S230). 즉 각 해상도에 대한 밉맵 영상에 포함된 각각의 카메라에서 촬영한 영상 데이터를 결합하여 보다 고해상도이며 광각으로 촬영된 영상을 만들어내는 것이다.
또한 상기 비디오서버(300)는 상기 S230 단계를 통해 멀티카메라 영상을 구성할 때의 인접한 영상 간의 스티칭 포인트 정보, 블렌딩 파라미터, 또는 이들의 조합을 포함한 영상결합정보를 생성하고(S240), 상기 생성한 영상결합정보를 데이터베이스(400)에 저장하여 관리한다(S250). 즉 각각의 해상도별 밉맵 영상을 토대로 대규모 영상을 구성할 때 인접한 영상 간의 영상결합정보를 미리 계산하여 데이터베이스화하는 것이다.
이때 상기 S240 단계에서 생성되는 영상결합정보는 인접 영상 간의 접합점에 대한 좌표, 수평동기신호, 수직동기신호 등을 포함한 스티칭 포인트 정보, 인접한 영상 간의 접합부분에 대한 명암, 밝기, 색 등을 포함한 블렌딩 파라미터 등이며, 각 해상도에 대한 밉맵 영상별로 구분하여 데이터베이스(400)에 저장된다.
이와 같이 각각의 해상도별 밉맵 영상을 토대로 멀티카메라 영상을 구성할 때 인접한 영상 간의 영상결합정보를 미리 계산하여 데이터베이스로 구축한 이후, 상기 비디오서버(300)는 상기 각각의 멀티카메라(100)에서 촬영한 영상 데이터를 원하는 해상도에 따라 결합하여 디스플레이 장치(600)에 디스플레이하고자 하는 클라이언트 단말(500)로부터 특정 해상도에 따른 인접한 영상 간의 영상결합정보가 요청되는지를 판단한다(S260).
판단결과 상기 클라이언트 단말(500)로부터 특정 해상도에 따른 인접한 영상 간의 영상결합정보가 요청되면, 상기 비디오서버(300)는 상기 S250 단계를 통해 데이터베이스(400)에 저장한 특정 해상도에 따른 인접한 영상 간의 영상결합정보를 추출한 후, 이를 해당 클라이언트 단말(500)로 전송한다(S270). 이때 상기 영상결합정보는 IP 패킷으로 변환한 후, 네트워크를 통해 해당 클라이언트 단말(500)로 전송된다.
또한 상기 비디오서버(300)는 상기 클라이언트 단말(500)로부터 요청받은 특정 해상도의 밉맵 영상을 상기 영상결합정보와 함께 상기 클라이언트 단말(500)로 제공할 수 있다.
이제, 상기 S260 단계 및 S270 단계를 통해 상기 비디오서버(300)에서 클라이언트가 요청한 특정 해상도에 따른 인접한 영상 간의 영상결합정보를 클라이언트 단말(500)로 전송하면, 상기 클라이언트 단말(500)은 네트워크를 통해 IP 패킷을 수신하고(S310), 수신한 IP 패킷을 해제하여 클라이언트가 원하는 특정 해상도에 대한 밉맵 영상과 상기 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보를 확인한다. 이때 클라이언트가 원하는 특정 해상도에 대한 밉맵 영상은 상기 비디오서버(300)로부터 제공받거나, 상기 멀티카메라 제어장치(200)로 직접 요청하여 제공받을 수 있다. 또한 상기 클라이언트 단말(500)은 상기 멀티카메라(100) 또는 상기 비디오서버(300)로부터 상기 밉맵 영상, 상기 영상결합정보 또는 이들의 조합을 클라이언트에 의한 요청 없이 제공받거나 또는 주기적으로 제공받을 수 있다.
이후 상기 클라이언트 단말(500)은 클라이언트가 원하는 특정 해상도에 대한 밉맵 영상과 상기 해상도에 따라 미리 구축해 놓은 인접한 영상 간의 영상결합정보를 이용하여, 여러 영상을 잘라내거나 이어붙이는 등의 작업, 빈 공간을 채워넣는 보간작업, 접합 부분의 블렌딩 처리 등을 수행하여 원하는 최종영상을 구성한다(S320).
상기 S320 단계를 통해 클라이언트가 원하는 해상도에 따른 최종영상을 결합한 이후, 상기 클라이언트 단말(500)은 상기 최종영상을 디스플레이 장치(600)를 통해 디스플레이한다(S330).
이처럼, 본 발명은 멀티카메라에서 촬영한 비디오에 대해서 복수의 해상도를 가진 밉맵 영상을 클라이언트 단말의 요구에 따라 IP를 통해서 분배하고, 각 클라이언트 단말에서 상기 분배되어 온 비디오를 원하는 바에 따라 잘라내고 결합하여 화면상에 디스플레이할 수 있기 때문에 보다 고해상도이며 광각으로 촬영된 비디오를 이용할 수 있다.
또한 본 발명은 멀티카메라 영상의 각 프레임을 공간적으로 결합할 때 인접한 프레임 간 시차가 발생하지 않도록 개별 카메라 영상의 동기를 맞추어 전체 프레임 동기를 유지하도록 함으로써, 프레임간의 시차를 최소화할 수 있다.
아울러 본 발명은 멀티카메라의 각 카메라에서 전송한 비디오 데이터를 수신측에서 수신하고 네트워크 지연을 계산한 다음 상기 시간지연을 고려하여 복수의 각 카메라에서 수신된 비디오 데이터들 간에 프레임 동기화를 수행함으로써, 시간 동기화된 비디오 데이터의 핸들링이 가능하다.
또한 본 발명은 클라이언트가 디스플레이 해상도에 맞추어 시간적으로 이전 화면으로 갔다가 다시 이후 화면으로 디스플레이를 변화하는 것이 가능하고, 멀티카메라의 각 영상을 일부만 사용하여 디스플레이하여 대형의 멀티카메라 영상에서 자신이 원하는 부분을 선택하여 출력하는 것이 가능하다.
또한 본 발명은 클라이언트가 멀티카메라를 이용하여 촬영한 2차원 영상을 3차원 영상으로 변환하여 디스플레이 할 수 있다.
이상에서와 같이 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.

Claims (22)

  1. 복수의 카메라에서 촬영한 영상 데이터를 입력받아 각각의 영상 데이터를 적어도 하나 이상의 해상도를 가진 밉맵 영상으로 변환하고,
    네트워크, 사용자 인터페이스 또는 이들의 조합을 통해서 외부로부터 상기 밉맵 영상의 제공을 요청 받거나 미리 결정된 설정에 따라 상기 밉맵 영상의 생성을 제어하는 것을 포함하며,
    상기 밉맵 영상은, 복수의 카메라에서 촬영한 각 풀 해상도의 영상 데이터를 사전에 결정한 해상도별로 축소하여 생성한 영상인 것을 특징으로 하는 멀티카메라 제어장치.
  2. 청구항 1에 있어서,
    상기 멀티카메라 제어장치는,
    상기 변환한 밉맵 영상과 PTP 타임스탬프를 IP 패킷으로 패킷화하고,
    상기 IP 패킷으로 변환한 상기 밉맵 영상을 네트워크를 통해 비디오서버 또는 클라이언트 단말로 전송하는 것을 더 포함하는 것을 특징으로 하는 멀티카메라 제어장치.
  3. 청구항 1에 있어서,
    상기 멀티카메라 제어장치는,
    비디오서버 또는 클라이언트 단말로부터 수신한 구동제어신호를 토대로 상기 복수의 카메라에 대한 구동을 제어하여, 상기 복수의 카메라 각각에서 특정 촬영대상의 공간을 나누어 촬영하도록 하는 멀티카메라를 구동하는 것을 더 포함하는 것을 특징으로 하는 멀티카메라 제어장치.
  4. 청구항 1에 있어서,
    상기 멀티카메라 제어장치는,
    복수의 각 개별 카메라에 대해서 PTP 타임스탬프를 생성하여 비디오서버 또는 클라이언트 단말로 전송하도록 함으로써, 상기 비디오서버 또는 클라이언트 단말에서 네트워크 지연을 감안한 시간 동기화를 수행하도록 하거나,
    멀티카메라 영상의 각 프레임을 공간적으로 결합할 때 인접한 프레임 간 시차가 발생하지 않도록 좌에서 우측으로 상측에서 하측으로 멀티카메라 촬영 환경에 따른 미리 정해진 스캔순서에 따라 복수의 카메라 중 각 개별 카메라 영상의 동기를 맞춤으로써 전체 프레임 동기를 유지하도록 하여, 프레임간의 시차를 최소화하거나, 또는
    이들의 조합을 수행하는 것을 특징으로 하는 멀티카메라 제어장치.
  5. 청구항 1에 있어서,
    상기 멀티카메라 제어장치는,
    멀티카메라 영상을 디스플레이 해상도에 맞추어 시간적으로 이전 화면으로 갔다가 다시 이후 화면으로 디스플레이를 변화시키거나,
    좌우, 상하 또는 대각선 방향으로 변화하면서 멀티카메라의 각 영상을 일부만 사용하여 디스플레이하거나, 또는 이들의 조합을 수행하여, 멀티카메라 영상에서 사용자가 원하는 일부분을 선택하여 출력할 수 있도록 지원하는 것을 특징으로 하는 멀티카메라 제어장치.
  6. 청구항 1에 있어서,
    상기 멀티카메라 제어장치에서,
    멀티카메라 영상은 3차원 입체영상으로 디스플레이하는 것을 지원하며,
    상기 멀티카메라에서 복수의 카메라 중 서로 인접한 카메라를 스테레오 카메라의 쌍으로 활용하거나,
    복수의 개별 카메라 영상에 시차를 반영하여 2차원 영상을 3차원 영상으로 변환하여 출력하거나,
    별도의 뎁쓰 카메라를 구비하여 3차원 영상을 생성하도록 지원하는 것을 포함하며,
    상기 멀티카메라 영상은 3차원 그래픽을 포함하는 것을 특징으로 하는 멀티카메라 제어장치.
  7. 복수의 카메라로부터 제공받은 풀 영상, 복수의 해상도의 밉맵 영상 또는 이들의 조합에 대하여, 인접한 카메라 영상 간에 스티칭, 블렌딩 또는 이들의 조합을 수행하여 멀티카메라 영상을 구성하는 데 필요한 정보를 생성하고,
    상기 복수의 카메라로부터 제공받은 풀 영상, 복수의 해상도의 밉맵 영상 또는 이들의 조합을 클라이언트에게 제공하거나 데이터베이스에 저장하여 관리하는 비디오서버를 포함하는 것을 특징으로 하는 멀티카메라 비디오 분배장치.
  8. 청구항 7에 있어서,
    상기 비디오서버는,
    복수의 카메라로부터 제공받은 풀 영상, 복수의 해상도의 밉맵 영상 또는 이들의 조합에 대하여, 인접한 카메라 영상 간에 스티칭, 블렌딩 또는 이들의 조합을 수행하여 멀티카메라 영상을 구성하는 것을 더 포함하며,
    상기 정보는,
    각각의 해상도별 밉맵 영상을 토대로 멀티카메라 영상을 구성할 때 필요한 정보를 미리 계산하여 데이터베이스화한 것으로서,
    인접 영상 간의 접합점에 대한 좌표, 수평동기신호, 수직동기신호 또는 이들의 조합을 포함한 스티칭 포인트 정보,
    인접한 영상 간의 접합부분에 대한 명암, 밝기, 색 또는 이들의 조합을 포함한 블렌딩 파라미터, 또는
    이들의 조합을 포함하는 것을 특징으로 하는 멀티카메라 비디오 분배장치.
  9. 청구항 7에 있어서,
    상기 비디오서버는,
    상기 복수의 카메라 각각의 구동을 제어하기 위한 제어신호를 생성하여 멀티카메라 제어장치로 전송함으로써 멀티카메라 관리를 수행하는 것을 더 포함하며,
    상기 멀티카메라 관리는, 상기 복수의 카메라 또는 상기 멀티카메라 제어장치의 운용을 위한 펌웨어가 업데이트되면 업데이트된 펌웨어를 상기 복수의 카메라 또는 멀티카메라 제어장치로 제공하는 것을 포함하는 것을 특징으로 하는 멀티카메라 비디오 분배장치.
  10. 청구항 7에 있어서,
    상기 비디오서버는,
    멀티카메라로부터 제공받은 복수의 영상 중에서 인접한 영상 간에 중복된 부분을 검출하고,
    상기 검출한 중복된 부분을 참조하여 인접한 영상 중 어느 하나의 영상을 이동시켜 불연속적인 부분이 없이 스티칭되도록 동기화시키며,
    상기 동기화시킨 인접 영상 간의 접합부분에 대한 밝기, 명암, 색 또는 이들의 조합을 조정하여 블렌딩 처리하는 것을 포함하는 것을 특징으로 하는 멀티카메라 비디오 분배장치.
  11. 청구항 7에 있어서,
    상기 멀티카메라 비디오 분배장치는,
    복수의 각 개별 카메라로부터 PTP 타임스탬프를 수신하고, 수신한 PTP 타임 스탬프와 로컬 클럭을 이용하여 각 카메라와 비디오서버 간의 네트워크 지연을 계산하고, 이를 고려하여 각 비디오 데이터에 대한 시간 동기화를 수행하거나,
    상기 멀티카메라 영상의 각 프레임을 공간적으로 결합할 때 인접한 프레임 간 시차가 발생하지 않도록 좌에서 우측으로 상측에서 하측으로 멀티카메라 촬영 환경에 따른 미리 정해진 스캔순서에 따라 복수의 카메라 중 각 개별 카메라 영상의 동기를 맞춤으로써 전체 프레임 동기를 유지하도록 하여, 프레임간의 시차를 최소화하거나, 또는
    이들의 조합을 수행하는 것을 특징으로 하는 멀티카메라 비디오 분배장치.
  12. 청구항 7에 있어서,
    상기 멀티카메라 비디오 분배장치는,
    상기 멀티카메라 영상을 디스플레이 해상도에 맞추어 시간적으로 이전 화면으로 갔다가 다시 이후 화면으로 디스플레이를 변화시키거나,
    좌우, 상하 또는 대각선 방향으로 변화하면서 멀티카메라의 각 영상을 일부만 사용하여 디스플레이하거나, 또는 이들의 조합을 수행하여, 멀티카메라 영상에서 사용자가 원하는 일부분을 선택하여 출력할 수 있도록 지원하는 것을 특징으로 하는 멀티카메라 비디오 분배장치.
  13. 청구항 7에 있어서,
    상기 멀티카메라 비디오 분배장치에서,
    상기 멀티카메라 영상은 3차원 입체영상으로 디스플레이하는 것을 지원하며,
    상기 멀티카메라에서 복수의 카메라 중 서로 인접한 카메라를 스테레오 카메라의 쌍으로 활용하거나,
    복수의 개별 카메라 영상에 시차를 반영하여 2차원 영상을 3차원 영상으로 변환하여 출력하거나,
    별도의 뎁쓰 카메라를 구비하여 3차원 영상을 생성하도록 지원하는 것을 포함하며,
    상기 멀티카메라 영상은 3차원 그래픽을 포함하는 것을 특징으로 하는 멀티카메라 비디오 분배장치.
  14. 멀티카메라 또는 비디오서버로부터 특정 해상도에 따른 밉맵 영상, 상기 해상도에 따른 인접한 영상 간의 영상결합정보 또는 이들의 조합을 제공받고,
    상기 영상결합정보를 이용하여 상기 밉맵 영상을 상기 특정 해상도에 따라 잘라내거나 이어 붙여 디스플레이 화면에 출력할 멀티카메라 영상을 생성하고,
    상기 생성한 멀티카메라 영상을 디스플레이 화면을 통해 출력하는 것을 특징으로 하는 클라이언트 단말.
  15. 청구항 14에 있어서,
    상기 클라이언트 단말은,
    디스플레이 화면에 렌더링할 특정 해상도에 따른 밉맵 영상, 상기 해상도에 따른 인접한 영상 간의 영상결합정보 또는 이들의 조합을 IP를 통해 멀티카메라 또는 비디오서버로 요청하여 수신하거나,
    상기 멀티카메라 또는 비디오서버로부터 상기 밉맵 영상, 상기 영상결합정보 또는 이들의 조합을 상기 요청 없이 제공받거나, 또는
    상기 멀티카메라 또는 비디오서버로부터 상기 밉맵 영상, 상기 영상결합정보 또는 이들의 조합을 주기적으로 제공받는 것을 특징으로 하는 클라이언트 단말.
  16. 청구항 14에 있어서,
    상기 클라이언트 단말은,
    상기 멀티카메라 영상의 각 프레임을 공간적으로 결합할 때 인접한 프레임 간 시차가 발생하지 않도록 좌에서 우측으로 상측에서 하측으로 멀티카메라 촬영 환경에 따른 미리 정해진 스캔순서에 따라 복수의 카메라 중 각 개별 카메라 영상의 동기를 맞춤으로써 전체 프레임 동기를 유지하도록 하여, 프레임간의 시차를 최소화하는 것을 특징으로 하는 클라이언트 단말.
  17. 청구항 14에 있어서,
    상기 클라이언트 단말은,
    상기 멀티카메라 영상을 디스플레이 해상도에 맞추어 시간적으로 이전 화면으로 갔다가 다시 이후 화면으로 디스플레이를 변화시키거나,
    좌우, 상하 또는 대각선 방향으로 변화하면서 멀티카메라의 각 영상을 일부만 사용하여 디스플레이하거나, 또는 이들의 조합을 수행하여, 대형의 멀티카메라 영상에서 사용자가 원하는 일부분을 선택하여 출력하는 것을 특징으로 하는 클라이언트 단말.
  18. 청구항 14에 있어서,
    상기 멀티카메라 영상은 3차원 입체영상으로 디스플레이하는 것을 포함하며,
    상기 멀티카메라에서 복수의 카메라 중 서로 인접한 카메라를 스테레오 카메라의 쌍으로 활용하거나,
    개별 카메라 영상에 시차를 반영하여 2차원 영상을 3차원 영상으로 변환하여 출력하거나,
    뎁쓰 카메라를 별도로 구비하여 3차원 영상을 생성하는 것을 포함하며,
    상기 멀티카메라 영상은 3차원 그래픽을 포함하는 것을 특징으로 하는 클라이언트 단말.
  19. 멀티카메라에서 복수의 카메라에서 촬영한 영상 데이터를 입력받아 각각의 영상 데이터를 적어도 하나 이상의 해상도를 가진 밉맵 영상으로 변환하고,
    멀티카메라에서 네트워크, 사용자 인터페이스 또는 이들의 조합을 통해서 외부로부터 상기 밉맵 영상의 제공을 요청 받거나 미리 결정된 설정에 따라 상기 밉맵 영상의 생성을 제어하는 것을 포함하며,
    상기 밉맵 영상은, 복수의 카메라에서 촬영한 각 풀 해상도의 영상 데이터를 사전에 결정한 해상도별로 축소하여 생성한 영상인 것을 특징으로 하는 멀티카메라 비디오 제어 방법.
  20. 청구항 19에 있어서,
    비디오서버에서 복수의 카메라로부터 제공받은 풀 영상, 복수의 해상도의 밉맵 영상 또는 이들의 조합에 대하여, 인접한 카메라 영상 간에 스티칭, 블렌딩 또는 이들의 조합을 수행하여 멀티카메라 영상을 구성하는 데 필요한 정보를 생성하고,
    상기 비디오서버에서 상기 복수의 카메라로부터 제공받은 풀 영상, 복수의 해상도의 밉맵 영상 또는 이들의 조합을 클라이언트에게 제공하거나 데이터베이스에 저장하여 관리하는 것을 더 포함하는 것을 특징으로 하는 멀티카메라 비디오 제어 방법.
  21. 청구항 20에 있어서,
    클라이언트 단말에서 멀티카메라 또는 비디오서버에 요청하여 특정 해상도에 따른 밉맵 영상, 상기 해상도에 따른 인접한 영상 간의 영상결합정보 또는 이들의 조합을 제공받고,
    상기 클라이언트 단말에서 상기 영상결합정보를 이용하여 상기 밉맵 영상을 상기 특정 해상도에 따라 잘라내거나 이어 붙여 디스플레이 화면에 출력할 멀티카메라 영상을 생성하고,
    상기 클라이언트 단말에서 상기 생성한 멀티카메라 영상을 디스플레이 화면을 통해 출력하는 것을 특징으로 하는 멀티카메라 비디오 제어 방법.
  22. 청구항 19에 있어서,
    복수의 각 개별 카메라에 대해서 PTP 타임스탬프를 생성하여 각 영상 데이터와 함께 패킷화하여 비디오서버 또는 클라이언트 단말로 전송하고, 상기 비디오서버 또는 클라이언트 단말에서 로컬 클럭과 상기 PTP 타임스탬프를 활용하여 네트워크 지연을 계산하고, 상기 계산된 네트워크 지연을 감안한 시간 동기화를 수행하는 것을 포함하는 멀티카메라 비디오 제어 방법.
PCT/KR2018/001729 2017-11-21 2018-02-09 Ip를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법 WO2019103240A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170155635A KR101987062B1 (ko) 2017-11-21 2017-11-21 Ip를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법
KR10-2017-0155635 2017-11-21

Publications (1)

Publication Number Publication Date
WO2019103240A1 true WO2019103240A1 (ko) 2019-05-31

Family

ID=66631615

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/001729 WO2019103240A1 (ko) 2017-11-21 2018-02-09 Ip를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법

Country Status (2)

Country Link
KR (1) KR101987062B1 (ko)
WO (1) WO2019103240A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002304A (zh) * 2022-04-12 2022-09-02 华东师范大学 一种视频图像分辨率自适应转换装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102456189B1 (ko) * 2021-11-23 2022-10-18 쿨사인 주식회사 클라우드 엣지 기반의 영상 분석 시스템
KR102448096B1 (ko) * 2021-11-23 2022-09-27 쿨사인 주식회사 Ptp를 이용한 지능형 cctv 동기화 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130068193A (ko) * 2011-12-14 2013-06-26 한국전자통신연구원 멀티 영상 제공 시스템 및 그것의 멀티 영상 입력 장치
KR20140011964A (ko) * 2012-07-18 2014-01-29 한국전자통신연구원 고품질, 전방위 파노라마 동영상을 이용한 감시 정찰 방법
KR20150124409A (ko) * 2014-04-28 2015-11-05 주식회사 이타기술 다채널 비디오 스트림 전송 방법, 그리고 이를 이용한 관제 시스템
KR101603976B1 (ko) * 2014-10-22 2016-03-16 주식회사 솔박스 동영상 파일 결합 방법 및 그 장치
KR20160146542A (ko) * 2015-06-11 2016-12-21 에이알엠 리미티드 비디오 처리 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9064337B2 (en) * 2012-06-05 2015-06-23 Apple Inc. Method, system and apparatus for rendering a map with adaptive textures for map features
KR20160115466A (ko) * 2015-03-27 2016-10-06 한국전자통신연구원 파노라믹 비디오를 스티칭하는 장치 및 이를 위한 스티칭 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130068193A (ko) * 2011-12-14 2013-06-26 한국전자통신연구원 멀티 영상 제공 시스템 및 그것의 멀티 영상 입력 장치
KR20140011964A (ko) * 2012-07-18 2014-01-29 한국전자통신연구원 고품질, 전방위 파노라마 동영상을 이용한 감시 정찰 방법
KR20150124409A (ko) * 2014-04-28 2015-11-05 주식회사 이타기술 다채널 비디오 스트림 전송 방법, 그리고 이를 이용한 관제 시스템
KR101603976B1 (ko) * 2014-10-22 2016-03-16 주식회사 솔박스 동영상 파일 결합 방법 및 그 장치
KR20160146542A (ko) * 2015-06-11 2016-12-21 에이알엠 리미티드 비디오 처리 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115002304A (zh) * 2022-04-12 2022-09-02 华东师范大学 一种视频图像分辨率自适应转换装置
CN115002304B (zh) * 2022-04-12 2024-03-22 华东师范大学 一种视频图像分辨率自适应转换装置

Also Published As

Publication number Publication date
KR20190058040A (ko) 2019-05-29
KR101987062B1 (ko) 2019-06-10

Similar Documents

Publication Publication Date Title
WO2018052251A1 (en) Method, apparatus, and system for sharing virtual reality viewport
WO2018048286A1 (en) Method and apparatus for transmitting and reproducing content in virtual reality system
WO2019103240A1 (ko) Ip를 통한 멀티카메라 비디오 분배 및 결합 시스템 및 그 방법
WO2009125988A2 (en) Fast multi-view three-dimensinonal image synthesis apparatus and method
WO2010107227A2 (en) A method of displaying three-dimensional image data and an apparatus of processing three-dimensional image data
WO2010085074A2 (en) Three-dimensional subtitle display method and three-dimensional display device for implementing the same
SG185110A1 (en) Multiple-site drawn-image sharing apparatus, multiple-site drawn-image sharing system, method executed by multiple-site drawn-image sharing apparatus, program, and recording medium
WO2017086348A1 (ja) マルチカメラシステム、マルチカメラシステムの制御方法およびカメラ
WO2022019719A1 (en) Generation and distribution of immersive media content from streams captured via distributed mobile devices
WO2017026705A1 (ko) 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
WO2019035581A1 (ko) 서버, 디스플레이장치 및 그 제어방법
KR20100073080A (ko) 다중 영상 기반의 모션 제어 카메라 효과 구현 방법 및 장치
WO2016085047A1 (ko) 영상 신호 전송 방법 및 장치
GB2526618A (en) Method for generating a screenshot of an image to be displayed by a multi-display system
JP5520146B2 (ja) 映像受信装置、及びその制御方法
WO2010050691A2 (en) Methods and apparatuses for processing and displaying image
KR100581533B1 (ko) 스테레오 카메라의 영상 합성장치
WO2022045779A1 (en) Restoration of the fov of images for stereoscopic rendering
WO2015037761A1 (ko) 멀티앵글영상서비스 제공 방법 및 시스템
WO2012086912A1 (ko) 2차원 영상을 스테레오 영상으로 변환하는 방법
JP3520318B2 (ja) 映像合成演算処理装置、その方法及びシステム
JPH11243508A (ja) 画像表示装置
JP4423416B2 (ja) 映像合成処理システム
WO2023243853A1 (ko) 이미지 처리를 위한 전자 장치 및 그 동작 방법
JP2002290966A (ja) 複合画像表示システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18881375

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18881375

Country of ref document: EP

Kind code of ref document: A1