KR102350853B1 - Image display system using transparent display device and image display method using the same - Google Patents

Image display system using transparent display device and image display method using the same Download PDF

Info

Publication number
KR102350853B1
KR102350853B1 KR1020210138741A KR20210138741A KR102350853B1 KR 102350853 B1 KR102350853 B1 KR 102350853B1 KR 1020210138741 A KR1020210138741 A KR 1020210138741A KR 20210138741 A KR20210138741 A KR 20210138741A KR 102350853 B1 KR102350853 B1 KR 102350853B1
Authority
KR
South Korea
Prior art keywords
image
building
final
main
display device
Prior art date
Application number
KR1020210138741A
Other languages
Korean (ko)
Inventor
정면영
서채원
표영일
Original Assignee
주식회사 스튜디오레논
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스튜디오레논 filed Critical 주식회사 스튜디오레논
Priority to KR1020210138741A priority Critical patent/KR102350853B1/en
Application granted granted Critical
Publication of KR102350853B1 publication Critical patent/KR102350853B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

An image output method is provided. The image output method includes the following steps: acquiring a first image by photographing on a first side of a first building in a first direction; acquiring a second image by photographing on a second side of the first building in a second direction, wherein there is a point of intersection of the first direction and the second direction outside the first building; generating a main image having a viewing angle from the inside of the first building to the outside of the first building based on the first image and the second image; acquiring a sub image having a viewing angle from the inside of a second building to the outside of the second building by photographing on a side wall of the second building spaced apart from the first building in a third direction; after extracting at least one from among multiple objects included in the sub image, generating a final image by synthesizing the extracted one with the main image; and outputting the final image through a transparent display device including micro LEDs.

Description

투명 디스플레이 장치를 이용한 영상 표시 시스템 및 이를 이용한 영상 표시 방법{IMAGE DISPLAY SYSTEM USING TRANSPARENT DISPLAY DEVICE AND IMAGE DISPLAY METHOD USING THE SAME}An image display system using a transparent display device and an image display method using the same

본 발명은 영상 표시 시스템 및 이를 이용한 영상 표시 방법에 관한 것으로, 더욱 상세하게는 선택적으로 영상을 표시하는 투명 디스플레이 장치를 이용한 영상 표시 시스템 및 이를 이용한 영상 표시 방법에 관한 것이다. The present invention relates to an image display system and an image display method using the same, and more particularly, to an image display system using a transparent display device for selectively displaying an image, and an image display method using the same.

최근 도심지에 건물들이 빽빽하게 들어서면서, 창문을 열더라도 인접한 건물의 외벽에 의해 외부가 보이지 않는 경우가 증가하고 있다. 그에 따라, 건물 안에 있는 사람들이 답답함을 느끼지 않도록 하는 다양한 방법들이 연구되고 있다.Recently, as buildings are densely built into downtown areas, there are increasing cases in which the outside cannot be seen by the exterior walls of adjacent buildings even when the windows are opened. Accordingly, various methods are being studied so that people in the building do not feel stuffy.

본 발명이 해결하고자 하는 과제는 적어도 두 대의 메인 카메라를 이용하여 획득한 영상들에 기초하여 생성된 최종 영상을 투명 디스플레이 장치에 선택적으로 출력하는 영상 출력 시스템 및 이를 이용한 영상 출력 방법을 제공하는 것이다.An object of the present invention is to provide an image output system for selectively outputting a final image generated based on images acquired using at least two main cameras to a transparent display device, and an image output method using the same.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 영상 출력 방법은, 제1 건물의 제1 측면에서 제1 방향을 촬영하여 제1 영상을 획득하는 단계, 제1 건물의 제2 측면에서 제1 방향과 제1 건물의 외부에서 교차점을 갖는 제2 방향을 촬영하여 제2 영상을 획득하는 단계, 제1 영상 및 제2 영상에 기초하여, 제1 건물 내부로부터 제1 건물 외부에 대한 시야각을 갖는 메인 영상을 생성하는 단계, 제1 건물과 이격하여 위치하는 제2 건물의 측벽에서 제3 방향으로 촬영하여, 제2 건물 내부로부터 제2 건물 외부에 대한 시야각을 갖는 서브 영상을 획득하는 단계, 서브 영상에 포함된 복수의 객체들 중 적어도 하나를 추출한 뒤, 메인 영상에 합성하여 최종 영상을 생성하는 단계 및 마이크로 LED를 포함하는 투명 디스플레이 장치를 통해 최종 영상을 선택적으로 출력하는 단계를 포함한다.An image output method according to an aspect of the present invention for solving the above-described problems comprises the steps of: acquiring a first image by photographing a first direction from a first side of a first building; acquiring a second image by photographing the first direction and a second direction having an intersection from the outside of the first building, based on the first image and the second image, the viewing angle from the inside of the first building to the outside of the first building generating a main image having, photographing in a third direction from a side wall of a second building spaced apart from the first building to obtain a sub-image having a viewing angle from the inside of the second building to the outside of the second building; It includes extracting at least one of a plurality of objects included in the sub-image, synthesizing it with the main image to generate a final image, and selectively outputting the final image through a transparent display device including a micro LED.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 영상 출력 시스템은 제1 건물의 제1 측면에서 제1 방향을 촬영하여 제1 영상을 획득하는 제1 메인 카메라, 제1 건물의 제2 측면에서 제1 방향과 제1 건물의 외부에서 교차점을 갖는 제2 방향을 촬영하여 제2 영상을 획득하는 제2 메인 카메라, 제1 건물과 이격하여 위치하는 제2 건물에 설치되어 제2 건물 내부로부터 제2 건물 외부에 대한 시야각을 갖는 서브 영샹을 촬영하는 서브 카메라, 제1 영상 및 제2 영상에 기초하여 제1 건물 내부로부터 제1 건물 외부에 대한 시야각을 갖는 메인 영상을 생성하고, 메인 영상에 서브 영상에 포함된 객체들 중 일부를 합성하고, 기 설정된 일부 영역의 해상도를 낮춤으로써 최종 영상을 생성하는 서버 및 마이크로 엘이디(mirco LED)를 포함하는 이중창 또는 삼중창으로 구성되어 제2 건물에 설치되고, 영상 출력 명령이 입력되면 투명 모드를 영상 모드로 전환하어 최종 영상을 출력하는 투명 디스플레이 장치를 포함한다.An image output system according to an aspect of the present invention for solving the above-described problems includes a first main camera that acquires a first image by photographing a first direction from a first side of a first building, and a second side of the first building A second main camera that acquires a second image by photographing a second direction having an intersection point in the first direction and the outside of the first building, is installed in a second building spaced apart from the first building and is installed from the inside of the second building A sub-camera that captures a sub-image having a viewing angle with respect to the outside of the second building, a main image having a viewing angle from the inside of the first building to the outside of the first building is generated based on the first image and the second image, and It is composed of a double or triple window including a server and micro LED (mirco LED) that synthesizes some of the objects included in the sub image and lowers the resolution of a predetermined area to generate a final image and is installed in the second building. , and a transparent display device for outputting a final image by switching the transparent mode to the image mode when an image output command is input.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.

본 개시의 일 실시 예에 따른 영상 표시 시스템 및 이를 이용한 영상 표시 방법은, 제1 건물에 설치된 적어도 두 대의 메인 카메라를 통해 획득된 영상들에 기초하여 생성된 최종 영상을 선택적으로 제2 건물에 설치된 투명 디스플레이로 출력함으로써, 제2 건물의 시야가 인접한 건물에 의해 차단된다고 하더라도 제2 건물의 내부에 위치한 관측자가 답답함을 느끼지 않을 수 있다.In an image display system and an image display method using the same according to an embodiment of the present disclosure, a final image generated based on images obtained through at least two main cameras installed in a first building is selectively installed in a second building By outputting to the transparent display, even if the view of the second building is blocked by an adjacent building, an observer located inside the second building may not feel stuffy.

본 개시의 일 실시 예에 따른 영상 표시 시스템 및 이를 이용한 영상 표시 방법은, 내부 카메라 및/또는 서브 카메라를 이용하여 영상을 추가로 획득함으로써, 관측자에게 현실감 있는 영상을 제공할 수 있다.An image display system and an image display method using the same according to an embodiment of the present disclosure may provide a realistic image to an observer by additionally acquiring an image using an internal camera and/or a sub-camera.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 예시적인 실시 예에 따른 영상 출력 시스템을 나타내는 블록도이다.
도 2는 예시적인 실시 예에 따른 영상 출력 시스템을 설명하기 위한 도면이다.
도 3은 예시적인 실시 예에 따른 영상 출력 시스템을 설명하기 위한 도면이다.
도 4는 예시적인 실시 예에 따른 서버의 동작을 설명하기 위한 도면이다.
도 5는 예시적인 실시 예에 따른 영상 출력 방법을 설명하기 위한 순서도이다.
도 6은 예시적인 실시 예에 따른 영상 출력 방법을 설명하기 위한 순서도이다.1 is a block diagram illustrating an image output system according to an exemplary embodiment.
2 is a diagram for explaining an image output system according to an exemplary embodiment.
3 is a diagram for describing an image output system according to an exemplary embodiment.
4 is a diagram for explaining an operation of a server according to an exemplary embodiment.
5 is a flowchart illustrating an image output method according to an exemplary embodiment.
6 is a flowchart illustrating an image output method according to an exemplary embodiment.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the present embodiments allow the disclosure of the present invention to be complete, and those of ordinary skill in the art to which the present invention pertains. It is provided to fully understand the scope of the present invention to those skilled in the art, and the present invention is only defined by the scope of the claims.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for the purpose of describing the embodiments and is not intended to limit the present invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other components in addition to the stated components. Like reference numerals refer to like elements throughout, and "and/or" includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various elements, these elements are not limited by these terms, of course. These terms are only used to distinguish one component from another. Accordingly, it goes without saying that the first component mentioned below may be the second component within the spirit of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used herein will have the meaning commonly understood by those of ordinary skill in the art to which this invention belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless specifically defined explicitly.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.Spatially relative terms "below", "beneath", "lower", "above", "upper", etc. It can be used to easily describe the correlation between a component and other components. Spatially relative terms should be understood as terms including different directions of components during use or operation in addition to the directions shown in the drawings. For example, when a component shown in the drawing is turned over, a component described as “beneath” or “beneath” of another component may be placed “above” of the other component. can Accordingly, the exemplary term “below” may include both directions below and above. Components may also be oriented in other orientations, and thus spatially relative terms may be interpreted according to orientation.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 예시적인 실시 예에 따른 영상 출력 시스템을 나타내는 블록도이다.1 is a block diagram illustrating an image output system according to an exemplary embodiment.

도 1을 참조하면, 영상 출력 시스템(10)은 제1 메인 카메라(11), 제2 메인 카메라(12), 서브 카메라(13), 서버(14) 및 디스플레이 장치(15)를 포함할 수 있다. 영상 출력 시스템(10)은 내부 카메라(16)를 더 포함할 수 있다. Referring to FIG. 1 , the image output system 10 may include a first main camera 11 , a second main camera 12 , a sub-camera 13 , a server 14 , and a display device 15 . . The image output system 10 may further include an internal camera 16 .

제1 메인 카메라(11) 및 제2 메인 카메라(12)는 동일한 건물에 설치되되, 디스플레이 장치(15)가 설치된 건물과 다른 건물에 설치될 수 있다. 제2 메인 카메라(12)는 제1 메인 카메라(11)와 같은 높이에 설치될 수 있고, 제1 메인 카메라(11)와 이격하여 설치될 수 있다. 제1 메인 카메라(11) 및 제2 메인 카메라(12)는 하나의 쌍을 구성할 수 있다. 그에 따라, 영상 출력 시스템(10)은 적어도 하나의 메인 카메라 쌍을 포함할 수 있다. 예를 들어, 영상 출력 시스템(10)은 건물의 모든 층에 설치된 메인 카메라 쌍을 포함할 수 있다.The first main camera 11 and the second main camera 12 are installed in the same building, but may be installed in a building different from the building in which the display device 15 is installed. The second main camera 12 may be installed at the same height as the first main camera 11 , and may be installed to be spaced apart from the first main camera 11 . The first main camera 11 and the second main camera 12 may constitute a pair. Accordingly, the image output system 10 may include at least one main camera pair. For example, the image output system 10 may include a pair of main cameras installed on all floors of a building.

제1 메인 카메라(11)는 건물의 모서리에 가깝게 설치될 수 있고, 제1 방향을 촬영하여 제1 영상(I1)을 획득할 수 있다. 제2 메인 카메라(12)는 건물의 모서리에 가깝게 설치될 수 있고, 제2 방향을 촬영하여 제2 영상(I2)을 획득할 수 있다. 제1 방향과 제2 방향은 제1 메인 카메라(11) 및 제2 메인 카메라(12)가 설치된 건물의 외부에서 교차점을 가질 수 있다. The first main camera 11 may be installed close to the corner of the building, and may acquire the first image I1 by photographing the first direction. The second main camera 12 may be installed close to the corner of the building, and may acquire the second image I2 by photographing the second direction. The first direction and the second direction may have an intersection point outside the building in which the first main camera 11 and the second main camera 12 are installed.

서브 카메라(13)는 디스플레이 장치(15)가 설치된 건물에 설치될 수 있다. 즉, 서브 카메라(13)는 제1 메인 카메라(11) 및 제2 메인 카메라(12)와 다른 건물에 설치될 수 있다. 서브 카메라(13)는 건물의 내부에서 외부를 바라보는 방향으로 서브 영상(IS)을 촬영할 수 있다. 서브 영상(IS)은 복수의 객체들을 포함할 수 있다. 서브 카메라(13)는 적어도 하나 이상 설치될 수 있다. 예를 들어, 서브 카메라(13)는 건물의 모든 층에 설치될 수 있다.The sub camera 13 may be installed in a building in which the display device 15 is installed. That is, the sub-camera 13 may be installed in a different building from the first main camera 11 and the second main camera 12 . The sub-camera 13 may photograph the sub-image IS in a direction from the inside of the building to the outside. The sub-image IS may include a plurality of objects. At least one sub-camera 13 may be installed. For example, the sub-camera 13 may be installed on all floors of a building.

서버(14)는 제1 메인 카메라(11)로부터 수신한 제1 영상(I1) 및 제2 메인 카메라(12)로부터 수신한 제2 영상(I2)에 기초하여, 제1 메인 카메라(11) 및 제2 메인 카메라(12)가 설치된 건물의 내부로부터 제1 메인 카메라(11) 및 제2 메인 카메라(12)가 설치된 건물의 외부에 대한 시야각을 갖는 메인 영상을 생성할 수 있다. 서버(14)는 제1 영상(I1) 및 제2 영상(I2)을 제1 메인 카메라(11) 및 제2 메인 카메라(12)의 위치, 각도, 거리 중 적어도 일부에 기초하여 정합함으로써 메인 영상을 생성할 수 있다.The server 14, based on the first image I1 received from the first main camera 11 and the second image I2 received from the second main camera 12, the first main camera 11 and A main image having a viewing angle with respect to the outside of the building in which the first main camera 11 and the second main camera 12 is installed may be generated from the inside of the building in which the second main camera 12 is installed. The server 14 registers the first image I1 and the second image I2 based on at least a part of the positions, angles, and distances of the first main camera 11 and the second main camera 12, thereby making the main image can create

서버(14)는 서브 영상(IS)에 포함된 복수의 객체들 중 일부를 추출할 수 있다. 서버(14)는 서브 영상(IS)에 포함된 복수의 객체들 중 일부를 메인 영상에 합성함으로써, 최종 영상(FI)을 생성할 수 있다. 서브 영상(IS)에 포함된 복수의 객체들은 건물, 구조물, 조형물, 나무 등을 포함할 수 있다. 서브 영상(IS)에 포함된 복수의 객체들 중 일부를 메인 영상에 합성한 최종 영상(FI)은 디스플레이 장치(15)가 설치된 건물 내부에 있는 관측자에게 보다 자연스럽게 인식할 수 있다.The server 14 may extract some of the plurality of objects included in the sub-image IS. The server 14 may generate the final image FI by synthesizing some of the plurality of objects included in the sub-image IS with the main image. The plurality of objects included in the sub-image IS may include a building, a structure, a sculpture, a tree, and the like. The final image FI obtained by synthesizing some of the plurality of objects included in the sub image IS into the main image may be recognized more naturally by an observer inside the building in which the display device 15 is installed.

서버(14)는 제1 메인 카메라(11) 및 제2 메인 카메라(12)가 설치된 위치 정보와 디스플레이 장치(15)가 설치된 위치 정보에 기초하여, 최종 영상(FI)을 디스플레이 장치(15)에 제공할 수 있다. 예를 들어, 서버(14)는 제1 메인 카메라(11) 및 제2 메인 카메라(12)가 설치된 위치와 디스플레이 장치(15)가 설치된 위치를 비교할 수 있다. 서버(14)는 디스플레이 장치(15)가 설치된 위치에 대응되는 위치에서 촬영된 제1 영상(I1) 및 제2 영상(I2)에 기초하여 생성된 최종 영상(FI)을 디스플레이 장치(15)에 제공할 수 있다. 예를 들어, 디스플레이 장치(15)가 11층에 설치된 경우, 서버(14)는 11층에서 촬영된 제1 영상(I1) 및 제2 영상(I2)에 기초하여 생성된 최종 영상(FI)을 디스플레이 장치(15)에 제공할 수 있다. The server 14 transmits the final image FI to the display device 15 on the basis of the location information in which the first main camera 11 and the second main camera 12 are installed and the location information in which the display device 15 is installed. can provide For example, the server 14 may compare a location where the first main camera 11 and the second main camera 12 are installed with a location where the display device 15 is installed. The server 14 transmits the final image FI generated based on the first image I1 and the second image I2 captured at a location corresponding to the location where the display device 15 is installed to the display device 15 . can provide For example, when the display device 15 is installed on the 11th floor, the server 14 displays the final image FI generated based on the first image I1 and the second image I2 photographed on the 11th floor. It may be provided to the display device 15 .

서버(14)는 인공 지능을 이용하여 관측자에게 최적화된 최종 영상(FI)을 생성할 수 있다. 서버(14)는 계층 구조로 인공 신경망(artificial neural network)을 구축함으로써 관측자에게 최적화된 최종 영상(FI)을 생성하도록 인공 지능 모델을 학습할 수 있다. The server 14 may generate the final image FI optimized for the observer using artificial intelligence. The server 14 may learn an artificial intelligence model to generate a final image FI optimized for an observer by building an artificial neural network in a hierarchical structure.

예를 들어, 서버(14)는 제1 영상(I1) 및 제2 영상(I2)이 촬영된 위치, 각도 및 거리, 제1 메인 카메라(11) 및 제2 메인 카메라(12)가 설치된 위치 정보, 서브 영상(IS)에 포함된 객체의 종류, 개수, 거리 및 크기, 및 디스플레이 장치(15)의 위치 정보 중 적어도 일부에 기초하여, 최적화된 최종 영상(FI)을 생성하도록 인공 지능 모델을 학습할 수 있다. 최적화된 최종 영상(FI)이란, 관측자에게 가장 자연스럽게 인식되는 최종 영상(FI)을 의미할 수 있다. 인공 지능 모델은 합성곱 신경망, 적대적 생성 신경망, 또는 다른 타입의 인공 지능 모델들과 같은 다양한 학습 모델들을 포함할 수 있다. For example, the server 14 provides information on locations, angles, and distances at which the first image I1 and the second image I2 are captured, and location information where the first main camera 11 and the second main camera 12 are installed. , based on at least a part of the type, number, distance and size of the object included in the sub-image IS, and the location information of the display device 15, learning the artificial intelligence model to generate an optimized final image FI can do. The optimized final image FI may mean a final image FI most naturally recognized by an observer. The artificial intelligence model may include various learning models, such as convolutional neural networks, adversarial generative neural networks, or other types of artificial intelligence models.

일 실시 예에서, 서버(14)는 제1 영상(I1) 및 제2 영상(I2)이 촬영된 방향 및 위치, 및 디스플레이 장치(15)의 위치를 인공지능 모델에 적용하여 제1 영상(I1)에 대응하는 제1 방향 및 제2 영상(I2)에 대응하는 제2 방향을 갱신할 수 있다. 그에 따라, 제1 메인 카메라(11)는 갱신된 제1 방향에 기초하여 제1 영상(I1)을 촬영할 수 있고, 제2 메인 카메라(12)는 갱신된 제2 방향에 기초하여 제2 영상(I2)을 촬영할 수 있다. 서버(14)는 갱신된 제1 방향에 기초하여 촬영된 제1 영상(I1) 및 갱신된 제2 방향에 기초하여 촬영된 제2 영상(I2)을 업데이트할 수 있다. 서버(14)는 업데이트된 제1 영상(I1) 및 업데이트된 제2 영상(I2)에 기초하여 메인 영상을 생성할 수 있다.In an embodiment, the server 14 applies the first image I1 and the second image I2 photographed directions and positions and the position of the display device 15 to the AI model to apply the first image I1 ) and the second direction corresponding to the second image I2 may be updated. Accordingly, the first main camera 11 may photograph the first image I1 based on the updated first direction, and the second main camera 12 may photograph the second image I1 based on the updated second direction. I2) can be photographed. The server 14 may update the first image I1 captured based on the updated first direction and the second image I2 captured based on the updated second direction. The server 14 may generate a main image based on the updated first image I1 and the updated second image I2 .

디스플레이 장치(15)는 디스플레이 패널(15-1) 및 영상 출력 명령 수신부(15-2)를 포함할 수 있다. 디스플레이 장치(15)는 서버(14)로부터 최종 영상(FI)을 수신할 수 있다. The display device 15 may include a display panel 15 - 1 and an image output command receiver 15 - 2 . The display device 15 may receive the final image FI from the server 14 .

디스플레이 패널(15-1)은 선택적으로 최종 영상(FI)을 출력할 수 있다. 디스플레이 패널(15-1)은 투명 디스플레이 패널일 수 있다. 디스플레이 패널(15-1)은 마이크로 LED (Micro Light Emitting Diode) 디스플레이일 수 있다. 마이크로 LED 디스플레이는 1 ㎛ 이상 100 ㎛ 이하로 제작되는 마이크로 LED 소자를 촘촘히 배열함으로써 각각의 픽셀을 표현하는 디스플레이일 수 있다. The display panel 15 - 1 may selectively output the final image FI. The display panel 15 - 1 may be a transparent display panel. The display panel 15 - 1 may be a Micro Light Emitting Diode (LED) display. The micro LED display may be a display that expresses each pixel by closely arranging micro LED elements manufactured to be 1 μm or more and 100 μm or less.

마이크로 LED 디스플레이는 글래스(glass) 기판 상에 마이크로 LED 소자를 실장하는 COG(Chip on Glass) 타입으로 구성될 수 있다. 디스플레이 패널(15-1)이 COG 타입으로 구성된 마이크로 LED 디스플레이로 구현됨에 따라, 디스플레이 패널(15-1)은 투명한 디스플레이를 제공할 수 있다. 그러나, 이에 제한되지 않으며 디스플레이 패널(15-1)은 투명한 디스플레이를 제공하기 위한 다른 방식으로 구현될 수도 있다.The micro LED display may be configured as a COG (Chip on Glass) type in which the micro LED device is mounted on a glass substrate. As the display panel 15-1 is implemented as a micro LED display configured as a COG type, the display panel 15-1 may provide a transparent display. However, the present invention is not limited thereto, and the display panel 15 - 1 may be implemented in other ways to provide a transparent display.

그러나 이에 제한되지 않으며, 디스플레이 패널(15-1)은 백 라이트 유닛을 포함하는 액정표시장치(LCD)일 수도 있고, OLED (Organic Light Emitting Diode) 디스플레이 및 퀀텀닷 (Quantum Dot) 디스플레이 등의 자발광 디스플레이일 수도 있다. However, the present invention is not limited thereto, and the display panel 15 - 1 may be a liquid crystal display (LCD) including a backlight unit, and self-luminescence such as an organic light emitting diode (OLED) display and a quantum dot display. It may be a display.

디스플레이 패널(15-1)이 투명 디스플레이인 경우, 디스플레이 장치(15)는 이중창 또는 삼중창으로 구성될 수 있다. 디스플레이 장치(15)가 이중창 또는 삼중창으로 구성됨에 따라, 외부 환경으로부터 디스플레이 패널(15-1)을 보호할 수 있다.When the display panel 15 - 1 is a transparent display, the display device 15 may be configured as a double window or a triple window. As the display device 15 is configured as a double or triple window, it is possible to protect the display panel 15 - 1 from the external environment.

영상 출력 명령 수신부(15-2)는 외부로부터 영상 출력 명령(CMD)을 수신할 수 있다. 영상 출력 명령(CMD)은 디스플레이 장치(15)가 설치된 건물의 내부에 있는 관측자로부터 입력될 수 있다. 영상 출력 명령 수신부(15-2)는 다양한 방법으로 영상 출력 명령(CMD)을 수신하도록 구성될 수 있다. 예를 들어, 영상 출력 명령 수신부(15-2)는 영상 출력 명령(CMD)을 입력하는 버튼을 누름으로써 영상 출력 명령(CMD)을 수신하거나, 음성, 영상, 체온 등의 센서를 통해 영상 출력 명령(CMD)을 수신할 수도 있다.The image output command receiving unit 15 - 2 may receive an image output command CMD from the outside. The image output command CMD may be input from an observer inside the building in which the display device 15 is installed. The image output command receiving unit 15 - 2 may be configured to receive the image output command CMD in various ways. For example, the image output command receiving unit 15 - 2 receives an image output command (CMD) by pressing a button for inputting an image output command (CMD), or an image output command through a sensor such as voice, image, body temperature, etc. (CMD) may be received.

영상 출력 명령 수신부(15-2)가 영상 출력 명령(CMD)을 수신하지 않은 경우, 디스플레이 장치(15)는 투명 모드를 유지할 수 있다. 그에 따라, 디스플레이 패널(15-1)은 최종 영상(FI)을 출력하지 않을 수 있다. 즉, 디스플레이 패널(15-1)은 관측자에게 투명 디스플레이를 제공할 수 있다. 이 경우, 관측자는 투명 디스플레이를 통해 보통의 창문과 같이 건물의 외부를 볼수 있다.When the image output command receiver 15 - 2 does not receive the image output command CMD, the display device 15 may maintain a transparent mode. Accordingly, the display panel 15 - 1 may not output the final image FI. That is, the display panel 15 - 1 may provide a transparent display to the viewer. In this case, the observer can see the outside of the building like a normal window through the transparent display.

영상 출력 명령 수신부(15-2)가 영상 출력 명령(CMD)을 수신한 경우, 디스플레이 장치(15)는 투명 모드를 영상 모드로 전환할 수 있다. 그에 따라, 디스플레이 패널(15-1)은 서버(14)로부터 수신한 최종 영상(FI)을 출력할 수 있다. 이 경우, 관측자는 인접한 건물에 가려진 답답한 풍경 대신 최종 영상(FI)으로 보여지는 다른 풍경을 볼 수 있다.When the image output command receiver 15 - 2 receives the image output command CMD, the display device 15 may convert the transparent mode to the image mode. Accordingly, the display panel 15 - 1 may output the final image FI received from the server 14 . In this case, the observer can see another landscape shown in the final image (FI) instead of the stuffy landscape that is obscured by an adjacent building.

영상 출력 시스템(10)은 내부 카메라(16)를 더 포함할 수 있다. 내부 카메라(16)는 디스플레이 장치(15)가 설치된 건물의 내부에 설치될 수 있다. 내부 카메라(16)는 건물 내부에 있는 관측자를 촬영함으로써 내부 영상(IN)을 획득할 수 있다. 내부 영상(IN)은 관측자의 위치 정보 및 동작 정보를 포함할 수 있다. 즉, 내부 카메라(16)는 건물 내부에 있는 관측자를 촬영함으로써 관측자의 위치 정보 및 동작 정보를 획득할 수 있다.The image output system 10 may further include an internal camera 16 . The internal camera 16 may be installed inside a building in which the display device 15 is installed. The internal camera 16 may acquire an internal image IN by photographing an observer inside the building. The internal image IN may include position information and motion information of an observer. That is, the internal camera 16 may acquire the observer's location information and motion information by photographing the observer inside the building.

이 경우, 서버(14)는 내부 카메라(16)를 통해 획득된 관측자의 위치 정보 및 동작 정보에 기초하여, 최종 영상(FI)을 조정할 수 있다. 예를 들어, 서버(14)는 관측자의 위치에 따라 변형된 최종 영상(FI)을 디스플레이 장치(15)에 제공할 수 있다.In this case, the server 14 may adjust the final image FI based on the observer's position information and motion information obtained through the internal camera 16 . For example, the server 14 may provide the final image FI modified according to the position of the observer to the display device 15 .

상술한 제1 영상(I1), 제2 영상(I2), 서브 영상(IS) 및 내부 영상(IN)은 영상(Image)에 제한되지 않으며, 동영(video)을 포함할 수 있다. 이하에서는, 도 1을 참조하여 전술한 제1 메인 카메라(11), 제2 메인 카메라(12), 서브 카메라(13), 디스플레이 장치(15), 및 내부 카메라(16)의 관계에 대하여 보다 상세하게 설명한다.The first image I1 , the second image I2 , the sub-image IS and the internal image IN are not limited to the image, and may include a video. Hereinafter, with reference to FIG. 1 , the relationship between the first main camera 11 , the second main camera 12 , the sub-camera 13 , the display device 15 , and the internal camera 16 will be described in more detail. explain in detail.

도 2 및 도 3은 예시적인 실시 예에 따른 영상 출력 시스템을 설명하기 위한 도면들이다. 상세하게는, 도 2는 및 도 3은 도 1의 영상 출력 시스템(10)을 더욱 상세하게 설명하기 위한 도면들이다. 이하에서는, 도 1을 참조하여 설명하고, 동일한 도면 부호는 같은 구성 요소를 나타내며, 중복되는 설명은 생략한다.2 and 3 are diagrams for explaining an image output system according to an exemplary embodiment. In detail, FIGS. 2 and 3 are diagrams for explaining the image output system 10 of FIG. 1 in more detail. Hereinafter, description will be made with reference to FIG. 1 , the same reference numerals indicate the same components, and overlapping descriptions will be omitted.

도 2 및 도 3을 참조하면, 제1 건물(B1) 및 제2 건물(B2)은 서로 이격하여 위치할 수 있다. 예를 들어, 제1 건물(B1) 및 제2 건물(B2)은 Y 방향(Y)으로 동일한 축 상에 이격하여 위치할 수 있다. 제1 건물(B1)과 제2 건물(B2)의 사이에 제3 건물(B3)이 더 위치할 수 있다. 2 and 3 , the first building B1 and the second building B2 may be positioned to be spaced apart from each other. For example, the first building B1 and the second building B2 may be spaced apart from each other on the same axis in the Y direction (Y). A third building B3 may be further positioned between the first building B1 and the second building B2 .

제1 건물(B1)에 제1 메인 카메라(11) 및 제2 메인 카메라(12)가 설치될 수 있고, 제2 건물(B2)에 디스플레이 장치(15), 서브 카메라(13) 및 내부 카메라(16)가 설치될 수 있다.The first main camera 11 and the second main camera 12 may be installed in the first building B1, and the display device 15, the sub-camera 13 and the internal camera are installed in the second building B2. 16) can be installed.

제1 메인 카메라(11) 및 제2 메인 카메라(12)는 제1 건물(B1)에 복수개 설치될 수 있다. 예를 들어, 제1 메인 카메라(11) 및 제2 메인 카메라(12)는 제1 건물(B1)의 각 층마다 설치될 수 있다. 동일한 층에 설치된 제1 메인 카메라(예를 들어, 11-7)와 제2 메인 카메라(예를 들어, 12-7)는 하나의 메인 카메라 쌍을 구성할 수 있다. A plurality of the first main camera 11 and the second main camera 12 may be installed in the first building B1. For example, the first main camera 11 and the second main camera 12 may be installed on each floor of the first building B1 . The first main camera (eg, 11-7) and the second main camera (eg, 12-7) installed on the same floor may constitute one main camera pair.

제1 메인 카메라(11)는 제1 건물(B1)의 제1 측면에 설치될 수 있고, 제2 메인 카메라(12)는 제1 건물(B1)의 제2 측면에 설치될 수 있다. 제1 메인 카메라(11) 및 제2 메인 카메라(12)는 Y 방향(Y)에 수직한 X 방향(X)으로 동일한 축 상에 설치될 수 있다. The first main camera 11 may be installed on the first side of the first building B1 , and the second main camera 12 may be installed on the second side of the first building B1 . The first main camera 11 and the second main camera 12 may be installed on the same axis in the X direction (X) perpendicular to the Y direction (Y).

예를 들어, 제1 메인 카메라(11)는 제1 건물(B1)의 제1 면(S1)의 가장 자리에 설치될 수 있고, 제2 메인 카메라(12)는 제1 건물(B1)의 제1 면(S1)의 반대쪽 가장 자리에 설치될 수 있다. 즉, 제1 메인 카메라(11) 및 제2 메인 카메라(12)는 제1 건물(B1)의 제1 면(S1)의 양 끝에 설치될 수 있다. For example, the first main camera 11 may be installed at the edge of the first surface S1 of the first building B1, and the second main camera 12 is the second main camera 12 of the first building B1. It may be installed on the opposite edge of the first side (S1). That is, the first main camera 11 and the second main camera 12 may be installed at both ends of the first surface S1 of the first building B1 .

제1 메인 카메라(11)는 제1 면(S1)에서 제1 방향(D1)을 촬영하여 제1 영상(도 1의 I1)을 획득할 수 있고, 제2 메인 카메라(12)는 제1 면(S1)에서 제2 방향(D2)을 촬영하여 제2 영상(도 1의 I2)을 획득할 수 있다. 제1 영상(도 1의 I1) 및 제2 영상(도 1의 I2)은 같은 풍경(BG)을 서로 다른 각도로 촬영할 수 있다. 제1 방향(D1)과 제2 방향(D2)은 제1 건물(B1)의 외부에서 교차점을 가질 수 있다. 다시 말하면, 제1 영상(도 1의 I1)의 촬영 각도(θ1) 및 제2 영상(도 1의 I2)의 촬영 각도(θ2)는 예각일 수 있다.The first main camera 11 may acquire a first image (I1 in FIG. 1 ) by photographing the first direction D1 from the first surface S1, and the second main camera 12 may A second image (I2 of FIG. 1 ) may be acquired by photographing the second direction D2 in ( S1 ). The first image (I1 in FIG. 1 ) and the second image (I2 in FIG. 1 ) may capture the same landscape BG at different angles. The first direction D1 and the second direction D2 may have an intersection point outside the first building B1 . In other words, the photographing angle θ1 of the first image (I1 in FIG. 1 ) and the photographing angle θ2 of the second image (I2 in FIG. 1 ) may be acute angles.

서버(도 1의 14)는 제1 카메라(11) 및 제2 카메라(12)로부터 풍경(BG)을 촬영한 영상들(도 1의 I1, I2)에 기초하여, 제3 방향(D3)으로 바라보는 풍경(BG)을 포함하는 메인 영상을 생성할 수 있다. 즉, 상기 메인 영상은 제1 건물(B1)의 내부로부터 제1 건물(B1)의 외부에 대한 시야각을 갖도록 제1 영상(도 1의 I1) 및 제2 영상(도 1의 I2)이 정합된 영상일 수 있다.The server (14 in FIG. 1 ) moves in the third direction D3 based on images (I1 and I2 in FIG. 1 ) obtained by photographing the landscape BG from the first camera 11 and the second camera 12 . A main image including a view BG may be generated. That is, the main image is a first image (I1 in FIG. 1) and a second image (I2 in FIG. 1) are matched to have a viewing angle from the inside of the first building B1 to the outside of the first building B1. It can be a video.

서브 카메라(13)는 제2 건물(B2)의 외부에 설치될 수 있다. 도 2에는 하나의 서브 카메라(13)가 도시되나, 이에 제한되지 않는다. 예를 들어, 서브 카메라(13)는 제2 건물(B2)의 각 층마다 설치될 수 있다. 이 경우, 서브 카메라(13)로 촬영되는 서브 영상(도 1의 IS)은 각 층마다 획득될 수 있다.The sub camera 13 may be installed outside the second building B2. Although one sub-camera 13 is illustrated in FIG. 2 , the present invention is not limited thereto. For example, the sub-camera 13 may be installed on each floor of the second building B2 . In this case, a sub image (IS in FIG. 1 ) captured by the sub camera 13 may be acquired for each layer.

서브 카메라(13)는 제2 건물(B2)의 내부에서 외부를 바라보는 방향으로 서브 영상(도 1의 IS)을 촬영할 수 있다. 그에 따라, 서브 카메라(13)는 관측자(M)가 실내에서 밖을 바라보는 풍경과 유사한 풍경을 촬영할 수 있다. 서브 카메라(13)로 촬영되는 서브 영상(도 1의 IS)은 복수의 객체들을 포함할 수 있다.The sub-camera 13 may capture a sub-image (IS of FIG. 1 ) in a direction from the inside of the second building B2 to the outside. Accordingly, the sub-camera 13 may photograph a landscape similar to the landscape in which the observer M looks from the inside to the outside. The sub image (IS in FIG. 1 ) captured by the sub camera 13 may include a plurality of objects.

서버(도 1의 14)는 서브 영상(도 1의 IS)의 객체들을 추출할 수 있다. 서버(도 1의 14)는 서브 영상(도 1의 IS)으로부터 추출된 객체들 중 적어도 일부를 상기 메인 영상에 합성함으로써, 최종 영상(도 1의 FI)을 생성할 수 있다. The server (14 of FIG. 1 ) may extract objects of the sub-image (IS of FIG. 1 ). The server (14 of FIG. 1 ) may generate the final image (FI of FIG. 1 ) by synthesizing at least some of the objects extracted from the sub-image (IS of FIG. 1 ) with the main image.

내부 카메라(16)는 제2 건물(B2)의 내부에 설치될 수 있다. 내부 카메라(16)는 관측자(M)를 촬영함으로써 관측자(M)의 위치 정보 및 동작 정보를 포함하는 내부 영상(도 1의 IN)을 획득할 수 있다.The internal camera 16 may be installed inside the second building B2 . The internal camera 16 may acquire an internal image (IN of FIG. 1 ) including location information and motion information of the observer M by photographing the observer M .

서버(도 1의 14)는 내부 카메라(16)에 의해 획득된 관측자(M)의 위치 정보 및 동작 정보에 기초하여 최종 영상(도 1의 FI)을 조정할 수 있다. 그에 따라, 서버(도 1의 14)는 관측자(M)에게 적합한 최종 영상(도 1의 FI)을 디스플레이 장치(15)에 제공할 수 있다.The server (14 of FIG. 1 ) may adjust the final image (FI of FIG. 1 ) based on the position information and motion information of the observer M acquired by the internal camera 16 . Accordingly, the server ( 14 of FIG. 1 ) may provide the final image (FI of FIG. 1 ) suitable for the viewer M to the display device 15 .

일 실시 예에서, 제1 건물(B1)은 복수의 메인 카메라 쌍들을 포함할 수 있고, 제2 건물(B2)은 복수의 서브 카메라들(13)을 포함할 수 있다. 예를 들어, 제1 메인 카메라(11) 및 제2 메인 카메라(12)가 제1 건물(B1)의 각 층마다 설치되고, 서브 카메라(13)가 제2 건물(B2)의 각 층마다 설치될 수 있다. In an embodiment, the first building B1 may include a plurality of main camera pairs, and the second building B2 may include a plurality of sub-cameras 13 . For example, the first main camera 11 and the second main camera 12 are installed on each floor of the first building B1 , and the sub-camera 13 is installed on each floor of the second building B2 . can be

이 경우, 서버(도 1의 14)는 각 층에 설치된 메인 카메라 쌍(예를 들어, 11-7, 12-7)으로부터 촬영된 영상들에 기초하여, 제1 건물(B1)의 각 층에 대응되는 메인 영상들을 생성할 수 있다. 서버(도 1의 14)는 제1 건물(B1)의 각 층에 대응되는 제2 건물(B2)의 각 층에서 촬영된 서브 영상들(도 1의 IS)을 상기 메인 영상들 각각에 합성할 수 있다. 그에 따라, 서버(도 1의 14)는 제1 건물(B1)의 각 층에 대응되는 최종 영상(FI)들을 생성할 수 있다. In this case, the server (14 in FIG. 1 ) is located on each floor of the first building B1 based on images captured from the main camera pair (eg, 11-7, 12-7) installed on each floor. Corresponding main images may be generated. The server (14 in FIG. 1 ) synthesizes sub images (IS in FIG. 1 ) captured on each floor of the second building B2 corresponding to each floor of the first building B1 into each of the main images. can Accordingly, the server ( 14 of FIG. 1 ) may generate final images FI corresponding to each floor of the first building B1 .

예를 들어, 서버(도 1의 14)는 제1 건물(B1)의 4층에 설치된 메인 카메라 쌍(11-4, 12-4)으로부터 촬영된 영상들에 기초하여, 제1 건물(B1)의 4층에 대응되는 메인 영상을 생성할 수 있다. 서버(도 1의 14)는 제2 건물(B2)의 4층에 설치된 서브 카메라(13)로부터 촬영된 서브 영상의 객체들 중 일부를 추출할 수 있다. 서버(도 1의 14)는 제1 건물(B1)의 4층에 대응되는 메인 영상에 제2 건물(B2)의 4층에서 촬영된 서브 영상에 포함된 객체들 중 적어도 일부를 합성함으로써, 제1 건물(B1)의 4층에 대응되는 최종 영상(도 1의 FI)을 생성할 수 있다.For example, the server (14 in FIG. 1 ) is based on the images captured from the main camera pair 11-4 and 12-4 installed on the fourth floor of the first building B1, the first building B1 It is possible to create a main image corresponding to the fourth layer of The server ( 14 of FIG. 1 ) may extract some of the objects of the sub-image captured from the sub-camera 13 installed on the fourth floor of the second building B2 . The server (14 in FIG. 1 ) synthesizes at least some of the objects included in the sub-image photographed on the fourth floor of the second building B2 with the main image corresponding to the fourth floor of the first building B1, 1 A final image (FI of FIG. 1 ) corresponding to the fourth floor of the building B1 may be generated.

관측자(M)는 디스플레이 장치(15)로 출력될 최종 영상(FI)을 결정할 수 있다. 예를 들어, 관측자(M)는 디스플레이 장치(15)에 출력 대상 층을 지정한 영상 출력 명령(도 1의 CMD)을 입력할 수 있다. 디스플레이 장치(15)가 출력 대상 층이 지정된 영상 출력 명령(도 1의 CMD)을 수신한 경우, 디스플레이 장치(15)는 각 층에 대응되는 최종 영상들 중 상기 출력 대상 층의 최종 영상(FI)을 출력할 수 있다. 예를 들어, 제2 건물(B2)의 4층에 있는 관측자(M)는 디스플레이 장치(15)가 제1 건물(B1)의 7층에 설치된 메인 카메라 쌍(11-7, 12-7)으로부터 획득한 영상들에 기초한 최종 영상(FI)을 출력하도록, 디스플레이 장치(15)에 영상 출력 명령(도 1의 CMD)을 입력할 수 있다.The observer M may determine the final image FI to be output to the display device 15 . For example, the observer M may input an image output command (CMD of FIG. 1 ) designating an output target layer to the display device 15 . When the display device 15 receives an image output command (CMD of FIG. 1 ) designated for an output target layer, the display device 15 displays a final image FI of the output target layer among final images corresponding to each layer. can be printed out. For example, the observer M on the 4th floor of the second building B2 sees the display device 15 from the main camera pair 11-7 and 12-7 installed on the 7th floor of the first building B1. An image output command (CMD of FIG. 1 ) may be input to the display device 15 to output the final image FI based on the acquired images.

도 4는 예시적인 실시 예에 따른 서버의 동작을 설명하기 위한 도면이다. 보다 상세하게는, 도 1의 서버(14)의 최종 영상 출력에 대한 동작을 설명하기 위한 도면이다. 이하에서는 도 1을 참조하여 설명하며, 동일한 도면 부호는 동일한 구성요소를 나타낸다.4 is a diagram for explaining an operation of a server according to an exemplary embodiment. More specifically, it is a diagram for explaining the operation of the final image output of the server 14 of FIG. 1 . Hereinafter, it will be described with reference to FIG. 1 , and like reference numerals denote like elements.

도 4를 참조하면, 서버(14)는 최종 영상(FI)의 일부 영역을 저해상도 영역(R)으로 정의할 수 있다. 저해상도 영역(R)은 관측자에 의해 미리 설정될 수 있다. 다른 실시 예에서, 저해상도 영역(R)은 임의로 결정되거나 인공 지능을 이용하여 가장 적합한 영역으로 설정될 수 있다.Referring to FIG. 4 , the server 14 may define a partial region of the final image FI as the low-resolution region R. The low resolution region R may be preset by an observer. In another embodiment, the low-resolution region R may be arbitrarily determined or set as the most suitable region using artificial intelligence.

서버(14)는 저해상도 영역(R)의 해상도를 낮게 설정할 수 있다. 그에 따라, 서버(14)가 디스플레이 장치(15)로 최종 영상(FI)을 전송하는 효율성이 증대될 수 있다. 예를 들어, 서버(14)가 디스플레이 장치(15)로 최종 영상(FI)을 전송하는 속도가 증가할 수 있다.The server 14 may set the resolution of the low resolution region R to be low. Accordingly, the efficiency of the server 14 transmitting the final image FI to the display device 15 may be increased. For example, the speed at which the server 14 transmits the final image FI to the display device 15 may increase.

서버(14)는 낮은 영역의 해상도를 모션 정보를 이용하여 결정할 수 있다.서버(14)는 카메라로부터 획득한 영상에서 모션 정보가 적은 영역은 저해상도 영역으로 결정하여 해당 영상을 디스플레이 장치에서 전송할 수 있다.The server 14 may determine the resolution of the low area using motion information. The server 14 may determine the area with little motion information in the image acquired from the camera as the low resolution area and transmit the image to the display device. .

모션 정보는 카메라에서 획득한 영상에 포함된 움직임 정보를 의미할 수 있으며 단위 시간당 픽셀의 변화량을 통하여 산출할 수 있다.The motion information may mean motion information included in an image acquired by a camera, and may be calculated through the amount of change in pixels per unit time.

한편 서버는 아래 수학식1을 이용하여 저해상도 영역을 결정할 수 있다.Meanwhile, the server may determine the low-resolution region using Equation 1 below.

Figure 112021119169194-pat00001
Figure 112021119169194-pat00001

수학식1을 참고하면 P는 각 픽셀의 정보를 의미하고 L은 모션 정보를 의미할 수 있다. 한편 서버(14)는 픽셀의 변화량이 미리 결정된 값보다 작으면 해당 영역이 모션이 적은 것으로 판단하고 모션 정보가 미리 결정된 값보다 낮은 픽셀의 집합을 저해상도 영역으로 결정할 수 있다.Referring to Equation 1, P may mean information of each pixel and L may mean motion information. On the other hand, when the amount of change of the pixel is smaller than the predetermined value, the server 14 may determine that the corresponding area has little motion, and determine a set of pixels having motion information lower than the predetermined value as the low-resolution area.

서버(14)는 위와 같은 동작을 기초로 모션 정보가 적은 영역인 저해상도 영역(R)을 결정할 수 있다.The server 14 may determine the low-resolution region R, which is a region having little motion information, based on the above operation.

한편, 본 발명의 일 실시예에 따르면 서버가 디스플레이 장치(15)로 송신하는 속도는 각 영역의 해상도에 기초하여 결정될 수 있다. Meanwhile, according to an embodiment of the present invention, the speed at which the server transmits to the display device 15 may be determined based on the resolution of each area.

낮은 해상도의 영상인 경우 단위 면적당 픽셀의 수가 적으며 단위 면적당 전달해야 할 데이터의 양이 적다. In the case of a low-resolution image, the number of pixels per unit area is small and the amount of data to be transmitted per unit area is small.

낮은 해상도의 영상인 경우, 서버(14)는 낮은 전송 속도로 디스플레이 장치(15)에 영상을 송신할 수 있다. In the case of a low-resolution image, the server 14 may transmit the image to the display device 15 at a low transmission rate.

따라서 서버(14)는 낮은 해상도 영역에 해당되는 데이터는 낮은 속도로 데이터를 송신하고 그 밖의 영역에 해당되는 데이터는 높은 속도로 데이터를 송신하여 데이터 전송의 효율을 증가시킬 수 있다.Accordingly, the server 14 transmits data corresponding to the low resolution area at a low speed and data corresponding to the other areas at a high speed, thereby increasing data transmission efficiency.

한편 각 영역에 해당되는 전송 속도와 해상도와의 관계는 아래의 수학식2로 표현될 수 있다.Meanwhile, the relationship between the transmission rate and the resolution corresponding to each area can be expressed by Equation 2 below.

Figure 112021119169194-pat00002
Figure 112021119169194-pat00002

수학식2를 참고하면 Vf는 전송 속도를 의미하고, Rr은 해상도를 의미하며 k는 미리 결정된 상수를 의미할 수 있다.Referring to Equation 2, V f may mean a transmission speed, R r may mean a resolution, and k may mean a predetermined constant.

서버(14)는 높은 해상도에 해당되는 영역은 높은 속도의 전송 속도로 데이터를 전송하고 낮은 해상도에 해당되는 영역은 낮은 속도의 전송 속도로 데이터를 전송할 수 있다.The server 14 may transmit data at a high transmission rate in an area corresponding to a high resolution and transmit data at a low transmission rate in an area corresponding to a low resolution.

한편 도 4에서 설명한 전송 동작은 본 발명의 동작을 설명하는 일 실시예예 불과하고 저해상도 영역 및 해당 영역의 데이터를 송신하는 동작에는 그 제한이 없다.Meanwhile, the transmission operation described with reference to FIG. 4 is only an exemplary embodiment for explaining the operation of the present invention, and there is no limitation on the operation of transmitting the low-resolution area and data of the corresponding area.

도 5 및 도 6은 예시적인 실시 예에 따른 영상 출력 방법을 설명하기 위한 순서도들이다. 보다 상세하게는, 도 1의 영상 출력 시스템(10)을 이용한 영상 출력 방법을 설명하기 위한 도면이다. 이하에서는, 도 1을 참조하여 설명하며, 동일한 도면 부호는 동일한 구성요소를 의미한다.5 and 6 are flowcharts illustrating an image output method according to an exemplary embodiment. More specifically, it is a diagram for explaining an image output method using the image output system 10 of FIG. 1 . Hereinafter, it will be described with reference to FIG. 1, and the same reference numerals mean the same components.

도 5를 참조하면, 단계(S10)에서, 관측자는 영상 출력 명령(CMD)을 디스플레이 장치(15)에 입력할 수 있다. Referring to FIG. 5 , in step S10 , the observer may input an image output command CMD to the display device 15 .

단계(S20)에서, 디스플레이 장치(15)에 영상 출력 명령(CMD)이 입력되지 않은 경우, 디스플레이 장치(15)는 투명 모드를 유지할 수 있다. 그에 따라, 디스플레이 장치(15)는 투명한 화면을 관측자에게 제공할 수 있다.In step S20 , when the image output command CMD is not input to the display device 15 , the display device 15 may maintain the transparent mode. Accordingly, the display device 15 may provide a transparent screen to the viewer.

단계(S30)에서, 디스플레이 장치(15)에 영상 출력 명령(CMD)이 입력된 경우, 디스플레이 장치(15)는 투명 모드를 영상 모드로 전환할 수 있다. 그에 따라, 스플레이 장치(15)는 서버(14)로부터 제공받은 최종 영상(FI)을 관측자에게 제공할 수 있다. In step S30 , when an image output command CMD is input to the display apparatus 15 , the display apparatus 15 may convert the transparent mode to the image mode. Accordingly, the splay device 15 may provide the final image FI provided from the server 14 to the viewer.

서버(14)로부터 최종 영상(FI)을 수신하는 방법에 대하여는 도 6을 참조하여 보다 상세하게 설명한다.A method of receiving the final image FI from the server 14 will be described in more detail with reference to FIG. 6 .

도 6을 참조하면, 단계(S30)는 단계들(S31, S32, S33, S34, S35)을 포함할 수 있다.Referring to FIG. 6 , step S30 may include steps S31 , S32 , S33 , S34 , and S35 .

단계(S31)에서, 제1 건물에 설치된 제1 메인 카메라(11) 및 제2 메인 카메라(12)로부터 제1 영상(I1) 및 제2 영상(I2)을 획득할 수 있다. In step S31 , the first image I1 and the second image I2 may be acquired from the first main camera 11 and the second main camera 12 installed in the first building.

제1 메인 카메라(11)는 제1 건물의 제1 측면에서 제1 방향을 촬영하고, 제2 메인 카메라(12)는 상기 제1 건물의 제2 측면에서 제2 방향을 촬영할 수 있다. 제1 카메라(11)와 제2 카메라(12)는 동일한 풍경을 다른 각도에서 촬영할 수 있다. 즉, 제1 방향과 제2 방향은 제1 건물의 외부에서 교차점을 가질 수 있다.The first main camera 11 may photograph the first direction from the first side of the first building, and the second main camera 12 may photograph the second direction from the second side of the first building. The first camera 11 and the second camera 12 may photograph the same landscape from different angles. That is, the first direction and the second direction may have an intersection point outside the first building.

단계(S32)에서, 서버(14)는 제1 영상(I1) 및 제2 영상(I2)에 기초하여, 제1 건물 내부로부터 제1 건물 외부에 대한 시야각을 갖는 메인 영상을 생성할 수 있다. 서버(14)는 제1 영상(I1) 및 제2 영상(I2)이 획득된 위치, 각도, 거리 중 적어도 일부에 기초하여, 제1 영상(I1) 및 제2 영상(I2)을 정합할 수 있다. 즉, 메인 영상은 제1 카메라(11)와 제2 카메라(12)로 촬영된 영상들(I1, I2)을 제3 방향에서 촬영된 영상처럼 보이도록 정합한 영상일 수 있다. In operation S32 , the server 14 may generate a main image having a viewing angle from the inside of the first building to the outside of the first building based on the first image I1 and the second image I2 . The server 14 may match the first image I1 and the second image I2 based on at least a part of the position, angle, and distance at which the first image I1 and the second image I2 were obtained. have. That is, the main image may be an image in which images I1 and I2 captured by the first camera 11 and the second camera 12 are matched to look like images captured in the third direction.

서버(14)는 제1 영상(I1) 및 제2 영상(I2)이 촬영된 방향 및 위치, 및 투명 디스플레이 장치(15)의 위치를 인공지능 모델에 적용하여 상기 메인 영상을 생성할 수도 있다. The server 14 may generate the main image by applying the photographing directions and positions of the first image I1 and the second image I2 and the position of the transparent display device 15 to the artificial intelligence model.

단계(S33)에서, 제2 건물의 외부에 설치된 서브 카메라(13)로부터 제2 건물 외부에 대한 시야각을 갖는 서브 영상(IS)을 획득할 수 있다.In step S33 , a sub-image IS having a viewing angle with respect to the outside of the second building may be acquired from the sub-camera 13 installed outside the second building.

단계(S34)에서, 서버(14)는 서브 영상(IS)에 포함된 복수의 객체들을 추출할 수 있다. 서버(14)는 추출된 복수의 객체들 중 적어도 일부를 상기 메인 영상에 합성하여 최종 영상(FI)을 생성할 수 있다.In step S34 , the server 14 may extract a plurality of objects included in the sub-image IS. The server 14 may generate the final image FI by synthesizing at least some of the plurality of extracted objects with the main image.

또한, 제2 건물의 내부에 설치된 내부 카메라(16)로부터 제2 건물의 내부에 있는 관측자를 촬영함으로써, 관측자의 위치 정보 및 동작 정보를 포함하는 내부 영상(IN)을 획득할 수 있다. 서버(14)는 관측자의 위치 정보 및 동작 정보에 기초하여 최종 영상(FI)을 조정할 수 있다.In addition, by photographing the observer in the interior of the second building from the internal camera 16 installed in the interior of the second building, an internal image IN including location information and motion information of the observer may be acquired. The server 14 may adjust the final image FI based on the observer's location information and motion information.

또한, 서버(14)는 최종 영상(FI)에 대하여 저해상도 영역을 설정할 수 있고, 저해상도 영역의 해상도를 낮게 변경함으로써 영상 전송 속도를 높일 수 있다.In addition, the server 14 may set a low-resolution region for the final image FI, and may increase the image transmission speed by changing the resolution of the low-resolution region to be low.

단계(S35)에서, 마이크로 엘이디(micro LED)를 포함하는 투명 디스플레이 장치를 통해 최종 영상(FI)을 선택적으로 출력할 수 있다. 투명 디스플레이 장치는 영상 출력 명령이 입력되기 전까지 투명 모드를 유지할 수 있고, 영상 출력 명령이 입력되면 투명 모드를 영상 모드로 전환할 수 있다. 그에 따라, 투명 디스플레이 장치는 최종 영상(FI)을 출력할 수 있다.In step S35, the final image FI may be selectively output through a transparent display device including a micro LED. The transparent display device may maintain a transparent mode until an image output command is input, and may switch the transparent mode to an image mode when an image output command is input. Accordingly, the transparent display device may output the final image FI.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of a method or algorithm described in relation to an embodiment of the present invention may be implemented directly in hardware, as a software module executed by hardware, or by a combination thereof. A software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any type of computer-readable recording medium well known in the art to which the present invention pertains.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다. As mentioned above, although embodiments of the present invention have been described with reference to the accompanying drawings, those skilled in the art to which the present invention pertains know that the present invention may be embodied in other specific forms without changing the technical spirit or essential features thereof. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.

10: 영상 출력 시스템
11: 제1 메인 카메라
12: 제2 메인 카메라
13: 서브 카메라
14: 서버
15: 디스플레이 장치
15-1: 디스플레이 패널
15-2: 영상 출력 명령 수신부
16: 내부 카메라
I1: 제1 영상
I2: 제2 영상
IS: 서브 영상
IN: 내부 영상
FI: 최종 영상
CMD: 영상 출령 명령10: video output system
11: first main camera
12: second main camera
13: sub camera
14: Server
15: display device
15-1: display panel
15-2: Video output command receiving unit
16: internal camera
I1: first image
I2: second image
IS: sub video
IN: internal video
FI: final video
CMD: Video dispatch command

Claims (10)

제1 건물의 제1 측면에서 제1 방향을 촬영하여 제1 영상을 획득하는 단계;
상기 제1 건물의 제2 측면에서 상기 제1 방향과 상기 제1 건물의 외부에서 교차점을 갖는 제2 방향을 촬영하여 제2 영상을 획득하는 단계;
상기 제1 영상 및 상기 제2 영상이 획득된 위치, 각도 및 거리에 기초하여, 상기 제1 영상 및 상기 제2 영상을 정합함으로써, 상기 제1 건물 내부로부터 상기 제1 건물 외부에 대한 시야각(Field of View)을 갖는 메인 영상을 생성하는 단계;
상기 제1 건물과 이격하여 위치하는 제2 건물의 측벽에서 제3 방향으로 촬영하여, 제2 건물 내부로부터 상기 제2 건물 외부에 대한 시야각을 갖는 서브 영상을 획득하는 단계;
상기 서브 영상에 포함된 복수의 객체들 중 적어도 하나를 추출한 뒤, 상기 메인 영상에 합성하여 최종 영상을 생성하는 단계; 및
마이크로 엘이디(micro LED)를 포함하는 투명 디스플레이 장치를 통해 상기 최종 영상을 선택적으로 출력하는 단계를 포함하고,
상기 메인 영상을 생성하는 단계는,
상기 제1 영상 및 상기 제2 영상이 촬영된 방향 및 위치, 및 상기 투명 디스플레이 장치의 위치를 인공지능 모델에 적용하여 상기 제1 영상에 대응하는 제1 방향 및 상기 제2 영상에 대응하는 제2 방향을 갱신하는 단계;
상기 갱신된 제1 방향에 기초하여 상기 제1 영상을 업데이트하는 단계;
상기 갱신된 제2 방향에 기초하여 상기 제2 영상을 업데이트하는 단계; 및
상기 업데이트된 제1 및 제2 영상에 기초하여 상기 메인 영상을 생성하는 단계를 포함하고,
상기 선택적으로 출력하는 단계는,
출력 대상 층을 지정한 영상 출력 명령에 기초하여, 상기 출력 대상 층에 해당하는 상기 최종 영상을 상기 투명 디스플레이 장치를 통해 출력하되, 상기 투명 디스플레이 장치가 설치된 층은 상기 출력 대상 층과 상이하고,
상기 최종 영상을 생성하는 단계는,
상기 최종 영상에 대하여 저해상도 영역을 설정하는 단계; 및
상기 저해상도 영역의 해상도를 낮게 변경하는 단계를 포함하고,
상기 최종 영상에 대하여 저해상도 영역을 설정하는 단계는,
아래 수학식1에 따라 수행되어,
[수학식1]
Figure 112021146975087-pat00009

(여기서, P는 각 픽셀의 정보, L은 모션 정보)
상기 모션 정보가 미리 결정된 값보다 낮은 상기 최종 영상의 픽셀의 집합을 상기 저해상도 영역으로 결정하는 영상 출력 방법.acquiring a first image by photographing a first direction from a first side of a first building;
acquiring a second image by photographing the first direction from a second side of the first building and a second direction having an intersection point outside the first building;
By matching the first image and the second image based on the position, angle, and distance from which the first image and the second image were acquired, a field of view from the inside of the first building to the outside of the first building (Field) of View) generating a main image;
acquiring a sub-image having a viewing angle from the inside of the second building to the outside of the second building by photographing in a third direction from a sidewall of a second building spaced apart from the first building;
extracting at least one of a plurality of objects included in the sub-image and then synthesizing it with the main image to generate a final image; and
Comprising the step of selectively outputting the final image through a transparent display device including a micro LED (micro LED),
The step of generating the main image comprises:
A first direction corresponding to the first image and a second direction corresponding to the second image by applying the direction and position in which the first image and the second image were taken, and the position of the transparent display device to an artificial intelligence model updating the direction;
updating the first image based on the updated first direction;
updating the second image based on the updated second direction; and
generating the main image based on the updated first and second images;
The selectively outputting step is
Output the final image corresponding to the output target layer through the transparent display device based on an image output command specifying an output target layer, wherein a layer on which the transparent display device is installed is different from the output target layer,
The step of generating the final image,
setting a low-resolution region for the final image; and
Changing the resolution of the low-resolution region to a lower level,
The step of setting a low-resolution region for the final image comprises:
It is performed according to Equation 1 below,
[Equation 1]
Figure 112021146975087-pat00009

(Where P is information of each pixel, L is motion information)
An image output method for determining a set of pixels of the final image whose motion information is lower than a predetermined value as the low-resolution region. 제1항에 있어서,
상기 최종 영상을 선택적으로 출력하는 단계는,
투명 모드에서 투명한 화면을 제공하는 단계; 및
상기 영상 출력 명령이 입력되면, 상기 투명 모드가 영상 모드로 전환되어 상기 최종 영상을 출력 하는 단계를 포함하는 영상 출력 방법.According to claim 1,
The step of selectively outputting the final image comprises:
providing a transparent screen in a transparent mode; and
and outputting the final image by switching the transparent mode to the image mode when the image output command is input. 삭제delete 삭제delete 제1항에 있어서,
상기 제2 건물의 내부를 촬영하여 관측자의 위치 정보 및 동작 정보를 획득하는 단계를 더 포함하고,
상기 최종 영상을 생성하는 단계는,
상기 관측자의 위치 정보 및 동작 정보에 기초하여 상기 최종 영상을 조정하는 단계를 더 포함하는 영상 출력 방법.According to claim 1,
Further comprising the step of obtaining the position information and motion information of the observer by photographing the inside of the second building,
The step of generating the final image,
The image output method further comprising the step of adjusting the final image based on the position information and the motion information of the observer. 삭제delete 제1 건물의 제1 측면에서 제1 방향을 촬영하여 제1 영상을 획득하는 제1 메인 카메라;
상기 제1 건물의 제2 측면에서, 상기 제1 방향과 상기 제1 건물의 외부에서 교차점을 갖는 제2 방향을 촬영하여 제2 영상을 획득하는 제2 메인 카메라;
상기 제1 건물과 이격하여 위치하는 제2 건물에 설치되어, 상기 제2 건물 내부로부터 상기 제2 건물 외부에 대한 시야각을 갖는 서브 영상을 촬영하는 서브 카메라;
상기 제1 영상 및 상기 제2 영상이 획득된 위치, 각도 및 거리에 기초하여, 상기 제1 영상 및 상기 제2 영상을 정합함으로써, 상기 제1 건물 내부로부터 상기 제1 건물 외부에 대한 시야각을 갖는 메인 영상을 생성하고, 상기 메인 영상에 상기 서브 영상에 포함된 객체들 중 일부를 합성하고, 기 설정된 일부 영역의 해상도를 낮춤으로써 최종 영상을 생성하는 서버; 및
마이크로 엘이디(mirco LED)를 포함하는 이중창 또는 삼중창으로 구성되어 상기 제2 건물에 설치되고, 영상 출력 명령이 입력되면 투명 모드를 영상 모드로 전환하여 상기 최종 영상을 선택적으로 출력하는 투명 디스플레이 장치를 포함하고,
상기 서버는,
상기 제1 영상 및 상기 제2 영상이 촬영된 방향 및 위치, 및 상기 투명 디스플레이 장치의 위치를 인공지능 모델에 적용하여 상기 제1 영상에 대응하는 제1 방향 및 상기 제2 영상에 대응하는 제2 방향을 갱신하고, 상기 갱신된 제1 방향에 기초하여 상기 제1 영상을 업데이트하고, 상기 갱신된 제2 방향에 기초하여 상기 제2 영상을 업데이트하고, 상기 업데이트된 제1 및 제2 영상에 기초하여 상기 메인 영상을 생성하고,
상기 투명 디스플레이 장치는,
출력 대상 층을 지정한 상기 영상 출력 명령에 기초하여, 상기 출력 대상 층에 해당하는 상기 최종 영상을 출력하되, 상기 투명 디스플레이 장치가 설치된 층은 상기 출력 대상 층과 상이하고,
상기 서버는,
상기 최종 영상에 대하여 저해상도 영역을 설정하고, 상기 저해상도 영역의 해상도를 낮게 변경하되,
상기 서버는, 아래 수학식1에 따라 상기 최종 영상에 대하여 저해상도 영역을 설정하여,
[수학식1]
Figure 112021146975087-pat00010

(여기서, P는 각 픽셀의 정보, L은 모션 정보)
상기 모션 정보가 미리 결정된 값보다 낮은 상기 최종 영상의 픽셀의 집합을 상기 저해상도 영역으로 결정하는 영상 출력 시스템.a first main camera for acquiring a first image by photographing a first direction from a first side of the first building;
a second main camera configured to acquire a second image by photographing a second direction having an intersection in the first direction and an exterior of the first building from a second side of the first building;
a sub-camera installed in a second building spaced apart from the first building and photographing a sub-image having a viewing angle from the inside of the second building to the outside of the second building;
By matching the first image and the second image based on the position, angle and distance at which the first image and the second image were obtained, a viewing angle from the inside of the first building to the outside of the first building is obtained a server generating a final image by generating a main image, synthesizing some of the objects included in the sub-image in the main image, and lowering the resolution of a preset partial region; and
It consists of a double or triple window including a micro LED (mirco LED) and is installed in the second building, and when an image output command is input, a transparent display device that converts a transparent mode to an image mode and selectively outputs the final image do,
The server is
A first direction corresponding to the first image and a second direction corresponding to the second image by applying the direction and position in which the first image and the second image were taken, and the position of the transparent display device to an artificial intelligence model update a direction, update the first image based on the updated first direction, update the second image based on the updated second direction, and update the second image based on the updated first and second images to create the main image,
The transparent display device,
Output the final image corresponding to the output target layer based on the image output command designating the output target layer, wherein the layer on which the transparent display device is installed is different from the output target layer,
The server is
A low-resolution region is set for the final image, and the resolution of the low-resolution region is changed to be low,
The server sets a low-resolution region for the final image according to Equation 1 below,
[Equation 1]
Figure 112021146975087-pat00010

(Where P is information of each pixel, L is motion information)
An image output system for determining a set of pixels of the final image having the motion information lower than a predetermined value as the low-resolution region. 제7항에 있어서,
상기 제2 건물의 내부를 촬영하여 상기 제2 건물의 내부에 있는 관측자의 위치 정보 및 동작 정보를 획득하는 내부 카메라를 더 포함하고,
상기 서버는,
상기 관측자의 위치 정보 및 동작 정보에 기초하여 상기 최종 영상을 조정하는 것을 특징으로 하는 영상 출력 시스템.8. The method of claim 7,
Further comprising an internal camera for photographing the interior of the second building to obtain location information and motion information of an observer in the interior of the second building,
The server is
The image output system, characterized in that the final image is adjusted based on the position information and motion information of the observer. 제8항에 있어서,
상기 제1 메인 카메라 및 상기 제2 메인 카메라는, 상기 제1 건물의 각 층마다 설치되고,
상기 서브 카메라는, 상기 제2 건물의 각 층마다 설치되고,
상기 서버는, 상기 제1 건물의 각 층마다 촬영된 상기 제1 영상 및 상기 제2 영상에 기초하여 상기 각 층에 대응되는 상기 메인 영상들을 생성한 후, 상기 제1 건물의 각 층에 대응되는 상기 제2 건물의 각 층에서 촬영된 상기 서브 영상들을 각각 합성하여 상기 제1 건물의 각 층에 대응되는 최종 영상들을 생성하는 것을 특징으로 하는 영상 출력 시스템.
9. The method of claim 8,
The first main camera and the second main camera are installed on each floor of the first building,
The sub-camera is installed on each floor of the second building,
The server generates the main images corresponding to each floor based on the first image and the second image captured on each floor of the first building, and then generates the main images corresponding to each floor of the first building. and generating final images corresponding to each floor of the first building by synthesizing the sub-images captured on each floor of the second building.
 삭제delete
KR1020210138741A 2021-10-18 2021-10-18 Image display system using transparent display device and image display method using the same KR102350853B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210138741A KR102350853B1 (en) 2021-10-18 2021-10-18 Image display system using transparent display device and image display method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210138741A KR102350853B1 (en) 2021-10-18 2021-10-18 Image display system using transparent display device and image display method using the same

Publications (1)

Publication Number Publication Date
KR102350853B1 true KR102350853B1 (en) 2022-01-13

Family

ID=79342156

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210138741A KR102350853B1 (en) 2021-10-18 2021-10-18 Image display system using transparent display device and image display method using the same

Country Status (1)

Country Link
KR (1) KR102350853B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040001300A (en) * 2002-06-27 2004-01-07 백승헌 Image synthesizing and editing system and its method in panorama image of background
KR20190012465A (en) * 2017-07-27 2019-02-11 삼성전자주식회사 Electronic device for acquiring image using plurality of cameras and method for processing image using the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040001300A (en) * 2002-06-27 2004-01-07 백승헌 Image synthesizing and editing system and its method in panorama image of background
KR20190012465A (en) * 2017-07-27 2019-02-11 삼성전자주식회사 Electronic device for acquiring image using plurality of cameras and method for processing image using the same

Similar Documents

Publication Publication Date Title
CN103795976B (en) A kind of full-time empty 3 d visualization method
US7131733B2 (en) Method for creating brightness filter and virtual space creation system
US10375382B2 (en) System comprising multiple digital cameras viewing a large scene
CA3091290C (en) Augmented reality (ar) display of pipe inspection data
CN101326545B (en) Image processing method, image processing system
US20210232858A1 (en) Methods and systems for training an object detection algorithm using synthetic images
CN109716268A (en) Eye and head tracking
CN110651301A (en) Method and system for automatically coloring night vision images
US20140256429A1 (en) Image display system and head-mounted display device
US11455740B2 (en) System and method of operation for remotely operated vehicles for simultaneous localization and mapping
CN101506850A (en) Modeling and texturing digital surface models in a mapping application
CN113545030B (en) Method, user equipment and system for automatically generating full-focus image through mobile camera
US20120251995A1 (en) Apparatus and method for tutoring in convergence space of real and virtual environment
CN113179673A (en) Image monitoring device applying multi-camera moving path tracking technology
Yu et al. Intelligent visual-IoT-enabled real-time 3D visualization for autonomous crowd management
CN113705349A (en) Attention power analysis method and system based on sight estimation neural network
CN116194951A (en) Method and apparatus for stereoscopic based 3D object detection and segmentation
KR20210057556A (en) Artificial intelligence apparatus and method for calibrating display panel in consideration of user's preference
KR102418823B1 (en) Deep learning-based illegal parking enforcement system using wide-area detection images
KR102350853B1 (en) Image display system using transparent display device and image display method using the same
CN107330421A (en) Input and output module and electronic installation
CN115482359A (en) Method for measuring size of object, electronic device and medium thereof
JP7375901B2 (en) Display device, display method, program and image projection system
KR101780813B1 (en) 2d-3d image conversion method and stereoscopic image display using the same
CN111192305B (en) Method and apparatus for generating three-dimensional image

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant