KR101671373B1 - Virtual Graffiti System And Interface Apparatus Thereof - Google Patents

Abstract

본 발명은 가상낙서 시스템 및 방법에 관한 것으로서, 일면에 따른 가상낙서 시스템은 IT 기술에 기반을 둔 새로운 문화의 창출 및 표현과 관련된 것으로서, 창작예술, 옥내외 광고, 공연예술 분야에 가상현실(Virtual Reality) 기술을 도입함으로써 사용자의 행위와 의도를 디지털 방식의 예술작품으로 표현하고, 그 결과물을 출력, 저장, 전송, 광고, 관리할 수 있도록 하는 기술에 관한 것이다.The present invention relates to a virtual graffiti system and method, and a virtual graffiti system according to one aspect relates to the creation and expression of a new culture based on IT technology, and is used in virtual arts Reality) technology to represent users' actions and intentions as digital art works, and to output, store, transmit, advertise, and manage the results.

그래피티, 가상낙서, 가상현실, 스프레이 캔 Graffiti, virtual graffiti, virtual reality, spray cans

Description

가상낙서 시스템 및 그 인터페이스 장치{Virtual Graffiti System And Interface Apparatus Thereof}Technical Field [0001] The present invention relates to a virtual graffiti system,

본 발명은 가상낙서 시스템 및 그 인터페이스 장치에 관한 것으로서, 보다 구체적으로는 거리의 벽, 경기장 외벽, 전동차 겉 표면 등을 대상으로 이루어지는 스프레이 기반의 그래피티 예술을 IT 기반에서 행하는 시스템 및 그 인터페이스 장치에 관한 것이다.The present invention relates to a virtual graffiti system and an interface device thereof, and more particularly, to a system for performing graffiti-based graffiti based on a distance wall, an outer wall of a stadium, will be.

본 발명은 지식경제부의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호:2008-F-030-02,과제명:방통융합형 Full 3D 복원 기술 개발].The present invention is derived from research carried out as part of the IT original technology development project of the Ministry of Knowledge Economy [Project Issue Number: 2008-F-030-02, Title: Development of full 3D reconstruction technology for convergence convergence type].

그래피티와 같은 일종의 낙서는 사용자들이 몇 종의 라커(Lacquer)를 이용하여 벽에 칠을 하는 방식을 통해 표현 혹은 전달하고자 하는 메시지를 만들어내지만, 이러한 방식은 일회적이어서 재현성이 떨어져 그 가치를 지속할 수 없고, 만들어진 정보를 타지역으로 이동시킬 수도 없는 한계가 있다.A graffiti-like graffiti creates a message that users want to express or convey through the way they paint on the wall with a few kinds of lacquers, but this is a once-in-a- There is a limit to the ability to move the created information to other areas.

본 발명은 상기와 같은 문제점을 감안하여 창출한 것으로서, 디지털 기술을 통해 일회적 예술가치를 반복적으로 재현하고, 온라인으로 공유할 수 있는 가상낙서 시스템 및 그 인터페이스 장치를 제공하는 데 그 목적이 있다.The present invention has been made in view of the above problems, and it is an object of the present invention to provide a virtual graffiti system and an interface device thereof which can reproduce a one-time art value repeatedly through digital technology and share it online.

본 발명의 다른 목적은 개인과 비즈니스 개체와의 소통이 가능하도록 오프라인과 온라인을 융합하는 마케팅 정보채널 역할을 하는 가상낙서 시스템 및 그 인터페이스 장치를 제공함에 있다.Another object of the present invention is to provide a virtual graffiti system and an interface device that serve as a marketing information channel that fuses offline and online so that an individual can communicate with a business entity.

전술한 목적을 달성하기 위하여, 본 발명의 일면에 따른 가상낙서 시스템은 사용자의 페인팅 동작을 추적하는 카메라; 및 상기 카메라에 의해 추적된 상기 사용자의 페인팅 동작 영상을 분석하고, 분석된 결과 정보를 이용하여 상기 사용자의 페인팅 동작에 따른 페인팅 영상을 출력하는 처리부를 포함하는 것을 특징으로 한다.
상기 처리부는 상기 카메라에 의해 추적된 상기 사용자의 페인팅 동작 영상을 분석하여 상기 사용자의 페인팅 패턴 정보 및 손 또는 팔의 궤적 정보를 획득하고, 획득된 페인팅 패턴 정보 및 궤적 정보를 이용하여 상기 사용자의 페인팅 동작에 따른 페인팅 영상을 출력하는 것을 특징으로 한다.
본 발명의 일면에 따른 가상낙서 시스템은 리어 프로젝션(Rear Projection) 스크린; 및 상기 리어 프로젝션 스크린의 후면에서 상기 처리부로부터 출력된 페인팅 영상을 투영하는 복수의 프로젝터를 더 포함하는 것을 특징으로 한다.
본 발명의 일면에 따른 가상낙서 시스템은 상기 사용자의 상기 리어 프로젝션 스크린상의 페인팅 동작에 의해 스프레이 건(Spray Gun)에 가해진 압력 정보를 출력하는 스프레이 캔 인터페이스; 및 상기 스프레이 캔 인터페이스로부터 출력된 압력 정보에 따라 스프레이 분사 효과 음을 출력하는 스피커를 더 포함하는 것을 특징으로 한다.
상기 처리부는 상기 스프레이 캔 인터페이스로부터 출력된 압력 정보 및 상기 사용자의 페인팅 동작 영상을 분석하여 획득된 상기 사용자의 손 또는 팔의 궤적 정보에 포함된 속도 정보를 이용하여 상기 사용자의 페인팅 동작에 따른 페인팅 선의 굵기와 농도를 산출하고, 산출된 페인팅 선의 굵기와 농도에 따라 페인팅 영상을 출력하는 것을 특징으로 한다.
상기 처리부는 상기 스프레이 캔 인터페이스의 고유 번호를 이용하여 상기 사용자의 페인팅 동작에 따른 페인팅 선의 색상을 결정하고, 결정된 색상으로 페인팅 영상을 출력하는 것을 특징으로 한다.
본 발명의 일면에 따른 가상낙서 시스템은 상기 리어 프로젝션 스크린상에 설치되어 사용자의 터치 입력에 따른 동작을 수행하도록 상기 사용자의 터치 입력 정보를 획득하여 상기 처리부에 전달하는 터치부를 더 포함하는 것을 특징으로 한다.
상기 처리부는 기설정된 시간 동안 상기 카메라에 의해 추적된 상기 사용자의 페인팅 동작 영상이 입력되지 않으면, 상기 리어 프로젝션 스크린을 통해 광고정보를 출력하는 것을 특징으로 한다.
본 발명의 다른 면에 따른 가상낙서 시스템의 인터페이스 장치는 리어 프로젝션(Rear Projection) 스크린; 상기 리어 프로젝션 스크린의 후면에 설치되어 마커 패턴을 투사하는 마커 패턴 투사부; 및 사용자의 움직임에 따라 상기 사용자의 이동 기기로부터 수신된 마커 트래킹 카메라에 의해 추적된 마커 패턴 정보를 이용하여 상기 이동 기기의 위치 및 움직임을 인식하고, 인식된 정보에 대응되는 동작을 수행하여 수행에 따른 결과정보가 상기 리어 프로젝션 스크린에 투사되도록 처리하는 처리부를 포함하는 것을 특징으로 한다.
상기 처리부는 상기 이동 기기의 요청에 따라 상기 리어 프로젝션 스크린에 투사된 결과정보가 상기 이동 기기에 전송되도록 처리는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a virtual graffiti system including: a camera for tracking a painting operation of a user; And a processor for analyzing the painting operation image of the user tracked by the camera and outputting a painting image according to the painting operation of the user using the analyzed result information.
The processing unit analyzes the painting operation image of the user tracked by the camera to acquire the painting pattern information of the user and the trajectory information of the hand or arm and displays the painting pattern of the user using the obtained painting pattern information and the trajectory information And outputting a painting image according to an operation.
A virtual graffiti system according to an aspect of the present invention includes a rear projection screen; And a plurality of projectors for projecting the painting image output from the processing unit on the rear surface of the rear projection screen.
A virtual graffiti system according to one aspect of the present invention includes a spray can interface for outputting pressure information applied to a spray gun by a painting operation on the rear projection screen of the user; And a speaker for outputting a spraying effect sound according to pressure information output from the spray can interface.
Wherein the processing unit analyzes the pressure information output from the spray can interface and the painting operation image of the user to obtain a paint line corresponding to the painting operation of the user using the velocity information included in the sign information of the user's hand or arm, The thickness and the density are calculated, and the painting image is outputted in accordance with the thickness and the density of the calculated painting line.
The processing unit determines a color of a painting line according to a painting operation of the user using the unique number of the spray can interface, and outputs a painting image in a determined color.
The virtual graffiti system according to one aspect of the present invention further includes a touch unit installed on the rear projection screen to acquire the touch input information of the user to perform an operation according to a touch input of the user and transmit the acquired touch input information to the processing unit do.
And the processing unit outputs the advertisement information through the rear projection screen if the painting operation image of the user tracked by the camera is not inputted for a predetermined time.
According to another aspect of the present invention, an interface device of a virtual graffiti system includes a rear projection screen; A marker pattern projecting part provided on a rear surface of the rear projection screen and projecting a marker pattern; And recognizing the position and movement of the mobile device by using the marker pattern information tracked by the marker tracking camera received from the mobile device of the user according to the movement of the user and performing an operation corresponding to the recognized information, And the result information is projected on the rear projection screen.
And the processing unit is configured to process the result information projected on the rear projection screen at the request of the mobile equipment to be transmitted to the mobile equipment.

본 발명에 따르면, 사용자가 실제 벽면을 대상으로 낙서, 즉 그래피티를 할 때와 동일한 수준으로 낙서를 할 수 있다.According to the present invention, graffiti can be made to the same level as when a user performs graffiti, i.e. graffiti, on an actual wall surface.

실제 페인트의 독성에 따른 유해성을 방지하고 재료의 소진 없이 무한 반복적으로 원하는 그림을 그릴 수 있다.It is possible to prevent the harmful effect of the toxicity of the actual paint and draw the desired picture indefinitely without exhausting the material.

특히 사용자에 의해 창작된 최종 결과물로서의 그림을 디지털 이미지화하여 출력, 저장, 보관, 전송, 편집, 전시 등이 가능한 형태로 만들 수 있다.In particular, the final product created by the user can be digitized into a form that can be output, stored, archived, transmitted, edited, and displayed.

또한, 낙서를 하지 않을 경우에는 각종 홍보나 광고의 도구로 활용될 수 있다.In addition, when the graffiti is not performed, it can be utilized as various publicity and advertising tools.

정보 제공 도구로 활용될 경우, 인터랙티브 방식 및 인터넷과의 연동 등을 통해 세부적인 정보제공이 가능하고, 제공된 정보는 전자메일, 이동기기 등을 통해 신속하게 전달될 수 있다.When used as an information providing tool, it is possible to provide detailed information through an interactive method and interworking with the Internet, and the provided information can be quickly delivered through an electronic mail or a mobile device.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 용이하게 이해할 수 있도록 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. And is intended to enable a person skilled in the art to readily understand the scope of the invention, and the invention is defined by the claims. It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. It is noted that " comprises, " or "comprising," as used herein, means the presence or absence of one or more other components, steps, operations, and / Do not exclude the addition.

이하, 도 1을 참조하여 본 발명의 일실시예에 따른 가상낙서 시스템을 설명 한다. 도 1은 본 발명의 일실시예에 따른 가상낙서 시스템을 설명하기 위한 예시도이다.Hereinafter, a virtual graffiti system according to an embodiment of the present invention will be described with reference to FIG. 1 is an exemplary diagram illustrating a virtual graffiti system according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 가상낙서 시스템은고화질의 대형 디스플레이(100), 리어 프로젝션에 필요한 프로젝터들(101), 스프레이 캔 인터페이스(104), 적외선 카메라(103), 처리부(102) 및 스피커(105)를 포함하고, 다양한 환경 및 응용분야(옥내외, 공연, 광고 등)에서 요구되는 툴(Tool)을 제공한다.1, a virtual graffiti system according to an embodiment of the present invention includes a large display 100 of high image quality, projectors 101 required for rear projection, a spray can interface 104, an infrared camera 103, A processing unit 102 and a speaker 105 and provides tools required in various environments and applications (indoor / outdoor, performance, advertisement, etc.).

스프레이 캔 인터페이스(104)는 스프레이 캔(Spraycan)의 외관과 느낌을 실제와 같이 재현할 수 있는 사용자 인터페이스를 제공한다.The spray can interface 104 provides a user interface that can reproduce the look and feel of a spray can in real life.

적외선 카메라(103)는 스프레이 캔 사용자의 손 또는 팔 동작을 추적한다.The infrared camera 103 tracks the hand or arm motion of the spray can user.

처리부(102)는 적외선 카메라(103)를 통해 입력된 정보를 기반으로 손 또는 팔 동작을 정밀 추적하고, 팔 동작의 궤적을 분석하며, 분석된 결과를 대형 디스플레이(100)를 통해 표현한다.The processing unit 102 precisely tracks the hand or arm motion based on the information input through the infrared camera 103, analyzes the locus of the arm motion, and displays the analyzed result through the large display 100.

스피커(103)는 스프레이 캔의 작동을 실감나게 재현할 수 있도록 사운드를 제공한다.The speaker 103 provides a sound to reproduce the operation of the spray can realistically.

여기서, 고화질의 대형 디스플레이(100)는 터치스크린을 포함하고, 리어 프로젝션(Rear projection) 방식으로 스프레이 캔의 페인팅 영상을 화면에 디스플레이한다. 예컨대, 사용자가 대형 디스플레이(100) 전면에 서서 스프레이 캔 인터페이스(104)로 자유로운 페인팅 동작을 수행하면, 대형 디스플레이(100)는 페인팅 영상을 표시한다.Here, the high-resolution large-sized display 100 includes a touch screen, and displays a painting image of a spray can on a screen by a rear projection method. For example, when a user stands on the front of the large display 100 and performs a painting operation freely with the spray can interface 104, the large display 100 displays the painting image.

본 발명의 가상낙서 시스템은 스프레이 캔의 분사 압력, 스프레이 캔과 대형 디스플레이(100) 간의 거리, 각도에 따라 실제와 동일한 정도로 페인팅 영상을 대형 디스플레이(100)에 사실감 있게 표현한다. 즉, 스프레이건의 압력과 분사 정도, 그리고 궤적 이동 시간에 따라 색 농도의 표현 정도를 다르게 하여 페인팅 영상을 매우 정교하게 모사함으로써 실제와 같은 페인팅을 할 수 있도록 한다. 이를 위해, 본 발명의 가상낙서 시스템은 디지털 페인트가 분사되고 있는 상황에서 분사된 페인트의 양에 따라 스프레이 된 부위의 색깔 표현에 차별화를 두고, 색 간의 누적에 따른 간섭을 고려하여 최종 색상을 결정하는 계산을 통해, 덧칠에 의한 효과도 표현한다. The virtual graffiti system of the present invention realizes the painting image on the large display 100 to the same extent as actual according to the spraying pressure of the spray can, the distance between the spray can and the large display 100, and the angle. In other words, the expression of the color density is varied according to the pressure, injection degree, and trajectory movement time of the spray gun, so that the painting image is highly precisely simulated, thereby realizing the same painting. For this purpose, the virtual graffiti system of the present invention differentiates the color representation of the sprayed portion according to the amount of paint sprayed in the state where the digital paint is sprayed, and determines the final color in consideration of interference due to accumulation between colors Through calculation, it also expresses the effect of overlaying.

한편, 본 발명의 가상낙서 시스템은 주로 예술창작과 관련된 수단으로 사용될 뿐만 아니라, 정보 제공의 매개체로도 사용될 수 있다. 즉, 낙서와 관련된 창작활동의 수단으로 사용되지 않을 경우, 대형 디스플레이(100), 즉 디지털 벽을 다양한 홍보 혹은 광고의 주요 수단으로 이용할 수 있다. 예컨대, 특정 건물 앞에 본 발명의 가상낙서 시스템이 설치될 경우, 건물과 관계된 정보, 스폰서(Sponsor)들, 예컨대 광고주들에 의해 요구되는 신제품 광고 등을 대형 디스플레이(100), 즉 디지털 벽을 통해 제공할 수 있다. 디지털 벽을 통해 제공되는 정보를 인터넷과 연동시켜 보다 상세하고 신속하게 제공할 수도 있다. Meanwhile, the virtual graffiti system of the present invention can be used not only as means related to art creation but also as an information providing medium. That is, the large display 100, that is, the digital wall, can be used as a main means of various publicity or advertisement when it is not used as a means of creative activity related to graffiti. For example, when the virtual graffiti system of the present invention is installed in front of a specific building, information related to the building, sponsors (e.g., advertisements of new products required by advertisers) are provided through the large display 100, can do. The information provided through the digital wall can be linked with the Internet to provide more detailed and quick information.

이상 본 발명의 가상낙서 시스템에 대해 간략하게 설명하였고, 이하에서는 본 발명의 가상낙서 시스템을 보다 구체적으로 설명한다.Hereinafter, the virtual graffiti system of the present invention will be described in more detail.

가상낙서 시스템은 리어 프로젝션 방식의 대형 스크린(Digital Wall)(100), 프로젝터(101), 처리부(102), 2대 이상의 적외선 카메라(103), 스프레이 캔 인터페이스(104), 2채널 출력용 스피커(105)를 포함한다.The virtual graffiti system includes a rear projection type large screen (Digital Wall) 100, a projector 101, a processing unit 102, two or more infrared cameras 103, a spray can interface 104, ).

스프레이 캔 인터페이스(104)를 통한 분사 동작에 따라 스피커(105)는 스프레이 되는 상황에서 발생하는 효과음을 사용자에게 출력하여 스프레이 캔 인터페이스(104)의 작동 상태를 사용자가 인지할 수 있도록 한다. According to the spray operation through the spray can interface 104, the speaker 105 outputs a sound effect generated in a sprayed situation to the user so that the user can recognize the operation state of the spray can interface 104. [

카메라(103)는 대형 스크린(100), 예컨대 디지털 벽의 위쪽 모서리에 설치되고, 스프레이 캔 인터페이스(104)를 통한 분사 동작, 즉 사용자의 팔 동작을 추적한다.The camera 103 is installed at the upper edge of the large screen 100, e.g., the digital wall, and tracks the spraying operation, i.e., the user's arm motion, via the spray can interface 104. [

처리부(102), 예컨대 고성능 컴퓨터는 스프레이 캔 인터페이스(104)를 통한 분사 동작의 패턴과 궤적을 분석하고, 분석된 결과를 근거로 디지털 벽에, 실제 페인트가 스프레이 되면서 색칠이 이루어지는 과정과 유사하게 정밀 프로젝터를 통해 페인팅 영상을 가시화한다. 즉, 실제 작업 환경과는 매우 흡사 하나, 실제 페인트가 분사되는 대신, 스크린에 그래픽 데이터가 제시되는 것으로, 스프레이건의 압력, 궤적 상의 속도를 감안하여 그 선의 굵기와 농도가 계산에 의해 결정된다.The processing unit 102, for example, a high-performance computer analyzes the pattern and trajectory of the spraying operation through the spray can interface 104 and, based on the analyzed results, performs a coloring process on the digital wall, The painting image is visualized through the projector. That is, it is very similar to the actual working environment, but instead of spraying actual paint, graphical data is presented on the screen, and the thickness and concentration of the line are determined by calculation taking into account the pressure of the spray gun and the velocity on the trajectory.

사용자가 이용하는 스프레이 캔 인터페이스(104)는 실제 캔과 동일한 형태로 형성되고, 실제 압력 대신 스피커로 출력되는 사운드를 통해 분사량의 정도를 감지하게 하는 형태를 띤다. 즉, 소리가 세고 길수록 진하고 굵게 페인팅 영상이 대형 스크린(100)에 표현된다.The spray can interface 104 used by the user is formed in the same shape as the actual can, and takes the form of sensing the degree of the injection amount through the sound outputted to the speaker instead of the actual pressure. That is, as the sound is larger and longer, a thick and thick painting image is displayed on the large screen 100.

스프레이 캔 인터페이스(104)는 다양한 색상을 표현할 수 있도록 스프레이 캔 인터페이스(104)마다 고유의 번호를 부여받는다.The spray can interface 104 is given a unique number for each spray can interface 104 so as to express various colors.

처리부(102)는 스프레이 캔 인터페이스(104)마다 부여된 고유 번호를 근거로 스프레이 캔 인터페이스(104)별로 표현될 페인팅 영상의 색상을 결정한다.The processing unit 102 determines the color of the painting image to be expressed for each spray can interface 104 based on the unique number assigned to each spray can interface 104.

전술한 바와 같이, 낙서가 완성이 되면 디지털 벽을 터치하는 순간 나타나는 메뉴들을 통해 그 결과(완성된 낙서)를 저장하고, 원거리로 전송 등의 기능을 수행할 수 있다. 즉, 완성된 그림이 터치되면 디지털 벽에, 출력, 저장, 전송 등의 메뉴가 표시되고, 표시된 메뉴 중 어느 하나가 터치되면 터치된 메뉴에 대응되는 기능이 수행된다. 예컨대, 출력의 경우, 디지털 벽과 연결된 프린터 혹은 대형 플로터(Plotter)를 통해 그림을 출력시키고, 저장의 경우, 다양한 그림 파일 포맷 형태로 완성된 그림을 저장한다. 전송이 터치된 경우, 원거리에 있는 타 사용자들에게 낙서 결과를 전자메일 서비스(106) 혹은, 이동단말기 경우는 멀티미디어 전송 서비스(107)를 통해 전달한다. As described above, when the graffiti is completed, the result (completed graffiti) can be stored through menus appearing at the moment of touching the digital wall, and the functions such as transmission to a remote location can be performed. That is, when the completed picture is touched, menus such as output, storage, and transmission are displayed on the digital wall, and when any one of the displayed menus is touched, a function corresponding to the touched menu is performed. For example, in the case of output, a picture is output through a printer or a large plotter connected to a digital wall, and in the case of storage, a completed picture is stored in various picture file formats. When the transmission is touched, the graffiti result is delivered to other users at a remote location through the e-mail service 106 or, in the case of a mobile terminal, through the multimedia transmission service 107.

사용자들이 일정 시간 동안 낙서기능을 이용하지 않는다고 판단이 되면 처리부(102)는 디지털 벽을 정보제공의 수단으로 활용하여 벽 위에 다양한 신상품(옷, 신발, 액세서리, 음반, 영화 등)의 영상을 제시한다. 제시된 영상 중 어느 하나가 터치되면, 터치된 제품에 대한 보다 자세한 설명이 디지털 벽에 표시된다. 예컨대, 음반 신보의 경우, 터치된 음반에 수록된 곡이 플레이되어 사용자의 구매욕구를 유발시킬 수 있으며, 영화의 경우, 터치된 영화의 시놉시스, 예고편이 표시되고, 인터넷 서비스를 통해 영화 예매 기능도 제공할 수 있다. 제품과 관련된 광고를 인터넷을 통해 원거리에 있는 지인들에게 전송할 수도 있다. 또한, 디지털 벽에 스프레이 캔으로 그림과 함께 글자를 페인팅하여 그 장소를 찾아오는 사람들이 확인할 수 있도록 포스트잇으로 사용될 수 있고, 문자 서비스 등을 통해 원거리의 이동단말기로 페인팅된 글자를 전송할 수도 있다.When it is determined that the users do not use the graffiti function for a predetermined period of time, the processing unit 102 displays various new products (clothes, shoes, accessories, recordings, movies, etc.) on the wall by using the digital wall as a means of providing information . When any of the presented images is touched, a more detailed description of the touched product is displayed on the digital wall. For example, in the case of a new album, a song recorded on a touched album is played to induce a user's desire to purchase. In the case of a movie, a synopsis and a trailer of a touched movie are displayed. can do. Advertisements related to the product can also be transmitted to acquaintances who are remotely via the Internet. In addition, it can be used as a post-it so that people who come to the place can paint the letters with the picture as a spray can on the digital wall, and the painted character can be transmitted to the remote mobile terminal through the text service or the like.

한편, 사용자는 카메라가 장착된 휴대단말(107)을 이용하여 터치형 디지털 벽(100)과 상호작용한다. 사용자가 터치형 디지털 벽(100) 가까이에서 휴대단말에서 가상 쇼윈도우 서비스 어플리케이션을 실행시키면, 처리부(102)의 서버에 연결되어 서비스가 시작된다.Meanwhile, the user interacts with the touch-type digital wall 100 using the portable terminal 107 equipped with a camera. When the user executes the virtual show window service application on the portable terminal near the touch digital wall 100, the service is started by being connected to the server of the processing unit 102. [

상호작용 방법은 휴대단말(107)의 버튼이나 터치스크린을 작동하거나, 휴대단말(107) 자체를 3차원 공간상에서 움직이는 동작을 통해 이루어진다. 정보는 기본적으로 터치형 디지털 벽(100)에 나타나며, 사용자가 직접적으로 상호작용하거나 자세히 볼 필요가 있을 경우 정보가 휴대단말(107)로 옮겨져 가시화된다. 사용자가 선택하는 메뉴에 따라 가상 낙서, 광고 보기, 위젯 사용 등의 서비스를 선택할 수 있다.The interaction method is performed by operating a button or a touch screen of the portable terminal 107 or by moving the portable terminal 107 itself in a three-dimensional space. The information basically appears on the touch-type digital wall 100. When the user directly interacts with or needs to look closely, information is transferred to the portable terminal 107 to be visualized. Depending on the menu you select, you can choose services such as virtual graffiti, viewing ads, and using widgets.

휴대단말(107)에 장착된 카메라는 터치형 디지털 벽(100)의 화면상에 나타나는 비가시광 영상 패턴을 인식하여 휴대단말(107)의 위치 및 자세를 계산하여 3차원 상호작용에 사용한다. 이때 비가시광 영상 패턴은 스크린 제작시 스크린 표면에 인쇄하거나, 비가시광 영상을 투사하는 프로젝터를 이용하여 실시간에 스크린에 패턴을 투사할 수 있다. 이에 더해, 휴대 단말(107)의 기울기, 가속도, 전자나침반, GPS등의 추가 센서가 장착되어 있을 경우, 이러한 센서 정보를 이용하여 영상인식 기반의 위치 및 자세 인식의 정확도를 보완한다.The camera mounted on the portable terminal 107 recognizes the non-visible light image pattern appearing on the screen of the touch-type digital wall 100 and calculates the position and attitude of the portable terminal 107 and uses the non-visible light image pattern for three-dimensional interaction. In this case, the nonvisible light image pattern can be projected on the screen in real time by using a projector which prints the non-visible light image on the screen surface when the screen is made. In addition, when additional sensors such as a tilt, an acceleration, an electronic compass, and a GPS of the portable terminal 107 are mounted, the accuracy of position and orientation recognition based on image recognition is supplemented by using such sensor information.

이상 도 1을 참조하여 본 발명의 일실시예에 따른 가상낙서 시스템을 설명하 였고, 이하에서는 도 2를 참조하여 본 발명의 다른 실시예에 따른 사용자가 휴대하는 인터페이스 장치를 설명한다. 도 2는 본 발명의 다른 실시예에 따른 사용자가 휴대하는 인터페이스 장치를 설명하기 위한 예시도이다.The virtual graffiti system according to an embodiment of the present invention has been described with reference to FIG. 1. Hereinafter, an interface device carried by a user according to another embodiment of the present invention will be described with reference to FIG. 2 is an exemplary diagram illustrating an interface device carried by a user according to another embodiment of the present invention.

도 2에 도시된 바와 같이, 사용자가 휴대하는 인터페이스 장치는 스크린 후면에 설치되어 마커 패턴을 투사하는 트래킹용 마커 패턴 투사부(202) 및 휴대폰에 장착되어 스크린(대상물체 표면)에 투영된 마커 패턴(207)을 추적하는 마커 트래킹용 카메라(203)를 포함한다.2, the interface device carried by the user includes a tracking marker pattern projection part 202 provided on the rear surface of the screen for projecting a marker pattern, and a marker pattern projection part 202 mounted on the mobile phone and projected onto a screen (object surface) And a marker tracking camera 203 for tracking the camera 207.

여기서 마커 패턴(207)은 가시형으로 인쇄된 특정 패턴일 수 있고, 영상 정보에 내제된 영상 처리 프로세스로 추적될 수 있는 이미지 정보일 수도 있으며, 비가시영역의 정보(적외선)를 이용한 마커 패턴일 수도 있다.Here, the marker pattern 207 may be a specific pattern printed in a visible form, may be image information that can be tracked by the image processing process embedded in the image information, and may be a marker pattern using information (infrared rays) It is possible.

마커 트래킹용 카메라(203)는 필요에 따라 특정 비가시영역 신호 정보를 선별해서 얻을 수 있는 렌즈 필터를 포함할 수 있다.The marker tracking camera 203 may include a lens filter that can be obtained by selectively selecting specific invisible area signal information.

인터페이스 장치는 트래킹을 위해 휴대폰에 장착된 발광 센서부(205) 및 스크린 후면에 설치되어, 이를 수용하는 발광 센서 인식부(206)를 더 포함한다. 예컨대, 적외선 발광체를 이용하고, 복수 개의 발광 센서 인식부(206)를 사용하면, 휴대폰의 3차원 위치를 추적할 수 있다.The interface device further includes a light emitting sensor unit 205 mounted on the mobile phone for tracking and a light emitting sensor recognizing unit 206 mounted on the rear surface of the screen for receiving the light emitting sensor unit 205. For example, when using an infrared light emitter and using a plurality of light emission sensor recognition units 206, the three-dimensional position of the mobile phone can be tracked.

인터페이스 장치는 트래킹을 위해 발광채 패턴을 1cm x 1cm 이상의 넓이로 제작하는 경우, 비례적으로 스크린과 가까운 거리에서 휴대폰의 6DOF 정보를 모두 얻을 수 있다. 그러나, 발광체(마커 패턴)의 크기가 작은 경우(즉, 인식용 장치에서 획득되는 영상에서 패턴 분별이 어려워 점의 형태로 나타나는 경우)의 한계 점(3DOF 정보만 얻음)을 보완하는 차원에서 휴대폰에 내장된 보조센서(204), 예컨대 가속도 센서, 중력 센서, 자이로 센서 등을 활용하여 하이브리드 방법으로 휴대폰, 예컨대 스프레이 캔 대용의 6DOF(위치+자세) 정보를 얻을 수 있다.The interface device can obtain the 6DOF information of the mobile phone at a distance from the screen proportionally when the light emission pattern is made to have a width of 1cm x 1cm or more for tracking. However, in order to compensate for the limitation point (only 3DOF information is obtained) in the case where the size of the light emitter (marker pattern) is small (in other words, 6DOF (position + posture) information for a mobile phone, for example, a spray can, can be obtained by a hybrid method using an embedded auxiliary sensor 204 such as an acceleration sensor, a gravity sensor, a gyro sensor,

스프레이 캔 인터페이스(104) 구현의 또 다른 방법은 휴대형 액세서리(210)형태의 인터페이스 장치를 제시할 수 있다. 본 장치는 매장 비치용, 홍보용 기념품, 휴대폰 장식용 액세서리 등으로 립스틱 크기 정도의 소형 장치로 구현되며, 휴대폰과의 정보 통신은 직접 포트(24pin)에 연결하거나 무선 통신(블루투스 등)으로 구현된다. 외형은 스프레이 캔 모형이나 휴대형 향수병의 형태를 가질 수 있으며, 스프레이팁 부분에 ID 인식 칩을 내장하여 팁의 변경에 따른 색상, 패턴(탬플릿), 재질 등의 변화 정보를 시스템에 반영한다.Another method of implementing the spray can interface 104 may suggest an interface device in the form of a portable accessory 210. This device is implemented as a compact device with a lipstick size, such as a store beach, a souvenir for promotional purposes, or a mobile phone decorative accessory. The information communication with the mobile phone is realized by connecting to a direct port (24pin) or wireless communication (Bluetooth). The shape can be a spray can model or a portable perfume bottle. The ID recognition chip is embedded in the spray tip part, and the change information such as the color, pattern (template) and material according to the tip change is reflected in the system.

사실적인 페인팅 구현을 위해서 시스템은 스프레이 인터페이스 장치에서 입력된 정보(스프레이 팁 모양 정보, 페인트 색상, 향수 재료, 위치정보 자세 정보)를 기준으로, 사전에 구축된 조건별 패턴 데이터베이스를 기준으로, 스크린에 형성되는 이미지의 결과를 결정한다.For a realistic painting implementation, the system displays on the screen, based on the pre-built conditional pattern database, based on the information entered in the spray interface device (spray tip shape information, paint color, perfume material, To determine the result of the image being formed.

휴대용 인터페이스 장치가 패션 분야에 활용되는 경우 장치 내부에 향수 저장부를 마련하여, 사용자가 원하는 특정 영역에 향기를 이용한 메시지 기록이 가능하도록 하여, 개성 표현이 가능한 다중 감각을 이용한 페인팅 작업(메세지 기록 작업)을 지원한다. 시스템은 사용자가 페인팅(향기 분사) 작업시의 정보를 기록한 후, (시간이 경과하여 물리적인 향기가 소멸된 경우) 특정 조건, 예컨대 사용자의 재방문 또는 특정 대상자가 동일 장소에 오게 되는 경우 등에 맞추어 향기 분사 장 치(212)를 제어함으로써, 시각, 청각 및 후각 기능을 이용한 다중감각형(오감형) 예술/커뮤니케이션 활동이 이루어지는 것을 지원한다.When a portable interface device is used in a fashion field, a fragrance storage unit is provided in a device to enable a user to record a message using a perfume in a specific area desired by the user, so that a painting operation (message recording operation) . The system records the information at the time of the painting (perfume injection) work by the user, and then, after the information has been recorded (when the physical fragrance has disappeared over time) By controlling the perfume dispenser 212, it is possible to achieve multi-tenant artistic / communication activities using visual, auditory, and olfactory functions.

이상 바람직한 실시예와 첨부도면을 참조하여 본 발명의 구성에 관해 구체적으로 설명하였으나, 이는 예시에 불과한 것으로 본 발명의 기술적 사상을 벗어나지 않는 범주내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Therefore, the scope of the present invention should not be limited by the illustrated embodiments, but should be determined by the scope of the appended claims and equivalents thereof.

도 1은 본 발명의 일실시예에 따른 가상낙서 시스템을 설명한 예시도.1 is an exemplary view illustrating a virtual graffiti system according to an embodiment of the present invention;

도 2는 본 발명의 다른 실시예에 따른 사용자가 휴대하는 인터페이스 장치를 설명한 예시도.BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to an interface device,

<도면의 주요 참조부호에 대한 설명>DESCRIPTION OF THE REFERENCE NUMERALS OF THE DRAWINGS

100 : 고화질의 대형 디스플레이 101 : 프로젝터100: High-resolution large-format display 101: Projector

102 : 처리부 103 : 적외선 카메라102: processor 103: infrared camera

104 : 스프레이 캔 인터페이스 105 : 스피커104: Spray can interface 105: Speaker

Claims (12)

리어 프로젝션(Rear Projection) 방식의 대형 스크린;A large screen of a rear projection type; 상기 대형 스크린의 후면에 설치되어 마커 패턴을 투사하는 마커 패턴 투사부;A marker pattern projecting part provided on a rear surface of the large screen and projecting a marker pattern; 스프레이 캔 형태, 또는 마커 트래킹용 카메라를 포함한 휴대단말 형태를 갖는 사용자 인터페이스;A user interface in the form of a portable terminal including a camera for spray marker canning or marker tracking; 상기 사용자 인터페이스를 이용하는 사용자의 페인팅 동작을 추적하는 카메라; 및A camera for tracking a user's painting operation using the user interface; And 상기 사용자의 페인팅 동작 영상을 분석하고, 분석된 결과 정보를 이용하여 상기 사용자의 페인팅 동작에 따른 페인팅 영상을 상기 대형 스크린을 통해 출력하며, 상기 마커 트래킹용 카메라에 의해 추적된 마커 패턴 정보를 이용하여 상기 사용자 인터페이스의 위치 및 움직임을 인식하고, 인식된 정보에 대응되는 동작을 수행하여 수행에 따른 결과 정보가 상기 대형 스크린을 통해 출력하는 처리부A painting operation image of the user is analyzed and a painting image corresponding to the painting operation of the user is output through the large screen using the analyzed result information and the marker pattern information tracked by the marker tracking camera is used A processing unit for recognizing the position and movement of the user interface, performing an operation corresponding to the recognized information, and outputting result information on execution through the large screen, 를 포함하는 가상낙서 시스템.The virtual graffiti system comprising: 제1항에 있어서,The method according to claim 1, 상기 처리부는 상기 카메라에 의해 추적된 상기 사용자의 페인팅 동작 영상을 분석하여 상기 사용자의 페인팅 패턴 정보 및 손 또는 팔의 궤적 정보를 획득하고, 획득된 페인팅 패턴 정보 및 궤적 정보를 이용하여 상기 사용자의 페인팅 동작에 따른 페인팅 영상을 출력하는 것The processing unit analyzes the painting operation image of the user tracked by the camera to acquire the painting pattern information of the user and the trajectory information of the hand or arm and displays the painting pattern of the user using the obtained painting pattern information and the trajectory information, Outputting painting image according to motion 인 가상낙서 시스템.In the virtual graffiti system. 제1항에 있어서,The method according to claim 1, 상기 대형 스크린의 후면에 위치하며, 상기 처리부로부터 출력된 페인팅 영상을 투영하는 복수의 프로젝터A plurality of projectors which are located on a rear surface of the large screen and project a painting image outputted from the processing section, 를 더 포함하는 가상낙서 시스템.Further comprising: 제3항에 있어서,The method of claim 3, 상기 스프레이 캔 형태의 사용자 인터페이스를 이용하는 상기 사용자의 페인팅 동작에 의해 상기 사용자 인터페이스의 스프레이 건(Spray Gun)에 가해진 압력에 따라 스프레이 분사 효과음을 출력하는 스피커A speaker for outputting a spraying effect sound according to the pressure applied to the spray gun of the user interface by the painting operation of the user using the user interface in the form of a spray can, 를 더 포함하는 가상낙서 시스템.Further comprising: 제4항에 있어서,5. The method of claim 4, 상기 처리부는 상기 스프레이 캔 형태의 상기 사용자 인터페이스로부터 출력된 압력 정보 및 상기 사용자의 페인팅 동작 영상을 분석하여 획득된 상기 사용자의 손 또는 팔의 궤적 정보에 포함된 속도 정보를 이용하여 상기 사용자의 페인팅 동작에 따른 페인팅 선의 굵기와 농도를 산출하고, 산출된 페인팅 선의 굵기와 농도에 따라 페인팅 영상을 출력하는 것The processing unit analyzes the pressure information output from the user interface of the spray can type and the painting operation image of the user to perform a painting operation of the user using the velocity information included in the sign information of the user's hand or arm, To calculate the thickness and concentration of the painting line according to the calculated thickness and to output the painting image according to the thickness and concentration of the calculated painting line 인 가상낙서 시스템.In the virtual graffiti system. 제4항에 있어서,5. The method of claim 4, 상기 처리부는 상기 스프레이 캔 형태의 상기 사용자 인터페이스의 고유 번호를 이용하여 상기 사용자의 페인팅 동작에 따른 페인팅 선의 색상을 결정하고, 결정된 색상으로 페인팅 영상을 출력하는 것The processing unit determines the color of the painting line according to the painting operation of the user using the unique number of the user interface in the form of the spray can, and outputs the painting image in the determined color 인 가상낙서 시스템.In the virtual graffiti system. 제3항에 있어서,The method of claim 3, 상기 대형 스크린상에 설치되어 상기 사용자의 터치 입력에 따른 동작을 수행하도록 상기 사용자의 터치 입력 정보를 획득하여 상기 처리부에 전달하는 터치부A touch screen which is installed on the large screen and acquires the touch input information of the user so as to perform an operation according to the touch input of the user, 를 더 포함하는 가상낙서 시스템.Further comprising: 제3항에 있어서,The method of claim 3, 상기 처리부는 기설정된 시간 동안 상기 카메라에 의해 추적된 상기 사용자의 페인팅 동작 영상이 입력되지 않으면, 상기 대형 스크린을 통해 광고정보를 출력하는 것The processing unit may output the advertisement information through the large screen if the painting operation image of the user tracked by the camera for a predetermined time is not input 인 가상낙서 시스템.In the virtual graffiti system. 제1항에 있어서, The method according to claim 1, 상기 마커 패턴 투사부는 가시형으로 인쇄된 특정 패턴, 영상 정보에 내제된 영상 처리 프로세스로 추적될 수 있는 이미지 정보, 비가시영역의 정보를 이용한 마커 패턴 중 적어도 하나의 마커 패턴을 투사하는 것The marker pattern projecting unit may project at least one marker pattern among a specific pattern printed in a visible form, image information that can be traced by the image processing process embedded in the image information, and a marker pattern using information of an invisible region 인 가상낙서 시스템.In the virtual graffiti system. 제1항에 있어서,The method according to claim 1, 상기 대형 스크린 후면에 설치되며, 상기 사용자 인터페이스에 장착된 발광 센서부에서 출력되는 발광체 패턴을 인식하는 발광 센서 인식부;A light emitting sensor recognizing unit installed on a rear surface of the large screen and recognizing a light emitting body pattern output from the light emitting sensor unit mounted on the user interface; 를 더 포함하며,Further comprising: 상기 처리부는 상기 발광 센서 인식부에 의해 인식된 발광체 패턴에 따라 상기 사용자 인터페이스의 움직임을 추적하는 것The processing unit may be configured to track the movement of the user interface according to the light emitting element pattern recognized by the light emitting sensor recognizing unit 인 가상낙서 시스템.In the virtual graffiti system. 제10항에 있어서, 11. The method of claim 10, 상기 처리부는 상기 사용자 인터페이스에 장착된 가속도 센서, 중력 센서, 자이로 센서 중 적어도 하나의 센서 정보를 이용하여 상기 사용자 인터페이스의 위치 및 자세 정보를 획득하는 것The processing unit may acquire position and attitude information of the user interface using at least one sensor information of an acceleration sensor, a gravity sensor, and a gyro sensor mounted on the user interface 인 가상낙서 시스템.In the virtual graffiti system. 제1항 내지 제11항 중 어느 한 항에 있어서,12. The method according to any one of claims 1 to 11, 상기 처리부는 상기 사용자의 터치 입력 또는 외부의 휴대단말로부터 수신되는 서비스 요청에 따라 상기 대형 스크린에 투사된 결과정보를 상기 사용자의 인터페이스 또는 상기 휴대단말에 전송되도록 처리하는 것The processing unit may process the result information projected on the large screen according to a touch input of the user or a service request received from an external portable terminal to be transmitted to the user interface or the portable terminal 인 가상낙서 시스템.In the virtual graffiti system.

Images