WO2016024782A1 - Video playback method using 3d interactive movie viewer responsive to touch input, and method for adding animation while playing back video - Google Patents

Video playback method using 3d interactive movie viewer responsive to touch input, and method for adding animation while playing back video Download PDF

Info

Publication number
WO2016024782A1
WO2016024782A1 PCT/KR2015/008371 KR2015008371W WO2016024782A1 WO 2016024782 A1 WO2016024782 A1 WO 2016024782A1 KR 2015008371 W KR2015008371 W KR 2015008371W WO 2016024782 A1 WO2016024782 A1 WO 2016024782A1
Authority
WO
WIPO (PCT)
Prior art keywords
movie viewer
viewer
event
movie
electronic device
Prior art date
Application number
PCT/KR2015/008371
Other languages
French (fr)
Korean (ko)
Inventor
서장원
박병철
최윤호
정우성
Original Assignee
서장원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140103168A external-priority patent/KR101608145B1/en
Priority claimed from KR1020140151882A external-priority patent/KR101595663B1/en
Application filed by 서장원 filed Critical 서장원
Publication of WO2016024782A1 publication Critical patent/WO2016024782A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content

Definitions

  • the present invention relates to a method for playing a video on a smart device.
  • the inventors of the present invention have come to the conclusion that a completely new approach is possible after long research efforts to solve the above problems.
  • An object of the present invention is to provide a new movie viewer.
  • This movie viewer has a three-dimensional displacement, and the displacement responds to a user's touch input and has a video playback function.
  • the present invention does not use an approach to produce or convert content to be reproduced into 3D video and then reproduce it.
  • the means for reproducing moving image content is stereoscopic.
  • Conventional video player is implemented in a two-dimensional plane that exists only the x axis and y axis.
  • the movie viewer of the present invention plays a video in a three-dimensional space in which the z axis exists.
  • the interactive system in the present invention does not refer to interactive video. What is interactive is the new 3D movie viewer.
  • Another object of the present invention is to propose a method of playing a video without using a media player installed in an electronic device. By not using a media player, you can be free from codec technology. In addition, it is possible to create an environment in which other content is available through a user interface while playing a video.
  • another object of the present invention is to provide a technical environment in which a content provider can push and provide moving image content to an electronic device through a communication network.
  • the inventors of the present invention have developed a technology for automatically playing the video without the user's operation.
  • the present invention is optimized for the playback of video content with a short playback period.
  • the technical idea of the present invention will particularly shine when pushing advertising content to electronic devices or providing informational or promotional content.
  • the present invention may be intended as an optimal solution for short video advertisements or movie teaser advertisements within 30 seconds.
  • a first aspect of the present invention for solving the above problems is a video playback method using a 3D interactive movie viewer in response to a touch input:
  • the step (a) the input means of the electronic device is a movie viewer and the image sequence integrally It may be to select the combined video content or to automatically select the video content in which a movie viewer and an image sequence are integrally selected when an action event occurs through an application of the electronic device.
  • the action event is a transmission and reception event of a text message, a transmission and reception event of a notification message, the start of running the application It may correspond to any one of an event, an end event at which the application is terminated, an event for executing a specific function at a predetermined time point, and a function performance event determined according to the setting of the application.
  • the movie viewer is:
  • the developer terminal executes the 3D production software to model the frame shape in a virtual 3D space having an x-axis, a y-axis and a z-axis to undergo a shaping operation;
  • the frame and image sequence of the movie viewer may be integrally combined by a procedure including registering the continuous image sequence in the viewer area of the movie viewer and defining and coding a displacement event corresponding to a touch. have.
  • the displacement event of step (c) is the (x, y, z) coordinates of the movie viewer May be changed to the coordinates seen by the virtual camera lens corresponding to the user's point of view according to the touch event of the input means of the electronic device.
  • the display apparatus may further include a 3D interactive movie viewer responsive to touch input, further comprising displaying advertisement content as a text or an image through the rear region of the exposed movie viewer.
  • the method may further include executing an input event for calling another function through a user interface of the electronic device in an area other than the movie viewer.
  • the electronic device may be a smart phone, a tablet PC or a wearable device capable of touch input through a touch panel have.
  • the electronic device may be an IoT device capable of touch input through a touch panel.
  • a second aspect of the invention is a method of generating a 3D interactive movie viewer responsive to touch input:
  • step (d) coordinates of an electronic device of the movie viewer are (0, 0, 0). And setting the coordinates of the movie viewer according to the touch event of the input means of the electronic device.
  • a third aspect of the present invention is a method of executing an animation while playing a video using a 3D interactive movie viewer responsive to a touch input:
  • step (c) displacing a preset 3D object to virtual Z-axis coordinates through the inner or outer region of the movie viewer during the execution of step (b);
  • a fourth aspect of the present invention is a method of adding animation while generating a 3D interactive movie viewer in response to a touch input:
  • the user can freely rotate the front and back of the movie viewer showing the video, and can freely implement three-dimensional displacement, such as zoom in / zoom out along the z-axis in three-dimensional space
  • three-dimensional displacement such as zoom in / zoom out along the z-axis in three-dimensional space
  • a specific portion of the video screen may be enlarged out of the movie viewer, or various 3D renderings may be implemented in connection with content produced separately from the video content through the movie viewer. This makes it possible to express excellent realism and realism.
  • the present invention has the advantage that the movie viewer does not need a separate codec for playing the video since the image sequence is shown sequentially. Therefore, the viewer and the media player of the present invention can be used at the same time, even if the image sequence is sequentially seen by the viewer, it is possible to execute another app or perform other tasks with the electronic device.
  • the video can be automatically executed in the user terminal in the form of a push.
  • the video content of the present invention may be pushed to the user screen at a specific time, such as when a text message is received, when the app is executed, or when the app is terminated.
  • another effect of the present invention is that the movie viewer has a three-dimensional interactive displacement in response to the user's touch.
  • the rear region of the movie viewer may be exposed to the user screen, and a new advertisement method may be provided through the exposed region.
  • FIG. 1 is a view showing a concept of extracting a sequence image and a sound from a video file in the present invention.
  • FIG. 2 is a diagram schematically illustrating a procedure of creating a 3D interactive movie viewer according to an exemplary embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a scenario in which an animation function set according to an exemplary embodiment of the present invention is executed in a movie viewer.
  • FIG. 4 is a diagram schematically illustrating an internal configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 5 is a schematic representation of the overall process of a method according to one preferred embodiment of the present invention.
  • FIG. 6 to 8 illustrate examples of a scenario in which the 3D interactive movie viewer 100 is output on the user screen 1 of the mobile device according to an embodiment of the present invention
  • FIG. 7 illustrates that the movie viewer 100 is zoomed out.
  • FIG. 8 is a diagram illustrating a scenario in which the movie viewer 100 is rotated.
  • video files are played through a media player installed in an electronic device.
  • Video files stored in memory can be played by the media player, or external videos can be streamed by the media player.
  • the media player receives an input of Play, Pause, Forward, Rewind, etc. by a user's operation, and executes a predetermined function in response to the input. While the media player plays the video file, the input / output of other functions of the electronic device is interrupted. The input and output of the other function instructs the media player to stop playing. It is difficult for multiple media players to run simultaneously.
  • the codec must be installed to play the video file in the media player.
  • ⁇ video content> referred to herein should be understood as a file that does not use a codec. As will be discussed in detail below, it refers to content integrated with the viewer.
  • the ⁇ movie viewer> referred to in the present specification is a player integrated with content showing a video, and is preferably a 3D interactive movie viewer which is driven by a 3D engine and displaced in three dimensions in response to a touch input.
  • FIG. 1 conceptually illustrates an initial process for creating moving image content in the present invention.
  • a continuous image sequence 51 and sound 52 are extracted from a normal video file 50 stored in the computer's memory. It is preferable that the work of FIG. 1 is performed by a developer terminal. You can use the editor to extract still images and sounds from video. At this time, the arrangement of the image sequence 51 is important.
  • the image sequence 51 should be integrated with the 3D interactive movie viewer and driven by driving the 3D engine of the electronic device. In order to be loaded quickly in the 3D engine, it is preferred that successive images be extracted at a resolution of 2 n .
  • an image sequence 51 may be generated by extracting a continuous image at 256 ⁇ 256 resolution from the video file 50. In the case of increasing the resolution, the image sequence 51 can be extracted with a resolution of 512 x 512. For the same reason, it is preferable to arrange the image sequence 51 in 2 n for rapid loading in the 3D engine.
  • one image file having a high resolution of 2048x2048 may be created by arranging 4x4 at 512x512 resolution.
  • an image file having a resolution of 2048 ⁇ 2048 may be created by arranging images of 256 ⁇ 256 resolution in 8 ⁇ 8. But in this case, one image file with 64 sequences is created. That is, a technical disadvantage that the loading time is longer due to the larger size of one image file.
  • the image sequence is extracted at a resolution of 2 n, but the resolution and the image of the original video file 50 may be ignored.
  • the sequence image produced by the multiplier of 2 is generated. It is automatically shown in its original size.
  • the image sequence 51 will be shown sequentially in the frame of the movie viewer, which should provide a function such as playing a video. Therefore, the continuous image sequence 51 should be configured to be shown without interruption like a video.
  • a typical video consists of 24 (or 30) frames per second.
  • this 1024 ⁇ 1024 image file has only 16 sequence images, so it can play only about 666 milliseconds (millisecond, 1/1000 second). 666ms).
  • this can be configured.
  • play a single 1024 ⁇ 1024 image file then call 1024 ⁇ 1024 image file that contains the next 16 sequence images after 666ms, and a total of 720 sequence images saved as 45 1024 ⁇ 1024 image files Configure to show continuously. You can then implement features such as video playback.
  • the developer's computer terminal executes the 3D production software to model the frame shape in the virtual 3D space having the x-axis, the y-axis, and the z-axis (S100).
  • the 3D production software used at this time can use well-known software tools, such as 3D Max. Such software tools are known as PC-based software for creating 3D objects.
  • step S100 the frame is modeled according to the characteristics and the aspect ratio of the video file 50 of FIG. 1.
  • a rectangular or hexahedron is combined to give the width (x), height (y), and thickness (z) values, respectively. It also defines the screen area where the sequence of images is displayed in succession, that is, the viewer area for playing the video sequence.
  • This step is a step of mapping an identification image to a frame, for example, by applying a material to a frame or displaying a texture to give a frame a sense of reality.
  • the identification image of step S110 is not limited to the image to give a material or texture, it may include an advertising or promotional image. You can also add text as well as images. For example, the brand, logo, or phrase of a specific product or company may be included as an identification image. If there is no identification image mapping step of S110, the movie viewer of the present invention will only appear in a solid square on the screen of the electronic device.
  • the identification image of step S110 may be transparently processed so that all or part of the identification image is not visible on the user screen.
  • an image sequence may be mapped to be displayed through the viewer area, and only some text and / or images may be visualized on the user screen in the frame area.
  • the movie viewer of the present invention does not necessarily have a frame that is visually represented.
  • the configuration of the back region of the movie viewer will also be defined.
  • the modeling file of the movie viewer is exported to the 3D engine format (S120).
  • the animation function is set by connecting the 3D object with the video content.
  • the image sequence of the video content is integrated with the movie viewer through a modeling process, which is a 2D image, not a 3D image.
  • the present invention does not make the movie file into a 3D image, but allows the movie viewer to have a 3D displacement, which constitutes the first stereoscopic displacement.
  • the 3D object constitutes a second stereoscopic displacement. It may have various embodiments as follows in relation to video content displayed through a movie viewer with a first stereoscopic displacement:
  • the 3D object is output while the video content is playing (the presentation start coordinates may be located inside or outside the movie viewer);
  • the 3D object is output within a predetermined time after the video content is finished.
  • a visual element connected to the 3D object among the video content may be determined.
  • the 3D object allows the shape, color, and shape change with time to be configured to correspond to the visual element.
  • the displacement of the coordinates of the 3D object corresponds to the change of the position of the corresponding visual element of the image sequence, and the 3D object at this time may express the Z-axis displacement of the predetermined visual element of the video content.
  • the time and coordinate values at which the 3D object is displayed by replacing the corresponding visual element may be set in advance. As a result, this visual element can be represented as having virtual Z axis coordinates for each successive sequence image.
  • the image sequence is not configured such that the entire image sequence of the moving image content has stereoscopic displacement or the specific region of the image has stereoscopic displacement.
  • the 3D object visually replaces a particular visual element of the video content, so that the visual element only appears to have steric displacement.
  • a conceptual scenario is shown as to how the animation function set in step S120 is played on the device screen.
  • a visual element 125 to which a 3D object is connected among the video sequences reproduced in the viewer area 110 of the movie viewer 100 is called a ball. It may be a soccer ball, a baseball ball, or a golf ball.
  • the developer prepares a separate 3D object resource corresponding to the visual element 125 called a ball.
  • the 3D object corresponding to the visual element 125 may be displayed on the screen at a predetermined time point and a scheme.
  • the visual element 125 in FIGS. 3 (a) and 3 (b) is located in the viewer area 110 of the movie viewer 100, and the visual element 125 in FIGS. 3 (c) and 3 (d). Is located outside the viewer area 110 of the movie viewer 100.
  • the visual element 125 connected to the 3D object has a stereoscopic displacement.
  • the visual element 125 may be visually enlarged while the video is playing, and may be configured to leave the frame of the movie viewer 100.
  • the animation function there will be no visual element with stereoscopic displacement, and it will play according to the original video image.
  • the video and the 3D object are to be expressed differently from a simple video viewed by a general video player, it is preferable that the above-described animation work is performed. For example, if there is a video content advertising a golf ball, the golf ball can move only on the screen when the driver hits the ball in the existing video, but if the animation is made in conjunction with a 3D object, the golf ball hit by the driver will pop out of the screen. can do.
  • the animation setting according to the embodiment (2) may be configured such that the 3D object is output while the video content is played.
  • the specific visual element of the moving image content may not be connected with the 3D object.
  • the 3D object prepared as a separate resource may be configured to be displayed on the user screen of the device regardless of the contents of the video content.
  • the presentation time and the presentation coordinates of the 3D object may be predetermined.
  • the 3D object is displayed at a predetermined viewpoint and area, thereby enabling various productions.
  • 3D objects can be displayed inside and / or outside of the movie viewer.
  • the animation setting according to the embodiment (3) will be described.
  • the 3D object may be displayed on the device screen.
  • the advertisement model made of the 3D object may be displayed on the screen by the 3D technique.
  • this animation can be done in a keyframe fashion.
  • a video of 1 second is usually composed of 30 (or 24) continuous images, and one image or one image constituting the video is a video frame.
  • the distant golf ball may appear to fly in front of the eye for 1 second. In this way, various movements such as movement, scaling, rotation, and deformation can be generated based on three axes within a set time.
  • the exporter can be used as a plug-in produced by the 3D engine manufacturer.
  • the modeling file may be generated as a file having an extension of hwm
  • the animation may be generated and exported as a file having a finalizer of hwa.
  • the developer terminal imports the 3D modeling file of the exported movie viewer, the image sequence file of FIG. 1, and the related resources such as a sound file, and registers them as an object to be utilized in a virtual space (S130).
  • This task is preferably a scripting language.
  • the inventors mounted the file using the Lua programming language.
  • the 3D engine registers modeling files, image sequence files, and sound files as resources in Lua code for use by the 3D engine.
  • the resource type and the directory of the file are registered together. By registering the file in this way, the resource is loaded into the memory of the electronic device so that the movie viewer can be displayed quickly.
  • the programming language of the present invention is not necessarily limited to the Lua language, and other known languages or new languages in the software field can be used as long as the functions are equivalent.
  • the developer may integrate a movie viewer and an image sequence and perform a programming operation of generating a video content of the present invention having an interactive displacement in a virtual 3D space (S140). Map a frame and image sequence in the movie viewer, and code the video content.
  • S140 virtual 3D space
  • the image sequence is registered on the virtual screen of the movie viewer (viewer region of the movie viewer) through mapping to the image sequence, thereby displaying the image sequence loaded in the memory of the electronic device through the viewer region of the corresponding video viewer.
  • the successive image sequences are displayed one by one in rapid succession, so that users experience the same effect as watching a video.
  • Coding can involve two major programming tasks. As described above, by displaying a sequence of images in the order of the viewer area of the movie viewer, the video is encoded so that one movie is played, and a movie viewer having coordinates of (x, y, z) generates a displacement event in response to a user's touch event. To have it coded.
  • the latter programming task is to install a virtual camera that is the user's point of view in a virtual 3D space and define an image of a movie viewer in a 3D space viewed through the virtual lens of the camera. Through this, the virtual camera moves according to the touch input of the electronic device with respect to the movie viewer, thereby making interactive zoom-in, zoom-out, movement, and rotation displacement of the movie viewer through the camera lens.
  • the movie viewer is programmed to have a 3D interactive function.
  • the movie viewer is basically generated with coordinates of (0, 0, 0), and the visualization in the electronic device is configured to be viewed through a virtual camera corresponding to the viewpoint of the user.
  • the default coordinate of the movie viewer is (0, 0, 0), which means the first user's point of view viewed through the lens of the virtual camera. Therefore, when the movie viewer is executed, the movie viewer is first positioned at (0, 0, 0) coordinates, that is, the center of the user screen of the electronic device.
  • the virtual camera is the means of zooming in and out.
  • the virtual camera is set up in a virtual 3D space using the lua language.
  • the initial coordinates of the movie viewer viewed through the virtual lens of the virtual camera are defined, and the coordinate values of the movie viewer viewed according to the displacement of the lens are registered.
  • the virtual camera corresponding to the user's point of view approaches the movie viewer along the z-axis, the virtual camera appears to be enlarged, and conversely, the virtual camera appears to be reduced by moving away from the movie viewer along the z-axis.
  • the limits of zoom in and zoom out can be set in advance.
  • the virtual camera rotates around the x and y axes, and the user's viewpoint, which is the lens viewpoint of the virtual camera, is rotated. This allows you to see the back of the movie viewer.
  • the developer can build a program that can be viewed on the user's electronic device and test the video to see if it looks right and syncs with the sound to complete the video content that is integrated with the movie viewer.
  • the electronic device is not limited to the type as long as the processor can perform an electronic response.
  • the mobile device is a smart phone, a tablet PC, or a wearable device capable of touch input through a touch screen.
  • it may be an Internet of Things device having a touchpad screen capable of touch input.
  • a refrigerator with a touch panel, a landline phone, a home network device, a terminal device such as a navigation device installed in an automobile, and a kiosk device may be included.
  • the electronic device includes a processor 10, a touch panel 20, an input device 30, and a memory 40.
  • Various other I / O devices, camera modules, power supplies, communication modules, and sensors may be included.
  • the input device 30 is a means for contacting the touch panel 20 to input a selection or a gesture.
  • This can usually be understood as the user's finger, but as a technical component, it means an independent physical characteristic derived from the human body. For example, a physical stimulus, a capacitance, an infrared ray, an ultrasonic wave, and various other physical characteristics that apply pressure to the surface of the touch panel 20 determine the input device 30. It may be a finger or a stylus pen.
  • the touch panel 20 receives a touch event applied from the input device 30.
  • various types of touch sensing mechanisms are implemented in the display device.
  • a reduced pressure method, a capacitive method, an infrared method, an ultrasonic method and the like are known.
  • the memory 40 of the electronic device generally provides a place for storing computer code and data used for the mobile device 100.
  • internal memory 40 may be firmware for a device, such as a basic input / output system, operating system, various programs, applications, or any other routines including user interface functions running on the device, processor functions, and the like. Can be stored.
  • the memory 40 stores the 3D engine 44, the media player 43, the application 42, and the moving image content 41.
  • the 3D engine 44 installed in the device enables the three-dimensional displacement of the movie viewer of the present invention.
  • the media player 43 means a player that plays a normal video file. It is not essential in the configuration of the present invention. However, in order to distinguish it from the moving image content 41, it is shown in the figure. As described above, the moving image content 41 is an image sequence integrated with the viewer, and even if the moving image content 41 is called, the processor 10 does not instruct the execution of the media player 43. The processor 10 does not recognize the moving image content 41 as a moving image file but regards the moving image content as an executable file. The moving image content 41 is not strictly reproduced but executed. From the point of view to the user, it is the same as playing a video file, but actually shows a sequence of images sequentially.
  • the application 42 is software that allows the device to perform various independent functions.
  • the application 42 may be one in an electronic device, and may be plural in various forms.
  • the meaning of application 42 in the figure relates to the selection of moving image content.
  • the video content 41 may be configured in conjunction with the execution of the application 42 or included as a module included in the function of the application.
  • the application 42 executes a specific function or set of functions. Let's express the specific function as ⁇ action event>.
  • the video content 41 may be automatically selected when an action event of the application 42 occurs.
  • the processor 10 executes the above-described video content 41 and sequentially displays the image sequence while visualizing the 3D movie viewer.
  • the action event of the application 42 may be a transmission / reception event of a text message.
  • the processor 10 may pop up the video content 41 integrated with the 3D movie viewer over the user screen so that the image sequence is dynamically displayed in the viewer area.
  • the action event may be an event for transmitting and receiving various notification messages of the application.
  • the action event of the application 42 may be a start event in which the application is executed or an end event in which the application is terminated.
  • the processor 10 may automatically execute a 3D movie viewer to dynamically display an image sequence. Likewise, when the application exits, you can run the 3D movie viewer to automatically display the image sequence.
  • the action event may be an event for executing a specific function at a predetermined time.
  • the processor 10 may execute a 3D movie viewer so that the image sequence is sequentially displayed in the viewer area. have.
  • the moving image content 41 may be set to be executed upon execution of the function.
  • the 3D movie viewer may be executed.
  • the processor 10 executes computer code together with an operating system to generate and use data.
  • the processor 10 may also receive and process input and output data between components of the electronic device by using a series of instructions.
  • the processor 10 controls the processing of the process related to the installation, display and execution of the application software, and in particular, the operating system software ensures the change of the GUI element in the electronic device and is executed by the application software.
  • the processor 10 executes the 3D movie viewer in response to the selection of the input device 30 and the action event of the application 43 to instruct the image sequence to be automatically displayed subsequently. When a touch event occurs by the input device 30, the 3D engine 44 is used to execute a three-dimensional displacement event of the movie viewer.
  • the 3D engine 44 is a specialized programming library structured to create a virtual three-dimensional space and to create and represent a three-dimensional object in an electronic device.
  • the display of the electronic device is basically a plane having only the x and y axes, but the 3D engine 44 generates the z axis to ensure that the three-dimensional object can be displayed through the display of the electronic device.
  • the input device of the electronic device calls the video content (S200).
  • This video content does not have a codec. This is because the video content is itself an executable file coded with a viewer.
  • the input means of the electronic device may automatically execute when an action event occurs through selecting the video content displayed on the user screen or through an application of the electronic device.
  • the processor of the electronic device sequentially displays the image sequence in the viewer area of the movie viewer (S210).
  • the movie viewer of the present invention is constructed integrally with an image sequence, and thus has a different concept from a general media player.
  • the movie viewer automatically plays the image sequence as soon as it is launched.
  • the input means of the electronic device touches the movie viewer to generate a touch event (S220).
  • the user's finger acts as an input means.
  • the touch event may include not only a tap touch by a contact but also a gesture or a multi touch.
  • the region in which the touch event occurs includes a viewer region in which an image sequence is displayed as well as a frame of the movie viewer.
  • the touch event may include zooming in on the movie viewer with two fingers, zooming out the movie viewer with two fingers, and rotating the movie viewer using one or two fingers.
  • the processor of the electronic device executes the registered displacement event using the 3D engine (S230).
  • the displacement event may be any one of zoom in, zoom out, movement, and rotational displacement.
  • the rotation displacement may be a concept including not only 360 degree rotation but also rotation while being zoomed in and rotated and zoomed out.
  • FIG. 6 illustrates an actual scenario of a 3D interactive movie viewer displayed on a screen of a mobile device according to an embodiment of the present invention.
  • the movie viewer 100 pops up and floats on the user screen 1 as shown in FIG.
  • This movie viewer 100 itself is moving picture content.
  • the movie viewer 100 may include a viewer region 110, a frame region 131, and identification image regions 130 and 135.
  • the identification image area 130 may include text.
  • the identification image area 130 may represent an image including a trade name or a professional phrase of a car maker.
  • the identification image region 135 may include a picture image.
  • the face of the model of the car advertisement may be displayed through the identification image region 135, or the picture image of the car may be displayed. Advertisement can be made through the identification image region 135.
  • the image sequence in the viewer area 110 is a teaser image of the movie
  • the image in the identification image area 135 may be a photographic image of the lead actor.
  • the advertisement through the identification image region 135 may be directly associated with the image sequence, thereby increasing the advertisement effect. This is because the image and video sequence of the identification image region 135 can be made together as described above.
  • the movie viewer 100 is not a media player but a new content for displaying image sequences sequentially, so that the other icons 200 of the user screen 1 are touched even when the movie viewer 100 is executed.
  • the image sequence is sequentially displayed through the viewer area 110. Coded sound can also be output.
  • the image sequence is automatically displayed as a movie automatically, and preferably does not provide a user interface for manipulating the movie viewer 100.
  • the user may generate various touch events while touching the movie viewer 100 with a finger.
  • the movie viewer 100 may be enlarged, reduced, moved, and rotated.
  • a touch event may occur in the entire area of the movie viewer 100.
  • 7 illustrates an interactive scenario in which the movie viewer 100 is enlarged
  • FIG. 8 illustrates an interactive scenario in which the movie viewer 100 is rotated.
  • a zoom-in displacement event is executed in response to the touch event.
  • the movie viewer (x, y, z) position coordinates shown by the virtual camera of the movie viewer 100 are changed to enlarge the movie viewer 100 as shown in FIG. 7.
  • the touch gesture in the drawing is not a touch event for the image sequence 120, but a touch event for the movie viewer 100 itself.
  • the frame size of the movie viewer 100 is the same, but the image sequence is not enlarged. As the visual size of the movie viewer 100 itself becomes larger, not only the viewer region 110, the identification image regions 130 and 135, but also the image sequence are large. If a touch event is input in the opposite direction to the arrow of FIG. 6, in response to this, the movie viewer 100 will show a zoom out displacement event.
  • FIG 8 illustrates a case in which a user inputs a gesture of rotating the movie viewer 100 by touching it with a finger.
  • the movie viewer 100 executes the rotation displacement event in response to the touch event.
  • the rear region 140 of the movie viewer 100 may be exposed on the user screen.
  • the back region 140 may display advertisement content composed of text and / or images.
  • a new advertising business model can be implemented.
  • a movie teaser image may be displayed in the viewer region 110, which is the front region.
  • the rear region 140 may be provided with a link for booking a corresponding movie, or may be movie information and discount ticket information.
  • the identification image areas 130 and 135 may be displayed as shown in the front screen of FIG. 6.
  • 3 and 6 to 8 illustrate that the movie viewer is executed on the home screen of the mobile device, the movie viewer may be executed within various app screens.
  • a specific function for example, sending or receiving a text message
  • the movie viewer may be displayed on the function execution screen.
  • the image sequence is reproduced sequentially in the viewer region 110.
  • a method of displaying a video sequence and a method of generating a movie viewer using a movie viewer may be implemented in the form of program instructions that can be executed by various computer means and recorded on a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the media may be those specially designed and constructed for the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer readable media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs, DVDs, magnetic-optical media such as floppy disks, and ROM, RAM, Hardware devices specifically configured to store and execute program instructions, such as flash memory, may be included.
  • Examples of program instructions include machine code, such as produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to: a video playback method using a 3D interactive movie viewer responsive to touch input; and a creation method of the movie viewer. The video playback method of the present invention comprises the steps in which: (a) an input means of an electronic device does not use a codec and calls video content in which a movie viewer and an image sequence are integrally combined; (b) a processor of the electronic device sequentially displays the image sequence in a viewer region of the movie viewer installed in the electronic device; and (c) if the input means of the electronic device touches the movie viewer, the movie viewer carries out, in response to the touch event, any one displacement event among zoom-in, zoom-out, movement and rotation displacements. In addition, a 3D object which is preset in the image sequence includes a function of displacement into a virtual Z-axis coordinate at the inside or outside of the movie viewer.

Description

터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법 및 동영상을 재생하면서 애니메이션을 추가하는 방법How to play video using 3D interactive movie viewer responding to touch input and how to add animation while playing video
본 발명은 스마트 디바이스에서 동영상을 재생하는 방법에 관한 것이다. The present invention relates to a method for playing a video on a smart device.
전자 기기를 통해서 3D 영상을 재생하는 기술은 널리 알려져 있다. 이런 기술들은 3D 영상으로 재생되기 위해서 특별하게 제작된 3D 영상 파일이 존재하거나 3D 영상을 재생하는 수단이 전자 기기에 존재해야 한다. TV 방송 수신기에서 3D 영상을 재생하는 기술이 상용화되어 있으며, 모바일 게임에서도 3D 영상을 이용하기 위한 다양한 시도가 진행돼 왔다. Techniques for reproducing 3D images through electronic devices are well known. These technologies require that specially crafted 3D image files exist in order to play back 3D images, or that the means for playing back 3D images must exist in electronic devices. The technology of playing 3D video on TV broadcast receivers has been commercialized, and various attempts have been made to use 3D video in mobile games.
그러나 전자 기기에서 사용되는 영상의 대부분은 여전히 2D 영상이다. 모바일 기기에서 스트리밍 되거나 다운로드 되는 영상 파일들은 코덱을 사용하여 모바일 기기에 내장된 미디어 플레이어에서 재생되었다. 많은 개발자는 2D 영상에 깊이를 부여하여 3D 영상으로 변환하는 컨버터기술을 개발하여 이를 상용화하고자 노력했다. 하지만 시간과 노력이 너무 많이 소요되고 있다. 또한 프로세서에 부하를 주는 문제가 해결되어야 하는 등 여전히 기술적 난관이 있다. 더욱이 3차원 영상 파일이 있어야 할뿐더러, 3D 파일을 지원하는 미디어 플레이어가 디바이스에 설치되어야 한다. However, most of the images used in electronic devices are still 2D images. Video files streamed or downloaded from a mobile device were played using a codec using a media player embedded in the mobile device. Many developers have tried to commercialize the converter technology to give depth to 2D video and convert it to 3D video. But it takes too much time and effort. There are still technical challenges, such as the problem of loading the processor. Moreover, not only should there be 3D video files, but also media players supporting 3D files must be installed on the device.
이와 같이 이제까지의 접근 방법은 미디어 플레이어에서 3차원으로 동영상 파일을 재생하는 것이었다. 하지만 앞서 언급한 기술적인 난관이 있을 뿐만 아니라, 미디어 플레이어가 3D 영상을 재생할 때 전자 기기에서 다른 콘텐츠의 이용이 불가능하다는 문제점이 있었다. 또한 미디어 플레이어가 영상을 재생 중에 있을 때에는 사용자의 반응(예컨대 터치이벤트)에 인터렉티브하게 응답할 수 없었다. 미디어 플레이어는 사용자의 반응을 동영상의 재생과 중단으로 해석하기 때문이다. 전자 기기는 인터렉티브하게 다양한 콘텐츠를 사용자에게 제시할 수 있는 장점이 있지만, 그 장점은 동영상을 입체적으로 재생하려는 순간 상실되고 만다. Thus far, the approach has been to play video files in three dimensions in a media player. However, in addition to the technical difficulties mentioned above, there is a problem that other contents are not available in an electronic device when a media player plays 3D images. Also, when the media player was playing the video, it could not interactively respond to the user's response (eg, touch event). This is because the media player interprets the user's reaction as playing and stopping the video. Electronic devices have the advantage of presenting a variety of interactive content to the user, but the advantage is lost the moment you try to play the video in three dimensions.
본 발명의 발명가들은 위와 같은 문제점들을 해결하기 위하여 오랫동안 연구노력한 끝에 완전히 새로운 접근이 가능하다는 결론에 이르러 본 발명을 완성하게 되었다. The inventors of the present invention have come to the conclusion that a completely new approach is possible after long research efforts to solve the above problems.
본 발명의 목적은 새로운 무비 뷰어를 제공함에 있다. 이 무비 뷰어는 입체적인 변위를 가지며, 그 변위가 사용자의 터치 입력에 반응함과 동시에 동영상 재생 기능을 갖는다. 요컨대 본 발명은 재생되는 콘텐트를 3D 영상으로 제작하거나 변환한 다음에 그것을 재생하려는 접근 방법이 사용하지 않는다. 동영상 콘텐트를 재생하는 수단 자체를 입체화하는 것이다. 종래의 동영상 플레이어는 x축과 y축만 존재하는 2차원 평면에서 구현되었다. 본 발명의 무비 뷰어는 z축이 존재하는 3차원 공간에서 동영상을 재생한다. 또한 본 발명에서의 인터랙티브 시스템은 인터랙티브 비디오를 지칭하는 것이 아니다. 인터랙티브한 것은 신규한 3D 무비 뷰어이다.An object of the present invention is to provide a new movie viewer. This movie viewer has a three-dimensional displacement, and the displacement responds to a user's touch input and has a video playback function. In short, the present invention does not use an approach to produce or convert content to be reproduced into 3D video and then reproduce it. The means for reproducing moving image content is stereoscopic. Conventional video player is implemented in a two-dimensional plane that exists only the x axis and y axis. The movie viewer of the present invention plays a video in a three-dimensional space in which the z axis exists. In addition, the interactive system in the present invention does not refer to interactive video. What is interactive is the new 3D movie viewer.
본 발명의 다른 목적은 전자 기기에 설치된 미디어 플레이어를 사용하지 않고 동영상을 재생하는 방법을 제안함에 있다. 미디어 플레이어를 사용하지 않음으로써 코덱기술로부터 자유로워질 수 있다. 또한, 동영상을 재생하는 동안에도 사용자 인터페이스를 통해서 다른 콘텐트를 이용할 수 있는 환경을 만들 수 있다. Another object of the present invention is to propose a method of playing a video without using a media player installed in an electronic device. By not using a media player, you can be free from codec technology. In addition, it is possible to create an environment in which other content is available through a user interface while playing a video.
또한 본 발명의 또 다른 목적은 콘텐트 제공자가 통신망을 통해서 전자 기기로 동영상 콘텐트를 푸시하여 제공할 수 있는 기술환경을 제공함에 있다. 이를 위해서 본 발명의 발명가들은 사용자의 조작 없이 동영상이 자동으로 재생되도록 하는 기술을 개발하였다. 이는 본 발명이 재생기간이 짧은 동영상 콘텐트의 재생에 최적화되어 있음을 뜻한다. 따라서 본 발명의 기술사상은 광고 콘텐트를 전자 기기에 푸시하거나 정보성 혹은 홍보성 콘텐트를 제공할 때 특히 빛을 발할 것이다. 예컨대 본 발명은 30초 이내의 짧은 동영상 광고나 영화 티저 광고에 대한 최적의 솔루션으로 의도될 수 있다.In addition, another object of the present invention is to provide a technical environment in which a content provider can push and provide moving image content to an electronic device through a communication network. To this end, the inventors of the present invention have developed a technology for automatically playing the video without the user's operation. This means that the present invention is optimized for the playback of video content with a short playback period. Accordingly, the technical idea of the present invention will particularly shine when pushing advertising content to electronic devices or providing informational or promotional content. For example, the present invention may be intended as an optimal solution for short video advertisements or movie teaser advertisements within 30 seconds.
한편, 본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 것이다.On the other hand, other unspecified objects of the present invention will be further considered within the range that can be easily inferred from the following detailed description and effects.
위와 같은 과제를 해결하기 위한 본 발명의 제 1 국면은 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법으로서:A first aspect of the present invention for solving the above problems is a video playback method using a 3D interactive movie viewer in response to a touch input:
(a) 전자 기기의 입력수단이 코덱을 사용하지 않으며 무비 뷰어와 이미지 시퀀스가 일체로 결합되어 있는 동영상 콘텐트를 호출하는 단계;(a) invoking moving image content in which the input means of the electronic device does not use a codec and the movie viewer and the image sequence are integrally combined;
(b) 상기 전자 기기의 프로세서가 상기 전자 기기에 설치되어 있는 상기 무비 뷰어의 뷰어 영역에서 상기 이미지 시퀀스를 순차적으료 표시하는 단계; 및(b) the processor of the electronic device sequentially displaying the image sequence in the viewer area of the movie viewer installed in the electronic device; And
(c) 상기 전자 기기의 입력수단이 상기 무비 뷰어를 터치하는 경우, 그 터치이벤트에 반응하여 상기 무비 뷰어가 줌인, 줌아웃 및 회전변위 중 어느 하나의 변위이벤트를 실행하는 단계를 포함하는 것을 특징으로 한다.(c) when the input means of the electronic device touches the movie viewer, the movie viewer executing a displacement event of any one of zoom-in, zoom-out, and rotation displacement in response to the touch event. do.
또한, 본 발명의 바람직한 어느 실시예에 따른 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법에 있어서, 상기 (a) 단계는, 상기 전자 기기의 입력수단이 무비 뷰어와 이미지 시퀀스가 일체로 결합되어 있는 동영상 콘텐트를 선택하거나, 상기 전자 기기의 애플리케이션을 통해 액션 이벤트가 발생할 때 자동으로 무비 뷰어와 이미지 시퀀스가 일체로 결합되어 있는 동영상 콘텐트가 선택되도록 하는 것일 수 있다. In addition, in the video playback method using a 3D interactive movie viewer in response to a touch input according to an embodiment of the present invention, the step (a), the input means of the electronic device is a movie viewer and the image sequence integrally It may be to select the combined video content or to automatically select the video content in which a movie viewer and an image sequence are integrally selected when an action event occurs through an application of the electronic device.
또한, 본 발명의 바람직한 어느 실시예에 따른 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법에 있어서, 상기 액션 이벤트는, 문자 메시지의 송수신 이벤트, 알림 메시지의 송수신 이벤트, 애플리케이션이 실행되는 기동 이벤트, 애플리케이션이 종료되는 종료 이벤트, 미리 정해진 시점에 특정 기능을 실행하는 이벤트 및 애플리케이션의 설정에 따라 정해지는 기능 수행 이벤트 중 어느 하나에 해당하는 것일 수 있다.In addition, in the video playback method using a 3D interactive movie viewer in response to a touch input according to an embodiment of the present invention, the action event is a transmission and reception event of a text message, a transmission and reception event of a notification message, the start of running the application It may correspond to any one of an event, an end event at which the application is terminated, an event for executing a specific function at a predetermined time point, and a function performance event determined according to the setting of the application.
또한, 본 발명의 바람직한 어느 실시예에 따른 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법에 있어서, 상기 무비 뷰어는:In addition, in the video playback method using a 3D interactive movie viewer in response to a touch input according to an embodiment of the present invention, the movie viewer is:
(1) 개발자 단말이 3D 제작 소프트웨어를 실행하여 x축, y축 및 z축을 가지는 가상의 3D 공간에서 프레임 형태를 모델링하여 형태화 작업을 거칠 것;(1) the developer terminal executes the 3D production software to model the frame shape in a virtual 3D space having an x-axis, a y-axis and a z-axis to undergo a shaping operation;
(2) 형태화 작업을 거친 프레임에 식별 이미지를 매핑하고 3D 엔진용 포맷으로 익스포팅할 것;(2) map identifying images to formatted frames and export them to a format for the 3D engine;
(3) 연속된 이미지 시퀀스, 사운드 파일, 모델링 파일을 리소스로 등록할 것; 및(3) register consecutive image sequences, sound files, and modeling files as resources; And
(4) 상기 연속된 이미지 시퀀스를 상기 무비 뷰어의 뷰어 영역에 등록하며 터치에 대응하는 변위 이벤트를 정의하여 코딩할 것을 포함하는 절차에 의해 무비 뷰어의 프레임과 이미지 시퀀스가 일체로 결합되도록 하는 것일 수 있다.(4) The frame and image sequence of the movie viewer may be integrally combined by a procedure including registering the continuous image sequence in the viewer area of the movie viewer and defining and coding a displacement event corresponding to a touch. have.
또한, 본 발명의 바람직한 어느 실시예에 따른 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법에 있어서, 상기 (c) 단계의 변위 이벤트는, 상기 무비 뷰어의 (x, y, z) 좌표를 상기 전자 기기의 입력수단의 터치이벤트에 따라 사용자 시점에 대응하는 가상의 카메라 렌즈에 의해 보여지는 좌표로 변경하는 것일 수 있다.In addition, in the video playback method using a 3D interactive movie viewer in response to a touch input according to an embodiment of the present invention, the displacement event of step (c) is the (x, y, z) coordinates of the movie viewer May be changed to the coordinates seen by the virtual camera lens corresponding to the user's point of view according to the touch event of the input means of the electronic device.
또한, 본 발명의 바람직한 어느 다른 실시예에 따른 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법에 있어서, (d) 상기 (c) 단계에서 상기 무비 뷰어의 변위 이벤트가 회전변위인 경우에, 노출되는 상기 무비 뷰어의 뒤쪽 영역을 통해서 텍스트 또는 이미지로 광고 콘텐트를 표시하는 단계를 더 포함하는, 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 포함할 수 있다.In addition, in the video playback method using a 3D interactive movie viewer in response to a touch input according to another preferred embodiment of the present invention, (d) when the displacement event of the movie viewer in the step (c) is a rotational displacement The display apparatus may further include a 3D interactive movie viewer responsive to touch input, further comprising displaying advertisement content as a text or an image through the rear region of the exposed movie viewer.
또한, 본 발명의 바람직한 어느 실시예에 따른 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법에 있어서, 상기 무비 뷰어를 통해서 이미지 시퀀스가 순차적으로 표시되는 동안, In addition, in the video playback method using a 3D interactive movie viewer in response to a touch input according to an embodiment of the present invention, while the image sequence is sequentially displayed through the movie viewer,
상기 무비 뷰어 이외의 영역의 상기 전자 기기의 사용자 인터페이스를 통해서 다른 기능을 호출하는 입력 이벤트를 실행하는 단계를 더 포함할 수 있다.The method may further include executing an input event for calling another function through a user interface of the electronic device in an area other than the movie viewer.
또한, 본 발명의 바람직한 어느 실시예에 따른 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법에 있어서, 상기 전자 기기는 터치패널을 통한 터치입력이 가능한 스마트폰, 태블릿 PC 또는 웨어러블 디바이스일 수 있다.In addition, in the video playback method using a 3D interactive movie viewer in response to a touch input according to an embodiment of the present invention, the electronic device may be a smart phone, a tablet PC or a wearable device capable of touch input through a touch panel have.
또한, 본 발명의 바람직한 어느 다른 실시예에 따른 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법에 있어서, 상기 전자 기기는 터치패널을 통한 터치입력이 가능한 사물 인터넷 디바이스일 수 있다.In addition, in the method of playing a video using a 3D interactive movie viewer responsive to a touch input according to another exemplary embodiment of the present invention, the electronic device may be an IoT device capable of touch input through a touch panel.
본 발명의 제 2 국면은 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 생성하는 방법으로서:A second aspect of the invention is a method of generating a 3D interactive movie viewer responsive to touch input:
(a) 동영상 파일에서 연속적으로 이어지는 이미지 시퀀스를 추출하는 단계;(a) extracting successive image sequences from the moving image file;
(b) 무비 뷰어의 프레임 영역과 뷰어 영역을 정의하여 형태를 모델링하는 단계;(b) modeling a shape by defining a frame area and a viewer area of the movie viewer;
(c) 상기 이미지 시퀀스를 상기 무비 뷰어의 상기 뷰어 영역에 등록하여 매핑하는 단계; 및(c) registering and mapping the image sequence to the viewer area of the movie viewer; And
(d) 상기 무비 뷰어를 프로그래밍하면서 가상의 3D 공간에서 사용자 시점에 대응하는 가상의 카메라를 세팅하고 상기 무비 뷰어에 대한 터치이벤트에 따라 상기 가상의 카메라의 렌즈 변위를 이동시킴으로써 상기 무비 뷰어의 줌인, 줌아웃 및 회전변위 중 어느 하나의 변위이벤트를 실행되도록 코딩하는 단계를 포함하는 것을 특징으로 한다.(d) zooming in the movie viewer by setting a virtual camera corresponding to a user's point of view in a virtual 3D space while programming the movie viewer and moving lens displacement of the virtual camera according to a touch event for the movie viewer; And coding the displacement event of any one of zoom out and rotational displacement to be executed.
또한, 본 발명의 바람직한 어느 실시예에 따른 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 생성하는 방법에 있어서, 상기 (d) 단계는 상기 무비 뷰어의 전자 기기에서의 좌표는 (0, 0, 0)으로 설정하고, 전자 기기의 입력수단의 터치이벤트에 따라 상기 무비 뷰어의 좌표를 변경하는 구성을 더 포함할 수 있다. In addition, in the method of generating a 3D interactive movie viewer responsive to a touch input according to an exemplary embodiment of the present invention, in step (d), coordinates of an electronic device of the movie viewer are (0, 0, 0). And setting the coordinates of the movie viewer according to the touch event of the input means of the electronic device.
본 발명의 제 3 국면은 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 이용하여 동영상을 재생하면서 애니메이션을 실행하는 방법으로서:A third aspect of the present invention is a method of executing an animation while playing a video using a 3D interactive movie viewer responsive to a touch input:
(a) 전자기기의 입력수단이 코덱을 사용하지 않으며 무비 뷰어와 이미지 시퀀스가 일체로 결합되어 있는 동영상 콘텐트를 호출하는 단계;(a) calling the moving image content in which the input means of the electronic device does not use a codec and the movie viewer and the image sequence are integrally combined;
(b) 상기 전자기기의 프로세서가 상기 전자기기에 설치되어 있는 상기 무비 뷰어의 뷰어 영역에서 상기 이미지 시퀀스를 순차적으료 표시하는 단계; (b) sequentially displaying the image sequence in the viewer area of the movie viewer installed in the electronic device by the processor of the electronic device;
(c) 상기 (b) 단계의 실행 중에 미리 설정된 3D 오브젝트가 상기 무비 뷰어의 안쪽 혹은 바깥쪽 영역을 통해서 가상의 Z축 좌표로 변위하는 단계; 및(c) displacing a preset 3D object to virtual Z-axis coordinates through the inner or outer region of the movie viewer during the execution of step (b); And
(d) 상기 전자기기의 입력수단이 상기 무비 뷰어를 터치하는 경우, 그 터치이벤트에 반응하여 상기 무비 뷰어가 줌인, 줌아웃, 이동 및 회전변위 중 어느 하나의 변위이벤트를 실행하는 단계를 포함하는 것을 특징으로 한다.(d) when the input means of the electronic device touches the movie viewer, the movie viewer executing a displacement event of any one of zooming in, zooming out, moving, and rotating displacement in response to the touch event. It features.
또한, 본 발명의 제 4 국면은 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 생성하면서 애니메이션을 추가하는 방법으로서:In addition, a fourth aspect of the present invention is a method of adding animation while generating a 3D interactive movie viewer in response to a touch input:
(a) 동영상 파일에서 연속적으로 이어지는 이미지 시퀀스를 추출하는 단계;(a) extracting successive image sequences from the moving image file;
(b) 무비 뷰어의 프레임 영역과 뷰어 영역을 정의하여 형태를 모델링하는 단계;(b) modeling a shape by defining a frame area and a viewer area of the movie viewer;
(c) 상기 이미지 시퀀스를 상기 무비 뷰어의 상기 뷰어 영역에 등록하여 매핑하는 단계; (c) registering and mapping the image sequence to the viewer area of the movie viewer;
(d) 상기 이미지 시퀀스와는 별도의 리소스를 갖는 3D 오브젝트에 의해 애니메이션 기능을 설정하는 단계; 및(d) setting an animation function by a 3D object having a resource separate from the image sequence; And
(e) 상기 무비 뷰어를 프로그래밍하면서 가상의 3D 공간에서 사용자 시점에 대응하는 가상의 카메라를 세팅하고 상기 무비 뷰어에 대한 터치이벤트에 따라 상기 가상의 카메라의 렌즈 변위를 이동시킴으로써 상기 무비 뷰어의 줌인, 줌아웃, 이동 및 회전변위 중 어느 하나의 변위이벤트를 실행되도록 코딩하는 단계를 포함하는 것을 특징으로 한다.(e) zooming in the movie viewer by setting the virtual camera corresponding to the user's point of view in the virtual 3D space while programming the movie viewer and moving the lens displacement of the virtual camera according to a touch event for the movie viewer; And coding the displacement event of any one of zoom out, movement, and rotational displacement to be executed.
위와 같은 본 발명의 과제해결원리에 따르면, 동영상을 보여주는 무비 뷰어를 사용자가 앞, 뒷면을 자유자재로 돌려 볼 수 있고, 3차원 공간에서 z축을 따라 줌인/줌아웃 등의 입체 변위를 자유롭게 구현할 수 있다는 장점이 있다. 또한 사용자가 원하는 위치에 뷰어를 자유롭게 이동시킬 수도 있다.According to the problem solving principle of the present invention as described above, the user can freely rotate the front and back of the movie viewer showing the video, and can freely implement three-dimensional displacement, such as zoom in / zoom out along the z-axis in three-dimensional space There is an advantage. In addition, the viewer can be moved freely to the desired position.
또한, 동영상 화면의 특정 부분이 무비 뷰어 바깥으로 확대되거나, 무비 뷰어를 통해 동영상 콘텐트와는 별도로 제작된 콘텐트와의 연계하여 다양한 3D 연출을 구현할 수 있다. 이로써 뛰어난 현장감과 실감을 표현할 수 있다.In addition, a specific portion of the video screen may be enlarged out of the movie viewer, or various 3D renderings may be implemented in connection with content produced separately from the video content through the movie viewer. This makes it possible to express excellent realism and realism.
또한, 본 발명은 무비 뷰어는 이미지 시퀀스를 순차적으로 보여주기 때문에 동영상 재생을 위한 별도의 코덱이 필요하지 않다는 장점이 있다. 따라서 본 발명의 뷰어와 미디어 플레이어를 동시에 사용할 수 있게 되며, 뷰어에 의해서 이미지 시퀀스가 순차적으로 보이더라도 다른 앱을 실행하거나 전자 기기로 다른 작업을 할 수 있다.In addition, the present invention has the advantage that the movie viewer does not need a separate codec for playing the video since the image sequence is shown sequentially. Therefore, the viewer and the media player of the present invention can be used at the same time, even if the image sequence is sequentially seen by the viewer, it is possible to execute another app or perform other tasks with the electronic device.
본 발명에 따르면 미디어 플레이어와 달리 재생 버튼을 누르지 않고 자동실행이 가능하다. 따라서 푸시 형태로 동영상을 사용자 단말에서 자동으로 실행될 수 있다. 예컨대 문자 메시지를 수신하거나 앱을 실행했을 때라거나 혹은 앱을 종료했을 때와 같이 특정 시점에 본 발명의 동영상 콘텐트가 사용자 화면으로 푸시되도록 할 수 있다.According to the present invention, unlike a media player, autoplay is possible without pressing a play button. Therefore, the video can be automatically executed in the user terminal in the form of a push. For example, the video content of the present invention may be pushed to the user screen at a specific time, such as when a text message is received, when the app is executed, or when the app is terminated.
또한, 본 발명의 또 다른 효과는 사용자의 터치에 반응하여 무비 뷰어가 3차원의 인터렉티브한 변위를 갖게 된다는 것이다. 이로써 무비 뷰어의 뒤쪽 영역도 사용자 화면에 노출할 수 있으며, 그 노출된 영역을 통해서 신규한 광고 방법을 제공할 수 있다.In addition, another effect of the present invention is that the movie viewer has a three-dimensional interactive displacement in response to the user's touch. As a result, the rear region of the movie viewer may be exposed to the user screen, and a new advertisement method may be provided through the exposed region.
한편, 여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.On the other hand, even if the effects are not explicitly mentioned herein, the effects described in the following specification expected by the technical features of the present invention and its provisional effects are treated as described in the specification of the present invention.
도 1은 본 발명에 있어서 동영상 파일로부터 시퀀스 이미지와 사운드를 추출하는 개념을 나타내는 도면이다.1 is a view showing a concept of extracting a sequence image and a sound from a video file in the present invention.
도 2는 본 발명의 바람직한 일 실시예에 따라 3D 인터랙티브 무비 뷰어를 만드는 절차를 개략적으로 나타내는 도면이다. 2 is a diagram schematically illustrating a procedure of creating a 3D interactive movie viewer according to an exemplary embodiment of the present invention.
도 3은 본 발명의 바람직한 일 실시예에 따라 설정되는 애니메이션 기능이 무비 뷰어에서 실행되는 시나리오를 나타내는 도면이다. 3 is a diagram illustrating a scenario in which an animation function set according to an exemplary embodiment of the present invention is executed in a movie viewer.
도 4는 본 발명의 일 실시예에 따른 전자장치의 내부 구성을 개략적으로 나타내는 도면이다. 4 is a diagram schematically illustrating an internal configuration of an electronic device according to an embodiment of the present disclosure.
도 5는 본 발명의 바람직한 일 실시예에 따른 방법의 전체 프로세스를 개략적으로 나타내는 도면이다.5 is a schematic representation of the overall process of a method according to one preferred embodiment of the present invention.
도 6 내지 도 8은 본 발명의 일 실시예에 따른 3D 인터랙티브 무비 뷰어(100)가 모바일 디바이스의 사용자 화면(1)에서 출력된 시나리오의 예를 나타내며, 도 7은 무비 뷰어(100)가 줌아웃된 시나리오, 도 8은 무비 뷰어(100)가 회전된 시나리오를 나타내는 도면이다.6 to 8 illustrate examples of a scenario in which the 3D interactive movie viewer 100 is output on the user screen 1 of the mobile device according to an embodiment of the present invention, and FIG. 7 illustrates that the movie viewer 100 is zoomed out. Scenario, FIG. 8 is a diagram illustrating a scenario in which the movie viewer 100 is rotated.
※ 첨부된 도면은 본 발명의 기술사상에 대한 이해를 위하여 참조로서 예시된 것임을 밝히며, 그것에 의해 본 발명의 권리범위가 제한되지는 아니한다.The accompanying drawings show that they are illustrated as a reference for understanding the technical idea of the present invention, by which the scope of the present invention is not limited.
일반적으로 동영상 파일은 전자 장치에 설치되어 있는 미디어 플레이어를 통해서 재생된다. 메모리에 저장되어 있는 동영상 파일을 미디어 플레이어로 재생하거나 혹은 외부의 비디오를 미디어 플레이어에서 스트리밍하게 된다. 미디어 플레이어는 사용자 조작에 의해서 Play, Pause, Forward, Rewind 등의 입력을 받으며, 이에 반응하여 정해진 기능을 실행한다. 미디어 플레이어가 동영상 파일을 재생하는 동안 전자장치의 다른 기능의 입출력을 방해를 받는다. 다른 기능의 입출력은 미디어 플레이어의 재생 중지를 명령한다. 복수의 미디어 플레이어가 동시 실행되기는 어렵다. 또한 미디어 플레이어에서 동영상 파일을 재생하기 위해서는 코덱이 설치되어야 한다. In general, video files are played through a media player installed in an electronic device. Video files stored in memory can be played by the media player, or external videos can be streamed by the media player. The media player receives an input of Play, Pause, Forward, Rewind, etc. by a user's operation, and executes a predetermined function in response to the input. While the media player plays the video file, the input / output of other functions of the electronic device is interrupted. The input and output of the other function instructs the media player to stop playing. It is difficult for multiple media players to run simultaneously. In addition, the codec must be installed to play the video file in the media player.
그러나 본 명세서에서 언급되는 <동영상 콘텐트””는 코덱을 사용하지 않는다. 즉 미디어 플레이어를 실행하지 않는다. 따라서 본 명세서 언급되는 <동영상 콘텐트>는 코덱을 사용하지 않는 파일로 이해되어야 한다. 이하에서 자세히 언급되겠으나, 그것은 뷰어와 일체화된 콘텐트를 지칭한다. 또한, 본 명세서에 언급되는 <무비 뷰어>는 동영상을 보여주는 콘텐트와 일체화된 플레이어이며, 바람직하게는 3D 엔진에서 구동하고 터치입력에 반응하여 입체적으로 변위하는 것으로 <3D 인터랙티브 무비 뷰어>를 뜻한다.However, "video content" referred to in this specification does not use a codec. In other words, do not run the media player. Therefore, <video content> referred to herein should be understood as a file that does not use a codec. As will be discussed in detail below, it refers to content integrated with the viewer. In addition, the <movie viewer> referred to in the present specification is a player integrated with content showing a video, and is preferably a 3D interactive movie viewer which is driven by a 3D engine and displaced in three dimensions in response to a touch input.
이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 내용을 설명한다. 그리고 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.Hereinafter, with reference to the accompanying drawings will be described specific details for the practice of the invention. In the following description of the present invention, when it is determined that the subject matter of the present invention may be unnecessarily obscured by those skilled in the art with respect to the known functions related thereto, the detailed description thereof will be omitted.
도 1은 본 발명에서 동영상 콘텐트를 만들기 위한 최초의 과정을 개념적으로 나타낸다. 컴퓨터의 메모리에 저장되어 있는 보통의 비디오 파일(50)에서 연속된 이미지 시퀀스(51)와 사운드(52)를 추출한다. 도 1의 작업은 개발자 단말에 의해서 행해지는 것이 바람직하다. 동영상에서 정지영상과 사운드를 추출하는 편집기를 사용할 수 있다. 이때 이미지 시퀀스(51)의 배열 작업이 중요하다.1 conceptually illustrates an initial process for creating moving image content in the present invention. A continuous image sequence 51 and sound 52 are extracted from a normal video file 50 stored in the computer's memory. It is preferable that the work of FIG. 1 is performed by a developer terminal. You can use the editor to extract still images and sounds from video. At this time, the arrangement of the image sequence 51 is important.
이미지 시퀀스(51)는 3D 인터랙티브 무비 뷰어와 일체로 결합되어야 하며, 전자 기기의 3D 엔진을 구동하여 재생되게 된다. 3D 엔진에서 빠르게 로딩되기 위해서 바람직하게는 연속되는 이미지가 2n의 해상도로 추출되는 것이 좋다. 예컨대 비디오 파일(50)에서 256××256 해상도로 연속되는 이미지를 추출하여 이미지 시퀀스(51)를 만들 수 있다. 해상도를 높이는 경우에, 512××512 해상도로 이미지 시퀀스(51)를 추출할 수 있다. 마찬가지 이유로 3D 엔진에서의 신속한 로딩을 위해서 이미지 시퀀스(51)를 2n으로 배열하는 것이 좋다. 예컨대 256××256 해상도로 4××4로 배열하는 경우에 1024××1024의 총 16장의 시퀀스 이미지를 가진 하나의 이미지로 저장 후 객체로 등록할 수 있다. 이렇게 작업하면 한 장의 이미지로 총 16장의 이미지를 한번에 등록할 수 있게 된다. 다른 실시예에서는 512××512 해상도로 4××4로 배열하여 2048××2048의 고해상도의 하나의 이미지 파일을 만들어도 좋다. 또 다른 실시예에서는 256××256 해상도의 이미지를 8××8로 배열하여 2048××2048의 해상도의 하나의 이미지 파일을 만들 수도 있다. 그러나 이 경우 64개의 시퀀스를 가진 하나의 이미지 파일이 생성되는 것이다. 즉, 하나의 이미지 파일의 용량이 커져서 로딩 시간이 더 걸리는 기술적 불이익이 생길 수 있다. 모바일 디바이스의 경우, 디바이스 프로세서의 처리 능력과 성능을 고려해 볼 때 현재 수준에서는 16개의 시퀀스 이미지를 추출하는 것이 바람직하다. 그러나 전자 기기의 종류와 전자 기기의 성능 개선에 따라 2n의 범위 내에서 해상도와 배열의 변동이 있을 것이다.The image sequence 51 should be integrated with the 3D interactive movie viewer and driven by driving the 3D engine of the electronic device. In order to be loaded quickly in the 3D engine, it is preferred that successive images be extracted at a resolution of 2 n . For example, an image sequence 51 may be generated by extracting a continuous image at 256 ×× 256 resolution from the video file 50. In the case of increasing the resolution, the image sequence 51 can be extracted with a resolution of 512 x 512. For the same reason, it is preferable to arrange the image sequence 51 in 2 n for rapid loading in the 3D engine. For example, in the case of arranging 4 × 4 at 256 ×× 256 resolution, a single image having a total of 16 sequence images of 1024 ×× 1024 can be stored and registered as an object. In this way, you can register a total of 16 images at once with one image. In another embodiment, one image file having a high resolution of 2048x2048 may be created by arranging 4x4 at 512x512 resolution. In another embodiment, an image file having a resolution of 2048 × 2048 may be created by arranging images of 256 ×× 256 resolution in 8 ×× 8. But in this case, one image file with 64 sequences is created. That is, a technical disadvantage that the loading time is longer due to the larger size of one image file. In the case of mobile devices, considering the processing power and performance of the device processor, it is desirable to extract 16 sequence images at the current level. However, depending on the type of electronic device and the performance improvement of the electronic device, there will be a variation in resolution and arrangement within the range of 2 n .
이와 같이, 2n의 해상도로 이미지 시퀀스를 추출하게 되는데, 원본 비디오 파일(50)의 해상도와 이미지를 무시해도 좋다. 3D 엔진에서 가상의 스크린을 만들어 시퀀스 이미지를 재생할 때, 3D로 제작한 무비 뷰어의 틀(frame)과 3D 엔진에서 생성하는 가상의 스크린을 원래 해상도에 맞추어 제작하면 2의 승수로 제작된 시퀀스 이미지가 자동으로 원래 사이즈로 보여지기 때문이다.In this way, the image sequence is extracted at a resolution of 2 n, but the resolution and the image of the original video file 50 may be ignored. When playing back the sequence image by creating a virtual screen in the 3D engine, if the frame of the movie viewer created in 3D and the virtual screen created in the 3D engine are produced at the original resolution, the sequence image produced by the multiplier of 2 is generated. It is automatically shown in its original size.
본 발명에서 이미지 시퀀스(51)는 무비 뷰어의 프레임 안에서 순차적으로 보여질 것이며, 이는 마치 동영상 재생과 같은 기능을 제공해야 한다. 따라서 연속된 이미지 시퀀스(51)는 동영상처럼 끊김 없이 보여지도록 구성되어야 한다. 일반적인 동영상은 1초가 24(또는 30)장의 frame으로 구성되어 있다. 30초짜리 동영상은 24장××30초 = 720장의 연속된 이미지의 조합이라고 볼 수 있다. 그러므로 실제 동영상과 같이 보려면, 예컨대 256××256의 시퀀스 이미지를 4××4의 배열로 배치하는 실시예에서는, 총 16장의 시퀀스 이미지를 포함한 1024××1024 사이즈의 이미지 파일이 총 45장 필요하게 된다(16××45=720). In the present invention, the image sequence 51 will be shown sequentially in the frame of the movie viewer, which should provide a function such as playing a video. Therefore, the continuous image sequence 51 should be configured to be shown without interruption like a video. A typical video consists of 24 (or 30) frames per second. A 30-second video is a combination of 24 × 30 × 720 images. Therefore, in an embodiment in which 256 ×× 256 sequence images are arranged in an array of 4 ×× 4, for example, to look like a real video, a total of 45 1024 ×× 1024 size image files including 16 sequence images are required. (16 x 45 = 720).
그런데, 이 1024××1024의 이미지 파일 하나는 시퀀스 이미지를 16장만 가지고 있기에, 약 666 밀리세컨드(millisecond, 1/1000초)만 재생할 수 있다(24장:1초=16장:x 초로 하는 비례식으로 계산하면 666ms). 따라서 이미지가 끊김없이 재생되게 하기 위해서 이렇게 구성할 수 있다. 먼저 1024××1024 한 장의 이미지 파일을 재생 후, 666ms 후에 다음 16장의 시퀀스 이미지를 가지고 있는 1024××1024 이미지 파일을 호출하는 방식으로 45장의 1024××1024 이미지 파일로 저장된 총 720장의 시퀀스 이미지를 연속으로 보여주도록 구성한다. 그러면 동영상 재생과 같은 기능을 구현할 수 있다.By the way, this 1024 × 1024 image file has only 16 sequence images, so it can play only about 666 milliseconds (millisecond, 1/1000 second). 666ms). Thus, in order to ensure that images are played back seamlessly, this can be configured. First, play a single 1024 ×× 1024 image file, then call 1024 ×× 1024 image file that contains the next 16 sequence images after 666ms, and a total of 720 sequence images saved as 45 1024 ×× 1024 image files Configure to show continuously. You can then implement features such as video playback.
도 2에 도시된 바에 따라 이미지 시퀀스와 일체로 결합된 무비 뷰어의 제작 과정을 설명한다. 먼저 개발자의 컴퓨터 단말이 3D 제작 소프트웨어를 실행하여 x축, y축 및 z축을 가지는 가상의 3D 공간에서 프레임 형태를 모델링하여 형태화 작업을 수행한다(S100). 이때 사용하는 3D 제작 소프트웨어는 3D Max와 같은 공지의 소프트웨어 툴을 사용할 수 있다. 이런 소프트웨어 툴은 3D 오브젝트를 만드는 PC 기반의 소프트웨어로 알려져 있다.As shown in FIG. 2, a manufacturing process of a movie viewer integrated with an image sequence will be described. First, the developer's computer terminal executes the 3D production software to model the frame shape in the virtual 3D space having the x-axis, the y-axis, and the z-axis (S100). The 3D production software used at this time can use well-known software tools, such as 3D Max. Such software tools are known as PC-based software for creating 3D objects.
상기 S100 단계에서, 도 1의 비디오 파일(50)의 특성과 가로 세로 비율에 대응하여 프레임을 모델링하게 된다. x축, y축 및 z축을 가지는 가상의 3D 공간에서 각각 너비(x), 높이(y) 및 두께(z) 값을 주면서 직사각형이나 육면체를 조합하여 형태화 작업을 실행한다. 또한 이미지 시퀀스가 연이어서 보여지는 스크린 영역, 즉 동영상 시퀀스를 재생하는 뷰어 영역을 정의한다. In step S100, the frame is modeled according to the characteristics and the aspect ratio of the video file 50 of FIG. 1. In a virtual 3D space with x, y, and z axes, a rectangular or hexahedron is combined to give the width (x), height (y), and thickness (z) values, respectively. It also defines the screen area where the sequence of images is displayed in succession, that is, the viewer area for playing the video sequence.
다음으로 프레임의 형태에 이미지를 부여한다(S110). 이 단계는 프레임에 식별 이미지를 매핑하는 단계이며, 예컨대 프레임에 재질을 부여하거나 질감을 표시하여 프레임 형태에 실재감을 부여하는 작업이다. 본 발명의 바람직한 어느 실시예에 있어서, 상기 S110 단계의 식별 이미지는 재질이나 질감을 부여하는 이미지에 국한되지 않고, 광고성 혹은 홍보성 이미지를 포함할 수 있다. 또한 이미지뿐만 아니라 텍스트가 더해질 수도 있다. 예컨대 특정 상품이나 회사의 브랜드, 로고, 문구가 식별 이미지로 포함될 수 있다. 만일 S110의 식별 이미지 매핑 단계가 없다면, 본 발명의 무비 뷰어는 전자 기기의 화면상에서 단색의 사각형태로만 보일 것이다.Next, the image is given to the shape of the frame (S110). This step is a step of mapping an identification image to a frame, for example, by applying a material to a frame or displaying a texture to give a frame a sense of reality. In a preferred embodiment of the present invention, the identification image of step S110 is not limited to the image to give a material or texture, it may include an advertising or promotional image. You can also add text as well as images. For example, the brand, logo, or phrase of a specific product or company may be included as an identification image. If there is no identification image mapping step of S110, the movie viewer of the present invention will only appear in a solid square on the screen of the electronic device.
상기 S100 단계 및 S110 단계를 거침으로써 무비 뷰어의 기본적인 형태와 영역이 정의될 수 있다. 본 발명의 다른 실시예에서는 상기 S110 단계의 식별 이미지는 전체 혹은 일부가 사용자 화면으로는 가시화되지 않도록 투명하게 처리할 수 있다. 이로써 뷰어 영역을 통해서 이미지 시퀀스가 표시되도록 매핑하고, 프레임 영역에서 일부 텍스트 및/또는 이미지만 사용자 화면에서 가시화되도록 연출할 수 있다. 요컨대 본 발명의 무비 뷰어는 반드시 시각적으로 표현되는 프레임을 가져야 하는 것은 아니다.By going through steps S100 and S110, the basic shape and area of the movie viewer may be defined. In another embodiment of the present invention, the identification image of step S110 may be transparently processed so that all or part of the identification image is not visible on the user screen. As a result, an image sequence may be mapped to be displayed through the viewer area, and only some text and / or images may be visualized on the user screen in the frame area. In short, the movie viewer of the present invention does not necessarily have a frame that is visually represented.
바람직하게는 무비 뷰어의 뒷쪽 영역의 구성도 함께 정의될 것이다. 이렇게 해서 무비 뷰어의 모델링 파일을 3D 엔진용 포맷으로 익스포트한다(S120). 또한, 바람직하게는 애니메이션 기능을 설정하는 것이 좋다. 애니메이션 설정은 동영상 콘텐트와 3D 오브젝트를 연결하는 작업을 통해 이루어진다. Preferably, the configuration of the back region of the movie viewer will also be defined. In this way, the modeling file of the movie viewer is exported to the 3D engine format (S120). Also, it is preferable to set the animation function. The animation is set by connecting the 3D object with the video content.
이미지 시퀀스와는 별도로 3D 오브젝트를 준비한다. 전술한 것처럼, 동영상 콘텐트의 이미지 시퀀스는 모델링 과정을 통해서 무비 뷰어와 일체화되어 있으며 이것은 2D 이미지이지 3D 영상은 아니다. 본 발명은 동영상 파일을 3D 영상으로 만드는 것이 아니라 무비 뷰어가 3D 변위를 갖도록 하며, 이것이 제 1 입체 변위를 구성한다. Prepare 3D objects separately from image sequences. As described above, the image sequence of the video content is integrated with the movie viewer through a modeling process, which is a 2D image, not a 3D image. The present invention does not make the movie file into a 3D image, but allows the movie viewer to have a 3D displacement, which constitutes the first stereoscopic displacement.
3D 오브젝트는 제 2 입체 변위를 구성한다. 이것은 제 1 입체 변위를 갖는 무비 뷰어를 통해서 표시되는 동영상 콘텐트와의 관계에 있어 다음과 같이 다양한 실시형태를 가질 수 있다:The 3D object constitutes a second stereoscopic displacement. It may have various embodiments as follows in relation to video content displayed through a movie viewer with a first stereoscopic displacement:
(1) 3D 오브젝트가 동영상 콘텐트의 특정 비주얼 요소와 연결되는 구성;(1) a configuration in which the 3D object is connected with a specific visual element of the moving image content;
(2) 동영상 콘텐트가 재생되는 동안에 3D 오브젝트가 출력되도록 구성(표출 개시 좌표는 무비 뷰어의 안쪽 혹은 바깥쪽에 위치할 수 있다); 및(2) the 3D object is output while the video content is playing (the presentation start coordinates may be located inside or outside the movie viewer); And
(3) 동영상 콘텐트가 종료된 후 미리 정해진 시간 이내에 3D 오브젝트가 출력되도록 구성.(3) The 3D object is output within a predetermined time after the video content is finished.
먼저 (1) 실시예 대해서 설명한다. 동영상 콘텐트 중 3D 오브젝트로 연결되는 비주얼 요소가 정해질 수 있다. 그리고 3D 오브젝트는 상기 비주얼 요소에 대응하도록 그 형태, 색채, 시간에 따른 형태 변화가 구성되도록 한다. 3D 오브젝트의 좌표의 변위는 이미지 시퀀스의 해당 비주얼 요소의 위치 변화에 대응하며, 이때의 3D 오브젝트는 동영상 콘텐트의 미리 정해진 비주얼 요소의 Z축 변위를 표현할 수 있다. 바람직하게는 3D 오브젝트가 해당 비주얼 요소를 대체하여 표시되록 하는 시점과 좌표값이 미리 설정할 수 있다. 그 결과 이 비주얼 요소는 연속되는 시퀀스 이미지마다 가상의 Z축 좌표를 갖는 것처럼 표현될 수 있다. 본 실시예의 애니메이션 설정에 있어서, 동영상 콘텐트의 이미지 시퀀스 전체가 입체 변위를 가진다거나 이미지의 특정 영역이 입체 변위를 가지도록 이미지 시퀀스를 구성하는 것은 아니다. 3D 오브젝트가 동영상 콘텐트의 특정 비주얼 요소를 시각적으로 대체함으로써 해당 비주얼 요소가 입체 변위를 갖는 것처럼 보일 뿐이다.First, the embodiment (1) will be described. A visual element connected to the 3D object among the video content may be determined. The 3D object allows the shape, color, and shape change with time to be configured to correspond to the visual element. The displacement of the coordinates of the 3D object corresponds to the change of the position of the corresponding visual element of the image sequence, and the 3D object at this time may express the Z-axis displacement of the predetermined visual element of the video content. Preferably, the time and coordinate values at which the 3D object is displayed by replacing the corresponding visual element may be set in advance. As a result, this visual element can be represented as having virtual Z axis coordinates for each successive sequence image. In the animation setting of the present embodiment, the image sequence is not configured such that the entire image sequence of the moving image content has stereoscopic displacement or the specific region of the image has stereoscopic displacement. The 3D object visually replaces a particular visual element of the video content, so that the visual element only appears to have steric displacement.
도 3은 상기 (1) 실시예에 관한다. S120 단계에서 설정된 애니메이션 기능이 디바이스 화면에서 어떻게 재생되는 것인지에 관하여, 개념적인 시나리오를 나타낸다. 무비 뷰어(100)의 뷰어 영역(110)에 재생되는 동영상 시퀀스 중에서 3D 오브젝트가 연결되는 비주얼 요소(125)를 공이라고 하자. 축구공이거나 야구공이거나 혹은 골프공일지도 모른다. 개발자는 공이라는 비주얼 요소(125)에 대응하는 별도의 3D 오브젝트 리소스를 준비한다. 동영상 콘텐트가 재생됨에 따라 미리 정해진 시점과 조표에서 해당 비주얼 요소(125)에 대응하는 3D 오브젝트가 화면으로 표출되도록 할 수 있다. 도 3(a)와 도 3(b)에서 비주얼 요소(125)는 무비 뷰어(100)의 뷰어 영역(110) 안에 위치하며, 도 3(c)와 도 3(d)에서 비주얼 요소(125)는 무비 뷰어(100)의 뷰어 영역(110) 바깥에 위치한다.  3 relates to the above (1) embodiment. A conceptual scenario is shown as to how the animation function set in step S120 is played on the device screen. A visual element 125 to which a 3D object is connected among the video sequences reproduced in the viewer area 110 of the movie viewer 100 is called a ball. It may be a soccer ball, a baseball ball, or a golf ball. The developer prepares a separate 3D object resource corresponding to the visual element 125 called a ball. As the video content is played back, the 3D object corresponding to the visual element 125 may be displayed on the screen at a predetermined time point and a scheme. The visual element 125 in FIGS. 3 (a) and 3 (b) is located in the viewer area 110 of the movie viewer 100, and the visual element 125 in FIGS. 3 (c) and 3 (d). Is located outside the viewer area 110 of the movie viewer 100.
이와 같이 애니메이션 기능을 미리 설정함으로써 실감나는 효과를 배가할 수 있다. 동영상 시퀀스의 다른 영역은 무비 뷰어(100)의 뷰어 영역(110) 안에서 평면적으로 재생됨에 비해, 3D 오브젝트와 연결되는 비주얼 요소(125)는 입체 변위를 갖게 된다. 비주얼 요소(125)는 동영상이 재생되는 동안 시각적으로 확대되며, 무비 뷰어(100)의 프레임에서 이탈하도록 구성될 수 있다. By setting the animation function in this way, the realistic effect can be doubled. Whereas other regions of the movie sequence are reproduced in plan view within the viewer region 110 of the movie viewer 100, the visual element 125 connected to the 3D object has a stereoscopic displacement. The visual element 125 may be visually enlarged while the video is playing, and may be configured to leave the frame of the movie viewer 100.
만약 애니메이션 기능을 설정하지 않는다면 입체 변위를 하는 비주얼 요소는 존재하지 않으며, 원래의 동영상 이미지에 따라 재생된다. 하지만 동영상과 3D 오브젝트를 연계하여 일반적인 동영상 플레이어에서 보는 단순한 영상과 다르게 표현하고자 한다면 바람직하게는 전술한 애니메이션 작업이 이루어지는 것이 좋다. 예를 들어 골프공을 광고하는 동영상 콘텐츠가 있다면 기존의 동영상에서는 드라이버로 공을 치면 골프공이 화면 안에서만 움직일 수 있지만, 3D 오브젝트와 연계하여 애니메이션을 만든다면 동영상에서 드라이버로 친 골프공이 화면 밖으로 튀어 나오게 구성할 수 있다. If you do not set the animation function, there will be no visual element with stereoscopic displacement, and it will play according to the original video image. However, if the video and the 3D object are to be expressed differently from a simple video viewed by a general video player, it is preferable that the above-described animation work is performed. For example, if there is a video content advertising a golf ball, the golf ball can move only on the screen when the driver hits the ball in the existing video, but if the animation is made in conjunction with a 3D object, the golf ball hit by the driver will pop out of the screen. can do.
다음으로 상기 (2)번 실시예에 따른 애니메이션 설정을 동영상 콘텐트가 재생되는 동안에 3D 오브젝트가 출력되도록 구성할 수 있다. 본 실시예에서는 동영상 콘텐트의 특정 비주얼 요소를 3D 오브젝트와 연결하지 않을 수 있다. 별도의 리소스로 준비된 3D 오브젝트가 동영상 콘텐트의 내용과는 무관하게 디바이스의 사용자 화면으로 표출되도록 구성할 수 있다. 이를 위해서 3D 오브젝트의 표출 시점과 표출 좌표가 미리 정해질 수 있다. 무비 뷰어를 통해서 동영상 콘텐트가 표시됨과 동시에, 미리 정한 시점과 영역에서 3D 오브젝트가 표시되도록 함으로써 다양한 연출이 가능해진다. 3D 오브젝트는 무비 뷰어의 안쪽 및/또는 바깥쪽에서 표시될 수 있다.Next, the animation setting according to the embodiment (2) may be configured such that the 3D object is output while the video content is played. In this embodiment, the specific visual element of the moving image content may not be connected with the 3D object. The 3D object prepared as a separate resource may be configured to be displayed on the user screen of the device regardless of the contents of the video content. To this end, the presentation time and the presentation coordinates of the 3D object may be predetermined. As the movie content is displayed through the movie viewer, the 3D object is displayed at a predetermined viewpoint and area, thereby enabling various productions. 3D objects can be displayed inside and / or outside of the movie viewer.
다음으로 상기 (3)번 실시예에 따른 애니메이션 설정을 설명한다. 무비 뷰어를 통해서 동영상 콘텐트가 재생되고 종료된 후에, 3D 오브젝트가 디바이스 화면으로 표출되도록 구성할 수 있다. 예를 들어 설명하자면, 광고 동영상을 본 발명의 무비 뷰어를 통해 재생한 다음에, 3D 오브젝트로 제작된 광고 모델이 3D 기법으로 화면에 나타나도록 할 수 있다. Next, the animation setting according to the embodiment (3) will be described. After the video content is played and finished through the movie viewer, the 3D object may be displayed on the device screen. For example, after the advertisement video is played through the movie viewer of the present invention, the advertisement model made of the 3D object may be displayed on the screen by the 3D technique.
바람직하게는 이 애니메이션 작업은 키프레임(keyframe) 방식으로 행해질 수 있다. 예컨대 보통 1초의 동영상은 30장(또는 24장)의 연속된 이미지로 구성되어 있고, 이 동영상을 구성하는 이미지 한장, 한장을 동영상 프레임이 된다. 예를 들어, 3D 오브젝트로 골프공을 만든 후 1 frame에 z축으로 -50m에 위치해놓고 30frame에 z축으로 50m에 위치하게 keyframe을 셋팅하면 1frame에서 30frame 동안 자동으로 z축을 따라 100m 움직이는 동작을 설정할 수 있다. 도 3과 같이, 사용자들이 정면에서 본다고 가정한다면, 멀리 있는 골프공이 1초 동안 눈앞으로 날라오는 것으로 보일 수 있다. 이와 같은 방식으로 설정한 시간 내에 3개의 축을 기준으로 움직임과 크기조절, 회전, 변형 등 다양한 움직임을 만들어 낼 수 있다. Preferably this animation can be done in a keyframe fashion. For example, a video of 1 second is usually composed of 30 (or 24) continuous images, and one image or one image constituting the video is a video frame. For example, if you make a golf ball with a 3D object and set the keyframe at -50m on the z axis and 50m on the z axis at 30 frames, you can set the motion to move 100m along the z axis for 30 frames at 1 frame. Can be. As shown in FIG. 3, assuming that the users see from the front, the distant golf ball may appear to fly in front of the eye for 1 second. In this way, various movements such as movement, scaling, rotation, and deformation can be generated based on three axes within a set time.
전술한 것처럼 위와 같이 제작된 3D 오브젝트와 애니메이션을 3D 엔진에서 활용하기 위해서는 특정한 포맷으로 익스포트(export)해야 한다. 이때 사용하는 익스포터(exporter)는 3D 엔진 제작사에서 플러그인(plug-in)으로 제작하여 배포한 것을 이용할 수 있다. 바람직하게는 모델링 파일은 hwm이라는 확장자를 가진 파일로 생성하고, 애니메이션은 hwa라는 확정자를 가진 파일로 생성하여 익스포트할 수 있다.As described above, in order to utilize 3D objects and animations produced in the above in the 3D engine, they need to be exported in a specific format. At this time, the exporter can be used as a plug-in produced by the 3D engine manufacturer. Preferably, the modeling file may be generated as a file having an extension of hwm, and the animation may be generated and exported as a file having a finalizer of hwa.
다음으로 개발자 단말은 익스포트 된 무비 뷰어의 3D 모델링 파일과, 도 1의 이미지 시퀀스 파일과, 사운드 파일 등 관련 리소스를 임포트하고, 가상의 공간에서 활용할 수 있도록 객체로 등록한다(S130). 이 작업은 바람직하게는 스크립트 언어를 사용하는 것이 좋다. 본 발명가들은 Lua 프로그래밍 언어를 사용하여 파일을 탑재하였다. 3D 엔진에서 모델링 파일, 이미지 시퀀스 파일, 사운드 파일을 3D 엔진에서 사용할 수 있도록 Lua 코드에 리소스로 등록한다. 이때 리소스의 종류와 해당 파일의 디렉토리를 함께 등록하게 된다. 이와 같이 파일을 등록해 놓음으로써 리소스를 전자 기기의 메모리에 로딩하여 무비 뷰어가 신속하게 보여질 수 있도록 한다. 본 발명의 프로그래밍 언어는 반드시 Lua 언어에 제한되는 것은 아니며, 동등한 기능을 발휘한다면 소프트웨어 분야의 다른 공지의 언어 혹은 새로운 언어를 사용할 수 있다.Next, the developer terminal imports the 3D modeling file of the exported movie viewer, the image sequence file of FIG. 1, and the related resources such as a sound file, and registers them as an object to be utilized in a virtual space (S130). This task is preferably a scripting language. The inventors mounted the file using the Lua programming language. The 3D engine registers modeling files, image sequence files, and sound files as resources in Lua code for use by the 3D engine. At this time, the resource type and the directory of the file are registered together. By registering the file in this way, the resource is loaded into the memory of the electronic device so that the movie viewer can be displayed quickly. The programming language of the present invention is not necessarily limited to the Lua language, and other known languages or new languages in the software field can be used as long as the functions are equivalent.
그 다음부터 개발자는 무비 뷰어와 이미지 시퀀스를 일체화하며 가상의 3D 공간에서 인터랙티브 변위를 갖는 본 발명의 동영상 콘텐트를 생성하는 프로그래밍 작업을 수행할 수 있다(S140). 무비 뷰어의 프레임과 이미지 시퀀스를 매핑하고, 동영상 콘텐트를 코딩한다. 본 발명의 발명가들은 이를 Lua 언어로 작업했으나, 다른 언어를 사용해도 좋다.Thereafter, the developer may integrate a movie viewer and an image sequence and perform a programming operation of generating a video content of the present invention having an interactive displacement in a virtual 3D space (S140). Map a frame and image sequence in the movie viewer, and code the video content. The inventors of the present invention have worked on this in the Lua language, but other languages may be used.
이미지 시퀀스에 대한 매핑을 통해 무비 뷰어의 가상의 스크린(무비 뷰어의 뷰어 영역)에 이미지 시퀀스를 등록하고, 이로써 전자 기기의 메모리에 로딩되는 이미지 시퀀스를 해당 뮤비 뷰어의 뷰어 영역을 통해 보여지도록 한다. 연속으로 이어지는 이미지 시퀀스들은 순차적으로 빠르게 한 장씩 보여짐으로써, 사용자들은 마치 동영상을 보는 것과 같은 효과를 경험한다.The image sequence is registered on the virtual screen of the movie viewer (viewer region of the movie viewer) through mapping to the image sequence, thereby displaying the image sequence loaded in the memory of the electronic device through the viewer region of the corresponding video viewer. The successive image sequences are displayed one by one in rapid succession, so that users experience the same effect as watching a video.
코딩 작업은 크게 두 가지의 프로그래밍 작업이 포함될 수 있다. 전술한 바와 같이 이미지 시퀀스를 무비 뷰어의 뷰어 영역 순서대로 보여줌으로써 하나의 동영상이 재생되도록 코드화하는 것과, (x, y, z)의 좌표를 갖는 무비 뷰어가 사용자의 터치이벤트에 반응하여 변위 이벤트를 갖도록 코드화하는 것이다. 특히 후자의 프로그래밍 작업은 가상의 3D 공간에서 사용자의 시점이 되는 가상의 카메라를 설치하고 그 카메라의 가상의 렌즈를 통해 보여지는 3차원 공간의 무비 뷰어의 이미지를 정의하는 것이다. 이를 통해서 무비 뷰어에 대한 전자 기기의 터치입력에 따라 가상의 카메라가 이동하도록 함으로써 카메라 렌즈를 통해서 무비 뷰어의 인터렉티브한 줌인, 줌아웃, 이동 및 회전변위가 만들어진다. Coding can involve two major programming tasks. As described above, by displaying a sequence of images in the order of the viewer area of the movie viewer, the video is encoded so that one movie is played, and a movie viewer having coordinates of (x, y, z) generates a displacement event in response to a user's touch event. To have it coded. In particular, the latter programming task is to install a virtual camera that is the user's point of view in a virtual 3D space and define an image of a movie viewer in a 3D space viewed through the virtual lens of the camera. Through this, the virtual camera moves according to the touch input of the electronic device with respect to the movie viewer, thereby making interactive zoom-in, zoom-out, movement, and rotation displacement of the movie viewer through the camera lens.
이를 좀더 상세히 설명한다. 본 발명에 있어서 무비 뷰어는 3D 인터랙티브 기능을 갖도록 프로그래밍된다. 무비 뷰어는 기본적으로 (0, 0, 0)의 좌표를 가지고 생성되고, 전자 기기에서의 가시화는 사용자의 시점에 대응하는 가상의 카메라를 통해서 보여지도록 구성된다. 무비 뷰어의 기본 좌표는 (0, 0, 0)이고 이는 가상의 카메라의 렌즈를 통해 보여지는 최초 사용자 시점을 의미한다. 따라서 무비 뷰어가 실행되면 무비 뷰어는 우선 전자 기기의 사용자 화면의 (0, 0, 0) 좌표, 즉 중앙에 위치하게 된다.This is explained in more detail. In the present invention, the movie viewer is programmed to have a 3D interactive function. The movie viewer is basically generated with coordinates of (0, 0, 0), and the visualization in the electronic device is configured to be viewed through a virtual camera corresponding to the viewpoint of the user. The default coordinate of the movie viewer is (0, 0, 0), which means the first user's point of view viewed through the lens of the virtual camera. Therefore, when the movie viewer is executed, the movie viewer is first positioned at (0, 0, 0) coordinates, that is, the center of the user screen of the electronic device.
사용자 화면 중앙에 위치한 무비 뷰어에 대해서 사용자가 확대/축소를 위해 두 개의 손가락을 이용하여 터치이벤트를 실행할 것이다. 두 개의 손가락을 벌리면 확대하게 되고 좁히면 축소하게 된다. 그러나 확대와 축소라는 개념은 2차원의 개념으로, 본 발명과 같이 3차원 공간에서는 확대/축소라는 개념보다는 줌인(zoom in) 혹은 줌아웃(zoom out)이라는 표현이 정확하다. 줌인과 줌아웃을 실행하는 수단이 바로 가상의 카메라다. 가상의 카메라는 lua 언어를 사용하여 가상의 3D 공간에서 세팅하게 된다. 가상의 카메라의 가상의 렌즈를 통해 보여지는 무비 뷰어의 최초 좌표가 정의되고, 렌즈의 변위에 따라 보여지는 무비 뷰어의 좌표값이 등록된다. 이러한 사용자의 시점에 대응하는 가상의 카메라가 z축을 따라 무비 뷰어에 접근하게 됨으로써 마치 확대되어 보이는 것처럼 보이고, 반대로 가상의 카메라가 z축을 따라 무비 뷰어에서 멀어지게 됨으로써 축소되는 것처럼 보이게 된다. 이때 줌인과 줌아웃의 한계치를 미리 설정할 수 있다.For a movie viewer in the center of the user's screen, the user will fire a touch event using two fingers to zoom in and out. Spread two fingers apart to zoom in and narrow them to zoom out. However, the concept of zoom in and zoom out is a two-dimensional concept, and the expression of zoom in or zoom out is more accurate than the concept of zoom in / out in a three-dimensional space as in the present invention. The virtual camera is the means of zooming in and out. The virtual camera is set up in a virtual 3D space using the lua language. The initial coordinates of the movie viewer viewed through the virtual lens of the virtual camera are defined, and the coordinate values of the movie viewer viewed according to the displacement of the lens are registered. As the virtual camera corresponding to the user's point of view approaches the movie viewer along the z-axis, the virtual camera appears to be enlarged, and conversely, the virtual camera appears to be reduced by moving away from the movie viewer along the z-axis. At this time, the limits of zoom in and zoom out can be set in advance.
회전 변위의 경우, 사용자가 화면을 한 손가락으로 돌리면 x축과 y축을 기준으로 가상의 카메라가 돌아가면서 이 가상의 카메라의 렌즈 시점인 사용자의 시점이 회전된다. 이로써 무비 뷰어의 뒷면까지도 볼 수 있게 된다.In the case of the rotational displacement, when the user rotates the screen with one finger, the virtual camera rotates around the x and y axes, and the user's viewpoint, which is the lens viewpoint of the virtual camera, is rotated. This allows you to see the back of the movie viewer.
다음으로 개발자는 사용자의 전자 기기에서 볼 수 이도록 프로그램을 빌드하여 동영상이 제대로 보이는지, 사운드와 sync가 맞는지 테스트하여 무비 뷰어와 일체로 결합되는 동영상 콘텐트를 완성할 수 있다.Next, the developer can build a program that can be viewed on the user's electronic device and test the video to see if it looks right and syncs with the sound to complete the video content that is integrated with the movie viewer.
도 4는 본 발명에 따른 전자 기기의 내부 전자적 구성을 개략적으로 나타내었다. 전자 기기는 터치입력이 가능하고, 그에 따라 프로세서가 전자적 반응을 할 수 있는 것이라면 그 종류에 제한되지 않는다. 바람직하게는, 터치스크린을 통한 터치입력이 가능한 스마트폰, 태블릿 PC 또는 웨어러블 디바이스와 같이 모바일 디바이스인 것이 좋다. 또한 본 발명의 다른 실시예에서는 터치입력이 가능한 터치패드 스크린을 갖는 사물 인터넷(Internet of Things) 디바이스일 수 있다. 예컨대 터치패널이 있는 냉장고, 유선전화기, 홈네트워크 장치, 자동차에 설치되는 내비게이션 등의 단말장치, 키오스크 장치 등이 포함될 수 있다. 4 schematically illustrates an internal electronic configuration of an electronic device according to the present invention. As long as the electronic device is capable of touch input, the electronic device is not limited to the type as long as the processor can perform an electronic response. Preferably, the mobile device is a smart phone, a tablet PC, or a wearable device capable of touch input through a touch screen. In another embodiment of the present invention, it may be an Internet of Things device having a touchpad screen capable of touch input. For example, a refrigerator with a touch panel, a landline phone, a home network device, a terminal device such as a navigation device installed in an automobile, and a kiosk device may be included.
전자 기기는 프로세서(10), 터치 패널(20), 입력장치(30), 메모리(40)를 포함한다. 그 밖의 다양한 I/O 디바이스, 카메라모듈, 전원장치, 통신모듈, 센서들이 포함될 수 있다. The electronic device includes a processor 10, a touch panel 20, an input device 30, and a memory 40. Various other I / O devices, camera modules, power supplies, communication modules, and sensors may be included.
입력장치(30)는 터치패널(20)에 접촉하여 선택 혹은 제스처를 입력하는 수단이다. 이는 보통 사용자의 손가락으로 이해될 수 있지만, 기술적인 구성요소로 인체로부터 유발되는 독립한 물리적 특성을 뜻한다. 예컨대 터치패널(20)의 표면에 압력을 가하는 물리적 자극, 정전용량, 적외선, 초음파 기타 다양한 물리적 특성이 입력장치(30)를 결정한다. 손가락 혹은 스타일러스 펜 일 수 있다.The input device 30 is a means for contacting the touch panel 20 to input a selection or a gesture. This can usually be understood as the user's finger, but as a technical component, it means an independent physical characteristic derived from the human body. For example, a physical stimulus, a capacitance, an infrared ray, an ultrasonic wave, and various other physical characteristics that apply pressure to the surface of the touch panel 20 determine the input device 30. It may be a finger or a stylus pen.
터치패널(20)은 입력장치(30)로부터 가해지는 터치이벤트를 수신한다. 터치패널(20)에는 여러 방식의 터치 감지 메커니즘이 디스플레이 장치에 구현되어 있다. 터치 감지 메커니즘으로는 감압 방식, 정전용량 방식, 적외선 방식, 초음파 방식 등이 알려져 있다. 바람직하게는 감압방식과 정전용량 방식을 사용하는 것이 좋다.The touch panel 20 receives a touch event applied from the input device 30. In the touch panel 20, various types of touch sensing mechanisms are implemented in the display device. As the touch sensing mechanism, a reduced pressure method, a capacitive method, an infrared method, an ultrasonic method and the like are known. Preferably, it is preferable to use a pressure reduction method and a capacitance method.
전자 기기의 메모리(40)는 일반적으로 모바일 디바이스 (100)에 사용되는 컴퓨터 코드 및 데이터를 저장하는 장소를 제공한다. 예를 들어 내부 메모리(40)는 기본적인 입출력 시스템, 운영 체제, 다양한 프로그램들, 애플리케이션들, 또는 디바이스에서 실행되는 사용자 인터페이스 기능들, 프로세서 기능들 등을 포함하는 임의의 다른 루틴들과 같은 디바이스용 펌웨어를 저장할 수 있다. 특히 본 발명에 있어서, 도시되어 있는 바와 같이, 메모리(40)에는 3D 엔진(44), 미디어 플레이어(43), 애플리케이션(42) 및 동영상 콘텐트(41)가 저장되어 있다. The memory 40 of the electronic device generally provides a place for storing computer code and data used for the mobile device 100. For example, internal memory 40 may be firmware for a device, such as a basic input / output system, operating system, various programs, applications, or any other routines including user interface functions running on the device, processor functions, and the like. Can be stored. In particular, in the present invention, as shown, the memory 40 stores the 3D engine 44, the media player 43, the application 42, and the moving image content 41.
디바이스에 설치된 3D 엔진(44)은 본 발명의 무비 뷰어의 3차원 변위를 가능하게 한다. 미디어 플레이어(43)는 통상의 동영상 파일을 재생하는 플레이어를 뜻한다. 본 발명의 구성에서는 필수적이지 않다. 다만 동영상 콘텐트(41)와 구별하기 위하여 도면에 표시되었다. 전술한 것처럼 동영상 콘텐트(41)는 뷰어와 일체화되어 있는 이미지 시퀀스이며, 이 동영상 콘텐트(41)를 호출되더라도, 프로세서(10)는 미디어 플레이어(43)의 실행을 명령하지 않는다. 프로세서(10)는 동영상 콘텐트(41)를 동영상 파일로 인식하지 않고, 실행 파일로 간주한다. 동영상 콘텐트(41)는 엄밀하게 말하자면 재생되는 것이 아니라 실행되는 것이다. 사용자에게 보여지는 관점에서는 동영상 파일을 재생하는 것과 같지만, 실은 이미지 시퀀스를 이어서 순차적으로 보여주는 것이다. The 3D engine 44 installed in the device enables the three-dimensional displacement of the movie viewer of the present invention. The media player 43 means a player that plays a normal video file. It is not essential in the configuration of the present invention. However, in order to distinguish it from the moving image content 41, it is shown in the figure. As described above, the moving image content 41 is an image sequence integrated with the viewer, and even if the moving image content 41 is called, the processor 10 does not instruct the execution of the media player 43. The processor 10 does not recognize the moving image content 41 as a moving image file but regards the moving image content as an executable file. The moving image content 41 is not strictly reproduced but executed. From the point of view to the user, it is the same as playing a video file, but actually shows a sequence of images sequentially.
애플리케이션(42)은 디바이스를 통해서 여러 가지 독립한 기능을 수행하도록 하는 소프트웨어이다. 애플리케이션(42)은 전자 기기 내에서 1개 일 수 있으며, 다양한 형태로 복수일 수 있다. 도면에서의 애플리케이션(42)의 의미는 동영상 콘텐트의 선택과 관련한다. 동영상 콘텐트(41)는 이 애플리케이션(42)의 실행과 연동하여 구성되거나 혹은 애플리케이션의 기능에 포함된 모듈로 포함될 수 있다. 애플리케이션(42)은 특정한 기능 혹은 기능들의 집합을 실행하게 되는데, 그 특정 기능을 <액션 이벤트>라고 표현해 보자. 본 발명의 바람직한 어느 실시예에서는 애플리케이션(42)의 액션 이벤트가 발생할 때 자동으로 동영상 콘텐트(41)가 선택되도록 할 수 있다. 이때 프로세서(10)는 전술한 동영상 콘텐트(41)를 실행하고, 3D 무비 뷰어를 가시화화면서 이미지 시퀀스를 순차적으로 표시한다. The application 42 is software that allows the device to perform various independent functions. The application 42 may be one in an electronic device, and may be plural in various forms. The meaning of application 42 in the figure relates to the selection of moving image content. The video content 41 may be configured in conjunction with the execution of the application 42 or included as a module included in the function of the application. The application 42 executes a specific function or set of functions. Let's express the specific function as <action event>. In some preferred embodiments of the present invention, the video content 41 may be automatically selected when an action event of the application 42 occurs. In this case, the processor 10 executes the above-described video content 41 and sequentially displays the image sequence while visualizing the 3D movie viewer.
애플리케이션(42)의 상기 액션 이벤트는, 문자 메시지의 송수신 이벤트일 수 있다. 전자 기기가 문자 메시지를 송신하거나 혹은 수신할 때, 프로세서(10)가 사용자 화면 위로 3D 무비 뷰어와 일체화된 동영상 콘텐트(41)를 팝업하여 이미지 시퀀스가 뷰어 영역에서 동적으로 표시되도록 할 수 있다. 상기 액션 이벤트는 애플리케이션의 각종 알림 메시지의 송수신하는 이벤트일 수 있다. The action event of the application 42 may be a transmission / reception event of a text message. When the electronic device transmits or receives a text message, the processor 10 may pop up the video content 41 integrated with the 3D movie viewer over the user screen so that the image sequence is dynamically displayed in the viewer area. The action event may be an event for transmitting and receiving various notification messages of the application.
또한, 애플리케이션(42)의 상기 액션 이벤트는, 애플리케이션이 실행되는 기동 이벤트 혹은 애플리케이션이 종료되는 종료 이벤트일 수 있다. 애플리케이션이 실행될 때 프로세서(10)가 자동으로 3D 무비 뷰어를 실행하여 이미지 시퀀스가 동적으로 표시되도록 할 수 있다. 마찬가지로 애플리케이션이 종료될 때 3D 무비 뷰어를 실행하여 이미지 시퀀스가 자동으로 표시되도록 할 수 있다. In addition, the action event of the application 42 may be a start event in which the application is executed or an end event in which the application is terminated. When the application is executed, the processor 10 may automatically execute a 3D movie viewer to dynamically display an image sequence. Likewise, when the application exits, you can run the 3D movie viewer to automatically display the image sequence.
또한, 액션 이벤트는 미리 정해진 시점에 특정 기능을 실행하는 이벤트일 수 있다. 예컨대 캘린더에 기록하거나, 알람을 설정할 때, 그 기록과 알람에 반응하여 전자 장치가 어떤 기능을 실행할 때, 프로세서(10)가 3D 무비 뷰어를 실행하여 이미지 시퀀스가 뷰어영역에서 순차적으로 표시되도록 할 수 있다. 그 밖에 애플리케이션의 설정에 따라 정해지는 다양한 기능이 수행될 때, 그 기능의 실행을 계기로 동영상 콘텐트(41)가 실행되도록 설정할 수 있다. In addition, the action event may be an event for executing a specific function at a predetermined time. For example, when recording on a calendar or setting an alarm, when the electronic device executes a function in response to the recording and alarm, the processor 10 may execute a 3D movie viewer so that the image sequence is sequentially displayed in the viewer area. have. In addition, when various functions determined according to the settings of the application are performed, the moving image content 41 may be set to be executed upon execution of the function.
사용자가 입력장치(30)로 동영상 콘텐트(41)를 <선택>했을 때 3D 무비 뷰어가 실행되도록 할 수 있음은 물론이다. When the user <selects> the moving image content 41 with the input device 30, the 3D movie viewer may be executed.
프로세서(10)는 운영체제와 함께 컴퓨터 코드를 실행하고 데이터를 생성 및 사용하는 동작을 실행한다. 또한 프로세서(10)는 일련의 명령어를 사용하여 전자 기기의 컴포넌트들 간의 입력 및 출력 데이터의 수신 및 처리를 할 수 있다. 또한, 프로세서(10)는 애플리케이션 소프트웨어의 설치, 표시 및 실행에 관련한 프로세스의 처리를 제어하며, 특히 전자 기기에서의 GUI 요소의 변화를 운영체제 소프트웨어가 보장하고 애플리케이션 소프트웨어에 의해서 실행되도록 제어한다. 이러한 프로세서(10)는 입력장치(30)의 선택과 애플리케이션(43)의 액션 이벤트에 반응하여 3D 무비 뷰어를 실행하여 이미지 시퀀스가 자동으로 이어서 표시되도록 명령한다. 그리고 입력장치(30)에 의해서 터치이벤트가 발생하는 경우에, 3D 엔진(44)을 사용하여 무비 뷰어의 입체적인 변위 이벤트가 실행되도록 한다.The processor 10 executes computer code together with an operating system to generate and use data. The processor 10 may also receive and process input and output data between components of the electronic device by using a series of instructions. In addition, the processor 10 controls the processing of the process related to the installation, display and execution of the application software, and in particular, the operating system software ensures the change of the GUI element in the electronic device and is executed by the application software. The processor 10 executes the 3D movie viewer in response to the selection of the input device 30 and the action event of the application 43 to instruct the image sequence to be automatically displayed subsequently. When a touch event occurs by the input device 30, the 3D engine 44 is used to execute a three-dimensional displacement event of the movie viewer.
3D 엔진(44)은 전자 기기에서 가상의 3차원 공간을 생성하고 입체적인 객체를 생성하고 표현할 수 있게 구조화된 전문 프로그래밍 라이브러리이다. 전자 기기의 디스플레이는 기본적으로 x와 y축만 존재하는 평면이지만, 3D 엔진(44)은 z축을 생성해 줌으로써 전자 기기의 디스플레이를 통해서 입체적인 객체가 보여줄 수 있도록 보장한다.The 3D engine 44 is a specialized programming library structured to create a virtual three-dimensional space and to create and represent a three-dimensional object in an electronic device. The display of the electronic device is basically a plane having only the x and y axes, but the 3D engine 44 generates the z axis to ensure that the three-dimensional object can be displayed through the display of the electronic device.
도 5는 본 발명의 바람직한 어느 실시예에 따른 방법의 전체 프로세스를 개략적으로 나타내었다. 먼저 전자 기기의 입력장치가 동영상 콘텐트를 호출한다(S200). 이 동영상 콘텐트는 코덱을 갖지 않는다. 동영상 콘텐트는 그 자체가 뷰어로 코딩되어 있는 실행 파일이기 때문이다. 또한, 전술한 것처럼, 전자 기기의 입력수단이 사용자 화면을 통해 표시되어 있는 동영상 콘텐트를 선택하거나, 혹은 전자 기기의 애플리케이션을 통해 액션 이벤트가 발생할 때 자동으로 실행되도록 할 수 있다.5 schematically depicts the overall process of a method according to one preferred embodiment of the invention. First, the input device of the electronic device calls the video content (S200). This video content does not have a codec. This is because the video content is itself an executable file coded with a viewer. In addition, as described above, the input means of the electronic device may automatically execute when an action event occurs through selecting the video content displayed on the user screen or through an application of the electronic device.
이와 같이 동영상 콘텐트의 실행이 정해지면, 전자 기기의 프로세서가 무비 뷰어의 뷰어 영역에서 이미지 시퀀스를 순차적으로 표시한다(S210). 전술한 바와 같이, 본 발명의 무비 뷰어는 이미지 시퀀스와 일체로 구성되어 있어서 일반적인 미디어 플레이어와는 개념 자체가 다르다. 무비 뷰어는 실행되자마자 자동으로 이미지 시퀀스를 재생한다. 미디어 플레이어처럼 멈춤, 재생, 빨리감기, 되감기 명령어를 입력하는 버튼이 없다. When the execution of the moving image content is determined as described above, the processor of the electronic device sequentially displays the image sequence in the viewer area of the movie viewer (S210). As described above, the movie viewer of the present invention is constructed integrally with an image sequence, and thus has a different concept from a general media player. The movie viewer automatically plays the image sequence as soon as it is launched. Like the media player, there are no buttons for entering stop, play, fast forward, and rewind commands.
다음으로 전자 기기의 입력수단이 무비 뷰어를 터치하여 터치이벤트를 발생시킨다(S220). 사용자의 손가락은 입력수단으로 작용한다. 또한 터치이벤트는 단순히 접촉에 의한 탭 터치뿐만 아니라, 제스처나 멀티 터치도 포함할 수 있다. 터치이벤트가 발생하는 영역은 무비 뷰어의 프레임뿐만 아니라 이미지 시퀀스가 표시되는 뷰어 영역을 포함한다. 터치이벤트는 두 손가락으로 무비 뷰어를 확대하는 것, 두 손가락으로 무비 뷰어를 축소하는 것, 한 손가락 혹은 두 손가락을 이용하여 무비 뷰어를 회전시키는 것을 포함할 수 있다. Next, the input means of the electronic device touches the movie viewer to generate a touch event (S220). The user's finger acts as an input means. In addition, the touch event may include not only a tap touch by a contact but also a gesture or a multi touch. The region in which the touch event occurs includes a viewer region in which an image sequence is displayed as well as a frame of the movie viewer. The touch event may include zooming in on the movie viewer with two fingers, zooming out the movie viewer with two fingers, and rotating the movie viewer using one or two fingers.
터치이벤트가 발생함에 따라 전자 기기의 프로세서는 3D 엔진을 이용하여 등록된 변위 이벤트를 실행한다(S230). 변위 이벤트는 줌인, 줌아웃, 이동 및 회전변위 중 어느 하나의 이벤트가 실행될 수 있다. 회전변위는 360도 회전뿐만 아니라, 줌인 되면서 회전, 줌아웃 되면서 회전, 이동하면서 회전을 포함하는 개념일 수 있다. As the touch event occurs, the processor of the electronic device executes the registered displacement event using the 3D engine (S230). The displacement event may be any one of zoom in, zoom out, movement, and rotational displacement. The rotation displacement may be a concept including not only 360 degree rotation but also rotation while being zoomed in and rotated and zoomed out.
도 6은 본 발명의 일 실시예에 따라 모바일 디바이스의 화면상에서 표출된 3D 인터렉티브 무비 뷰어의 실제 시나리오를 예시한다. 모바일 디바이스의 사용자 화면(1)에는 다수의 아이콘(200)들이 있을 수 있다. 본 발명에 따라 무비 뷰어와 일체로 결합된 동영상 콘텐트를 호출하게 되면, 도 5와 같이 사용자 화면(1) 위로 무비 뷰어(100)가 팝업되어 떠 있게 된다. 이 무비 뷰어(100) 자체가 동영상 콘텐트이다. 무비 뷰어(100)는 뷰어 영역(110)과 프레임 영역(131)과 식별 이미지 영역(130, 135)을 포함할 수 있다. 6 illustrates an actual scenario of a 3D interactive movie viewer displayed on a screen of a mobile device according to an embodiment of the present invention. There may be a plurality of icons 200 on the user screen 1 of the mobile device. When calling the video content integrated with the movie viewer according to the present invention, the movie viewer 100 pops up and floats on the user screen 1 as shown in FIG. This movie viewer 100 itself is moving picture content. The movie viewer 100 may include a viewer region 110, a frame region 131, and identification image regions 130 and 135.
식별 이미지 영역(130)에는 텍스트가 포함될 수 있다. 예컨대 이미지 시퀀스가 자동차 영상인 경우에 식별 이미지 영역(130)을 통해서 자동차 메이커의 상호나 선전문구가 포함된 이미지를 나타낼 수 있다. 식별 이미지 영역(135)에는 그림 이미지가 포함될 수 있다. 예컨대 동영상 시퀀스가 자동차 영상인 경우에 식별 이미지 영역(135)을 통해서 자동차 광고의 모델의 얼굴을 나타낼 수 있으며, 또는 해당 자동차의 그림 이미지를 나타내도록 할 수도 있다. 식별 이미지 영역(135)을 통해서 광고할 수 있다. 뷰어 영역(110)에서의 이미지 시퀀스가 영화의 티저 영상이라면, 식별 이미지 영역(135)에서의 이미지는 주연배우의 사진 이미지일 수 있다.The identification image area 130 may include text. For example, when the image sequence is a car image, the identification image area 130 may represent an image including a trade name or a professional phrase of a car maker. The identification image region 135 may include a picture image. For example, when the video sequence is a car image, the face of the model of the car advertisement may be displayed through the identification image region 135, or the picture image of the car may be displayed. Advertisement can be made through the identification image region 135. If the image sequence in the viewer area 110 is a teaser image of the movie, the image in the identification image area 135 may be a photographic image of the lead actor.
이와 같이 식별 이미지 영역(135)을 통한 광고는 이미지 시퀀스와 직접적인 연관성을 가질 수 있어서 광고효과를 증대한다. 식별 이미지 영역(135)의 이미지와 동영상 시퀀스는 전술한 것처럼 함께 만들어질 수 있기 때문이다. As such, the advertisement through the identification image region 135 may be directly associated with the image sequence, thereby increasing the advertisement effect. This is because the image and video sequence of the identification image region 135 can be made together as described above.
한편, 이 무비 뷰어(100)는 미디어 플레이어가 아니라 이미지 시퀀스를 순차적으로 보여지도록 하는 신규한 콘텐트이기 때문에, 무비 뷰어(100)가 실행되어 있어도 사용자 화면(1)의 다른 아이콘(200)들을 터치하여 실행할 수 있다. 즉 무비 뷰어(100) 이외의 영역의 전자 기기의 사용자 인터페이스를 통해서 다른 기능을 호출하는 입력 이벤트를 실행할 수 있다. 이러한 입력 이벤트는 이미지 시퀀스의 순차 재생을 중단시키지 않는다. 그런 점이 종래의 미디어 플레이어와 매우 큰 차이점이라고 말할 수 있다. 심지어 미디어 플레이어를 실행하여 다른 동영상을 시청하면서도 본 발명의 무비 뷰어(100)를 실행할 수 있다. 즉 동영상 파일의 재생과 본 발명의 이미지 시퀀스의 순차 재생이 전자 기기의 사용자 화면을 통해 동시에 이루어질 수 있다. On the other hand, the movie viewer 100 is not a media player but a new content for displaying image sequences sequentially, so that the other icons 200 of the user screen 1 are touched even when the movie viewer 100 is executed. You can run That is, an input event for calling another function may be executed through a user interface of an electronic device in an area other than the movie viewer 100. This input event does not interrupt the sequential playback of the image sequence. That can be said to be a big difference from the conventional media player. It is even possible to run the movie viewer 100 of the present invention while watching another video by executing the media player. That is, the playback of the video file and the sequential playback of the image sequence of the present invention may be simultaneously performed through the user screen of the electronic device.
도 6에 도시된 것처럼, 뷰어 영역(110)을 통해서 이미지 시퀀스가 순차적으로 표시된다. 코딩된 사운드도 출력될 수 있다. 무비 뷰어(100)가 실행되면 자동으로 이미지 시퀀스가 동영상처럼 보여질 뿐이어서, 바람직하게는 무비 뷰어(100) 조작을 위한 사용자 인터페이스를 제공하지 않는다. As shown in FIG. 6, the image sequence is sequentially displayed through the viewer area 110. Coded sound can also be output. When the movie viewer 100 is executed, the image sequence is automatically displayed as a movie automatically, and preferably does not provide a user interface for manipulating the movie viewer 100.
사용자는 무비 뷰어(100)를 손가락으로 터치하면서 여러 가지 터치이벤트를 발생시킬 수 있다. 입력되는 터치이벤트에 반응하여 무비 뷰어(100)는 확대될 수 있고, 작아질 수 있으며, 이동할 수 있고, 회전할 수 있다. 바람직하게는 무비 뷰어(100)의 전체 영역에서 터치이벤트가 발생할 수 있다. 도 7은 무비 뷰어(100)가 확대되는 인터랙티브 시나리오를, 도 8은 회전되는 인터랙티브 시나리오를 나타낸다.The user may generate various touch events while touching the movie viewer 100 with a finger. In response to the input touch event, the movie viewer 100 may be enlarged, reduced, moved, and rotated. Preferably, a touch event may occur in the entire area of the movie viewer 100. 7 illustrates an interactive scenario in which the movie viewer 100 is enlarged, and FIG. 8 illustrates an interactive scenario in which the movie viewer 100 is rotated.
도 7에 나타난 것처럼 사용자가 무비 뷰어(100)에 대해서 화살표 방향으로 제스처를 입력한 경우, 이 터치이벤트에 반응하여 줌인 변위 이벤트를 실행하게 된다. 무비 뷰어(100)의 가상의 카메라에 의해 보여지는 무비 뷰어 (x, y, z) 위치 좌표가 변경돼서 도 7처럼 무비 뷰어(100)가 확대된다. 도면의 터치 제스처는 이미지 시퀀스(120)에 대한 터치이벤트가 아니라, 무비 뷰어(100) 자체에 대한 터치이벤트이다. 또한 무비 뷰어(100)의 프레임 크기는 그대로인데 이미지 시퀀스만 확대되는 것이 아니다. 무비 뷰어(100)의 시각적 크기 자체가 커짐으로써, 뷰어 영역(110), 식별 이미지 영역(130, 135)뿐만 아니라, 이미지 시퀀스도 크게 보인다. 도 6의 화살표와 반대방향으로 터치이벤트를 입력하면, 이것에 반응하여 무비 뷰어(100)은 줌아웃 변위 이벤트를 보일 것이다. As shown in FIG. 7, when the user inputs a gesture to the movie viewer 100 in the direction of the arrow, a zoom-in displacement event is executed in response to the touch event. The movie viewer (x, y, z) position coordinates shown by the virtual camera of the movie viewer 100 are changed to enlarge the movie viewer 100 as shown in FIG. 7. The touch gesture in the drawing is not a touch event for the image sequence 120, but a touch event for the movie viewer 100 itself. In addition, the frame size of the movie viewer 100 is the same, but the image sequence is not enlarged. As the visual size of the movie viewer 100 itself becomes larger, not only the viewer region 110, the identification image regions 130 and 135, but also the image sequence are large. If a touch event is input in the opposite direction to the arrow of FIG. 6, in response to this, the movie viewer 100 will show a zoom out displacement event.
도 8은 사용자가 무비 뷰어(100)를 손가락으로 터치하여 회전하는 제스처를 입력한 경우를 나타낸다. 이 경우 무비 뷰어(100)는 터치이벤트에 반응하여 회전 변위 이벤트를 실행하게 된다. 이때 무비 뷰어(100)의 뒤쪽 영역(140)이 사용자 화면에 노출될 수 있다. 바람직하게는 이 뒤쪽 영역(140)에 텍스트 및/또는 이미지로 구성되는 광고 콘텐트를 표시할 수 있다. 이러한 실시예를 통해서 새로운 광고 비즈니스 모델을 구현할 수 있다. 예컨대 앞쪽 영역인 뷰어 영역(110)에서 영화 티저 영상이 보여질 수 있다. 뒤쪽 영역(140)에는 해당 영화를 예매할 수 있는 링크를 줄 수 있거나, 영화정보, 할인권 정보일 수 있다. 8 illustrates a case in which a user inputs a gesture of rotating the movie viewer 100 by touching it with a finger. In this case, the movie viewer 100 executes the rotation displacement event in response to the touch event. In this case, the rear region 140 of the movie viewer 100 may be exposed on the user screen. Preferably, the back region 140 may display advertisement content composed of text and / or images. Through this embodiment, a new advertising business model can be implemented. For example, a movie teaser image may be displayed in the viewer region 110, which is the front region. The rear region 140 may be provided with a link for booking a corresponding movie, or may be movie information and discount ticket information.
한편, 무비 뷰어(100)가 도 8처럼 회전하더라도, 식별 이미지 영역(130, 135)는 도 6의 앞쪽 화면과 같이 그대로 표시될 수 있다.Meanwhile, even if the movie viewer 100 rotates as shown in FIG. 8, the identification image areas 130 and 135 may be displayed as shown in the front screen of FIG. 6.
도 3, 도 6 내지 도 8은 모바일 디바이스의 홈화면에서 무비 뷰어가 실행된 것을 나타내지만, 다양한 앱 화면 안에서 무비 뷰어가 실행될 수 있다. 또한 특정한 기능(예컨대 문자메시지의 송수신 등)이 디바이스에서 실행될 때 그 기능 실행 화면에서 무비 뷰어가 표시되도록 할 수 있다. 그리고 뷰어 영역(110)에서 이미지 시퀀스가 순차적으로 재생된다.3 and 6 to 8 illustrate that the movie viewer is executed on the home screen of the mobile device, the movie viewer may be executed within various app screens. In addition, when a specific function (for example, sending or receiving a text message) is executed in the device, the movie viewer may be displayed on the function execution screen. The image sequence is reproduced sequentially in the viewer region 110.
참고로, 본 발명의 일 실시예에 따른 무비 뷰어를 이용한 동영상 시퀀스의 표시 방법과 무비 뷰어의 생성 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독가능매체에 기록될 수 있다. 상기 컴퓨터 판독가능매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용가능한 것일 수도 있다. 컴퓨터 판독가능매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체, 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급언어코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.For reference, a method of displaying a video sequence and a method of generating a movie viewer using a movie viewer according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded on a computer readable medium. have. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the media may be those specially designed and constructed for the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer readable media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs, DVDs, magnetic-optical media such as floppy disks, and ROM, RAM, Hardware devices specifically configured to store and execute program instructions, such as flash memory, may be included. Examples of program instructions include machine code, such as produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
본 발명의 보호범위가 이상에서 명시적으로 설명한 실시예의 기재와 표현에 제한되는 것은 아니다. 또한, 본 발명이 속하는 기술분야에서 자명한 변경이나 치환으로 말미암아 본 발명이 보호범위가 제한될 수도 없음을 다시 한 번 첨언한다.The protection scope of the present invention is not limited to the description and expression of the embodiments explicitly described above. In addition, it is again noted that the scope of protection of the present invention may not be limited due to obvious changes or substitutions in the technical field to which the present invention pertains.

Claims (16)

  1. 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법으로서:To play a video using a 3D interactive movie viewer that responds to touch input:
    (a) 전자 기기의 입력수단이 코덱을 사용하지 않으며 무비 뷰어와 이미지 시퀀스가 일체로 결합되어 있는 동영상 콘텐트를 호출하는 단계;(a) invoking moving image content in which the input means of the electronic device does not use a codec and the movie viewer and the image sequence are integrally combined;
    (b) 상기 전자 기기의 프로세서가 상기 전자 기기에 설치되어 있는 상기 무비 뷰어의 뷰어 영역에서 상기 이미지 시퀀스를 순차적으료 표시하는 단계; 및(b) the processor of the electronic device sequentially displaying the image sequence in the viewer area of the movie viewer installed in the electronic device; And
    (c) 상기 전자 기기의 입력수단이 상기 무비 뷰어를 터치하는 경우, 그 터치이벤트에 반응하여 상기 무비 뷰어가 줌인, 줌아웃, 이동 및 회전변위 중 어느 하나의 변위이벤트를 실행하는 단계를 포함하는, 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법.(c) when the input means of the electronic device touches the movie viewer, the movie viewer executing a displacement event of any one of zooming in, zooming out, moving, and rotating displacement in response to the touch event; How to play video using 3D interactive movie viewer responding to touch input.
  2. 제1항에 있어서,The method of claim 1,
    상기 (a) 단계는, 상기 전자 기기의 입력수단이 무비 뷰어와 이미지 시퀀스가 일체로 결합되어 있는 동영상 콘텐트를 선택하거나, 상기 전자 기기의 애플리케이션을 통해 액션 이벤트가 발생할 때 자동으로 무비 뷰어와 이미지 시퀀스가 일체로 결합되어 있는 동영상 콘텐트가 선택되도록 하는 것인, 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법.In the step (a), when the input means of the electronic device selects the video content in which the movie viewer and the image sequence are integrally integrated, or when an action event occurs through an application of the electronic device, the movie viewer and the image sequence are automatically generated. Is selected so that the video content of which is integrally combined is a video playback method using a 3D interactive movie viewer responsive to touch input.
  3. 제2항에 있어서,The method of claim 2,
    상기 액션 이벤트는, 문자 메시지의 송수신 이벤트, 알림 메시지의 송수신 이벤트, 애플리케이션이 실행되는 기동 이벤트, 애플리케이션이 종료되는 종료 이벤트, 미리 정해진 시점에 특정 기능을 실행하는 이벤트 및 애플리케이션의 설정에 따라 정해지는 기능 수행 이벤트 중 어느 하나에 해당하는 것인, 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법.The action event may be a function determined according to an event of transmitting and receiving a text message, an event of transmitting and receiving a notification message, an event of starting an application, an event of ending an application, an event of executing a specific function at a predetermined time point, and an application setting. A video playback method using a 3D interactive movie viewer that responds to a touch input, which corresponds to any one of a performing event.
  4. 제1항에 있어서,The method of claim 1,
    상기 무비 뷰어는:The movie viewer is:
    (1) 개발자 단말이 3D 제작 소프트웨어를 실행하여 x축, y축 및 z축을 가지는 가상의 3D 공간에서 프레임 형태를 모델링하여 형태화 작업을 거칠 것;(1) the developer terminal executes the 3D production software to model the frame shape in a virtual 3D space having an x-axis, a y-axis and a z-axis to undergo a shaping operation;
    (2) 형태화 작업을 거친 프레임에 식별 이미지를 매핑하고 3D 엔진용 포맷으로 익스포팅할 것;(2) map identifying images to formatted frames and export them to a format for the 3D engine;
    (3) 연속된 이미지 시퀀스, 사운드 파일, 모델링 파일을 리소스로 등록할 것; 및(3) register consecutive image sequences, sound files, and modeling files as resources; And
    (4) 상기 연속된 이미지 시퀀스를 상기 무비 뷰어의 뷰어 영역에 등록하며 터치에 대응하는 변위 이벤트를 정의하여 코딩할 것을 포함하는 절차에 의해 무비 뷰어의 프레임과 이미지 시퀀스가 일체로 결합되도록 하는 것인, 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법.(4) Registering the sequence of images in the viewer area of the movie viewer and defining and coding a displacement event corresponding to a touch so that the frame and the image sequence of the movie viewer are integrally combined. , Video playback method using 3D interactive movie viewer in response to touch input.
  5. 제1항에 있어서,The method of claim 1,
    상기 (c) 단계의 변위 이벤트는, 상기 무비 뷰어의 (x, y, z) 좌표를 상기 전자 기기의 입력수단의 터치이벤트에 따라 사용자 시점에 대응하는 가상의 카메라 렌즈에 의해 보여지는 좌표로 변경하는 것인, 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법.The displacement event of the step (c) is to change the (x, y, z) coordinates of the movie viewer to the coordinates seen by the virtual camera lens corresponding to the user's point of view according to the touch event of the input means of the electronic device. How to play a video using a 3D interactive movie viewer in response to the touch input.
  6. 제1항에 있어서,The method of claim 1,
    (d) 상기 (c) 단계에서 상기 무비 뷰어의 변위 이벤트가 회전변위인 경우에, 노출되는 상기 무비 뷰어의 뒤쪽 영역을 통해서 텍스트 또는 이미지로 광고 콘텐트를 표시하는 단계를 더 포함하는, 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법.(d) if the displacement event of the movie viewer in the step (c) is a rotational displacement, further comprising displaying the advertisement content as a text or an image through the rear region of the movie viewer exposed; How to play a video using a responsive 3D interactive movie viewer.
  7. 제1항에 있어서,The method of claim 1,
    상기 무비 뷰어를 통해서 이미지 시퀀스가 순차적으로 표시되는 동안, While the image sequence is displayed sequentially through the movie viewer,
    상기 무비 뷰어 이외의 영역의 상기 전자 기기의 사용자 인터페이스를 통해서 다른 기능을 호출하는 입력 이벤트를 실행하는 단계를 더 포함하는, 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법.And executing an input event for calling another function through a user interface of the electronic device in a region other than the movie viewer. 3.
  8. 제1항에 있어서,The method of claim 1,
    상기 전자 기기는 터치패널을 통한 터치입력이 가능한 스마트폰, 태블릿 PC 또는 웨어러블 디바이스인, 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법.The electronic device is a smart phone, a tablet PC or a wearable device capable of touch input through a touch panel, the video playback method using a 3D interactive movie viewer in response to the touch input.
  9. 제1항에 있어서,The method of claim 1,
    상기 전자 기기는 터치패널을 통한 터치입력이 가능한 사물 인터넷 디바이스인, 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 이용한 동영상 재생 방법.And the electronic device is an IoT device capable of touch input through a touch panel.
  10. 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 생성하는 방법으로서:To create a 3D interactive movie viewer that responds to touch input:
    (a) 동영상 파일에서 연속적으로 이어지는 이미지 시퀀스를 추출하는 단계;(a) extracting successive image sequences from the moving image file;
    (b) 무비 뷰어의 프레임 영역과 뷰어 영역을 정의하여 형태를 모델링하는 단계;(b) modeling a shape by defining a frame area and a viewer area of the movie viewer;
    (c) 상기 이미지 시퀀스를 상기 무비 뷰어의 상기 뷰어 영역에 등록하여 매핑하는 단계; 및(c) registering and mapping the image sequence to the viewer area of the movie viewer; And
    (d) 상기 무비 뷰어를 프로그래밍하면서 가상의 3D 공간에서 사용자 시점에 대응하는 가상의 카메라를 세팅하고 상기 무비 뷰어에 대한 터치이벤트에 따라 상기 가상의 카메라의 렌즈 변위를 이동시킴으로써 상기 무비 뷰어의 줌인, 줌아웃, 이동 및 회전변위 중 어느 하나의 변위이벤트를 실행되도록 코딩하는 단계를 포함하는, 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 생성하는 방법.(d) zooming in the movie viewer by setting a virtual camera corresponding to a user's point of view in a virtual 3D space while programming the movie viewer and moving lens displacement of the virtual camera according to a touch event for the movie viewer; A method of creating a 3D interactive movie viewer responsive to touch input, the method comprising: coding a displacement event of any one of zoom out, movement, and rotational displacement to be executed.
  11. 제10항에 있어서, The method of claim 10,
    상기 (d) 단계는 상기 무비 뷰어의 전자 기기에서의 좌표는 (0, 0, 0)으로 설정하고, 전자 기기의 입력수단의 터치이벤트에 따라 상기 무비 뷰어의 좌표를 변경하는 구성을 더 포함하는, 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 생성하는 방법.In the step (d), the coordinates of the electronic device of the movie viewer may be set to (0, 0, 0), and the coordinates of the movie viewer may be changed according to a touch event of an input device of the electronic device. How to create a 3D interactive movie viewer that responds to touch input.
  12. (a) 전자기기의 입력수단이 코덱을 사용하지 않으며 무비 뷰어와 이미지 시퀀스가 일체로 결합되어 있는 동영상 콘텐트를 호출하는 단계;(a) calling the moving image content in which the input means of the electronic device does not use a codec and the movie viewer and the image sequence are integrally combined;
    (b) 상기 전자기기의 프로세서가 상기 전자기기에 설치되어 있는 상기 무비 뷰어의 뷰어 영역에서 상기 이미지 시퀀스를 순차적으료 표시하는 단계; (b) sequentially displaying the image sequence in the viewer area of the movie viewer installed in the electronic device by the processor of the electronic device;
    (c) 상기 (b) 단계의 실행 중에 미리 설정된 3D 오브젝트가 상기 무비 뷰어의 안쪽 혹은 바깥쪽 영역을 통해서 가상의 Z축 좌표로 변위하는 단계; 및(c) displacing a preset 3D object to virtual Z-axis coordinates through the inner or outer region of the movie viewer during the execution of step (b); And
    (d) 상기 전자기기의 입력수단이 상기 무비 뷰어를 터치하는 경우, 그 터치이벤트에 반응하여 상기 무비 뷰어가 줌인, 줌아웃, 이동 및 회전변위 중 어느 하나의 변위이벤트를 실행하는 단계를 포함하는 것을 특징으로 하는, 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 이용하여 동영상을 재생하면서 애니메이션을 실행하는 방법.(d) when the input means of the electronic device touches the movie viewer, the movie viewer executing a displacement event of any one of zooming in, zooming out, moving, and rotating displacement in response to the touch event. A method for executing animation while playing a video using a 3D interactive movie viewer responsive to touch input.
  13. 제12항에 있어서,The method of claim 12,
    상기 (a) 단계는, 상기 전자기기의 입력수단이 무비 뷰어와 이미지 시퀀스가 일체로 결합되어 있는 동영상 콘텐트를 선택하거나, 상기 전자기기의 애플리케이션을 통해 액션 이벤트가 발생할 때 자동으로 무비 뷰어와 이미지 시퀀스가 일체로 결합되어 있는 동영상 콘텐트가 선택되도록 하는 것인, 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 이용하여 동영상을 재생하면서 애니메이션을 실행하는 방법.In the step (a), when the input means of the electronic device selects the video content in which the movie viewer and the image sequence are integrally integrated, or when an action event occurs through the application of the electronic device, the movie viewer and the image sequence are automatically generated. Is selected so that the video content, which is integrated together, is selected. The method of executing an animation while playing a video using a 3D interactive movie viewer responsive to a touch input.
  14. 제13항에 있어서,The method of claim 13,
    상기 액션 이벤트는, 문자 메시지의 송수신 이벤트, 알림 메시지의 송수신 이벤트, 애플리케이션이 실행되는 기동 이벤트, 애플리케이션이 종료되는 종료 이벤트, 미리 정해진 시점에 특정 기능을 실행하는 이벤트 및 애플리케이션의 설정에 따라 정해지는 기능 수행 이벤트 중 어느 하나에 해당하는 것인, 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 이용하여 동영상을 재생하면서 애니메이션을 실행하는 방법.The action event may be a function determined according to an event of transmitting and receiving a text message, an event of transmitting and receiving a notification message, an event of starting an application, an event of ending an application, an event of executing a specific function at a predetermined time point, and an application setting. A method of executing an animation while playing a video using a 3D interactive movie viewer that responds to a touch input, which corresponds to any one of a performing event.
  15. 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 생성하면서 애니메이션을 추가하는 방법으로서:As a way to add animation while creating a 3D interactive movie viewer that responds to touch input:
    (a) 동영상 파일에서 연속적으로 이어지는 이미지 시퀀스를 추출하는 단계;(a) extracting successive image sequences from the moving image file;
    (b) 무비 뷰어의 프레임 영역과 뷰어 영역을 정의하여 형태를 모델링하는 단계;(b) modeling a shape by defining a frame area and a viewer area of the movie viewer;
    (c) 상기 이미지 시퀀스를 상기 무비 뷰어의 상기 뷰어 영역에 등록하여 매핑하는 단계; (c) registering and mapping the image sequence to the viewer area of the movie viewer;
    (d) 상기 이미지 시퀀스와는 별도의 리소스를 갖는 3D 오브젝트에 의해 애니메이션 기능을 설정하는 단계; 및(d) setting an animation function by a 3D object having a resource separate from the image sequence; And
    (e) 상기 무비 뷰어를 프로그래밍하면서 가상의 3D 공간에서 사용자 시점에 대응하는 가상의 카메라를 세팅하고 상기 무비 뷰어에 대한 터치이벤트에 따라 상기 가상의 카메라의 렌즈 변위를 이동시킴으로써 상기 무비 뷰어의 줌인, 줌아웃, 이동 및 회전변위 중 어느 하나의 변위이벤트를 실행되도록 코딩하는 단계를 포함하는, 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 생성하면서 애니메이션을 추가하는 방법.(e) zooming in the movie viewer by setting the virtual camera corresponding to the user's point of view in the virtual 3D space while programming the movie viewer and moving the lens displacement of the virtual camera according to a touch event for the movie viewer; A method of adding animation while creating a 3D interactive movie viewer responsive to touch input, the method comprising: coding a displacement event of any one of zoom out, movement, and rotational displacement.
  16. 제15항에 있어서, The method of claim 15,
    상기 (e) 단계는 상기 무비 뷰어의 전자기기에서의 좌표는 (0, 0, 0)으로 설정하고, 전자기기의 입력수단의 터치이벤트에 따라 상기 무비 뷰어의 좌표를 변경하는 구성을 더 포함하는, 터치입력에 반응하는 3D 인터랙티브 무비 뷰어를 생성하면서 애니메이션을 추가하는 방법.In the step (e), the coordinates of the electronic device of the movie viewer are set to (0, 0, 0), and further comprising a configuration of changing the coordinates of the movie viewer according to a touch event of the input means of the electronic device. How to add animation while creating a 3D interactive movie viewer that responds to touch input.
PCT/KR2015/008371 2014-08-11 2015-08-11 Video playback method using 3d interactive movie viewer responsive to touch input, and method for adding animation while playing back video WO2016024782A1 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2014-0103168 2014-08-11
KR1020140103168A KR101608145B1 (en) 2014-08-11 2014-08-11 Video playing method using 3d interactive movie viewer responding to touch input
KR10-2014-0151882 2014-11-04
KR1020140151882A KR101595663B1 (en) 2014-11-04 2014-11-04 Method of playing a video with 3d animation using 3d interactive movie viewer responding to touch input

Publications (1)

Publication Number Publication Date
WO2016024782A1 true WO2016024782A1 (en) 2016-02-18

Family

ID=55304352

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/008371 WO2016024782A1 (en) 2014-08-11 2015-08-11 Video playback method using 3d interactive movie viewer responsive to touch input, and method for adding animation while playing back video

Country Status (1)

Country Link
WO (1) WO2016024782A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000050196A (en) * 2000-05-24 2000-08-05 전연택 Three dimensions imagination system for displaying viewing direction and changing image of object by viewing direction, method for emboding it
KR20080047845A (en) * 2006-11-27 2008-05-30 삼성전자주식회사 Method for generating frame information on moving image and apparatus thereof
US20100207937A1 (en) * 2006-07-21 2010-08-19 Anthony James Trothe System for creating a personalised 3d animated effigy
KR20140064162A (en) * 2012-11-19 2014-05-28 삼성전자주식회사 Method for displaying a screen in mobile terminal and the mobile terminal therefor
US20140157206A1 (en) * 2012-11-30 2014-06-05 Samsung Electronics Co., Ltd. Mobile device providing 3d interface and gesture controlling method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000050196A (en) * 2000-05-24 2000-08-05 전연택 Three dimensions imagination system for displaying viewing direction and changing image of object by viewing direction, method for emboding it
US20100207937A1 (en) * 2006-07-21 2010-08-19 Anthony James Trothe System for creating a personalised 3d animated effigy
KR20080047845A (en) * 2006-11-27 2008-05-30 삼성전자주식회사 Method for generating frame information on moving image and apparatus thereof
KR20140064162A (en) * 2012-11-19 2014-05-28 삼성전자주식회사 Method for displaying a screen in mobile terminal and the mobile terminal therefor
US20140157206A1 (en) * 2012-11-30 2014-06-05 Samsung Electronics Co., Ltd. Mobile device providing 3d interface and gesture controlling method thereof

Similar Documents

Publication Publication Date Title
JP7297216B2 (en) Touch-free interface for augmented reality systems
WO2021010660A1 (en) System and method for augmented reality scenes
WO2023279705A1 (en) Live streaming method, apparatus, and system, computer device, storage medium, and program
CN103858074B (en) The system and method interacted with device via 3D display device
US8656282B2 (en) Authoring tool for providing tags associated with items in a video playback
US11921414B2 (en) Reflection-based target selection on large displays with zero latency feedback
CN105979339B (en) Window display method and client
WO2017113730A1 (en) Method and system for generating and controlling composite user interface control
US20200035025A1 (en) Triggered virtual reality and augmented reality events in video streams
CN111324253B (en) Virtual article interaction method and device, computer equipment and storage medium
EP2182522B1 (en) Information processing
KR101608145B1 (en) Video playing method using 3d interactive movie viewer responding to touch input
JP2018113616A (en) Information processing unit, information processing method, and program
CN111225138A (en) Camera control method and device, storage medium and terminal
US10356493B2 (en) Methods, systems, and media for presenting interactive elements within video content
EP3590255A1 (en) Method and apparatus for providing product placement
CN107295393B (en) method and device for displaying additional media in media playing, computing equipment and computer-readable storage medium
US20210042980A1 (en) Method and electronic device for displaying animation
WO2023169305A1 (en) Special effect video generating method and apparatus, electronic device, and storage medium
EP4171006A1 (en) Previewing method and apparatus for effect application, and device and storage medium
CN110069230A (en) Extend content display method, device and storage medium
CN112732089A (en) Virtual reality equipment and quick interaction method
KR20180027917A (en) Display apparatus and control method thereof
WO2016024782A1 (en) Video playback method using 3d interactive movie viewer responsive to touch input, and method for adding animation while playing back video
KR101595663B1 (en) Method of playing a video with 3d animation using 3d interactive movie viewer responding to touch input

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15832563

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205N DATED 20/04/2017)

122 Ep: pct application non-entry in european phase

Ref document number: 15832563

Country of ref document: EP

Kind code of ref document: A1