RU2523980C2 - Method and system for displaying set of multimedia objects on 3d display - Google Patents
Method and system for displaying set of multimedia objects on 3d display Download PDFInfo
- Publication number
- RU2523980C2 RU2523980C2 RU2012144222/12A RU2012144222A RU2523980C2 RU 2523980 C2 RU2523980 C2 RU 2523980C2 RU 2012144222/12 A RU2012144222/12 A RU 2012144222/12A RU 2012144222 A RU2012144222 A RU 2012144222A RU 2523980 C2 RU2523980 C2 RU 2523980C2
- Authority
- RU
- Russia
- Prior art keywords
- dimensional
- objects
- multimedia
- scene
- display
- Prior art date
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
Изобретение относится к области представления коллекции (набора) мультимедиа объектов на трехмерных дисплеях. Более конкретно, изобретение относится к динамической визуализации коллекции мультимедиа объектов в виде слайдшоу на трехмерных дисплеях. Любые плоские (двумерные) или стерео (трехмерные) изображения или видео могут рассматриваться в качестве мультимедиа объектов, между которыми создается трехмерный анимированный переход на трехмерном дисплее.The invention relates to the field of representing a collection (set) of multimedia objects on three-dimensional displays. More specifically, the invention relates to dynamic visualization of a collection of multimedia objects in the form of slideshows on three-dimensional displays. Any flat (two-dimensional) or stereo (three-dimensional) images or video can be considered as multimedia objects, between which a three-dimensional animated transition is created on a three-dimensional display.
Известно множество способов и систем, посвященных показу плоских изображений или фотографий в виде слайдшоу на двумерном дисплее. Например, патент США №5,353,391 [1] описывает способ и устройство для генерации и просмотра перехода между двумя последовательностями изображений. Определяются части обеих последовательностей изображений, затем из списка возможных переходов создается шаблон перехода; указанные части последовательностей изображений используются согласно указанному шаблону перехода для создания третьей последовательности изображений.Many methods and systems are known for displaying flat images or photographs as slideshows on a two-dimensional display. For example, US Patent No. 5,353,391 [1] describes a method and apparatus for generating and viewing a transition between two sequences of images. Parts of both sequences of images are determined, then a transition template is created from the list of possible transitions; said portions of image sequences are used according to said transition pattern to create a third image sequence.
Некоторые патенты рассматривают псевдо трехмерный эффект перехода на двумерном дисплее. Например, выложенная заявка на патент США 20110176720 [2] описывает способ, состоящий в разделении пространства двумерного дисплея на области и отображении последовательности выбранных изображений в областях дисплея так, чтобы обеспечивать видимость трехмерного эффекта.Some patents consider the pseudo-three-dimensional transition effect on a two-dimensional display. For example, U.S. Patent Application Laid-Open No. 20110176720 [2] describes a method consisting in dividing a two-dimensional display space into regions and displaying a sequence of selected images in the display regions so as to provide a three-dimensional effect visibility.
В последнее время трехмерные дисплеи и трехмерные телевизоры стали очень популярны, однако основной объем визуальных ресурсов таких как фотографии и видео остается двумерным. Поэтому много патентов посвящены преобразованию двумерных изображений и видео в трехмерные. Например, патент США №8,253,729 [3] описывает преобразование двумерной видеопоследовательности в трехмерную стереоскопическую видеопоследовательность. Способ включает создание информации о глубине и создание, по крайней мере, одного кадра обработанного двумерного изображения путем геометрических искажений в соответствии с информацией о глубине. Заявка на патент США 20110050687 [4] описывает способ применения стереоскопического эффекта при отображении двумерных цифровых документов, включающий следующие шаги: для каждого объекта из набора объектов-данных, соответствующих отображаемым элементам, на основе данных объекта определяются параметры и правила отображения трехмерных эффектов; документ обрабатывается для генерации копий отображаемых элементов для левого и правого глаза, при этом обработка заключается в выполнении смещений двумерных позиций копий отображаемых элементов для левого и правого глаза, определяемых любым из соответствующих правил трехмерных эффектов; осуществляется визуализация копий отображаемых элементов для левого и правого глаза.Recently, three-dimensional displays and three-dimensional TVs have become very popular, but the bulk of visual resources such as photographs and video remains two-dimensional. Therefore, many patents are devoted to the conversion of two-dimensional images and video into three-dimensional. For example, US Pat. No. 8,253,729 [3] describes the conversion of a two-dimensional video sequence into a three-dimensional stereoscopic video sequence. The method includes creating depth information and creating at least one frame of the processed two-dimensional image by geometric distortion in accordance with the depth information. Application for US patent 20110050687 [4] describes a method for applying the stereoscopic effect when displaying two-dimensional digital documents, which includes the following steps: for each object from the set of data objects corresponding to the displayed elements, the parameters and rules for displaying three-dimensional effects are determined based on the object’s data; the document is processed to generate copies of the displayed elements for the left and right eyes, while the processing consists in performing offsets of two-dimensional positions of copies of the displayed elements for the left and right eye, determined by any of the corresponding rules of three-dimensional effects; visualization of copies of the displayed elements for the left and right eyes.
Также существуют способы для представления трехмерной анимации в трехмерных телевизорах и кинопроекторах. Например, патент США №8,228,327 [5] предлагает способ визуализации стереоскопических изображений с нелинейным изменением глубины. Устройство обработки позиционирует стерео или горизонтально сдвинутые камеры и визуализирует изображения на основе нелинейного соотношения между смещением, заданным для одного или более анимационных объектов, и расстоянием между камерой и объектами.There are also methods for presenting three-dimensional animation in three-dimensional televisions and film projectors. For example, US Pat. No. 8,228,327 [5] provides a method for visualizing stereoscopic images with non-linear depth changes. The processing device positions the stereo or horizontally shifted cameras and visualizes images based on a non-linear relationship between the offset specified for one or more animated objects and the distance between the camera and the objects.
В настоящее время широко распространены трехмерные дисплеи, в частности трехмерные телевизоры с пассивными или активными очками. Потребитель накопил большое количество двумерных фотографий и видео, а трехмерные фотографии и видео пока распространены в значительно меньшей степени, хотя и существует тенденция к увеличению объема трехмерного контента. На текущий момент существуют слайдшоу, в которых только 2D или только 3D фото сменяют друг друга в плоскости экрана. Авторам неизвестно решение, позволяющее на лету (в режиме реального времени) проигрывать в режиме слайдшоу одновременно двумерные и трехмерные фрагменты фотографий и видео с реалистичными трехмерными переходами на трехмерном дисплее, которое создает впечатляющие анимационные эффекты с ощущением объема и перемещением мультимедиа объектов в этом объеме.Currently, three-dimensional displays are widespread, in particular three-dimensional televisions with passive or active glasses. The consumer has accumulated a large number of two-dimensional photographs and videos, while three-dimensional photographs and videos are so far less widely distributed, although there is a tendency to increase the volume of three-dimensional content. Currently there are slideshows in which only 2D or only 3D photos replace each other in the plane of the screen. The authors are not aware of a solution that allows on the fly (in real time) to play in the slideshow simultaneously two-dimensional and three-dimensional fragments of photographs and videos with realistic three-dimensional transitions on a three-dimensional display, which creates impressive animation effects with a sense of volume and the movement of multimedia objects in this volume.
Наиболее близкими признаками к заявляемому изобретению обладает техническое решение, изложенное в источнике [1].The closest features to the claimed invention has a technical solution set forth in the source [1].
Задача, на решение которой направлено заявляемое изобретение, состоит в разработке способа и системы, которые позволили бы в реальном времени создавать реалистичный трехмерный переход между такими мультимедиа объектами, как двумерные и трехмерные изображения и видео, визуализируемые в произвольной последовательности.The problem to which the claimed invention is directed, is to develop a method and system that would allow in real time to create a realistic three-dimensional transition between such multimedia objects as two-dimensional and three-dimensional images and video, rendered in random order.
Технический результат достигается за счет разработки способа визуализации мультимедиа слайдшоу на трехмерном дисплее, предусматривающего выполнение следующих операций:The technical result is achieved by developing a method for visualizing multimedia slideshows on a three-dimensional display, which provides for the following operations:
- выбирают набор мультимедиа объектов для показа;- choose a set of multimedia objects to display;
- визуализируют выбранные двумерные и трехмерные мультимедиа объекты последовательно так, что переход между текущим и следующим мультимедиа объектом осуществляется в трехмерном режиме дисплея следующим образом:- visualize the selected two-dimensional and three-dimensional multimedia objects sequentially so that the transition between the current and the next multimedia object is carried out in three-dimensional display mode as follows:
- строят трехмерную сцену, состоящую из одного или нескольких трехмерных объектов;- build a three-dimensional scene, consisting of one or more three-dimensional objects;
- накладывают текущий и следующий мультимедиа объекты на трехмерные объекты сцены в качестве текстур;- superimpose the current and next multimedia objects on three-dimensional objects of the scene as textures;
- выполняют последовательные преобразования трехмерных объектов в пространстве сцены таким образом, что в результате визуализации сцены создается трехмерный анимационный эффект для мультимедиа объектов.- perform sequential transformations of three-dimensional objects in the scene space in such a way that as a result of scene visualization a three-dimensional animation effect is created for multimedia objects.
При решении второй части поставленной задачи технический результат достигается за счет разработки системы визуализации мультимедиа слайдшоу на трехмерном дисплее, которая включает в себя следующие модули:When solving the second part of the task, the technical result is achieved by developing a visualization system for multimedia slideshows on a three-dimensional display, which includes the following modules:
- модуль генерации сценария, выполненный с возможностью формирования сценария трехмерного слайдшоу; при этом на вход модуля поступают как набор мультимедиа объектов, так и параметры мультимедиа слайдшоу, определяемые пользователем, а сценарий слайдшоу, включающий последовательность мультимедиа объектов, поступает на вход модуля генерации трехмерной сцены и на вход модуля трехмерных преобразований;- script generation module, configured to generate a three-dimensional slideshow script; at the same time, both a set of multimedia objects and multimedia slideshow parameters determined by the user are received at the module input, and a slideshow script including a sequence of multimedia objects is fed to the input of the three-dimensional scene generation module and to the input of the three-dimensional transformation module;
- модуль генерации трехмерной сцены, выполненный с возможностью построения трехмерной сцены и накладки текущего и следующего мультимедиа объектов на трехмерные объекты сцены в качестве текстур; причем на вход модуля поступает сценарий трехмерного слайдшоу, а на выходе формируется трехмерная сцена, передающаяся на вход модуля трехмерных преобразований;- a module for generating a three-dimensional scene, configured to build a three-dimensional scene and overlay the current and next multimedia objects on three-dimensional objects of the scene as textures; moreover, the script of a three-dimensional slideshow enters the input of the module, and a three-dimensional scene is formed at the output, which is transmitted to the input of the three-dimensional transform module;
- модуль трехмерных преобразований, выполненный с возможностью последовательной модификации трехмерных объектов в пространстве сцены; причем на вход модуля поступают трехмерная сцена и сценарий трехмерного слайдшоу, а последовательность модифицированных трехмерных сцен передается на вход модуля генерации кадра;- a module of three-dimensional transformations, configured to sequentially modify three-dimensional objects in the space of the scene; moreover, a three-dimensional scene and a three-dimensional slideshow script are received at the module input, and a sequence of modified three-dimensional scenes is transmitted to the input of the frame generation module;
- модуль генерации кадра, выполненный с возможностью создания трехмерных кадров из последовательности модифицированных трехмерных сцен в формате, подходящим для визуализации на трехмерном дисплее, и с возможностью передачи трехмерных кадров на вход трехмерного дисплея;- a frame generation module, configured to create three-dimensional frames from a sequence of modified three-dimensional scenes in a format suitable for visualization on a three-dimensional display, and with the possibility of transmitting three-dimensional frames to the input of a three-dimensional display;
- трехмерный дисплей, выполненный с возможностью визуализации кадров.- three-dimensional display configured to render frames.
Предлагаемый способ и система позволяют в реальном времени создавать реалистичный трехмерный переход между такими мультимедиа объектами, как двумерные и трехмерные изображения и видео, визуализируемые в произвольной последовательности. При переходе один мультимедиа объект сменяет другой мультимедиа объект, перемещаясь в пространстве трехмерной сцены. Предлагаемый способ предлагает впечатляющий и привлекательный путь для просмотра слайдшоу, используя возможности современных трехмерных дисплеев. Даже при просмотре только двумерных фотографий это позволяет пользователям испытывать большее удовлетворение от просмотра слайдшоу на трехмерном дисплее.The proposed method and system allows in real time to create a realistic three-dimensional transition between such multimedia objects as two-dimensional and three-dimensional images and video, rendered in an arbitrary sequence. Upon transition, one multimedia object replaces another multimedia object, moving in the space of a three-dimensional scene. The proposed method offers an impressive and attractive way to view slideshows using the capabilities of modern three-dimensional displays. Even when viewing only two-dimensional photographs, this allows users to experience greater satisfaction from viewing a slideshow on a three-dimensional display.
Фиг.1 иллюстрирует пример трехмерного перехода между двумя мультимедиа объектами.Figure 1 illustrates an example of a three-dimensional transition between two multimedia objects.
Фиг.2 демонстрирует схему визуализации мультимедиа слайдшоу на трехмерном экране.Figure 2 shows a visualization scheme of a multimedia slideshow on a three-dimensional screen.
Фиг.3 показывает схему визуализации выбранных двумерных и трехмерных мультимедиа объектов, переход между текущим и следующим мультимедиа объектов осуществляется в трехмерном режиме дисплея.Figure 3 shows the visualization scheme of the selected two-dimensional and three-dimensional multimedia objects, the transition between the current and the next multimedia objects is carried out in three-dimensional display mode.
Фиг.4 представляет шаги динамического представления коллекции изображений в виде слайдшоу в предпочтительном варианте реализации изобретения.4 represents the steps of dynamically presenting a collection of images as a slide show in a preferred embodiment of the invention.
Фиг.5 иллюстрирует шаги преобразования сцены для создания последовательности кадров перехода.5 illustrates the steps of transforming a scene to create a sequence of transition frames.
На Фиг.6 показана схема системы визуализации мультимедиа слайдшоу на трехмерном дисплее.Figure 6 shows a diagram of a visualization system for multimedia slideshows on a three-dimensional display.
Фиг.1 иллюстрирует пример трехмерного перехода между двумя мультимедиа объектами. Для примера, не ограничивая общности, в качестве мультимедиа объектов рассматриваются два изображения (позиция 101, 102). Любые двумерные и трехмерные изображения и видео последовательности с фоновым аудио сопровождением могут выступать в качестве мультимедиа объектов, между которыми создается трехмерный переход на трехмерном дисплее. Первоначально текущий мультимедиа объект отображается на дисплее в нейтральной позиции по оси Z (оси глубины) в плоскости экрана трехмерного дисплея (позиция 103). Трехмерный анимационный эффект при смене мультимедиа объектов (позиции 104, 105) создается таким образом, что в итоге следующий мультимедиа объект отображается на экране в нейтральной позиции по оси Z в плоскости экрана трехмерного дисплея (позиция 106).Figure 1 illustrates an example of a three-dimensional transition between two multimedia objects. For example, without limiting generality, two images are considered as multimedia objects (
Фиг.2 демонстрирует блок-схему визуализации мультимедиа слайдшоу на трехмерном экране. Мультимедиа объекты выбирают на шаге 201. На шаге 202 выбранные двумерные и трехмерные мультимедиа объекты показываются последовательно, переход между текущим и следующим мультимедиа объектом осуществляется в трехмерном режиме дисплея как показано на Фиг.3.Figure 2 shows a block diagram of a visualization of multimedia slideshows on a three-dimensional screen. The multimedia objects are selected in
Построение трехмерной сцены, состоящей из одного или более трехмерных объектов, выполняют на шаге 301 (Фиг.3). Применение текущего и следующего мультимедиа объектов в качестве текстур к трехмерным объектам сцены производят на шаге 302. На шаге 303 выполняют последовательные преобразования трехмерных объектов в пространстве сцены таким образом, чтобы в результате визуализации сцены создавался трехмерный анимационный эффект для мультимедиа объекта.The construction of a three-dimensional scene, consisting of one or more three-dimensional objects, is performed at step 301 (Figure 3). The application of the current and the following multimedia objects as textures to three-dimensional objects of the scene is performed at
Фиг.4 представляет шаги динамического представления коллекции изображений в виде слайдшоу в предпочтительном варианте реализации изобретения. На шаге 401 получают параметры перехода. Указанные параметры включают тип перехода, который определяет способ построения трехмерной сцены, преобразования, применяемые к трехмерным объектам сцены, изменение способа текстурирования, изменение текстурных координат, создание новых трехмерных объектов, объединение существующих трехмерных объектов, любые дополнительные анимационные эффекты, применяемые4 represents the steps of dynamically presenting a collection of images as a slide show in a preferred embodiment of the invention. At step 401, the transition parameters are obtained. These parameters include the type of transition, which determines the method of constructing a three-dimensional scene, the transformations applied to three-dimensional objects of the scene, changing the texturing method, changing texture coordinates, creating new three-dimensional objects, combining existing three-dimensional objects, any additional animation effects applied
непосредственно к мультимедиа объектам, используемым в качестве текстуры. Указанные параметры могут задаваться пользователем или устанавливаться автоматически. На шаге 402 пользователь выбирает мультимедиа объекты для динамической визуализации в виде слайдшоу на трехмерном дисплее. Вначале мультимедиа объект отображается в течение заданного промежутка времени (403). Затем осуществляют доступ к следующему мультимедиа объекту (404). Порядок, в котором мультимедиа объекты визуализируются, либо задается заранее, либо случаен. На шаге 405 строят трехмерную сцену с трехмерными объектами, а также устанавливают параметры сцены. Построение сцены производится согласно параметрам, заданным на шаге 401. Поскольку мультимедиа объекты используются в качестве текстур для трехмерных объектов сцены, то на шаге 406 устанавливают соответствие между указанными мультимедиа объектами и трехмерными объектами сцены.directly to multimedia objects used as textures. The indicated parameters can be set by the user or set automatically. At step 402, the user selects multimedia objects for dynamic visualization as a slideshow on a three-dimensional display. Initially, a multimedia object is displayed for a specified period of time (403). Then access to the next multimedia object (404). The order in which multimedia objects are rendered is either predefined or random. In step 405, a three-dimensional scene with three-dimensional objects is built, and scene parameters are also set. The scene is constructed according to the parameters specified in step 401. Since multimedia objects are used as textures for three-dimensional scene objects, at step 406, a correspondence is established between the specified multimedia objects and three-dimensional scene objects.
Возможно как множественное, так и частичное соответствие. Множественное соответствие означает применение одного мультимедиа объекта к нескольким трехмерным объектам сцены и, наоборот, применение нескольких мультимедиа объектов к одному трехмерному объекту сцены. Частичное соответствие означает, что фрагмент одного мультимедиа объекта накладывается на весь трехмерный объект сцены. Трехмерный переход достигается за счет преобразования трехмерной сцены (шаг 407), параметров сцены и трехмерных объектов сцены, построенных на шаге 205. Указанные преобразования трехмерных объектов включают любое подмножество из списка операций: перенос, поворот, масштабирование, искажения. Обрабатываются все мультимедиа объекты, полученные на шаге 402.Both multiple and partial match are possible. Multiple matching means applying one multimedia object to several three-dimensional scene objects and, conversely, applying multiple multimedia objects to one three-dimensional scene object. Partial matching means that a fragment of one multimedia object is superimposed on the entire three-dimensional object of the scene. The three-dimensional transition is achieved by converting a three-dimensional scene (step 407), scene parameters, and three-dimensional scene objects constructed in step 205. These three-dimensional object transformations include any subset of the list of operations: transfer, rotation, scaling, distortion. All multimedia objects obtained in step 402 are processed.
Фиг.5 изображает шаги преобразования сцены для создания последовательности кадров перехода. На шаге 501 определяют изменения в количестве трехмерных объектов сцены. Параметры шага 501 определяют поведение и взаимодействие трехмерных объектов сцены, например, имитацию различных физических эффектов, таких как столкновение, падение и т.п. В результате подобного поведения количество трехмерных объектов сцены может уменьшиться, увеличиться или остаться неизменным. На основании найденных на шаге 501 изменений и параметров, установленных на шаге 401, для каждого трехмерного объекта сцены вычисляют размеры, позицию и ориентацию (шаг 502). Трехмерные объекты трехмерной сцены текстурируют фрагментами мультимедиа объектов (шаг 503). В случае, если мультимедиа объект, в свою очередь, является трехмерным, информация о глубине сцены самого трехмерного мультимедиа объекта используется для создания карты высот и карты смещений для поверхности соответствующего трехмерного объекта сцены. Для визуализации такого объекта используют один из методов рельефного текстурирования или наложения карт смещений. Например, могут быть использованы подходы, описанные в статьях Blinn J.F., "Simulation of wrinkled surfaces" (In Proceedings of the 5th annual conference on Computer graphics and interactive techniques, pp.286-292, 1978) [6] и Wang, Xi, Xin Tong, Stephen Lin, Shimin Hu, Baining Guo, Heung-Yeung Shum "Generalized Displacement Maps", (In Eurographics Symposium on Rendering, pp.227-234, 2004) [7]. Сцена с наложенными текстурами визуализируется на трехмерном дисплее 504. В результате при последующей визуализации сцены создается трехмерный эффект при смене мультимедиа объектов.Figure 5 depicts the steps for transforming a scene to create a sequence of transition frames. At
На фиг.6 показа схема системы визуализации мультимедиа слайдшоу на трехмерном дисплее. Модуль 601 генерации сценария формирует сценарий трехмерного слайдшоу, включая способ следования мультимедиа объектов в заданном или случайном порядке. На вход модуля подается набор мультимедиа объектов и параметры мультимедиа слайдшоу, определяемые пользователем. Сценарий слайдшоу передается в модуль 602 генерации трехмерной сцены и модуль 603 трехмерных преобразований. Модуль генерации трехмерной сцены строит трехмерную сцену и применяет текущий и следующий мультимедиа объекты к трехмерным объектам сцены в качестве текстур. На вход модуля поступает сценарий трехмерного слайдшоу. Сформированная трехмерная сцена передается в модуль трехмерных преобразований. Модуль трехмерных преобразований последовательно модифицирует трехмерные объекты в пространстве сцены для создания анимационного эффекта. На вход модуля поступают трехмерная сцена и сценарий трехмерного слайдшоу. Последовательность модифицированных трехмерных сцен передается в модуль 604 генерации кадра. Модуль генерации кадра создает трехмерные кадры из последовательности модифицированных трехмерных сцен в формате, подходящем для визуализации на трехмерном дисплее. Например, для современных трехмерных телевизоров в качестве кадров может выступать изображение, собранное из стереопары. Трехмерные кадры передают на трехмерное устройство 605 визуализации. Трехмерный дисплей визуализирует кадры трехмерного перехода.6 shows a diagram of a multimedia slideshow visualization system on a three-dimensional display. The
Все перечисленные модули системы могут быть выполнены в виде системы на кристалле (SoC), программируемой логической матрицы (FPGA) или специализированной интегральной схемы (ASIC). Функции данных модулей понятны из их описания, а также из описания заявляемого способа визуализации мультимедиа слайдшоу на трехмерном дисплее.All of the listed system modules can be made in the form of a system on a chip (SoC), a programmable logic array (FPGA), or a specialized integrated circuit (ASIC). The functions of these modules are clear from their description, as well as from the description of the proposed method for visualizing multimedia slideshows on a three-dimensional display.
Дальнейшие аспекты изобретения могут быть понятны из рассмотрения рисунков и описания предпочтительных модификаций. Специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла настоящего изобретения, раскрытого в прилагаемой формуле изобретения. В этой связи указанный выше вариант выполнения изобретения следует рассматривать как иллюстрацию.Further aspects of the invention may be understood from a consideration of the drawings and description of preferred modifications. It is clear to those skilled in the art that various modifications, additions and substitutions are possible without departing from the scope and meaning of the present invention disclosed in the attached claims. In this regard, the above embodiment of the invention should be considered as an illustration.
Предлагаемые система и способ могут быть использованы в устройствах, в состав которых входит трехмерный дисплей и доступна функция показа мультимедиа объектов в виде слайдшоу, например, цифровые трехмерные телевизоры с мультимедиа возможностями, мобильные телефоны, планшеты, цифровые фотокамеры, фоторамки, а также в качестве программного обеспечения для персональных компьютеров для показа слайдшоу.The proposed system and method can be used in devices that include a three-dimensional display and the function of displaying multimedia objects in the form of slide shows is available, for example, digital three-dimensional televisions with multimedia capabilities, mobile phones, tablets, digital cameras, photo frames, as well as software software for personal computers for slide show.
Claims (7)
выбирают набор мультимедиа объектов для показа;
визуализируют выбранные двумерные и трехмерные мультимедиа объекты последовательно так, что переход между текущим и следующим мультимедиа объектом осуществляется в трехмерном режиме дисплея следующим образом:
строят трехмерную сцену, состоящую из одного или более трехмерных объектов,
накладывают текущий и следующий мультимедиа объекты на трехмерные объекты сцены в качестве текстур,
выбирают начальную позицию, ориентацию и размер трехмерных объектов, способ текстурирования и текстурные координаты таким образом, чтобы в результате визуализации сцены в трехмерном режиме дисплея результирующее плоское изображение текущего мультимедиа объекта располагалось на экране в нейтральной позиции по оси глубины в плоскости экрана трехмерного дисплея,
выбирают конечную позицию, ориентацию и размер трехмерных объектов, способ текстурирования и текстурные координаты таким образом, чтобы в результате визуализации сцены в трехмерном режиме дисплея результирующее плоское изображение следующего мультимедиа объекта располагалось на экране в нейтральной позиции по оси глубины в плоскости экрана трехмерного дисплея,
выполняют последовательные преобразования трехмерных объектов в пространстве сцены таким образом, что в результате визуализации сцены создается трехмерный анимационный эффект для мультимедиа объектов.1. A method for visualizing a multimedia slideshow on a three-dimensional display, comprising the steps of:
select a set of multimedia objects to display;
visualize the selected two-dimensional and three-dimensional multimedia objects sequentially so that the transition between the current and the next multimedia object is carried out in a three-dimensional display mode as follows:
constructing a three-dimensional scene consisting of one or more three-dimensional objects,
superimpose the current and next multimedia objects on three-dimensional scene objects as textures,
choose the initial position, orientation and size of three-dimensional objects, the texturing method and texture coordinates so that as a result of rendering the scene in three-dimensional display mode, the resulting flat image of the current multimedia object is located on the screen in a neutral position along the depth axis in the plane of the three-dimensional display screen,
choose the final position, orientation and size of three-dimensional objects, the texturing method and texture coordinates so that as a result of rendering the scene in three-dimensional display mode, the resulting flat image of the next multimedia object is placed on the screen in a neutral position along the depth axis in the plane of the three-dimensional display screen,
perform sequential transformations of three-dimensional objects in the scene space in such a way that as a result of scene visualization a three-dimensional animation effect is created for multimedia objects.
модуль генерации сценария;
модуль генерации трехмерной сцены;
модуль трехмерных преобразований;
модуль генерации кадра; и
трехмерный дисплей,
при этом модуль генерации сценария выполнен с возможностью:
формировать сценарий трехмерного слайдшоу, причем на вход модуля генерации сценария поступают как набор мультимедиа объектов для показа, содержащий двумерные и трехмерные мультимедиа объекты, так и параметры мультимедиа слайдшоу, определяемые пользователем, и
выдавать сценарий слайдшоу, включающий в себя последовательность мультимедиа объектов, на вход модуля генерации трехмерной сцены и на вход модуля трехмерных преобразований,
при этом модуль генерации трехмерной сцены выполнен с возможностью:
осуществлять построение трехмерной сцены и накладывать текущий и следующий мультимедиа объекты на трехмерные объекты сцены в качестве текстур, причем начальная позиция, ориентация и размер трехмерных объектов, способ текстурирования и текстурные координаты выбираются таким образом, чтобы в результате визуализации сцены в трехмерном режиме дисплея результирующее плоское изображение текущего мультимедиа объекта располагалось на экране в нейтральной позиции по оси глубины в плоскости экрана трехмерного дисплея, и конечная позиция, ориентация и размер трехмерных объектов, способ текстурирования и текстурные координаты выбираются таким образом, чтобы в результате визуализации сцены в трехмерном режиме дисплея результирующее плоское изображение следующего мультимедиа объекта располагалось на экране в нейтральной позиции по оси глубины в плоскости экрана трехмерного дисплея, и
выдавать сформированную трехмерную сцену на вход модуля трехмерных преобразований,
при этом модуль трехмерных преобразований выполнен с возможностью последовательно модифицировать трехмерные объекты в пространстве сцены с целью создания трехмерного анимационного эффекта для мультимедиа объектов при визуализации сцены и выдавать последовательность модифицированных трехмерных сцен на вход модуля генерации кадра;
при этом модуль генерации кадра выполнен с возможностью создавать трехмерные кадры из последовательности модифицированных трехмерных сцен в формате, подходящем для визуализации на трехмерном дисплее, и передавать трехмерные кадры на вход трехмерного дисплея;
при этом трехмерный дисплей выполнен с возможностью визуализации трехмерных кадров. 7. A visualization system for multimedia slideshows on a three-dimensional display, comprising:
script generation module;
three-dimensional scene generation module;
module of three-dimensional transformations;
frame generation module; and
three-dimensional display,
wherein the script generation module is configured to:
create a three-dimensional slideshow script, and the input of the script generation module receives both a set of multimedia objects for display containing two-dimensional and three-dimensional multimedia objects, and multimedia slideshow parameters defined by the user, and
to provide a slideshow script, which includes a sequence of multimedia objects, to the input of the three-dimensional scene generation module and to the input of the three-dimensional transformation module,
wherein the module for generating a three-dimensional scene is configured to:
build a three-dimensional scene and superimpose the current and next multimedia objects on three-dimensional objects of the scene as textures, and the initial position, orientation and size of three-dimensional objects, the texturing method and texture coordinates are selected so that as a result of rendering the scene in three-dimensional display mode, the resulting flat image the current multimedia object was located on the screen in a neutral position along the depth axis in the plane of the three-dimensional display screen, and the end position, the orientation and size of three-dimensional objects, the texturing method and texture coordinates are selected so that as a result of rendering the scene in three-dimensional display mode, the resulting flat image of the next multimedia object is placed on the screen in a neutral position along the depth axis in the plane of the three-dimensional display screen, and
give the generated three-dimensional scene to the input of the three-dimensional transform module,
wherein the three-dimensional transformation module is configured to sequentially modify three-dimensional objects in the scene space in order to create a three-dimensional animation effect for multimedia objects during scene visualization and to issue a sequence of modified three-dimensional scenes to the input of the frame generation module;
wherein the frame generation module is configured to create three-dimensional frames from a sequence of modified three-dimensional scenes in a format suitable for visualization on a three-dimensional display, and transmit three-dimensional frames to the input of the three-dimensional display;
wherein the three-dimensional display is configured to render three-dimensional frames.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2012144222/12A RU2523980C2 (en) | 2012-10-17 | 2012-10-17 | Method and system for displaying set of multimedia objects on 3d display |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2012144222/12A RU2523980C2 (en) | 2012-10-17 | 2012-10-17 | Method and system for displaying set of multimedia objects on 3d display |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2012144222A RU2012144222A (en) | 2014-04-27 |
| RU2523980C2 true RU2523980C2 (en) | 2014-07-27 |
Family
ID=50515151
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2012144222/12A RU2523980C2 (en) | 2012-10-17 | 2012-10-17 | Method and system for displaying set of multimedia objects on 3d display |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2523980C2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106250090A (en) * | 2016-09-07 | 2016-12-21 | 讯飞幻境(北京)科技有限公司 | A kind of three-dimensional scenic interactive exhibition system and methods of exhibiting |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6611268B1 (en) * | 2000-05-30 | 2003-08-26 | Microsoft Corporation | System and process for generating 3D video textures using video-based rendering techniques |
| US7454077B1 (en) * | 2004-06-28 | 2008-11-18 | Microsoft Corporation | Slideshow animation algorithms |
| RU105102U1 (en) * | 2010-12-15 | 2011-05-27 | Закрытое акционерное общество "Лаборатория визуальных и сетевых технологий" | AUTOMATED SYSTEM FOR CREATING, PROCESSING AND INSTALLING VIDEOS |
| RU2433480C2 (en) * | 2006-03-10 | 2011-11-10 | Неро Аг | Device and method of providing video frame sequence, device and method of providing scene model, scene model, device and method of creating menu structure and computer programme |
| JP2012109974A (en) * | 2010-11-17 | 2012-06-07 | Sony Computer Entertainment Inc | Apparatus for viewing stereo image display device and method for controlling active shutter lens of three-dimensional (3d) glasses |
-
2012
- 2012-10-17 RU RU2012144222/12A patent/RU2523980C2/en active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6611268B1 (en) * | 2000-05-30 | 2003-08-26 | Microsoft Corporation | System and process for generating 3D video textures using video-based rendering techniques |
| US7454077B1 (en) * | 2004-06-28 | 2008-11-18 | Microsoft Corporation | Slideshow animation algorithms |
| RU2433480C2 (en) * | 2006-03-10 | 2011-11-10 | Неро Аг | Device and method of providing video frame sequence, device and method of providing scene model, scene model, device and method of creating menu structure and computer programme |
| JP2012109974A (en) * | 2010-11-17 | 2012-06-07 | Sony Computer Entertainment Inc | Apparatus for viewing stereo image display device and method for controlling active shutter lens of three-dimensional (3d) glasses |
| RU105102U1 (en) * | 2010-12-15 | 2011-05-27 | Закрытое акционерное общество "Лаборатория визуальных и сетевых технологий" | AUTOMATED SYSTEM FOR CREATING, PROCESSING AND INSTALLING VIDEOS |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2012144222A (en) | 2014-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10652522B2 (en) | Varying display content based on viewpoint | |
| JP4214976B2 (en) | Pseudo-stereoscopic image creation apparatus, pseudo-stereoscopic image creation method, and pseudo-stereoscopic image display system | |
| Cao et al. | Semi-automatic 2D-to-3D conversion using disparity propagation | |
| US20110216160A1 (en) | System and method for creating pseudo holographic displays on viewer position aware devices | |
| US20150235408A1 (en) | Parallax Depth Rendering | |
| US20080246757A1 (en) | 3D Image Generation and Display System | |
| US20090195643A1 (en) | Medial axis decomposition of 2d objects to synthesize binocular depth | |
| JP2006325165A (en) | Device, program and method for generating telop | |
| CN105224288B (en) | Binocular three-dimensional method for rendering graph and related system | |
| TWI496452B (en) | Stereoscopic image system, stereoscopic image generating method, stereoscopic image adjusting apparatus and method thereof | |
| TWI813098B (en) | Neural blending for novel view synthesis | |
| US20130027389A1 (en) | Making a two-dimensional image into three dimensions | |
| TWI502546B (en) | System, method, and computer program product for extruding a model through a two-dimensional scene | |
| KR20150106879A (en) | Method and apparatus for adding annotations to a plenoptic light field | |
| US20170104982A1 (en) | Presentation of a virtual reality scene from a series of images | |
| KR20070010306A (en) | Device taking a picture and method to generating the image with depth information | |
| Kopf et al. | Practical 3D photography | |
| RU2523980C2 (en) | Method and system for displaying set of multimedia objects on 3d display | |
| CN108769644B (en) | Binocular animation stylized rendering method based on deep learning | |
| De Sorbier et al. | Depth camera based system for auto-stereoscopic displays | |
| EP2962290B1 (en) | Relaying 3d information by depth simulation using 2d pixel displacement | |
| Canessa et al. | Morpholo: a hologram generator algorithm | |
| KR100556830B1 (en) | 3D graphical model rendering apparatus and method for displaying stereoscopic image | |
| Morvan et al. | Handling occluders in transitions from panoramic images: A perceptual study | |
| Thatte | Cinematic virtual reality with head-motion parallax |