EA042304B1 - DEVICE AND METHOD FOR REPLAYING INTERACTIVE AUDIOVISUAL FILM - Google Patents
DEVICE AND METHOD FOR REPLAYING INTERACTIVE AUDIOVISUAL FILM Download PDFInfo
- Publication number
- EA042304B1 EA042304B1 EA201691700 EA042304B1 EA 042304 B1 EA042304 B1 EA 042304B1 EA 201691700 EA201691700 EA 201691700 EA 042304 B1 EA042304 B1 EA 042304B1
- Authority
- EA
- Eurasian Patent Office
- Prior art keywords
- audio
- playback
- video segment
- user
- audio track
- Prior art date
Links
Description
Область техники, к которой относится изобретениеThe field of technology to which the invention belongs
Изобретение относится к устройству и способу для воспроизведения интерактивного аудиовизуального фильма. В частности, изобретение относится к компьютеризированному устройству и способу, использующему компьютеризированное устройство воспроизведения для воспроизведения интерактивного аудиовизуального фильма.The invention relates to a device and method for playing an interactive audiovisual film. In particular, the invention relates to a computerized device and method using a computerized playback device to play an interactive audiovisual film.
Предпосылки создания изобретенияPrerequisites for the creation of the invention
До того, как частным домашним хозяйствам на широкой основе стал доступен широкополосный и с высокой пропускной способностью передачи данных Интернет, аудиовизуальные фильмы распространялись на и проигрывались с оптических дисков, таких как диски DVD (Универсальный Цифровой Диск) или BD (Blu-ray Диск). Несмотря на то, что оптические диски позволяли сохранять данные всего фильма на одном или более дисках, в зависимости от протяженности фильма, динамические смены одного сегмента фильма на выбранный непоследовательный сегмент были по существу медленными и вызывали заметные прерывания для пользователя, так как динамическая смена требует того, чтобы считывающая головка была перемещена физически в местоположение на оптическом диске, где был сохранен выбранный сегмент. Таким образом, оптические диски не пригодны для воспроизведения интерактивных аудиовизуальных фильмов.Before broadband and high-bandwidth Internet became widely available to private households, audiovisual films were distributed to and played from optical discs such as DVD (Digital Versatile Disc) or BD (Blu-ray Disc). Although optical discs have allowed the data of an entire movie to be stored on one or more discs, depending on the length of the movie, dynamic changes from one movie segment to a selected non-consecutive segment were inherently slow and caused noticeable user interruptions, as dynamic change requires so that the read head is physically moved to the location on the optical disc where the selected segment has been stored. Thus, optical discs are not suitable for playing interactive audiovisual films.
Документ ЕР 1 873 780 описывает методику для реализации слайд-шоу с помощью использования MPEG2, сохраненного на оптическом диске. В частности, документ ЕР 1 873 780 описывает методику для администрирования аудиовизуальных потоков в связи с неподвижными изображениями, записанными на записывающим носителе информации, посредством использования слоя клипа, который осуществляет администрирование одного или более неподвижных изображений, и слоя списка воспроизведения, который обладает множеством элементов воспроизведения, представляющих собой секции воспроизведения слайд-шоу, используя неподвижные изображения, содержащиеся в клипе. Документ ЕР 1 873 780 дополнительно описывает воспроизведение аудио синхронно со слайд-шоу, в соответствии с чем время начала воспроизведения каждого неподвижного изображения предварительно определяется, используя карту точек входа для аудио, которая включает в себя время начала в каждом аудиопотоке и информацию, указывающую адрес пакета-источника, соответствующего времени начала и времени конца.Document EP 1 873 780 describes a technique for realizing a slide show using MPEG2 stored on an optical disc. In particular, document EP 1 873 780 describes a technique for managing audiovisual streams in connection with still pictures recorded on a recording medium by using a clip layer that manages one or more still pictures and a playlist layer that has a plurality of playitems. , which are slideshow playback sections using the still images contained in the clip. EP 1 873 780 further describes playback of audio in synchronism with a slideshow, whereby the playback start time of each still picture is predetermined using an audio entry point map that includes a start time in each audio stream and information indicating a packet address. -source corresponding to start time and end time.
Документ ЕР 1 768 404 описывает другую функцию воспроизведения слайд-шоу, где множество фрагментов данных картинки, записанных на оптическом диске, декодируются один за другим для просмотра пользователем. В соответствии с документом ЕР 1 768 404, оптический диск имеет записанное на нем приложение слайд-шоу, которое включает в себя видеопоток, аудиопоток и информацию списка воспроизведения. Видео поток имеет единицы просмотра с данными картинки. Информация списка воспроизведения указывает неподвижный период, когда отображение данных картинки должно быть заморожено, который равен или превышает протяженность времени для чтения последующей единицы просмотра в буфер декодера.EP 1 768 404 describes another slideshow playback function where a plurality of pieces of picture data recorded on an optical disc are decoded one by one for viewing by a user. According to EP 1 768 404, an optical disc has a slideshow application recorded thereon, which includes a video stream, an audio stream, and playlist information. The video stream has view units with picture data. The playlist information indicates a fixed period when the picture data display is to be frozen, which is equal to or longer than the length of time for reading the next view unit into the decoder buffer.
В контексте видеоизображений, записываемых на диски DVD или BD, документы WO 2013/011895 и US 2014/0161419 раскрывают программу, которая выполняет циклическое воспроизведение изображений, при этом продолжая выводить звуковой поток, который не синхронизирован с изображениями. Циклическое воспроизведение изображений может быть приемлемым для слайд-шоу, где считывающая головка может перемещаться и считывать новый сегмент, в то время как предыдущее изображение непрерывно представляется пользователю; тем не менее, данный подход не решает проблему заметных прерываний, которые будут вызываться посредством перемещения считывающей головки, в ответ на выбираемые пользователем динамические перемены потока видеосегментов, как того требуется для воспроизведения интерактивных аудиовизуальных фильмов.In the context of video images recorded on DVDs or BDs, WO 2013/011895 and US 2014/0161419 disclose a program that loops through images while continuing to output an audio stream that is out of sync with the images. Looping images may be acceptable for slideshows where the read head may move and read a new segment while the previous image is continuously presented to the user; however, this approach does not solve the problem of noticeable interruptions that will be caused by moving the read head in response to user-selectable dynamic changes in the video segment stream, as required for playing interactive audiovisual films.
Документ WO 2007/046248 описывает систему воспроизведения информации, которая использует систему хранения информации, такую как оптический диск, например, DVD. В соответствии с WO 2007/046248, администрирование проигрывания и отображения объектов представления, в частности, Улучшенных Видео-Объектов (EVOB), осуществляется посредством списка воспроизведения, хранящегося на оптическом диске.Document WO 2007/046248 describes an information playback system that uses an information storage system such as an optical disc, such as a DVD. In accordance with WO 2007/046248, administration of the playback and display of presentation objects, in particular Enhanced Video Objects (EVOB), is carried out by means of a playlist stored on an optical disc.
Документ US 2004/105349 описывает способ и устройство для проигрывания потока данных, который имеет несколько путей проигрывания, записанных на оптическом диске высокой плотности, чтобы обеспечить гладкое проигрывание видео- и аудиоданных, даже когда путь проигрывания сменяется во время проигрывания.US 2004/105349 describes a method and apparatus for playing a data stream that has multiple playback paths recorded on a high density optical disc to ensure smooth playback of video and audio data even when the playback path is changed during playback.
С возросшей доступностью широкополосного и с высокой пропускной способностью передачи данных Интернета, как впрочем и улучшенными возможностями носителей информации персональных вычислительных устройств, стало возможным использовать вычислительную мощь и возможности интерфейса пользователя, по существу доступные в этих устройствах для обработки и управления интерактивными аудиовизуальными фильмами, в которых разные сюжетные линии воспроизводятся в зависимости от решений пользователя.With the increased availability of broadband and high-bandwidth Internet data transmission, as well as the improved storage media capabilities of personal computing devices, it has become possible to use the computing power and user interface capabilities essentially available in these devices to process and manage interactive audiovisual films in which different storylines play out depending on the user's decisions.
Документ US 2007/0099684 описывает систему для реализации интерактивной сюжетной линии, где зрителям разрешено взаимодействовать с сюжетом в среде видео или фильма. В соответствии с документом US 2007/0099684 система вставляет запросы меню или точки ветвления на всем протяжении сюжетUS 2007/0099684 describes a system for implementing an interactive storyline where viewers are allowed to interact with the story in a video or film environment. According to US 2007/0099684, the system inserts menu prompts or branch points throughout the plot.
- 1 042304 ной линии, чтобы позволить зрителям создавать разные сюжеты из одних и тех же ситуаций и отображает альтернативный видеоконтент в зависимости от выбора зрителя.- 1 042304 line to allow viewers to create different scenes from the same situations and displays alternate video content based on the viewer's choice.
Документ US 2013/0239132 описывает устройство для обеспечения интерактивных динамических фильмов. В соответствии с документом US 2013/0239132, альтернативные сегменты фильма с точно таким же количеством кадров и равным временем исполнения, сохраняются для альтернативных сцен фильма. Зрителям отправляется сообщение, спрашивающее их голоса в отношении того, какой из альтернативных сегментов фильма должен быть воспроизведен. В зависимости от большинства голосов, выбирается и воспроизводится один из альтернативных сегментов фильма.Document US 2013/0239132 describes a device for providing interactive dynamic movies. According to US 2013/0239132, alternate movie segments with exactly the same number of frames and the same execution time are retained for the alternate movie scenes. A message is sent to the audience asking for their votes as to which of the alternate movie segments should be played. Depending on the majority of the votes, one of the alternate movie segments is selected and played.
Документ US 2006/0064733 описывает устройство для воспроизведения аудиовизуального произведения, которое поддерживает динамический выбор ветвей и исходов сюжета. В соответствии с документом US 2006/0064733 пиктограммы выбора решения отображаются во время воспроизведения сегмента аудиовизуального произведения. В зависимости от ввода пользователя, представляющего собой выбор одной из пиктограмм, выбирается и воспроизводится другой сегмент аудиовизуального произведения. До тех пор, пока пользователь явно не указывает желание прервать сюжет и переместиться к следующему сегменту, продолжают воспроизводить сегмент до тех пор, пока не достигается его конец и извлекается и воспроизводится следующий сегмент.US 2006/0064733 describes an audiovisual product playback device that supports dynamic selection of story branches and outcomes. According to US 2006/0064733, decision icons are displayed during playback of a segment of an audiovisual work. Depending on the user's input, which is the selection of one of the icons, another segment of the audiovisual work is selected and played back. Until the user explicitly indicates a desire to interrupt the story and move to the next segment, continue playing the segment until its end is reached and the next segment is retrieved and played back.
Документ US 2011/202562 описывает систему и способ для интеллектуального анализа данных в контексте интерактивного видео. Во время представления интерактивного видео, пользователь может взаимодействовать с интерактивным видео, например, делая выборы, выбирая опции, и т.д., которые относятся к одному или более аспектам интерактивного видео. Такие события записываются, сохраняются, и анализируются в контексте одной или более компаний, ассоциированных с интерактивным видео, такими как маркетинговые компании, рекламные компании, интерактивные исследования, и т.д.Document US 2011/202562 describes a system and method for data mining in the context of interactive video. During the presentation of the interactive video, the user may interact with the interactive video, such as making selections, choosing options, etc., that relate to one or more aspects of the interactive video. Such events are recorded, stored, and analyzed in the context of one or more companies associated with interactive video, such as marketing companies, advertising companies, interactive research, and so on.
Документ US 2011/200116 описывает гладкую сборку видео/аудиосегментов во время онлайновой потоковой передачи и прогрессивной загрузки мультимедиа, в соответствии с чем второй сегмент загружается через сеть, такую как Интернет, на клиента во время представления первого сегмента. Затем первый сегмент прикрепляется к началу второго сегмента, при этом не происходит дрожания или разрыва в точке перехода ни в видео, ни в аудиочасти сегментов. Сплошной мультимедийный файл создается для кодирования видео- и аудиосегментов, используя сплошную схему кодирования аудио, где синхронизированные сплошные аудиотэги перемежаются в видеосегментах. В соответствии с документом US 2011/200116, пользователь может изменять ход или поток сегментов после завершения сегмента. Таким образом, команда пользователя на изменение потока из сегментов не оказывает влияние на поток представления, до тех пор, пока не завершается представление текущего сегмента, требуя от пользователя ожидать конца текущего сегмента до тех пор, пока возымеет действие команда пользователя.US 2011/200116 describes smooth assembly of video/audio segments during online streaming and progressive media download, whereby a second segment is downloaded over a network, such as the Internet, to a client during presentation of the first segment. The first segment is then attached to the beginning of the second segment, with no jitter or break at the transition point in either the video or audio portion of the segments. A continuous media file is created to encode video and audio segments using a continuous audio coding scheme where synchronized continuous audio tags are interspersed in the video segments. According to US 2011/200116, a user can change the progress or flow of segments after a segment is completed. Thus, a user command to change the stream of segments does not affect the presentation stream until the presentation of the current segment is completed, requiring the user to wait for the end of the current segment until the user's command takes effect.
Решения известного уровня техники предоставляют интерактивный выбор аудиовизуальных сегментов, чтобы создавать динамически разные сюжетные линии. Тем не менее, до тех пор, пока зритель не пожелает прервать воспроизведение сегментов и поток повествования сюжета, сюжетная линия представляется в последовательности непрерываемых сегментов предварительно определенной и неизменяемой протяженности.Prior art solutions provide an interactive selection of audiovisual segments to create dynamically different storylines. However, as long as the viewer does not wish to interrupt the playback of the segments and the narrative flow of the story, the storyline is presented in a sequence of uninterrupted segments of a predetermined and unchanging length.
Сущность изобретенияThe essence of the invention
Цель данного изобретения состоит в предоставлении устройства и способа для воспроизведения интерактивного аудиовизуального фильма, при этом устройство и способ не обладают, по меньшей мере, некоторыми из недостатков известного уровня техники. В частности, цель настоящего изобретения состоит в предоставлении устройства и способа для воспроизведения интерактивного аудиовизуального фильма, при этом устройство и способ обеспечивают возможность воспроизведения сегментов динамически переменной протяженности, не прерывая воспроизведения мультимедиа, и, таким образом, потока повествования сюжета.The purpose of the present invention is to provide an apparatus and method for playing an interactive audiovisual film, while the apparatus and method do not suffer from at least some of the disadvantages of the prior art. In particular, it is an object of the present invention to provide an apparatus and method for playing an interactive audiovisual film, wherein the apparatus and method enables playback of segments of dynamically variable length without interrupting media playback and thus the flow of storytelling.
В соответствии с настоящим изобретением, эти цели достигаются посредством признаков независимых пунктов формулы изобретения. В дополнение, дополнительные варианты осуществления следуют из зависимых пунктов формулы изобретения и описания.In accordance with the present invention, these objectives are achieved through the features of the independent claims. In addition, additional embodiments follow from the dependent claims and the description.
В соответствии с настоящим изобретением, вышеупомянутые цели в частности достигаются посредством того, что компьютеризированное устройство для воспроизведения интерактивного аудиовизуального фильма содержит машину воспроизведения и объект данных эпизода фильма. Объект данных эпизода фильма содержит множество аудио/видеосегментов и инструкций воспроизведения. Инструкции воспроизведения выполнены с возможностью предписания машине воспроизведения извлекать и воспроизводить из объекта данных эпизода фильма аудио/видеосегменты, принимать от пользователя команды решения во время воспроизведения аудио/видеосегментов, и извлекать и воспроизводить из объекта данных эпизода фильма дополнительные аудио/видеосегменты в зависимости от команд решения пользователя. Объект данных эпизода фильма дополнительно содержит аудиодорожки, которые являются отдельными от аудио/видеосегментов и не имеют видеоконтента, и дополнительно инструкции воспроизведения выполнены с возможностью предписания машине воспроизведения извлекать из объекта данных эпизода фильма одну из отдельных аудиодорожек и воспроизводить отдельную аудиодорожку без прерывания во время смены аудио/видеосегментов в точке во времени, выбранной интерактивно иAccording to the present invention, the above objects are particularly achieved by the computerized interactive audiovisual film playback device comprising a playback engine and a movie episode data object. The movie sequence data object contains a plurality of audio/video segments and playback instructions. The playback instructions are configured to cause the playback engine to extract and play audio/video segments from the movie episode data object, receive decision commands from the user during playback of the audio/video segments, and extract and play additional audio/video segments from the movie episode data object depending on the decision commands. user. The movie episode data object further comprises audio tracks that are separate from the audio/video segments and have no video content, and further the playback instructions are configured to cause the playback engine to extract one of the individual audio tracks from the movie episode data object and play the separate audio track without interruption during an audio change. / video segments at a point in time selected interactively and
- 2 042304 динамически пользователем, при этом воспроизводя конец первого аудио/видеосегмента, вплоть до точки во времени, выбранной пользователем, и начало второго аудио/видеосегмента, который выбирается пользователем и воспроизводится после первого аудио/видеосегмента. Предоставление отдельных аудиодорожек обеспечивает возможность воспроизведения пользователю без прерывания, непрерывного потока мультимедийного контента, даже во время смены аудио/видеосегментов в переменных точках во времени, выбранных интерактивно и динамически пользователем во время воспроизведения аудиовизуального фильма. Таким образом, в ответ на команды решения пользователя, можно осуществлять смену первого аудио/видеосегмента на выбранный пользователем второй аудио/видеосегмент, в точке во времени перед концом первого аудио/видеосегмента, тем самым прерывая воспроизведение первого аудио/видеосегмента и начиная воспроизведение последующего второго аудио/видеосегмента, при этом продолжая без прерывания воспроизведение отдельной аудиодорожки во время перехода от первого аудио/видеосегмента к выбранному пользователем второму аудио/видеосегменту. Это обеспечивает пользователю без прерывания, непрерывный аудио поток во время смены первого аудио/видеосегмента, прерванного посредством команды решения пользователя, на последующий второй аудио/видеосегмент, выбранный посредством команды решения пользователя. В отличие от систем известного уровня техники, где непрерывная аудиодорожка воспроизводится во время рендеринга предварительно определенного ряда сегментов видео без звука или где выбранный пользователем аудио/видеосегмент воспроизводится после завершения воспроизведения всего предшествующего аудио/видеосегмента, от его начала до его самого конца, машина воспроизведения и объект данных эпизода фильма, описанные выше, обеспечивают возможность для пользователя не только решать динамически и интерактивно в отношении точки во времени, когда воспроизведение должно сменяться с первого аудио/видеосегмента на второй аудио/видеосегмент, но также выбирать этот второй аудио/видеосегмент, и выполнять смену, с первого аудио/видеосегмента на выбранный пользователем второй аудио/видеосегмент, в выбранную пользователем точку во времени, до того как первый аудио/видеосегмент воспроизводится до его конца, и в то время, как отдельная аудиодорожка воспроизводится без прерывания.- 2 042304 dynamically by the user, while playing the end of the first audio/video segment, up to the point in time selected by the user, and the beginning of the second audio/video segment, which is selected by the user and played after the first audio/video segment. Providing individual audio tracks allows the user to play an uninterrupted, uninterrupted stream of media content, even while changing audio/video segments at variable points in time selected interactively and dynamically by the user during audiovisual playback. Thus, in response to user decision commands, it is possible to change the first audio/video segment to a user-selected second audio/video segment, at a point in time before the end of the first audio/video segment, thereby interrupting playback of the first audio/video segment and starting playback of the subsequent second audio segment. /video segment, while continuing to play a single audio track without interruption during the transition from the first audio/video segment to the user-selected second audio/video segment. This provides the user with an uninterrupted, uninterrupted audio stream while changing from the first audio/video segment interrupted by the user's decision command to the subsequent second audio/video segment selected by the user's decision command. Unlike prior art systems where a continuous audio track is played while a predetermined number of video segments are rendered without sound, or where a user-selected audio/video segment is played after the entire preceding audio/video segment has finished playing, from its beginning to its very end, the playback engine and the movie sequence data object described above allows the user to not only dynamically and interactively decide on the point in time when playback should change from the first audio/video segment to the second audio/video segment, but also to select that second audio/video segment, and perform change, from the first audio/video segment to a user-selected second audio/video segment, to a user-selected point in time, before the first audio/video segment plays to its end, and while a single audio track plays without interruption.
В варианте осуществления, отдельные аудиодорожки включают в себя точки разметки, при этом точка разметки указывает позицию на аудиодорожке где, во время воспроизведения этой аудиодорожки, аудиодорожка является пригодной для редактирования. Объект данных эпизода фильма дополнительно содержит инструкции воспроизведения, выполненные с возможностью предписания машине воспроизведения останавливать воспроизведение отдельной аудиодорожки в точке разметки, и начинать воспроизведение другой отдельной аудиодорожки в этой точке разметки. Точки разметки, указывающие редактируемые точки на аудиодорожке, обеспечивают возможность динамического редактирования аудиодорожки применительно к непрерывной и гладкой звуковой дорожке; тем самым, обеспечивая динамическую смену аудиодорожек для изменения настроения и/или протяженности фоновой музыки, например, в ответ и в соответствии с командами решения пользователя, принятыми от пользователя во время воспроизведения аудиовизуального фильма.In an embodiment, the individual audio tracks include cue points, where the cue point indicates a position on the audio track where, during playback of that audio track, the audio track is editable. The movie sequence data object further comprises playback instructions configured to cause the playback engine to stop playback of an individual audio track at a cue point and start playback of another individual audio track at that cue point. Cue points, which indicate editable points on an audio track, provide the ability to dynamically edit an audio track in relation to a continuous and smooth audio track; thereby allowing dynamic audio track changes to change the mood and/or length of the background music, for example, in response to and in accordance with user decision commands received from the user during audiovisual playback.
В дополнительном варианте осуществления, объект данных эпизода фильма дополнительно содержит инструкции воспроизведения, выполненные с возможностью предписания машине воспроизведения выбирать точку разметки для смены аудиодорожки в зависимости от команд решения пользователя.In a further embodiment, the movie sequence data object further comprises playback instructions configured to cause the playback engine to select a cue point for changing the audio track depending on the user's decision commands.
В других вариантах осуществления, объект данных эпизода фильма дополнительно содержит инструкции воспроизведения, выполненные с возможностью предписания машине воспроизведения выбирать другую аудиодорожку в зависимости от команд решения пользователя.In other embodiments, the movie sequence data object further comprises playback instructions configured to cause the playback engine to select a different audio track depending on the user's decision commands.
В еще одном другом варианте осуществления, объект данных эпизода фильма дополнительно содержит инструкции воспроизведения, выполненные с возможностью предписания машине воспроизведения, в зависимости от команд решения пользователя, завершать воспроизведение отдельной аудиодорожки посредством остановки аудиодорожки в определенном временном коде воспроизводимого аудио/видеосегмента, остановки аудиодорожки в такте аудиодорожки, остановки аудиодорожки сразу, плавного затухания аудиодорожки посредством начала затухания в определенный временной код воспроизводимого аудио/видеосегмента, затухания аудиодорожки посредством начала затухания сразу, замещения аудиодорожки пригодной завершающей аудиодорожкой, и/или плавного перехода между аудиодорожкой и другой аудиодорожкой. Таким образом, существует возможность изменения и адаптации динамически завершения аудиодорожки во время воспроизведения аудиовизуального фильма, например, в ответ и в соответствии с командами решения пользователя, принятыми от пользователя во время воспроизведения аудиовизуального фильма.In yet another embodiment, the movie sequence data object further comprises playback instructions configured to cause the playback engine, depending on the user decision commands, to end playback of an individual audio track by stopping the audio track at a specific timecode of the audio/video segment being played, stopping the audio track at a bar audio track, stopping the audio track immediately, fading out an audio track by starting to fade into a specific timecode of the audio/video segment being played, fading out an audio track by starting to fade out immediately, replacing an audio track with a suitable final audio track, and/or fading between an audio track and another audio track. Thus, it is possible to change and adapt dynamically the end of the audio track during playback of the audiovisual film, for example, in response to and according to user decision commands received from the user during playback of the audiovisual film.
В варианте осуществления объект данных эпизода фильма дополнительно содержит инструкции воспроизведения, выполненные с возможностью предписания машине воспроизведения, в зависимости от команд решения пользователя, останавливать воспроизведение аудио/видеосегмента в определенный временной код воспроизводимого аудио/видеосегмента, и начинать воспроизведение другого аудио/видеосегмента в этот временной код.In an embodiment, the movie episode data object further comprises playback instructions configured to instruct the playback engine, depending on user decision commands, to stop playback of an audio/video segment at a specific time code of the audio/video segment being played, and start playback of another audio/video segment at that time. code.
В дополнительном варианте осуществления, машина воспроизведения выполнена с возможностью генерирования основной аудиодорожки посредством микширования и финальной обработки (mastering) аудио части аудио/видеосегмента и одной или более отдельных аудиодорожек, которые воспроизводятсяIn a further embodiment, the playback engine is configured to generate a main audio track by mixing and mastering the audio portion of the audio/video segment and one or more individual audio tracks that are played.
- 3 042304 параллельно с аудио/видеосегментом.- 3 042304 in parallel with the audio/video segment.
В варианте осуществления, компьютеризированное устройство дополнительно содержит сервер взаимодействия, выполненный с возможностью приема команд решения пользователя от множества терминалов связи, и определения из команд решения пользователя популярной команды решения пользователя. Машина воспроизведения выполнена с возможностью выполнения следующих этапов, в зависимости от популярной команды решения пользователя: извлечение и воспроизведение аудио/видео сегментов, выбор аудиодорожки, выбор точки разметки для смены аудиодорожки, завершение аудиодорожки, остановку аудио/видеосегмента в определенном временном коде воспроизводимого аудио/видео сегмента, и/или начало другого аудио/видеосегмента с этого временного кода.In an embodiment, the computerized device further comprises an interaction server configured to receive user decision commands from a plurality of communication terminals and determine a popular user decision command from the user decision commands. The playback engine is configured to perform the following steps, depending on the user's popular decision command: extracting and playing audio/video segments, selecting an audio track, selecting a cue point to change the audio track, ending the audio track, stopping the audio/video segment at a certain timecode of the audio/video being played segment, and/or the start of another audio/video segment from that timecode.
В дополнение к компьютеризированному устройству для воспроизведения интерактивного аудиовизуального фильма, настоящее изобретение также относится к способу воспроизведения интерактивного аудиовизуального фильма. Способ содержит этап, на котором сохраняют в хранилище данных компьютеризированного устройства воспроизведения объект данных эпизода фильма, который содержит множество аудио/видеосегментов, аудиодорожек, которые отделены от аудио/видеосегментов и не имеют видеоконтента, и инструкций воспроизведения. Способ также содержит устройство воспроизведения, извлекающее инструкции воспроизведения из объекта данных эпизода фильма, и в соответствии с инструкциями воспроизведения, устройство воспроизведения извлекающее и воспроизводящее из объекта данных эпизода фильма аудио/видеосегменты, генерирующее элементы интерфейса для приема от пользователя команд решения, во время воспроизведения аудио/видеосегментов, извлекающее и воспроизводящее из объекта данных эпизода фильма дополнительные аудио/видеосегменты в зависимости от команд решения пользователя, извлекающее из объекта данных эпизода фильма одну из отдельных аудиодорожек и воспроизводящее отдельную аудиодорожку без прерывания, во время смены аудио/видео сегментов, происходящей в точке во времени, выбранной интерактивно и динамически пользователем, при этом воспроизводя конец первого аудио/видеосегмента, вплоть до точки во времени, выбранной пользователем, и начала второго аудио/видеосегмента, который выбирается пользователем и воспроизводится после первого аудио/видеосегмента.In addition to a computerized device for playing an interactive audiovisual film, the present invention also relates to a method for playing an interactive audiovisual film. The method comprises storing in the data storage of the computerized playback device a movie episode data object that contains a plurality of audio/video segments, audio tracks that are separate from the audio/video segments and have no video content, and playback instructions. The method also includes a playback device that retrieves playback instructions from a movie episode data object, and in accordance with the playback instructions, a playback device that retrieves and plays audio/video segments from the movie episode data object, generating interface elements for receiving decision commands from a user, during audio playback. /video segments, extracting and playing additional audio/video segments from the movie episode data object depending on the user decision commands, extracting one of the individual audio tracks from the movie episode data object and playing a separate audio track without interruption, during the change of audio/video segments occurring at the point in time selected interactively and dynamically by the user, while playing the end of the first audio/video segment, up to the point in time selected by the user and the beginning of the second audio/video segment, which is selected by the user and played It comes after the first audio/video segment.
В варианте осуществления, объект данных эпизода фильма сохраняется в хранилище данных с отдельными аудиодорожками, которые включают в себя точки разметки, при этом точка разметки указывает позицию на аудиодорожке, где, во время воспроизведения этой аудиодорожки, аудиодорожка пригодна для редактирования. Способ дополнительно содержит устройство воспроизведения, в соответствии с инструкциями воспроизведения, останавливающее воспроизведение отдельной аудиодорожки в точке разметки и начинающее воспроизведение другой отдельной аудиодорожки в этой точке разметки.In an embodiment, a movie sequence data object is stored in a data store with separate audio tracks that include cue points, where the cue point indicates a position on the audio track where, during playback of that audio track, the audio track is editable. The method further comprises a playback device, in accordance with playback instructions, stopping playback of an individual audio track at a cue point and starting playback of another individual audio track at that cue point.
В другом варианте осуществления, способ дополнительно содержит устройство воспроизведения, в соответствии с инструкциями воспроизведения, выбирающее точку разметки для смены аудиодорожки в зависимости от команд решения пользователя.In another embodiment, the method further comprises a playback device, in accordance with the playback instructions, selecting a cue point for changing the audio track depending on the user's decision commands.
В варианте осуществления, способ дополнительно содержит устройство воспроизведения, в соответствии с инструкциями воспроизведения, выбирающее другую аудиодорожку в зависимости от команд решения пользователя.In an embodiment, the method further comprises a playback device, in accordance with playback instructions, selecting a different audio track depending on the user's decision commands.
В еще одном другом варианте осуществления, способ дополнительно содержит устройство воспроизведения, в соответствии с инструкциями воспроизведения и в зависимости от команд решения пользователя, завершающее воспроизведение отдельной аудиодорожки посредством остановки аудиодорожки в определенном временном коде воспроизводимого аудио/видеосегмента, остановки аудиодорожки в такте аудиодорожки, остановки аудиодорожки сразу, плавного затухания аудиодорожки посредством начала затухания в определенный временной код воспроизводимого аудио/видеосегмента, затухания аудиодорожки посредством начала затухания сразу, замещения аудиодорожки пригодной завершающей аудиодорожкой, и/или плавного перехода между аудиодорожкой и другой аудиодорожкой.In yet another embodiment, the method further comprises a playback device, in accordance with playback instructions and depending on user decision commands, terminating playback of an individual audio track by stopping the audio track at a certain timecode of the audio/video segment being played, stopping the audio track at a beat of the audio track, stopping the audio track immediately, fading out an audio track by starting to fade into a specific timecode of the audio/video segment being played, fading out an audio track by starting to fade out immediately, replacing an audio track with a suitable final audio track, and/or fading between an audio track and another audio track.
В варианте осуществления, способ дополнительно содержит устройство воспроизведения, в соответствии с инструкциями воспроизведения и в зависимости от команд решения пользователя, останавливающее воспроизведение аудио/видеосегмент в определенный временной код воспроизводимого аудио/видеосегмента и начинающее воспроизводить другой аудио/видеосегмент в этот временной код.In an embodiment, the method further comprises a playback device, in accordance with playback instructions and depending on user decision commands, stopping playback of an audio/video segment at a specific time code of the audio/video segment being played and starting to play another audio/video segment at that time code.
В другом варианте осуществления, способ дополнительно содержит устройство воспроизведения, генерирующее основную аудиодорожку посредством микширования и финальной обработки аудиочасти аудио/видеосегмента и одной или более отдельных аудиодорожек, которые воспроизводятся параллельно с аудио/видеосегментом.In another embodiment, the method further comprises a playback device generating a main audio track by mixing and finalizing an audio portion of the audio/video segment and one or more separate audio tracks that are played in parallel with the audio/video segment.
В варианте осуществления, способ дополнительно содержит этап, на котором принимают в компьютеризированном устройстве воспроизведения команды решения пользователя от множества терминалов связи, и компьютеризированное устройство воспроизведения, определяющее из команд решения пользователя популярную команду решения пользователя. Устройство воспроизведения выполняет следующие этапы в зависимости от популярной команды решения пользователя: извлечение и воспроизведение аудио/видеосегментов, выбор аудиодорожки, выбор точки разметки для смены аудиодорожки, завершение аудиодорожки, остановку аудио/видеосегмента в определенном временном коде воспроизводимого аудио/видеосегмента, и/или начало другого аудио/видеосегмента с этого временного кода.In an embodiment, the method further comprises receiving, at the computerized playback device, user decision commands from a plurality of communication terminals, and the computerized playback device determining a popular user decision command from the user decision commands. The playback device performs the following steps depending on the user's popular decision command: extract and play audio/video segments, select an audio track, select a cue point to change the audio track, end the audio track, stop the audio/video segment at a specific timecode of the audio/video segment being played, and/or start another audio/video segment from this timecode.
- 4 042304- 4 042304
В дополнение к компьютеризированному устройству и способу для воспроизведения интерактивного аудиовизуального фильма, настоящее изобретение также относится к компьютерному программному продукту, содержащему долговременный машиночитаемый носитель информации с сохраненным на нем объектом данных эпизода фильма, который содержит множество аудио/видеосегментов, аудиодорожек, которые являются отдельными от аудио/видеосегментов и не имеют видеоконтента, и инструкций воспроизведения. Инструкции воспроизведения выполнены с возможностью управления процессором устройства воспроизведения, чтобы извлекать и воспроизводить из объекта данных эпизода фильма аудио/видеосегменты, чтобы генерировать элементы интерфейса для приема от пользователя команд решения во время воспроизведения аудио/видеосегментов, чтобы извлекать и воспроизводить из объекта данных эпизода фильма дополнительные аудио/видеосегменты в зависимости от команд решения пользователя, чтобы извлекать из объекта данных эпизода фильма одну из отдельных аудиодорожек, и чтобы воспроизводить отдельную аудиодорожку без прерывания, во время смены аудио/видеосегментов, происходящей в точке во времени, выбранной интерактивно и динамически пользователем, при этом воспроизводя конец первого аудио/видеосегмента, вплоть до точки во времени, выбранной пользователем, и начало второго аудио/видеосегмента, который выбирается пользователем и воспроизводится после первого аудио/видеосегмента.In addition to a computerized device and method for playing an interactive audiovisual film, the present invention also relates to a computer program product comprising a durable computer-readable storage medium stored thereon with a movie sequence data object that contains a plurality of audio/video segments, audio tracks that are separate from audio /video segments and do not have video content or playback instructions. The playback instructions are configured to control the processor of the playback device to extract and reproduce audio/video segments from the movie episode data object, to generate interface elements for receiving decision commands from the user during playback of the audio/video segments, to extract and reproduce additional movie sequence data objects from the movie episode data object. audio/video segments depending on user decision commands to extract one of the individual audio tracks from the movie sequence data object, and to play the individual audio track without interruption, during the change of audio/video segments occurring at a point in time selected interactively and dynamically by the user, when thereby playing the end of the first audio/video segment, up to the point in time selected by the user, and the beginning of the second audio/video segment, which is selected by the user and played after the first audio/video segment.
Краткое описание чертежейBrief description of the drawings
Изобретение будет объяснено более подробно, в качестве примера, со ссылкой на чертежи, на которых:The invention will be explained in more detail, by way of example, with reference to the drawings, in which:
фиг. 1: показывает структурную схему, иллюстрирующую схематично компьютеризированное устройство воспроизведения, которое соединяется через сеть связи с мультимедийным сервером;fig. 1: shows a block diagram illustrating schematically a computerized playback device that is connected via a communication network to a multimedia server;
фиг. 2: показывает структурную схему, иллюстрирующую схематично компьютеризированное устройство воспроизведения, содержащее дисплей, процессор, и хранилище программы/данных с машиной воспроизведения и объектом данных эпизода фильма;fig. 2: shows a block diagram illustrating schematically a computerized playback device including a display, a processor, and a program/data store with a playback engine and a movie episode data object;
фиг. 3: показывает структурную схему, иллюстрирующую схематично примерную последовательность объектов данных эпизода фильма интерактивного аудиовизуального фильма;fig. 3: shows a block diagram illustrating schematically an exemplary sequence of interactive audiovisual movie episode data objects;
фиг. 4: показывает блок-схему, иллюстрирующую примерную последовательность этапов для воспроизведения интерактивного аудиовизуального фильма;fig. 4: shows a flowchart illustrating an exemplary sequence of steps for playing an interactive audiovisual film;
фиг. 5: показывает структурную схему, иллюстрирующую схематично поток данных в компьютеризированном устройстве воспроизведения для воспроизведения интерактивного аудиовизуального фильма;fig. 5: shows a block diagram illustrating schematically a data flow in a computerized playback device for playing an interactive audiovisual film;
фиг. 6: показывает блок-схему, иллюстрирующую пример разных возможных последовательностей аудио/видеосегментов;fig. 6: shows a block diagram illustrating an example of different possible sequences of audio/video segments;
фиг. 7: показывает блок-схему, иллюстрирующую точку решения между двумя разными последовательностями, где решение принимается посредством выполнения сценария;fig. 7: shows a flowchart illustrating a decision point between two different sequences where a decision is made by executing a script;
фиг. 8: показывает временную диаграмму, иллюстрирующую пример последовательности аудио/видеосегментов и отдельных аудиодорожек, которые воспроизводятся параллельно с последовательностью, через границу, по меньшей мере, двух последовательных аудио/видеосегментов;fig. 8: shows a timing diagram illustrating an example of a sequence of audio/video segments and individual audio tracks that are played in parallel with the sequence, across a boundary of at least two consecutive audio/video segments;
фиг. 9: показывает пример отдельной аудиодорожки с точками разметки и завершающей аудиодорожкой, вставленной в точке разметки отдельной аудиодорожки;fig. 9: Shows an example of a single audio track with cue points and an ending audio track inserted at the cue point of the single audio track;
фиг. 10: показывает пример аудио/видеосегмента с элементом интерфейса для ввода команд решения пользователя, где, после ввода команды решения, воспроизведение выбранного пользователем аудио/видеосегмента начинается с конца предшествующего аудио/видеосегмента;fig. 10: shows an example of an audio/video segment with an interface element for inputting user decision commands, where, after entering the decision command, playback of the user-selected audio/video segment starts from the end of the previous audio/video segment;
фиг. 11: показывает пример аудио/видеосегмента с элементом интерфейса, где воспроизведение выбранного пользователем аудио/видеосегмента начинается при активации элемента интерфейса;fig. 11: shows an example of an audio/video segment with an interface element, where playback of a user-selected audio/video segment starts when the interface element is activated;
фиг. 12: показывает пример аудио/видеосегмента с элементом интерфейса, где воспроизведение выбранного пользователем аудио/видеосегмента начинается в определенном временном коде после активации элемента интерфейса;fig. 12: shows an example of an audio/video segment with an interface element, where playback of a user-selected audio/video segment starts at a certain time code after the activation of the interface element;
фиг. 13: показывает структурную схему, иллюстрирующую схематично компьютеризированную систему воспроизведения, которая соединяется через сеть связи с терминалами связи.fig. 13: shows a block diagram illustrating schematically a computerized playback system that is connected via a communication network to communication terminals.
Подробное описание предпочтительных вариантов осуществленияDetailed Description of the Preferred Embodiments
На фиг. 1, 2, 5 и 13, цифровое обозначение 1 относится к компьютеризированному устройству для воспроизведения интерактивного аудиовизуального фильма. Как иллюстрируется на фиг. 1, 2, и 5, компьютеризированное устройство 1 воспроизведения содержит дисплей 10 для показа пользователю видеосегментов аудиовизуального фильма (полученного посредством рендеринга фильма 100*). Дисплей 10 сконфигурирован в качестве сенсорного дисплея, например, но не обязательно дисплея с множеством касаний, предоставляющего пользователю возможность ввода команд посредством касания экрана дисплея. В варианте осуществления, показанном на фиг. 13, компьютеризированная система 1' воспроизведения или компьютеризированное устройство 1 воспроизведения, соответственно, содержит проекционную систему 10а, выполненную с возможностью показа видеосегментов аудиовизуального фильма множеству зрителей 4 посредством проецирования на проекционном экране 10b, например, в кинотеатре. Несмотря на то, что не проиллюстрировано, компьютеризированное устройство 1 воспроизведения такжеIn FIG. 1, 2, 5 and 13, reference numeral 1 refers to a computerized device for playing an interactive audiovisual film. As illustrated in FIG. 1, 2, and 5, the computerized playback device 1 includes a display 10 for showing the user video segments of an audiovisual film (obtained by rendering the film 100*). The display 10 is configured as a touch display, for example, but not necessarily a multi-touch display, allowing the user to enter commands by touching the display screen. In the embodiment shown in FIG. 13, the computerized playback system 1' or the computerized playback device 1, respectively, comprises a projection system 10a configured to display video segments of an audiovisual film to a plurality of viewers 4 by projecting on a projection screen 10b, such as in a movie theater. Although not illustrated, the computerized playback device 1 also
- 5 042304 содержит электроакустические преобразователи, такие как громкоговорители или наушники или, по меньшей мере, интерфейс соединения для соединения электроакустического преобразователя с устройством 1 воспроизведения для воспроизведения пользователю аудиосегментов аудиовизуального фильма. Как иллюстрируется схематично на фиг. 2, компьютеризированное устройство 1 воспроизведения дополнительно содержит процессор 14 и хранилище 13 программы/данных, соединенное с процессором 14. Хранилище 13 программы/данных имеет сохраненную в нем машину 12 воспроизведения и выполнено с возможностью хранения одного или более объектов 11 данных эпизода фильма. Хранилище 13 программы/данных содержит электронную память данных, включающую в себя память с произвольным доступом, флэш-память, и/или динамическую память с произвольным доступом, и подобное. Машина 12 воспроизведения включает в себя компьютерный программный код, выполненный с возможностью управления процессором 14, чтобы исполнять разнообразные функции, как описывается позже более подробно, для воспроизведения интерактивного аудиовизуального фильма. В зависимости от варианта осуществления, код компьютерной программы машины 12 воспроизведения хранится на долговременном машиночитаемом носителе информации, который соединен фиксированным или съемным образом с процессором 14. Специалист в соответствующей области будет понимать, что в альтернативных вариантах осуществления машина 12 воспроизведения может быть реализована полностью или частично в аппаратном обеспечении.- 5 042304 comprises electro-acoustic transducers such as loudspeakers or headphones or at least a connection interface for connecting the electro-acoustic transducer to the playback device 1 for rendering audio segments of an audiovisual film to a user. As illustrated schematically in FIG. 2, the computerized playback device 1 further comprises a processor 14 and a program/data store 13 coupled to the processor 14. The program/data store 13 has a playback engine 12 stored therein and is configured to store one or more movie scene data objects 11. The program/data store 13 contains an electronic data memory including random access memory, flash memory, and/or dynamic random access memory, and the like. The playback engine 12 includes a computer program code configured to control the processor 14 to perform various functions, as described later in more detail, for playing an interactive audiovisual film. Depending on the embodiment, the computer program code of the playback engine 12 is stored on a durable computer-readable storage medium that is connected in a fixed or removable manner to the processor 14. One skilled in the art will understand that in alternative embodiments, the playback engine 12 may be implemented in whole or in part. in hardware.
Компьютеризированное устройство 1 воспроизведения реализуется в качестве мобильного радиотелефона (также именуемого интеллектуальным телефоном), планшетного компьютера, компьютера класса ноутбук или лэптоп, или другого персонального компьютера, например, настольного компьютера с экраном дисплея. В варианте осуществления, показанном на фиг. 13, компьютеризированное устройство 1 воспроизведения реализуется в качестве компьютерной системы отдельно от или интегрированно с проекционной системой 10b.The computerized playback device 1 is implemented as a mobile radiotelephone (also referred to as a smart phone), a tablet computer, a notebook or laptop class computer, or another personal computer such as a desktop computer with a display screen. In the embodiment shown in FIG. 13, the computerized playback device 1 is implemented as a computer system separate from or integrated with the projection system 10b.
В варианте осуществления, машина 12 воспроизведения и по меньшей мере один объект 11 данных эпизода фильма являются частью одного общего файла данных, например, апплета, который может быть загружен на устройство 1 воспроизведения, например, через сеть 2 связи с мультимедийного сервера 3. На мультимедийном сервере 3 такие апплеты и/или объекты 11 данных эпизода фильма хранятся в хранилище 30 данных интерактивных аудиовизуальных фильмов. Например, сеть 2 связи включает в себя Интернет, как впрочем и фиксированные сети связи и мобильные сети радиосвязи для осуществления доступа к Интернет, такие как сотовые телефонные сети, например, GSM (Глобальная Система Связи с Подвижными Объектами) или UMTS (Универсальная Мобильная Телефонная Система), или другие основанные на радиосвязи сети, например, WLAN (Беспроводная Локальная Сеть).In an embodiment, the playback engine 12 and at least one movie episode data object 11 are part of a single shared data file, e.g. server 3 such applets and/or movie episode data objects 11 are stored in the interactive media data store 30 . For example, communication network 2 includes the Internet, as well as fixed communication networks and mobile radio networks for accessing the Internet, such as cellular telephone networks such as GSM (Global System for Mobile Communications) or UMTS (Universal Mobile Telephone System). ), or other radio-based networks such as WLAN (Wireless Local Area Network).
Как схематично показано на фиг. 5, объект 11 данных эпизода фильма включает в себя инструкции 111 воспроизведения, аудио/видеосегменты 112, отдельные аудиодорожки 114, которые не имеют видеоконтента и являются отдельными от аудио/видеосегментов 112, и другие объекты 113 данных. Аудио/видеосегменты 112, как впрочем и отдельные аудиодорожки 114, могут иметь разные и переменные протяженности, т.е. разное количество кадров и/или продолжительность, соответственно. Объект 11 данных эпизода фильма включает в себя все данные, требуемые для одного эпизода интерактивного аудиовизуального фильма; в частности, все аудио/видеосегменты 112 и отдельные аудиодорожки 114 для разнообразных возможных последовательностей, которые могут быть определены интерактивно посредством зрителя через команды решения пользователя. В зависимости от его варианта осуществления, конфигурации и/или протяженности, интерактивный аудиовизуальный фильм 100 имеет несколько эпизодов и включает в себя несколько объектов 11 данных эпизода фильма, которые должны быть обработаны в определенной последовательности, как иллюстрируется на фиг. 3, или интерактивный аудиовизуальный фильм 100 имеет лишь один эпизод с одним объектом 11 данных эпизода, который содержит все данные всего интерактивного аудиовизуального фильма 100. Как будет описано позже более подробно, инструкции 111 воспроизведения сконфигурированы, чтобы предписывать машине 12 воспроизведения воспроизводить интерактивный аудиовизуальный фильм. В частности, инструкции 111 воспроизведения выполнены с возможностью предписания машине 12 воспроизведения извлекать и воспроизводить из объекта 11 данных эпизода фильма аудио/видеосегменты 112 и отдельные аудиодорожки 114, принимать от пользователя команды решения во время воспроизведения аудио/видеосегментов 112 и отдельных аудиодорожек 114, и извлекать и воспроизводить из объекта 11 данных эпизода фильма дополнительные аудио/видеосегменты 112 и отдельные аудиодорожки 114 в зависимости от команд решения пользователя. Например, инструкции 111 воспроизведения реализуются на языке разметки, таком как HTML (Язык Гипертекстовой Разметки). Специалисту в соответствующей области техники будет понятно, что в альтернативных вариантах осуществления, инструкции 111 воспроизведения могут быть реализованы на другом языке, например, на языке Java, который работает или интерпретируется на Виртуальной Машине Java машины 12 воспроизведения (Java является зарегистрированным товарным знаком SunMicrosystem, Inc.).As shown schematically in FIG. 5, movie sequence data object 11 includes playback instructions 111, audio/video segments 112, separate audio tracks 114 that have no video content and are separate from audio/video segments 112, and other data objects 113. Audio/video segments 112, as well as individual audio tracks 114, may have different and variable lengths, i.e. different number of frames and/or duration, respectively. The movie episode data object 11 includes all the data required for one episode of the interactive audiovisual movie; in particular, all audio/video segments 112 and individual audio tracks 114 for a variety of possible sequences that can be interactively determined by the viewer via user decision commands. Depending on its embodiment, configuration and/or length, the interactive audiovisual film 100 has multiple episodes and includes several movie episode data objects 11 to be processed in sequence, as illustrated in FIG. 3, or the interactive audiovisual movie 100 has only one episode with one episode data object 11 that contains all the data of the entire interactive audiovisual movie 100. As will be described later in more detail, the playback instructions 111 are configured to cause the playback engine 12 to play the interactive audiovisual movie. In particular, the playback instructions 111 are configured to cause the playback engine 12 to extract and play audio/video segments 112 and individual audio tracks 114 from the movie episode data object 11, receive decision commands from the user during playback of the audio/video segments 112 and individual audio tracks 114, and extract and play additional audio/video segments 112 and separate audio tracks 114 from the movie episode data object 11 depending on the user's decision commands. For example, playback instructions 111 are implemented in a markup language such as HTML (Hypertext Markup Language). One skilled in the art will appreciate that, in alternative embodiments, playback instructions 111 may be implemented in another language, such as Java, which runs or is interpreted on the Java Virtual Machine of playback engine 12 (Java is a registered trademark of SunMicrosystem, Inc. .).
В нижеследующих параграфах описываются со ссылкой на фиг. 4 возможные последовательности этапов, выполняемых посредством машины 12 воспроизведения для воспроизведения интерактивного аудиовизуального фильма 100.The following paragraphs describe with reference to FIG. 4 are possible sequences of steps performed by the playback engine 12 to play the interactive audiovisual film 100.
- 6 042304- 6 042304
На опциональном подготовительном этапе S0, машина 12 воспроизведения загружается и сохраняется в компьютеризированном устройстве 1 воспроизведения. Например, машина 12 воспроизведения загружается в качестве апплета с сервера приложений или небольших приложений или с мультимедийного сервера 3 через сеть 2 связи.In an optional preparatory step S0, the playback machine 12 is loaded and stored in the computerized playback device 1. For example, the playback machine 12 is downloaded as an applet from an application server or small applications or from a multimedia server 3 via a communication network 2 .
На подготовительном этапе S1, объект 11 данных эпизода фильма выбранного интерактивного аудиовизуального фильма 100 загружается и сохраняется в компьютеризированном устройстве 1 воспроизведения. Например, объект 11 данных эпизода фильма загружается с мультимедийного сервера 3 через сеть 2 связи. В варианте осуществления, этапы S0 и S1 объединяются в том, что машина 12 воспроизведения и, по меньшей мере, один объект 11 данных эпизода фильма загружаются и сохраняются в одном объединенном объекте данных, например, в форме апплета, как упомянуто выше.In the preparatory step S1, the movie episode data object 11 of the selected interactive audiovisual movie 100 is downloaded and stored in the computerized playback device 1 . For example, the movie episode data object 11 is downloaded from the multimedia server 3 via the communication network 2 . In an embodiment, steps S0 and S1 are combined in that the playback engine 12 and at least one movie episode data object 11 are downloaded and stored in one combined data object, eg in the form of an applet, as mentioned above.
Как указывается схематично на фиг. 4, на этапе S1', дополнительные объекты 11 данных эпизода фильма для последующих эпизодов выбранного интерактивного аудиовизуального фильма 100 загружаются и сохраняются в компьютеризированном устройстве 1 воспроизведения. В варианте осуществления, дополнительные объекты 11 данных эпизода фильма загружаются в то время, как ранее загруженный объект 11 данных эпизода фильма обрабатывается посредством машины 12 воспроизведения, до тех пор, пока не будут загружены объекты 11 данных эпизода фильма для всех эпизодов выбранного интерактивного аудиовизуального фильма 100. Обработка объекта 11 данных эпизода фильма начинается только когда соответствующий объект 11 данных эпизода полностью и целиком загружен и сохранен в компьютеризированном устройстве 1 воспроизведения. Управление загрузкой объектов 11 данных эпизода фильма осуществляется посредством машины 12 воспроизведения так, чтобы выбранный интерактивный аудиовизуальный фильм 100 мог быть воспроизведен без прерываний или задержек. Таким образом, в зависимости от доступной полосы пропускания сети 2 связи, более чем один объект 11 данных эпизода фильма может быть загружен и сохранен перед тем, как воспроизведение интерактивного аудиовизуального фильма 100 начинается посредством обработки его первого объекта 11 данных эпизода фильма.As indicated schematically in FIG. 4, in step S1', additional movie episode data objects 11 for subsequent episodes of the selected interactive audiovisual movie 100 are downloaded and stored in the computerized playback device 1. In an embodiment, additional movie episode data objects 11 are downloaded while the previously downloaded movie episode data object 11 is being processed by the playback engine 12 until the movie episode data objects 11 for all episodes of the selected interactive audiovisual movie 100 have been downloaded. The processing of the movie episode data object 11 only starts when the corresponding episode data object 11 is fully and completely downloaded and stored in the computerized playback device 1 . The download of the movie sequence data objects 11 is controlled by the playback engine 12 so that the selected interactive audiovisual movie 100 can be played without interruptions or delays. Thus, depending on the available bandwidth of the communication network 2, more than one movie episode data object 11 may be downloaded and stored before playback of the interactive audiovisual movie 100 starts by processing its first movie episode data object 11.
На этапе S2, машина 12 воспроизведения извлекает инструкции 111 воспроизведения из (текущего) объекта 11 данных эпизода фильма. Инструкции 111 воспроизведения извлекаются одна за другой, следуя последовательной очередности, в котором они сохранены в объекте 11 данных эпизода фильма, если нет условий и/или событий, которые меняют очередность или способ, которым инструкции 111 воспроизведения обрабатываются, т.е. условий и/или событий, которые вызывают перескоки или изменения в последовательности инструкций 111 воспроизведения.In step S2, the playback engine 12 retrieves playback instructions 111 from the (current) movie episode data object 11 . The playback instructions 111 are retrieved one after the other, following the sequential order in which they are stored in the movie sequence data object 11, unless there are conditions and/or events that change the order or the way that the playback instructions 111 are processed, i. conditions and/or events that cause jumps or changes in the sequence of playback instructions 111 .
На этапе S3, машина 12 воспроизведения обрабатывает извлеченные инструкции 111 воспроизведения. Как иллюстрируется схематично на фиг. 4, в зависимости от инструкций 111 воспроизведения, машина 12 воспроизведения исполняет разные этапы S31, S32, S33, S34, S35, S36, некоторые из которых могут быть выполнены параллельно.In step S3, the playback engine 12 processes the retrieved playback instructions 111 . As illustrated schematically in FIG. 4, depending on the playback instructions 111, the playback engine 12 executes different steps S31, S32, S33, S34, S35, S36, some of which may be performed in parallel.
На этапе S31, машина 12 воспроизведения извлекает из (текущего) объекта 11 данных эпизода фильма аудио/видеосегмент 112, указанный посредством инструкции 111 воспроизведения.In step S31, the playback engine 12 extracts from the (current) movie episode data object 11 the audio/video segment 112 indicated by the playback instruction 111 .
На этапе S32, машина 12 воспроизведения воспроизводит извлеченный аудио/видеосегмент 112. В частности, машина 12 воспроизведения показывает последовательность кадров аудио/видеосегмента 112 на дисплее 10 и воспроизводит синхронизированную аудиодорожку аудио/видеосегмента 112 через электроакустический преобразователь.In step S32, the playback engine 12 plays back the extracted audio/video segment 112. Specifically, the playback engine 12 displays the frame sequence of the audio/video segment 112 on the display 10, and plays the synchronized audio track of the audio/video segment 112 through the electro-acoustic transducer.
На этапе S33, машина 12 воспроизведения извлекает из (текущего) объекта 11 данных эпизода фильма отдельную аудиодорожку(и) 114, указанную посредством инструкции 111 воспроизведения.In step S33, the playback engine 12 extracts from the (current) movie episode data object 11 the individual audio track(s) 114 indicated by the playback instruction 111 .
На этапе S34, машина 12 воспроизведения воспроизводит отдельную аудиодорожку(и) 114. Хронометраж и/или синхронизация отдельной аудиодорожки(ек) 114 с рендерингом аудио/видеосегментов 112 зависит от инструкций 111 воспроизведения и/или команд решения пользователя, как будет объяснено позже более подробно.In step S34, the playback engine 12 plays the individual audio track(s) 114. The timing and/or timing of the individual audio track(s) 114 with the rendering of the audio/video segments 112 depends on the playback instructions 111 and/or user decision commands, as will be explained later in more detail. .
На этапе S35, машина 12 воспроизведения генерирует элементы 100' интерфейса (смотри фиг. 5), определенные посредством инструкции 111 воспроизведения. Рендеринг элементов интерфейса осуществляется на дисплее 10 в качестве наложения (или подложки) на фильм. Машина 12 воспроизведения генерирует разные типы элементов 100' интерфейса, включая видимые элементы интерфейса, такие как кнопки В или другие элементы графического интерфейса пользователя, и невидимые элементы интерфейса, которые функционируют в качестве масок М, которые определяют особые активные области дисплея 10 или полученного посредством рендеринга фильма 100* на дисплее 10, соответственно. По меньшей мере, некоторые из интерактивных элементов сохраняются в качестве других объектов 113 данных в объекте 11 данных эпизода фильма. Невидимые элементы интерфейса позволяют пользователю выбирать особые объекты и/или людей в полученном посредством рендеринга фильме посредством касания или легкого удара по ним и тем самым касаясь лежащей в их основе (или наложенной) активной зоны. Маски М или активные области, определенные посредством невидимых элементов интерфейса, анимируются, например, они меняются динамически, например, с частотой 5 раз в секунду, в то время как воспроизводится фильм, и следуют перемещению соответствующих объектов или людей, так что они остаются активными для зрителя, даже когда меняется их относительная позиция на дисплее 10. Например, невидимые элементы интерфейса или маски М, соответственно, реализуются в качестве последоваIn step S35, the playback engine 12 generates the interface elements 100' (see FIG. 5) defined by the playback instruction 111 . Rendering of the interface elements is carried out on the display 10 as an overlay (or substrate) on the film. The rendering engine 12 generates various types of interface elements 100', including visible interface elements such as buttons B or other GUI elements, and invisible interface elements that function as masks M that define specific active areas of the display 10 or rendered movie 100* on the display 10, respectively. At least some of the interactive elements are stored as other data objects 113 in the movie sequence data object 11 . Invisible interface elements allow the user to select specific objects and/or people in the rendered movie by touching or tapping them and thereby touching their underlying (or overlay) active area. M masks or hotspots defined by invisible interface elements are animated, for example, they change dynamically, for example, 5 times per second, while the movie is playing, and follow the movement of the corresponding objects or people, so that they remain active for viewer even when their relative position on the display 10 changes. For example, invisible interface elements or masks M, respectively, are implemented as a sequence
- 7 042304 тельностей изображений битовой карты низкого разрешения (например, PNG, Переносимая Сетевая Графика с 240x96 пикселей). Изображения битовой карты являются черными и имеют цветные зоны, которые определяют одну или более активные зоны. Изображения битовой карты охватывают все окно отображения фильма на дисплее 10. Когда зритель касается цветной области, значение цвета возвращается машине 12 воспроизведения, при этом касание черной зоны не вызывает действия.- 7042304 low resolution bitmap image sets (eg PNG, Portable Network Graphics with 240x96 pixels). Bitmap images are black and have colored zones that define one or more active zones. The bitmap images cover the entire display window of the movie on the display 10. When the viewer touches a colored area, the color value is returned to the rendering engine 12, while touching the black area causes no action.
В варианте осуществления, показанном на фиг. 13, видимые элементы интерфейса генерируются и показываются посредством машины 12 воспроизведения на проекционном экране 10а; тем не менее, взаимодействие зрителя/пользователя делается возможным через терминалы 41 связи, например, устройства мобильной связи, такие как мобильные телефоны, планшетные компьютеры, или другие мобильные устройства связи для передачи данных, выполненные с возможностью осуществления связи через сеть 2 связи с компьютеризированным устройством 1 воспроизведения или компьютеризированным сервером 43 взаимодействия. В качестве альтернативы, терминалы 41 связи инсталлированы фиксированным образом, например, с помощью, по меньшей мере, некоторых из сидений в кинотеатре, и соединены через сеть проводной или беспроводной связи с компьютеризированной системой 1' воспроизведения или компьютеризированным устройством 1 воспроизведения, соответственно. Сервер 43 взаимодействия реализуется в качестве компьютерной системы отдельной от или интегрированной в компьютеризированное устройство 1 воспроизведения. В варианте осуществления, сервер 43 взаимодействия является частью или интегрирован с машиной 12 воспроизведения. Сервер 43 взаимодействия является доступным для терминалов 41 связи через сеть 2 связи или другую сеть связи, например, LAN или WLAN. Сервер 43 взаимодействия выполнен с возможностью предоставления терминалам 41 связи модуля 42 взаимодействия, например, запрограммированного модуля программного обеспечения (апплета), который загружается и работает на терминалах 41 связи, или который реализуется и работает на компьютере сервера 43 взаимодействия, например, в качестве web-сайта или web-сервера. Сервер 43 взаимодействия дополнительно выполнен с возможностью генерирования и показана на дисплеях терминалов 41 связи элементов интерфейса, синхронизированных с элементами интерфейса, генерируемыми и показываемыми посредством машины 12 воспроизведения на проекционном экране 10а. В варианте осуществления, элементы интерфейса генерируются и показываются посредством модуля 42 взаимодействия. Как указывается схематично на фиг. 13, внешний мультимедийный сервер 3 является опциональным. В варианте осуществления, мультимедийный сервер и хранилище данных с, по меньшей мере, одним интерактивным аудиовизуальным фильмом являются частью компьютеризированной системы 1' воспроизведения или ее компьютеризированного устройства 1 воспроизведения, соответственно. В качестве альтернативы, компьютеризированное устройство 1 воспроизведения выполнено с возможностью извлечения объектов данных эпизода фильма, например, для всего интерактивного аудиовизуального фильма, из внешнего мультимедийного сервера 3 и сохранения их локально в хранилище данных компьютеризированного устройства 1 воспроизведения.In the embodiment shown in FIG. 13, visible interface elements are generated and displayed by the rendering engine 12 on the projection screen 10a; however, viewer/user interaction is made possible through communication terminals 41, for example, mobile communication devices such as mobile phones, tablet computers, or other mobile data communication devices configured to communicate via communication network 2 with a computerized device. 1 playback or computerized server 43 interaction. Alternatively, the communication terminals 41 are installed in a fixed manner, for example using at least some of the seats in a movie theater, and connected via a wired or wireless communication network to the computerized playback system 1' or the computerized playback device 1, respectively. The interaction server 43 is implemented as a computer system separate from or integrated into the computerized playback device 1 . In an embodiment, the server 43 interaction is part of or integrated with the machine 12 playback. The interaction server 43 is accessible to the communication terminals 41 via the communication network 2 or another communication network such as a LAN or WLAN. The interaction server 43 is configured to provide the communication terminals 41 with an interaction module 42, for example, a programmed software module (applet) that is loaded and runs on the communication terminals 41, or that is implemented and runs on the computer of the interaction server 43, for example, as a web- website or web server. The interaction server 43 is further configured to generate and show on the displays of the communication terminals 41 interface elements synchronized with the interface elements generated and displayed by the playback engine 12 on the projection screen 10a. In an embodiment, interface elements are generated and displayed by interaction module 42 . As shown schematically in FIG. 13, the external media server 3 is optional. In an embodiment, a multimedia server and a data store with at least one interactive audiovisual film are part of a computerized playback system 1' or its computerized playback device 1, respectively. Alternatively, the computerized playback device 1 is configured to retrieve movie episode data objects, for example for an entire interactive audiovisual film, from the external media server 3 and store them locally in the data storage of the computerized playback device 1.
На этапе S36, машина 12 воспроизведения принимает команды решения пользователя, которые вводятся пользователем через элементы 100' интерфейса, рендеринг которых осуществляется на сенсорном дисплее 10. Касание или щелчок по кнопке или активной зоне ассоциирован с особой командой решения пользователя и/или инициирует определенное действие, назначенное соответствующему элементу 100' интерфейса. Например, кнопка может инициировать действие, которое указывается в качестве текста или символа, такого как сказать да или сказать нет, в то время как активная зона может инициировать действие, которое ассоциировано с соответствующим объектом или человеком, как например, взять и использовать особый объект для его предназначенной цели, например, взять и выстрелить из ружья, например, в зависимости от возвращаемого значения цвета.In step S36, the playback engine 12 receives user decision commands that are entered by the user through the interface elements 100' rendered on the touch display 10. Touching or clicking on a button or active area is associated with a particular user decision command and/or initiates a certain action, assigned to the corresponding interface element 100'. For example, a button may initiate an action that is specified as text or a symbol, such as say yes or say no, while a hotspot may initiate an action that is associated with the corresponding object or person, such as pick up and use a particular object to its intended purpose, such as picking up and firing a gun, for example, depending on the returned color value.
В варианте осуществления, показанном на фиг. 13, как указывается с помощью цифрового обозначения S6', зритель просматривает интерактивный аудиовизуальный фильм, показываемый на проекционном экране 10а. Как указывается с помощью цифрового обозначения S7', в ответ на элементы интерфейса, сгенерированные и показанные синхронизированным образом на проекционном экране 10а и на дисплеях терминалов 41 связи, зрители 4 вводят и переносят в компьютеризированное устройство 1 воспроизведения или сервер 43 взаимодействия, соответственно, команды решения пользователя, используя их терминалы 41 связи. Зрители вводят их команды решения посредством модуля 42 взаимодействия. Например, зрители вводят их команды решения через сенсорные дисплеи их терминалов 41 связи, как описывается выше со ссылкой на этап S3 б.In the embodiment shown in FIG. 13, as indicated by the reference numeral S6', the viewer is viewing an interactive audiovisual film displayed on the projection screen 10a. As indicated by the numerical designation S7', in response to the interface elements generated and displayed in a synchronized manner on the projection screen 10a and on the displays of the communication terminals 41, the viewers 4 input and transfer to the computerized playback device 1 or the interaction server 43, respectively, decision commands user using their communication terminals 41 . The viewers enter their decision commands through the interaction module 42 . For example, viewers enter their decision commands through the touch displays of their communication terminals 41 as described above with reference to step S3 b.
На этапе S4, машина 12 воспроизведения определяет, была принята или нет команда решения пользователя. Если не была принята команда решения, машина 12 воспроизведения продолжает обработку инструкций 111 воспроизведения в последовательности, определенной в объекте 11 данных эпизода фильма. В противном случае, машина 12 воспроизведения обрабатывает команду решения пользователя на этапе S5.In step S4, the playback engine 12 determines whether or not a user decision command has been received. If no decision command has been received, the playback engine 12 continues processing the playback instructions 111 in the sequence defined in the movie episode data object 11 . Otherwise, the playback engine 12 processes the user decision command in step S5.
В варианте осуществления, показанном на фиг. 13, сервер 43 взаимодействия сохраняет и обрабатывает команды решения пользователя, принятые от множества зрителей 4. Сервер 43 взаимодействия выполнен с возможностью определения из принятых команд решения пользователя популярной команды решения, которая относится к соответствующему элементу интерфейса. В зависимости от варианта осуIn the embodiment shown in FIG. 13, the interaction server 43 stores and processes the user decision commands received from the plurality of viewers 4. The interaction server 43 is configured to determine, from the received user decision commands, the popular decision command that pertains to the corresponding interface element. Depending on the variant
- 8 042304 ществления и/или конфигурации, популярная команда решения определяется на основании большинства принятых команд решения, с учетом общего количества присутствующих зрителей и/или весовых коэффициентов, ассоциированных с разными зрителями или их соответствующими билетами или правами пользователя, например.- 8 042304 occurrences and/or configurations, the popular decision command is determined based on the majority of decision commands received, taking into account the total number of spectators present and/or weighting factors associated with different spectators or their respective tickets or user rights, for example.
На этапе S5, машина 12 воспроизведения обрабатывает инструкции 111 воспроизведения в зависимости от команды решения пользователя или популярной команды решения, соответственно. В частности, машина 12 воспроизведения перескакивает или изменяет последовательность инструкций 111 воспроизведения. В частности, в ответ на и в зависимости от (популярных) команд решения пользователя, машина 12 воспроизведения следует другим последовательностям инструкций 111 воспроизведения, что приводит к извлечению и воспроизведению других аудио/видеосегментов 112 и/или отдельных аудиодорожек 114 и в конечном итоге смене хода интерактивного аудиовизуального фильма 100.In step S5, the playback engine 12 processes the playback instructions 111 depending on the user's decision command or the popular decision command, respectively. In particular, the playback engine 12 jumps or reorders playback instructions 111 . In particular, in response to and depending on (popular) user decision commands, the playback engine 12 follows other sequences of playback instructions 111, resulting in the retrieval and playback of other audio/video segments 112 and/or individual audio tracks 114 and eventually a change of course. interactive audiovisual film 100.
Фиг. 5 иллюстрирует схематически взаимодействие пользователя или зрителя 4 с компьютеризированным устройством 1 воспроизведения и его сенсорным дисплеем 10, или с полученным посредством рендеринга интерактивным аудиовизуальным фильмом 100*, соответственно. В частности, на фиг. 5, цифровое обозначение S6 относится к активности зрителя в виде просмотра интерактивного аудиовизуального фильма 100*, воспроизводимого на дисплее, в то время как цифровое обозначение S7 относится к активности зрителя в виде принятия решения посредством активации/касания элементов 100' взаимодействия, рендеринг которых осуществляется с интерактивным аудиовизуальным фильмом 100* на дисплее 10.Fig. 5 illustrates schematically the interaction of a user or viewer 4 with a computerized playback device 1 and its touch display 10, or with a rendered interactive audiovisual film 100*, respectively. In particular, in FIG. 5, the reference number S6 refers to the activity of the viewer in the form of viewing the interactive audiovisual film 100* played on the display, while the reference number S7 refers to the activity of the viewer in the form of making a decision by activating/touching the interaction elements 100', which are rendered with interactive audiovisual film 100* on display 10.
Фиг. 6 показывает пример разных возможных последовательностей аудио/видеосегментов Сегмент 01-Сегмент 11. Последовательности определяются посредством инструкций 111 воспроизведения, которые определяют точки DP1, DP2, DP3, DP4, DP5, DP6 решения, где, в зависимости от принятых команд решения пользователя, определяется другая последовательность, следовательно, извлекаются и воспроизводятся другие аудио/видеосегменты 112 (и/или отдельные аудиодорожки 114). Например, в зависимости от команды решения пользователя, принятой во время воспроизведения Сегмента 01, в точке DPI решения, машина 12 воспроизведения продолжает последовательность посредством извлечения и воспроизведения любого одного из Сегмента 02, Сегмента 03, или Сегмента 04. Фиг. 6 дополнительно иллюстрирует, что разные последовательности или пути могут вновь присоединяться, например, посредством извлечения и воспроизведения Сегмента 06, Сегмента 09, Сегмента 10, или Сегмента 11, в зависимости от команд решения пользователя, принятых или обработанных в точках DP2, DP4, DP5, или DP6 решения, соответственно. Следует отметить, что протяженность (продолжительность, количество кадров) выбранных аудио/видеосегментов 112 (или отдельных аудиодорожек 114) могут быть разными и варьироваться. Более того, в зависимости от команд решения пользователя эпизод или последовательность может иметь разные окончания, т.е. в конце последовательности, эпизода или интерактивного аудиовизуального фильма, разный аудио/видеосегмент 112 может быть извлечен и воспроизведен посредством машины 12 воспроизведения.Fig. 6 shows an example of different possible sequences of audio/video segments Segment 01-Segment 11. The sequences are determined by playback instructions 111 that define decision points DP1, DP2, DP3, DP4, DP5, DP6, where, depending on the received user decision commands, another is determined. sequence, therefore, other audio/video segments 112 (and/or individual audio tracks 114) are extracted and played back. For example, depending on the user decision command received during playback of Segment 01, at the decision point DPI, the playback engine 12 continues the sequence by retrieving and playing any one of Segment 02, Segment 03, or Segment 04. FIG. 6 further illustrates that different sequences or paths can be reattached, for example, by extracting and reproducing Segment 06, Segment 09, Segment 10, or Segment 11, depending on user decision commands received or processed at points DP2, DP4, DP5, or DP6 solutions, respectively. It should be noted that the length (duration, number of frames) of selected audio/video segments 112 (or individual audio tracks 114) may be different and vary. Moreover, depending on the user's decision commands, an episode or sequence may have different endings, i.e. at the end of a sequence, episode, or interactive audiovisual, a different audio/video segment 112 can be retrieved and played back by the playback engine 12.
Фиг. 7 показывает пример разных возможных последовательностей аудио/видеосегментов (Сегмент 01-Сегмент 02 или Сегмент 01-Сегмент 03), где инструкции 111 воспроизведения определяют точку DP6 решения, где разные последовательности определяются посредством сценария С. Сценарий С содержит одно или более логических выражений, например, написанных на языке программирования, таком как Java (Java является зарегистрированным товарным знаком SunMicrosystem, Inc.). В зависимости от одной или более переменных, включая выполненные действия и команды решения пользователя, сценарий С определяет аудио/видеосегмент Сегмент 02 или Сегмент 03 (или отдельные аудиодорожки 114), который извлекается и воспроизводится посредством машины 12 воспроизведения после предшествующего аудио/видеосегмента Сегмент 01. В варианте осуществления, сценарий С основан на случайной переменной, например, выводимой посредством генератора случайных чисел.Fig. 7 shows an example of different possible sequences of audio/video segments (Segment 01-Segment 02 or Segment 01-Segment 03), where the playback instructions 111 determine the decision point DP6, where the different sequences are determined by scenario C. The scenario C contains one or more logical expressions, for example written in a programming language such as Java (Java is a registered trademark of SunMicrosystem, Inc.). Depending on one or more variables, including actions performed and user decision commands, script C determines the audio/video segment Segment 02 or Segment 03 (or individual audio tracks 114) that is retrieved and played by the playback engine 12 after the preceding audio/video segment Segment 01. In an embodiment, scenario C is based on a random variable, such as one generated by a random number generator.
Фиг. 8 показывает пример отдельных аудиодорожек 114а, 114b, которые воспроизводятся посредством машины 12 воспроизведения в то время как воспроизводится последовательность аудио/видеосегментов AVSeg1, AVSeg4, AVSeg3, AVSeg7 интерактивного аудиовизуального фильма. Как иллюстрируется на фиг. 8, отдельные аудиодорожки 114а, 114b воспроизводятся посредством машины 12 воспроизведения в то время, как воспроизводится последовательность аудио/видеосегментов AVSeg1, AVSeg4, AVSeg3, AVSeg7 интерактивного аудиовизуального фильма. Как может быть видно на фиг. 8, отдельные аудиодорожки 114а, 114b воспроизводятся посредством машины 12 воспроизведения через более чем один аудио/видеосегменты AVSeg1, AVSeg4, AVSeg3, AVSeg7; в частности, отдельные аудиодорожки 114а, 114b воспроизводятся посредством машины 12 воспроизведения через смену двух последовательных аудио/видеосегментов AVSeg1, AVSeg4, AVSeg3, AVSeg7. Таким образом, инструкции воспроизведения предписывают машине 12 воспроизведения воспроизводить отдельные аудиодорожки 114а, 114b без прерывания через границу двух последовательных аудио/видеосегментов (например, аудио/видеосегмент AVSeg3 и AVSeg7), т.е. во время перехода от предшествующего первого аудио/видеосегмента (например, аудио/видеосегмента AVSeg3) к последующему второму аудио/видео сегменту (например, аудио/видеосегменту AVSeg7), или, другими словами, во время воспроизведения конца предшествующего первого аудио/видеосегмента (например, аудио/видеосегмента AVSeg3) и начаFig. 8 shows an example of individual audio tracks 114a, 114b that are being played back by the playback engine 12 while the sequence of audio/video segments AVSeg1, AVSeg4, AVSeg3, AVSeg7 of an interactive audiovisual film is being played. As illustrated in FIG. 8, individual audio tracks 114a, 114b are being played back by the playback engine 12 while the sequence of audio/video segments AVSeg1, AVSeg4, AVSeg3, AVSeg7 of the interactive audiovisual movie is being played. As can be seen in FIG. 8, individual audio tracks 114a, 114b are played by playback engine 12 through more than one audio/video segments AVSeg1, AVSeg4, AVSeg3, AVSeg7; specifically, the individual audio tracks 114a, 114b are played back by the playback engine 12 by changing two successive audio/video segments AVSeg1, AVSeg4, AVSeg3, AVSeg7. Thus, the playback instructions instruct the playback engine 12 to play the individual audio tracks 114a, 114b without interruption across the boundary of two consecutive audio/video segments (eg, an AVSeg3 and AVSeg7 audio/video segment), i. during the transition from the previous first audio/video segment (for example, AVSeg3 audio/video segment) to the subsequent second audio/video segment (for example, AVSeg7 audio/video segment), or, in other words, during playback of the end of the previous first audio/video segment (for example, audio/video segment AVSeg3) and start
- 9 042304 ла последующего второго аудио/видеосегмента (например, аудио/видеосегмента AVSeg7).- 9 042304 for a subsequent second audio/video segment (eg AVSeg7 audio/video segment).
Выбор, извлечение, и воспроизведение особой отдельной аудиодорожки 114 определяется посредством инструкции 111 воспроизведения. В зависимости от сценария, фактическое начало или активация извлечения и воспроизведения дополнительно определяются посредством команд решения пользователя и/или особых аудио/видеосегментов 112, выбранных для воспроизведения. В примере фиг. 8, инструкции 11 воспроизведения предписывают машине 12 воспроизведения извлечь и воспроизвести отдельную аудиодорожку 114а в особый временной код ТС2 во время воспроизведения особого аудио/видеосегмента AVSeg4, и воспроизвести отдельную аудиодорожку 114b в особый временной код ТС1 во время воспроизведения особого аудио/видеосегмента AVSeg1.The selection, extraction, and playback of a particular individual audio track 114 is determined by the playback instruction 111 . Depending on the scenario, the actual start or activation of extraction and playback is further determined by user decision commands and/or specific audio/video segments 112 selected for playback. In the example of FIG. 8, the playback instructions 11 cause the playback engine 12 to extract and play the individual audio track 114a in the TC2 specific time code during playback of the AVSeg4 specific audio/video segment, and to play the individual audio track 114b in the TC1 specific time code during playback of the AVSeg1 specific audio/video segment.
Воспроизведение отдельной аудиодорожки 114 завершается с окончанием соответствующей отдельной аудиодорожки 114 или как определяется посредством альтернативных инструкций 111 воспроизведения. В примере фиг. 8, инструкции 111 воспроизведения предписывают машине 12 воспроизведения завершить воспроизведение отдельной аудиодорожки 114а в особый временной код ТС3 особого аудио/видеосегмента AVSeg7, начиная в данном временном коде ТС3 затухание отдельной аудиодорожки 114а.Playback of the individual audio track 114 ends with the end of the corresponding individual audio track 114, or as determined by alternative playback instructions 111 . In the example of FIG. 8, the playback instructions 111 cause the playback engine 12 to end playback of the individual audio track 114a in the TC3 specific time code of the AVSeg7 specific audio/video segment, starting at that TC3 time code to fade out the individual audio track 114a.
В дополнение к остановке отдельной аудиодорожки 114 в определенный временной код воспроизводимого аудио/видеосегмента 112, существуют другие инструкции 111 воспроизведения, которые предписывают машине 12 воспроизведения останавливать отдельную аудиодорожку 114 в такте отдельной аудиодорожки 114, останавливать отдельную аудиодорожку 114 сразу, осуществлять затухание отдельной аудиодорожки 114 посредством начала затухания в определенном временном коде воспроизводимого аудио/видеосегмента, и/или осуществлять затухание отдельной аудиодорожки 114 посредством начала затухания сразу.In addition to stopping an individual audio track 114 at a specific timecode of the audio/video segment 112 being played, there are other playback instructions 111 that cause the playback engine 12 to stop an individual audio track 114 at the beat of an individual audio track 114, stop an individual audio track 114 immediately, fade out an individual audio track 114 by start fading in a specific timecode of the audio/video segment being played, and/or fading out an individual audio track 114 by starting the fading out immediately.
Кроме того, существуют другие инструкции 111 воспроизведения, которые предписывают машине воспроизведения 12 осуществлять плавный переход от отдельной аудиодорожки 114 к другой аудиодорожке 114 и/или замещать отдельную аудиодорожку 114 пригодной завершающей аудиодорожкой, как будет описано в следующих параграфах со ссылкой на фиг. 9.In addition, there are other playback instructions 111 that cause the playback engine 12 to seamlessly transition from an individual audio track 114 to another audio track 114 and/or replace an individual audio track 114 with a suitable final audio track, as will be described in the following paragraphs with reference to FIG. 9.
В примере фиг. 9, отдельная аудиодорожка 114с включает в себя точки СР разметки, которые указывают в каждом случае позицию в отдельной аудиодорожке 114с, которая пригодна для редактирования во время воспроизведения отдельной аудиодорожки 114с. Точки разметки хранятся как часть отдельной аудиодорожки 114с или в отдельной таблице точек разметки, например. Пригодность аудиодорожки для редактирования зависит главным образом от ритма и динамики аудиодорожки. По существу, пригодность для редактирования дает возможность замещать первую отдельную аудиодорожку 114 второй отдельной аудиодорожкой 114 во время воспроизведения аудиодорожек, не вызывая слышимого нарушения в результирующем воспроизведении аудио, которое будет восприниматься в качестве не гладкого, беспокоящего перехода. Фиг. 9 иллюстрирует завершающую аудиодорожку 114d, которая является отдельной аудиодорожкой 114, которая является пригодной, чтобы быть вставленной в любую точку СР разметки отдельной аудиодорожки 114с в качестве окончания отдельной аудиодорожки 114с. Как иллюстрируется на фиг. 9, фактическая точка СР1 разметки, где завершающая аудиодорожка 114d вставляется в качестве окончания отдельной аудиодорожки 114с, определяется на основании инструкции UC, например, в качестве следствия команды решения пользователя, чтобы завершить отдельную аудиодорожку 114с. В ответ на данную инструкцию завершения, машина 12 воспроизведения обрабатывает соответствующие инструкции 111 воспроизведения, которые предписывают машине 12 воспроизведения завершить отдельную аудиодорожку 114с посредством выбора следующей пригодной точки СР1 разметки после приема инструкции завершения, и посредством вставки завершающей аудиодорожи 114d в точке СР1 разметки. Не только точка во времени, когда отдельная аудиодорожка 114с завершается, определяется в качестве следствия команды решений пользователя, но также фактическая завершающая аудиодорожка 114d может быть выбрана в зависимости от команды решения пользователя. Например, если пользователь вводит команду решения пользователя, которая вызывает следование интерактивного аудиовизуального фильма 100 первой сюжетной линии, которая является спокойной, завершающая аудиодорожка 114d, ассоциированная с аудио/видеосегментами 112 первой сюжетной линии будет более тихой, чем завершающая дорожка 114d ассоциированная с аудио/видеосегментами 112 альтернативной сюжетной линии, которая является полной действия и напряжения. В варианте осуществления, выбор отдельных аудиодорожек 114 выполняется посредством выполнения сценария С, как описывается выше со ссылкой на фиг. 7 для выбора аудио/видеосегментов.In the example of FIG. 9, the individual audio track 114c includes cue points CP that indicate in each case a position within the individual audio track 114c that is editable during playback of the individual audio track 114c. The cue points are stored as part of a separate audio track 114c or in a separate cue point table, for example. The suitability of an audio track for editing depends primarily on the rhythm and dynamics of the audio track. As such, editability allows the first individual audio track 114 to be replaced by the second individual audio track 114 during playback of the audio tracks without causing audible disruption in the resulting audio playback, which would be experienced as a non-smooth, disturbing transition. Fig. 9 illustrates an ending audio track 114d, which is a separate audio track 114 that is suitable to be inserted at any point in the markup CP of a separate audio track 114c as the end of a separate audio track 114c. As illustrated in FIG. 9, the actual cue point CP1 where the ending audio track 114d is inserted as the end of the separate audio track 114c is determined based on the UC instruction, for example, as a consequence of a user decision command to end the separate audio track 114c. In response to this termination instruction, the playback engine 12 processes the corresponding playback instructions 111 that cause the playback engine 12 to terminate the individual audio track 114c by selecting the next valid cue point CP1 after receiving the termination instruction, and by inserting the final audio track 114d at the cue point CP1. Not only is the point in time when an individual audio track 114c ends is determined as a consequence of the user decision command, but also the actual ending audio track 114d may be selected depending on the user decision command. For example, if the user enters a user decision command that causes the interactive audiovisual 100 to follow the first storyline, which is quiet, the ending audio track 114d associated with the audio/video segments 112 of the first storyline will be quieter than the ending track 114d associated with the audio/video segments 112 alternate storyline that is full of action and suspense. In an embodiment, selection of individual audio tracks 114 is performed by executing script C as described above with reference to FIG. 7 to select audio/video segments.
Как иллюстрируется на фиг. 2, машина 12 воспроизведения содержит модуль 121 финальной обработки, выполненный с возможностью генерирования основной аудиодорожки посредством микширования и финальной обработки аудиочасти, т.е. синхронизированной аудиодорожки, аудио/видеосегмента 112 и одной или более отдельных аудиодорожек 114, которые воспроизводятся параллельно с аудио/видеосегментом 112. Например, приоритет отдается синхронизированной аудиодорожке аудио/видеосегмента 112, в то время как громкость отдельных аудиодорожек уменьшается, и результирующий аудиопоток ограничиваются, например, до -0,1 дБ.As illustrated in FIG. 2, the playback engine 12 includes a finishing module 121 configured to generate a main audio track by mixing and finishing the audio part, i. synchronized audio track, audio/video segment 112, and one or more individual audio tracks 114 that are played in parallel with audio/video segment 112. For example, the synchronized audio track of audio/video segment 112 is given priority, while the volume of the individual audio tracks is reduced and the resulting audio stream is limited, for example , down to -0.1 dB.
Фиг. 10-12 иллюстрируют хронометраж смены предшествующего первого аудио/видеосегментаFig. 10-12 illustrate the timing of the change of the previous first audio/video segment.
--
Claims (15)
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CH00288/14 | 2014-02-24 |
Publications (1)
Publication Number | Publication Date |
---|---|
EA042304B1 true EA042304B1 (en) | 2023-02-01 |
Family
ID=
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10319411B2 (en) | Device and method for playing an interactive audiovisual movie | |
CN106257930B (en) | Generate the dynamic time version of content | |
US11636881B2 (en) | User interface for video content | |
EP2891032B1 (en) | Enhancing video content with extrinsic data | |
KR101246976B1 (en) | Aspects of media content rendering | |
US10009664B2 (en) | Providing extrinsic data for video content | |
US7739584B2 (en) | Electronic messaging synchronized to media presentation | |
US9754625B2 (en) | Generation and use of user-selected scenes playlist from distributed digital content | |
US20090273712A1 (en) | System and method for real-time synchronization of a video resource and different audio resources | |
KR20080047847A (en) | Apparatus and method for playing moving image | |
CN113424553B (en) | Method and system for playback of media items | |
KR20120079442A (en) | Device and methodfor providing user interface | |
CN102132593B (en) | System and method for continuous playing of moving picture between two devices | |
JP2002118802A (en) | Video recording and reproducing device | |
KR101323331B1 (en) | Method and apparatus of reproducing discontinuous AV data | |
US20180048937A1 (en) | Enhancing video content with personalized extrinsic data | |
US11551724B2 (en) | System and method for performance-based instant assembling of video clips | |
EA042304B1 (en) | DEVICE AND METHOD FOR REPLAYING INTERACTIVE AUDIOVISUAL FILM | |
WO2020222721A1 (en) | Digital video editing and playback method | |
JP2005056446A (en) | Dvd video disk, and method for creating dvd game software |