RU2811574C1 - Video cameras control system - Google Patents
Video cameras control system Download PDFInfo
- Publication number
- RU2811574C1 RU2811574C1 RU2023100553A RU2023100553A RU2811574C1 RU 2811574 C1 RU2811574 C1 RU 2811574C1 RU 2023100553 A RU2023100553 A RU 2023100553A RU 2023100553 A RU2023100553 A RU 2023100553A RU 2811574 C1 RU2811574 C1 RU 2811574C1
- Authority
- RU
- Russia
- Prior art keywords
- module
- video
- video cameras
- objects
- determining
- Prior art date
Links
- 230000003068 static effect Effects 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims 1
- 230000006978 adaptation Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Abstract
Description
Изобретение относится к области телевидения, в частности к автоматизированному управлению видеокамерами в студийном помещении. Основной функцией системы является перемещение видеокамер в студийном помещении с целью съёмки происходящего внутри.The invention relates to the field of television, in particular to the automated control of video cameras in a studio room. The main function of the system is to move video cameras in the studio space to film what is happening inside.
Известна система для съемки надвигающихся спортсменов [RU 2678572 C2, 30.01.2019], включающая мобильную видеокамеру для съемки пары двигающихся спортсменов; средство перемещения с моторным приводом для перемещения упомянутой мобильной видеокамеры путем изменения ее ориентации относительно игрового поля; фиксированную видеокамеру, которая расположена неподвижно относительно игрового поля для кадрирования всего игрового поля для того, чтобы получать видеоизображения в форме видеосигнала, указывающие положение двигающихся спортсменов; средство обработки и управления, которое взаимодействует с упомянутой фиксированной видеокамерой и выполнено с возможностью определять в режиме реального времени, в зависимости от упомянутого видеосигнала, промежуточное положение между двумя спортсменами относительно системы координат, которая объединена с игровым полем, и управлять средством перемещения с моторным приводом таким образом, чтобы сцентрировать кадрирование мобильной видеокамеры на упомянутом промежуточном положении.There is a known system for filming approaching athletes [RU 2678572 C2, 01/30/2019], which includes a mobile video camera for filming a pair of moving athletes; motor-driven moving means for moving said mobile video camera by changing its orientation relative to the playing field; a fixed video camera that is stationary relative to the playing field for framing the entire playing field in order to obtain video images in the form of a video signal indicating the position of the moving athletes; processing and control means that interacts with said fixed video camera and is configured to determine in real time, depending on said video signal, the intermediate position between two athletes relative to the coordinate system that is integrated with the playing field, and to control the motor-driven moving device such such as to center the framing of the mobile video camera at said intermediate position.
Недостатками системы являются: по определению текущего положения двигающихся спортсменов производится центрирование мобильной видеокамеры, что является лишь одной из разновидностью плана в съемочном процессе и является недостаточным для полноценной съемки телепрограммы; жесткая привязка к координатам положения двигающихся спортсменов приводит к тому, что из поля зрения видеокамер упускаются детали происходящего, например, полет мяча и другие элементы, что является важным в съемочном процессе; возможна ситуация, при которой в поле зрения видеокамеры попадает другая видеокамера, поскольку в процессе съёмки одного мероприятия могут быть задействованы несколько видеокамер, что приводит к порче кадра.The disadvantages of the system are: to determine the current position of moving athletes, the mobile video camera is centered, which is only one type of plan in the filming process and is insufficient for a full-fledged filming of a television program; rigid binding to the coordinates of the position of moving athletes leads to the fact that details of what is happening are missed from the field of view of video cameras, for example, the flight of the ball and other elements, which are important in the filming process; A situation is possible in which another video camera comes into the field of view of the video camera, since several video cameras may be used in the process of filming one event, which leads to damage to the frame.
Наиболее близким решением является, принятым за прототип, является система для видеосъемки [RU 2705102 C1, 05.11.2019], включающая: отдельные управляемые единицы системы, предназначенные для перемещения и управления параметрами работы устройства для видеосъемки; общий модуль управления (ОМУ)/согласующий электронный блок (СЭБ), выполненный с возможностью записи в память сигналов, управляющих отдельными единицами системы. В частности: устройство для видеозаписи выполнено в виде кинокамеры, видеокамеры, телекамеры или цифрового фотоаппарата с возможностью видеозаписи или смартфона со встроенной камерой; устройства, предназначенные для перемещения в пространстве устройства для видеозаписи, выбраны из группы, содержащей: операторский кран, операторскую тележку, панорамную головку. Дополнительно система может содержать: управляемые единицы, предназначенные для перемещения и управления параметрами работы оборудования для видеосъемки, а именно микрофон, источник света, источник звука, управляемые вручную, при помощи по меньшей мере одного пульта управления, с возможностью записи управляющих сигналов в ОМУ/СЭБ и/или управляющими сигналами с ОМУ/СЭБ. Дополнительно в устройстве ОМУ/СЭБ может быть реализован процесс анализа изображения, поступающего от устройства для видеозаписи, что позволяет в автоматическом режиме управлять исполнительными механизмами таким образом, чтобы обеспечить заданные перемещения устройства для видеозаписи относительно объекта съемки.The closest solution, adopted as a prototype, is a system for video recording [RU 2705102 C1, 05.11.2019], including: separate controlled units of the system designed to move and control the operating parameters of the device for video recording; common control module (CMU)/coordinating electronic unit (ECB), configured to record signals that control individual units of the system into memory. In particular: the video recording device is made in the form of a movie camera, video camera, television camera or digital camera with video recording capability or a smartphone with a built-in camera; devices designed to move in the space of a video recording device are selected from a group containing: camera crane, camera trolley, panoramic head. Additionally, the system may contain: controlled units designed to move and control the operating parameters of video recording equipment, namely a microphone, a light source, a sound source, manually controlled using at least one control panel, with the ability to record control signals in the control unit/self-control unit and/or control signals from the OMU/ESS. Additionally, the OMU/SEB device can implement a process for analyzing the image coming from the video recording device, which allows you to automatically control the actuators in such a way as to ensure the specified movements of the video recording device relative to the shooting object.
Признаки прототипа, являющиеся общими с заявляемой системой управления, - видеокамеры и устройства для перемещения видеокамер в пространстве.The features of the prototype that are common to the proposed control system are video cameras and devices for moving video cameras in space.
Недостатки прототипа: долгое время на настройку оборудования и его быстрый износ, поскольку приходится производить физическое перемещение этого оборудования для записи координат перемещения в запоминающее устройство; возможность обеспечить удержание движущегося объекта съёмки в поле зрения объектива для создания художественного эффекта не всегда является достаточным, поскольку могут упускаться другие «планы» - деления кинематографического пространства; отсутствуют функциональные возможности определения попадания в поле зрения видеокамеры другой видеокамеры или оператора с ней, что приводит к порче сцены; отсутствует защита от столкновений видеокамер между собой; отсутствует возможность автоматической адаптации направления видеокамер под людей, находящихся в кадре, то есть возможна ситуация, при которой видеокамера не успеет навести объектив на человека, начавшего говорить или производить какие-либо действия, так как была направлена на другой объект; отсутствует возможность самообучения, при котором в поле зрения объектива попадали бы только те объекты и люди, и только в тех «планах», которые согласуются с режиссёром.Disadvantages of the prototype: it takes a long time to set up the equipment and its rapid wear, since it is necessary to physically move this equipment to record the coordinates of the movement into a storage device; the ability to ensure that a moving subject is kept in the field of view of the lens to create an artistic effect is not always sufficient, since other “plans” - divisions of cinematic space - may be missed; there is no functionality for determining whether another video camera or an operator with it is in the field of view of a video camera, which leads to damage to the scene; there is no protection against collisions between video cameras; there is no possibility of automatically adapting the direction of video cameras to the people in the frame, that is, a situation is possible in which the video camera does not have time to point the lens at a person who has begun to speak or perform any actions, since it was aimed at another object; there is no possibility of self-learning, in which only those objects and people would fall into the field of view of the lens, and only in those “plans” that are consistent with the director.
Задачей изобретения является разработка системы управления видеокамерами, позволяющей: уменьшить время на настройку оборудования перед съёмкой; увеличить количество снимаемых «планов» при привязке объектов, находящихся в студии; обеспечить отсутствие видеооператора и видеокамеры в объективе другой видеокамеры; обеспечить защиту от столкновений видеокамер и поддерживающих их устройств между собой; обеспечить автоматическую адаптацию направления видеокамер под людей, находящихся в кадре; обеспечить попадание в поле зрения объектива только тех объектов и людей, и только в тех «планах», которые согласуются с режиссёром.The objective of the invention is to develop a video camera control system that allows: to reduce the time for setting up equipment before filming; increase the number of “shots” taken when linking objects located in the studio; ensure that the videographer and video camera are not in the lens of another video camera; provide protection against collisions between video cameras and their supporting devices; ensure automatic adaptation of the direction of video cameras to the people in the frame; to ensure that only those objects and people fall into the lens’s field of view, and only in those “plans” that are agreed upon with the director.
Решение этой задачи является актуальным в связи с усложнением технологического оборудования, используемого при съёмке в студии, что влечет необходимость привлечения более квалифицированных специалистов, что удорожает стоимость конечного телевизионного продукта.The solution to this problem is relevant due to the increasing complexity of the technological equipment used when filming in the studio, which entails the need to attract more qualified specialists, which increases the cost of the final television product.
Поставленная задача была решена за счет того, что известная система управления видеокамерами, включающая видеокамеры и устройства для перемещения видеокамер в пространстве, согласно изобретению дополнительно содержитThe problem was solved due to the fact that the known video camera control system, including video cameras and devices for moving video cameras in space, according to the invention additionally contains
блок автоматизации, выполненный с возможностью программирования и множеством входов/выходов для подключения внешних устройств, и соединённый с пультом режиссера, выполненного с возможностью переключения активных видеокамер в процессе съёмки, видеокамерами для съёмки, контроллерами электроприводов перемещения по осям X, Y, Z видеокамер, контроллерами электроприводов позиционирования по осям X, Y, Z объектива видеокамер, статичными видеокамерами для анализа происходящего, лазерными дальномерами по каждой оси X, Y, Z видеокамер, акселерометрами для определения положения в пространстве видеокамер, an automation unit made with the possibility of programming and multiple inputs/outputs for connecting external devices, and connected to the director’s console, made with the ability to switch active video cameras during filming, video cameras for filming, controllers for electric drives moving along the X, Y, Z axes of video cameras, controllers electric positioning drives along the X, Y, Z axes of the video camera lens, static video cameras for analyzing what is happening, laser rangefinders along each X, Y, Z axis of video cameras, accelerometers for determining the position in space of video cameras,
при этом блок автоматизации содержитin this case the automation block contains
модуль приёма видеоизображения со статичных видеокамер, соединённый с модулем преобразования видеоизображения в наборы признаков с определением координат действующих объектов, реализующий алгоритмы определения у каждого кадра входного видеопотока признаков, которыми он характеризуется, а именно наличием действий у динамических объектов и изменения цвета, фона или формы у статических объектов по базе данных наборов признаков, с которой связан, а также определением внутренних координат этих объектов, в рамках помещения, где происходит видеозапись, при этом выходные данные модуля передаются в модуль прогнозирования развития ситуации, реализующий интеллектуальные алгоритмы преобразования поступающей на вход последовательности признаков кадров в набор признаков, характеризующих действия, которые могут произойти в ближайшее время и координат объектов, как они будут изменяться в течении этого ближайшего времени,a module for receiving video images from static video cameras, connected to a module for converting video images into sets of features with determining the coordinates of active objects, implementing algorithms for determining for each frame of the input video stream the features that characterize it, namely the presence of actions in dynamic objects and changes in color, background or shape static objects according to the database of feature sets with which it is connected, as well as by determining the internal coordinates of these objects within the room where the video recording takes place, while the output data of the module is transferred to the module for predicting the development of the situation, which implements intelligent algorithms for converting the sequence of frame features received as input into a set of signs characterizing actions that may occur in the near future and the coordinates of objects, how they will change during this near future,
модуль приёма видеоизображения с видеокамер для съёмки, соединённый с модулем отправки видеоизображения на пульт режиссера,a module for receiving video images from video cameras for filming, connected to a module for sending video images to the director’s console,
модуль приёма сигналов по переключению видеокамер с пульта режиссера, выход которого соединён с модулем сохранения видеопотока и действий по переключению видеокамер в базу данных, на вход которого также поступает видеопоток из модуля приёма видеоизображения с видеокамер для съёмки, при этом выход соединен с базой данных, хранящей видео и выбор активного видеопотока в каждый интервал времени,module for receiving signals for switching video cameras from the director's console, the output of which is connected to a module for storing the video stream and actions for switching video cameras to the database, the input of which also receives a video stream from the module for receiving video images from video cameras for shooting, while the output is connected to the database storing video and selection of the active video stream in each time interval,
модуль распознавания объектов на кадрах и «плана» кадра, и их сопоставление с активным видеопотоком, реализующий интеллектуальные алгоритмы, которые берут данные из базы данных с видео и выбором активного видеопотока в каждый интервал времени, обрабатывают их на предмет распознавания статических и динамических объектов в кадре и определения «плана» - деления кинематографического пространства, делая метки у активного видеопотока, выбранного режиссеров в каждый интервал времени, и производят запись выходной информации в базу данных распознанных объектов, «плана» кадра и выбранных режиссером сцен,module for recognizing objects in frames and the “plan” of the frame, and their comparison with the active video stream, implementing intelligent algorithms that take data from the database with video and the selection of the active video stream at each time interval, process them to recognize static and dynamic objects in the frame and determining the “plan” - dividing the cinematic space, making marks on the active video stream selected by the directors at each time interval, and recording the output information in the database of recognized objects, the “plan” of the frame and the scenes selected by the director,
модуль прогнозирования наилучшего кадра, связанный с модулем прогнозирования развития ситуации и базой данных распознанных объектов, «плана» кадра и выбранных режиссером сцен, реализующий интеллектуальные алгоритмы выбора объектов для съёмки, ракурса съёмки и меры приближения к ним, которые основываются на прогнозной информации о том, как будет развиваться ситуация и какие решения принимал режиссер в подобных ситуациях ранее,a module for predicting the best frame, associated with a module for predicting the development of a situation and a database of recognized objects, a “plan” of the frame and scenes selected by the director, implementing intelligent algorithms for selecting objects for shooting, shooting angles and measures of approaching them, which are based on predictive information about how the situation will develop and what decisions the director made in similar situations earlier,
модуль расчета координат расположения видеокамер и их объективов, на вход которого поступает информация из блока прогнозирования наилучшего кадра, а на выходе выдаёт информацию о координатах локального пространства, где необходимо расположить видеокамеру и объектив, чтобы сделать прогнозный кадр, module for calculating the coordinates of the location of video cameras and their lenses, the input of which receives information from the block for predicting the best frame, and at the output it provides information about the coordinates of the local space where it is necessary to place the video camera and lens in order to make a predicted frame,
модуль расчёта траекторий движения каждой видеокамеры на вход получает информацию из блока расчета координат расположения видеокамер и их объективов, и для каждой координаты, в которой должна оказаться видеокамера рассчитывает траекторию её движения до этой точки, при этом рассчитанные траектории движения анализируются в соединённых с ним модулях, а именно модуле определения попадания видеокамеры в объектив другой видеокамеры и модуле определения риска возникновения столкновения видеокамер и перемещающих их устройств, выходные данные из которых поступают на вход модуля корректировки траекторий движения каждой видеокамеры,the module for calculating the movement trajectories of each video camera receives input information from the block for calculating the coordinates of the location of video cameras and their lenses, and for each coordinate in which the video camera should be, it calculates the trajectory of its movement to this point, while the calculated movement trajectories are analyzed in the modules connected to it, namely, a module for determining whether a video camera hits the lens of another video camera and a module for determining the risk of a collision between video cameras and devices moving them, the output data from which is fed to the input of the module for adjusting the trajectories of each video camera,
модуль приёма сигнала с лазерных дальномеров, соединённый с модулем определения риска столкновения с объектами, который реализует алгоритмы расчета расстояния до объектов и определения степени риска столкновения с ними, выход которого соединен с модулем корректировки траекторий движения каждой видеокамеры, реализующем алгоритмы изменения ранее принятой траектории с изменившимися условиями,a module for receiving signals from laser rangefinders, connected to a module for determining the risk of collision with objects, which implements algorithms for calculating the distance to objects and determining the degree of risk of collision with them, the output of which is connected to a module for adjusting the movement trajectories of each video camera, which implements algorithms for changing the previously accepted trajectory with the changed ones conditions,
модуль приёма сигнала с акселерометров, соединенный с модулем расчета отклонений и определения корректирующих воздействий, который реализует алгоритмы определения отклонения видеокамеры и объектива от расчетной траектории, а также определение корректирующих воздействий для контроллеров электроприводов перемещения видеокамер и позиционирования объективов видеокамер,a module for receiving signals from accelerometers, connected to a module for calculating deviations and determining corrective actions, which implements algorithms for determining the deviation of a video camera and lens from the calculated trajectory, as well as determining corrective actions for controllers of electric drives for moving video cameras and positioning video camera lenses,
модуль отправки данных в контроллеры электроприводов видеокамер и их объективов, соединенный с модулем корректировки траекторий движения каждой видеокамеры и модулем расчета отклонений и определения корректирующих воздействий, реализующий алгоритм отправления поступающих на вход данных.a module for sending data to the controllers of electric drives of video cameras and their lenses, connected to a module for adjusting the motion trajectories of each video camera and a module for calculating deviations and determining corrective actions, implementing an algorithm for sending input data.
Отличительные признаки предлагаемой системы – введены блок автоматизации; пульт режиссера; контроллеры электроприводов перемещения по осям X, Y, Z видеокамер; контроллеры электроприводов позиционирования по осям X, Y, Z объектива видеокамер; акселерометры для определения положения в пространстве видеокамер; статичные видеокамеры для анализа происходящего; лазерные дальномеры по каждой оси X, Y, Z видеокамер; модуль приёма видеоизображения со статичных видеокамер; модуль преобразования видеоизображения в наборы признаков с определением координат действующих объектов; база данных наборов признаков; модуль прогнозирования развития ситуации; модуль прогнозирования наилучшего кадра; модуль приёма видеоизображения с видеокамер для съёмки; модуль отправки видеоизображения на пульт режиссера; модуль приёма сигналов по переключению видеокамер с пульта режиссера; модуль сохранения видеопотока и действий по переключению видеокамер в базу данных; база данных с видео и выбором активного видеопотока в каждый интервал времени; модуль распознавания объектов на кадрах и «плана» кадра, и их сопоставление с активным видеопотоком; база данных распознанных объектов, «плана» кадра и выбранных режиссером сцен; модуль расчета координат расположения видеокамер и их объективов; модуль расчёта траекторий движения каждой видеокамеры; модуль определения попадания видеокамеры в объектив другой видеокамеры; модуль определения риска возникновения столкновения видеокамер и перемещающих их устройств; модуль приёма сигнала с лазерных дальномеров; модуль определения риска столкновения с объектами; модуль корректировки траекторий движения каждой видеокамеры; модуль приёма сигнала с акселерометров; модуль расчета отклонений и определения корректирующих воздействий; модуль отправки данных в контроллеры электроприводов видеокамер и их объективов.Distinctive features of the proposed system are the introduction of an automation unit; director's console; controllers for electric drives of movement along the X, Y, Z axes of video cameras; controllers for electric drives positioning along the X, Y, Z axes of the video camera lens; accelerometers for determining the spatial position of video cameras; static video cameras to analyze what is happening; laser rangefinders for each X, Y, Z axis of video cameras; module for receiving video images from static video cameras; module for converting video images into sets of features with determining the coordinates of active objects; feature set database; module for forecasting the development of the situation; best frame prediction module; module for receiving video images from video cameras for filming; module for sending video images to the director's console; module for receiving signals for switching video cameras from the director’s console; module for saving the video stream and actions for switching video cameras to the database; database with video and selection of active video stream at each time interval; module for recognizing objects in frames and the “plan” of the frame, and their comparison with the active video stream; database of recognized objects, frame “plan” and scenes selected by the director; module for calculating the coordinates of the location of video cameras and their lenses; module for calculating the movement trajectories of each video camera; module for detecting whether a video camera hits the lens of another video camera; module for determining the risk of collision between video cameras and devices moving them; module for receiving signals from laser rangefinders; module for determining the risk of collision with objects; module for adjusting the movement trajectories of each video camera; module for receiving signals from accelerometers; module for calculating deviations and determining corrective actions; module for sending data to the controllers of electric drives of video cameras and their lenses.
Отличительные признаки в совокупности с известными позволяют достичь уменьшение времени на настройку оборудования перед съёмкой; увеличение количества снимаемых «планов» при привязке объектов, находящихся в студии; отсутствие видеооператора и видеокамеры в объективе другой видеокамеры; защиту от столкновений видеокамер и поддерживающих их устройств между собой; автоматическую адаптация направления видеокамер под людей, находящихся в кадре; попадание в поле зрения объектива только тех объектов и людей, и только в тех «планах», которые согласуются с режиссёром.Distinctive features, in combination with known ones, make it possible to achieve a reduction in time for setting up equipment before shooting; increasing the number of shots taken when linking objects located in the studio; absence of a videographer and a video camera in the lens of another video camera; protection against collisions between video cameras and their supporting devices; automatic adaptation of the direction of video cameras to the people in the frame; getting into the field of view of the lens only those objects and people, and only in those “plans” that are consistent with the director.
На фиг. 1 изображена структурная схема системы управления видеокамерами в общем виде.In fig. Figure 1 shows a general block diagram of the video camera control system.
На фиг. 2 изображена структурная схема блока автоматизации системы управления видеокамерами.In fig. Figure 2 shows a block diagram of the automation unit of the video camera control system.
Система управления видеокамерами (фиг.1) включает блок автоматизации 1, выполненный с возможностью программирования и множеством входов/выходов для подключения внешних устройств. Блок автоматизации 1 соединён с пультом режиссера 2, выполненным с возможностью переключения активных видеокамер в процессе съёмки, видеокамерами для съёмки 3, устройствами для перемещения видеокамер в пространстве 4, контроллерами электроприводов перемещения по осям X, Y, Z видеокамер 5, контроллерами электроприводов позиционирования по осям X, Y, Z объектива видеокамер 6, статичными видеокамерами для анализа происходящего 7, лазерными дальномерами по каждой оси X, Y, Z видеокамер 8, акселерометрами для определения положения в пространстве видеокамер 9. The video camera control system (Fig. 1) includes an automation unit 1, made with programming capabilities and multiple inputs/outputs for connecting external devices. The automation unit 1 is connected to the director's console 2, designed to switch active video cameras during filming, video cameras for filming 3, devices for moving video cameras in space 4, controllers for electric drives moving along the X, Y, Z axes of video cameras 5, controllers for electric drives for positioning along the axes X, Y, Z lens of video cameras 6, static video cameras for analyzing what is happening 7, laser rangefinders along each axis X, Y, Z of video cameras 8, accelerometers for determining the position in space of video cameras 9.
Блок автоматизации 1 (фиг.2) содержит модуль приёма видеоизображения со статичных видеокамер 10, соединённый с модулем преобразования видеоизображения в наборы признаков с определением координат действующих объектов 11, реализующим алгоритмы определения у каждого кадра входного видеопотока признаков, которыми он характеризуется, а именно наличием действий у динамических объектов и изменения цвета, фона или формы у статических объектов по базе данных наборов признаков 12, с которой связан, а также определением внутренних координат этих объектов, в рамках помещения, где происходит видеозапись. При этом выходные данные модуля 11 передаются в модуль прогнозирования развития ситуации 13, реализующий интеллектуальные алгоритмы преобразования поступающей на вход последовательности признаков кадров в набор признаков, характеризующих действия, которые могут произойти в ближайшее время и координат объектов, как они будут изменяться в течении этого ближайшего времени. Automation block 1 (Fig. 2) contains a module for receiving video images from static video cameras 10, connected to a module for converting video images into sets of features with determining the coordinates of active objects 11, which implements algorithms for determining for each frame of the input video stream the features by which it is characterized, namely the presence of actions for dynamic objects and changes in color, background or shape for static objects according to the database of feature sets 12 with which it is associated, as well as determining the internal coordinates of these objects within the room where the video recording takes place. In this case, the output data of module 11 is transmitted to the module for forecasting the development of the situation 13, which implements intelligent algorithms for converting the sequence of frame attributes received at the input into a set of attributes characterizing actions that may occur in the near future and the coordinates of objects, how they will change during this near future .
Блок автоматизации 1 содержит модуль приёма видеоизображения с видеокамер для съёмки 14, соединённый с модулем отправки видеоизображения на пульт режиссера 15, модуль приёма сигналов по переключению видеокамер с пульта режиссера 16. Выход модуля приёма сигналов по переключению видеокамер с пульта режиссера 16 соединён с модулем сохранения видеопотока и действий по переключению видеокамер в базу данных 17, на вход которого также поступает видеопоток из модуля приёма видеоизображения с видеокамер для съёмки 14. Выход модуля 17 соединен с базой данных, хранящей видео и выбор активного видеопотока в каждый интервал времени 18. Automation unit 1 contains a module for receiving video images from video cameras for filming 14, connected to a module for sending video images to the director's console 15, a module for receiving signals for switching video cameras from the director's console 16. The output of the module for receiving signals for switching video cameras from the director's console 16 is connected to a module for storing the video stream and actions to switch video cameras to the database 17, the input of which also receives a video stream from the module for receiving video images from video cameras for filming 14. The output of the module 17 is connected to the database storing video and the selection of the active video stream at each time interval 18.
Блок автоматизации 1 содержит модуль распознавания объектов на кадрах и «плана» кадра, и их сопоставление с активным видеопотоком 19, реализующий интеллектуальные алгоритмы, которые берут данные из базы данных с видео и выбором активного видеопотока в каждый интервал времени 18, обрабатывают их на предмет распознавания статических и динамических объектов в кадре и определения «плана» - деления кинематографического пространства, делая метки у активного видеопотока, выбранного режиссеров в каждый интервал времени, и производят запись выходной информации в базу данных распознанных объектов, «плана» кадра и выбранных режиссером сцен 20.Automation block 1 contains a module for recognizing objects in frames and a “plan” of the frame, and their comparison with the active video stream 19, which implements intelligent algorithms that take data from the database with video and the selection of the active video stream at each time interval 18, process them for recognition static and dynamic objects in the frame and determining the “plan” - dividing the cinematic space, making marks on the active video stream selected by the directors at each time interval, and recording the output information in the database of recognized objects, the “plan” of the frame and the scenes selected by the director 20.
Модуль прогнозирования развития ситуации 13 соединен с модулем прогнозирования наилучшего кадра 21, связанным с базой данных распознанных объектов, «плана» кадра и выбранных режиссером сцен 20, реализующем интеллектуальные алгоритмы выбора объектов для съёмки, ракурса съёмки и меры приближения к ним, которые основываются на прогнозной информации о том, как будет развиваться ситуация и какие решения принимал режиссер в подобных ситуациях ранее.The module for predicting the development of the situation 13 is connected to a module for predicting the best frame 21, connected to a database of recognized objects, a “plan” of the frame and scenes selected by the director 20, which implements intelligent algorithms for selecting objects for shooting, shooting angles and measures of approach to them, which are based on the forecast information about how the situation will develop and what decisions the director made in similar situations previously.
Выход модуля прогнозирования наилучшего кадра 21 соединен с модулем расчета координат расположения видеокамер и их объективов 22, выполненным с возможностью выдачи информацию о координатах локального пространства, где необходимо расположить видеокамеру и объектив, чтобы сделать прогнозный кадр. Выход модуля расчета координат расположения видеокамер и их объективов 22 соединен с модулем расчёта траекторий движения каждой видеокамеры 23.The output of the best frame prediction module 21 is connected to the module for calculating the coordinates of the location of video cameras and their lenses 22, which is configured to output information about the coordinates of the local space where it is necessary to place the video camera and lens in order to make a predictive frame. The output of the module for calculating the coordinates of the location of video cameras and their lenses 22 is connected to the module for calculating the motion trajectories of each video camera 23.
Выходы модуля расчёта траекторий движения каждой видеокамеры 23 соединены с модулем определения попадания видеокамеры в объектив другой видеокамеры 24 и модулем определения риска возникновения столкновения видеокамер и перемещающих их устройств 25. Выходы модуля определения попадания видеокамеры в объектив другой видеокамеры 24 и модуля определения риска возникновения столкновения видеокамер и перемещающих их устройств 25 соединены с модулем корректировки траекторий движения каждой видеокамеры 26.The outputs of the module for calculating the motion trajectories of each video camera 23 are connected to a module for determining whether a video camera hits the lens of another video camera 24 and a module for determining the risk of a collision of video cameras and moving devices 25. The outputs of a module for determining whether a video camera hits the lens of another video camera 24 and a module for determining the risk of a collision of video cameras and the devices 25 moving them are connected to a module for adjusting the motion trajectories of each video camera 26.
Блок автоматизации 1 содержит модуль приёма сигнала с лазерных дальномеров 27, соединённый с модулем определения риска столкновения с объектами 28, реализующий алгоритмы расчета расстояния до объектов и определения степени риска столкновения с ними. Выход модуля определения риска столкновения с объектами 28 соединен с модулем корректировки траекторий движения каждой видеокамеры 26, который реализует алгоритмы изменения ранее принятой траектории с изменившимися условиями.Automation unit 1 contains a module for receiving signals from laser rangefinders 27, connected to a module for determining the risk of collision with objects 28, which implements algorithms for calculating the distance to objects and determining the degree of risk of collision with them. The output of the module for determining the risk of collision with objects 28 is connected to the module for adjusting the motion trajectories of each video camera 26, which implements algorithms for changing the previously adopted trajectory with changed conditions.
Блок автоматизации 1 содержит модуль приёма сигнала с акселерометров 29, соединенный с модулем расчета отклонений и определения корректирующих воздействий 30, реализующем алгоритмы определения отклонения видеокамеры и объектива от расчетной траектории, а также определение корректирующих воздействий для контроллеров электроприводов перемещения видеокамер и позиционирования объективов видеокамер. Выход модуля расчета отклонений и определения корректирующих воздействий 30 соединен с модулем отправки данных в контроллеры электроприводов видеокамер и их объективов 31, реализующем алгоритм отправления поступающих на вход данных и соединенным с модулем корректировки траекторий движения каждой видеокамеры 26.Automation unit 1 contains a module for receiving signals from accelerometers 29, connected to a module for calculating deviations and determining corrective actions 30, which implements algorithms for determining the deviation of a video camera and lens from the calculated trajectory, as well as determining corrective actions for controllers of electric drives for moving video cameras and positioning video camera lenses. The output of the module for calculating deviations and determining corrective actions 30 is connected to the module for sending data to the controllers of electric drives of video cameras and their lenses 31, which implements the algorithm for sending data received at the input and is connected to the module for correcting the trajectories of each video camera 26.
Система работает следующим образом. Сначала её внедряют в студийном помещении, в котором планируется запись телепрограммы. Под внедрением понимается размещение в студийном помещении всех механических узлов, представленных в системе, и их подключение к блоку автоматизации 1, в который загружено программное обеспечение, реализующее алгоритмы управления подключенным оборудованием. Статичные видеокамеры 7 размещают таким образом, чтобы обеспечивался максимальный охват всего студийного пространства. Устройства для перемещения видеокамер 4 размещают таким образом, чтобы обеспечивалось перемещение видеокамер для съёмки 3 по трём основным направлениям X, Y и Z.The system works as follows. First, it is implemented in the studio room in which the TV program is planned to be recorded. Implementation means placing in the studio room all the mechanical components presented in the system and connecting them to automation unit 1, which is loaded with software that implements control algorithms for the connected equipment. Static video cameras 7 are placed in such a way as to ensure maximum coverage of the entire studio space. Devices for moving video cameras 4 are placed in such a way as to ensure movement of video cameras for filming 3 in three main directions X, Y and Z.
После подключения всех узлов системы, начинается съёмочный процесс, который подразумевает ручное управление пультом режиссера, а также наличие динамических и статических сцен в той области студийного пространства, где планируется съёмка. Статичные видеокамеры 7 передают видеоизображение в блок автоматизации 1, где его принимает модуль 10. Затем этот видеопоток преобразуется в наборы признаков с определением координат действующих объектов в модуле 11. Для того, чтобы сопоставлять уже известные признаки с видеопотоком и происходящими действиями на нем, имеется база данных наборов признаков 12. После того, как все признаки считаны, они подаются в модуль прогнозирования ситуации 13, где по их последовательности интеллектуальные алгоритмы определяют, что с определенной долей вероятности будет происходить на сцене дальше.After connecting all the system nodes, the filming process begins, which involves manual control of the director’s console, as well as the presence of dynamic and static scenes in the area of the studio space where filming is planned. Static video cameras 7 transmit the video image to the automation unit 1, where it is received by module 10. Then this video stream is converted into sets of features with the determination of the coordinates of active objects in module 11. In order to compare already known features with the video stream and the actions taking place on it, there is a database data sets of features 12. After all the features are read, they are fed into the situation prediction module 13, where, based on their sequence, intelligent algorithms determine what, with a certain degree of probability, will happen next on the scene.
Параллельно процессу приёма изображения со статичных видеокамер, принимается видеоизображения и с видеокамер для съёмки 3 с помощью модуля 14. Это видеоизображение с помощью модуля 15 отправляется на пульт режиссера 2. В этот же момент времени режиссер решает какой из видеопотоков сделать активным и его действия по переключению принимаются модулем 16 в блоке автоматизации 1, и передаются в модуль 17. Модуль 17 сохраняет видеопоток и действия по переключению видеокамер, которые режиссер делает активными в разные моменты времени в базу данных 18. Затем эти данные обрабатываются на предмет распознания статических и динамических объектов в кадре и определяется «план» - деление кинематографического пространства, при этом делаются метки у активного видеопотока, выбранного режиссером в модуле 19. Данная информация сохраняется в базе данных 20.In parallel with the process of receiving images from static video cameras, video images are also received from video cameras for shooting 3 using module 14. This video image is sent to the director’s console 2 using module 15. At the same time, the director decides which of the video streams to make active and his switching actions are received by module 16 in automation block 1, and are transmitted to module 17. Module 17 stores the video stream and actions for switching video cameras, which the director makes active at different times, into the database 18. Then this data is processed to recognize static and dynamic objects in the frame and the “plan” is determined - the division of the cinematic space, while marks are made on the active video stream selected by the director in module 19. This information is stored in the database 20.
После чего в работу вступает модуль 21, который берет данные о прогнозной информации, что будет происходить дальше от модуля 13 и набор распознанных объектов, «плана» кадра и выбранных режиссером сцен из базы данных 20, и с помощью интеллектуальных алгоритмов прогнозирует наилучший кадр. Затем, чтобы видеокамеры 3 смогли произвести запись этого кадра, производится расчет координат расположения видеокамер и их объективов в модуле 22. После чего эти данные пересылаются в модуль 23, где происходит расчет траекторий движения каждой видеокамеры, чтобы произвести видеосъемку соответствующих кадров.After which module 21 comes into operation, which takes data on predictive information about what will happen next from module 13 and a set of recognized objects, a “plan” of the frame and scenes selected by the director from the database 20, and using intelligent algorithms predicts the best frame. Then, so that video cameras 3 can record this frame, the coordinates of the location of video cameras and their lenses are calculated in module 22. After that, this data is sent to module 23, where the movement trajectories of each video camera are calculated in order to video record the corresponding frames.
Затем происходит определение, попадают или нет видеокамеры в объективы других видеокамер с помощью модуля 24 и просчитываются риски столкновений видеокамер и перемещающих их устройств между собой в модуле 25. Если такие риски найдены, то происходит корректировка траекторий движений видеокамер 3 с помощью модуля 26, где просчитываются новые траектории движения с учетом выявленных рисков. Параллельно этому принимаются сигналы с лазерных дальномеров 8 с помощью модуля 27 и определяется риск возникновения столкновения с объектами, находящими в студийном помещении с помощью модуля 28. Затем, если такие риски выявлены, то данные об этом передаются в модуль 26, где происходит корректировка траекторий движения видеокамер.Then it is determined whether or not the video cameras fall into the lenses of other video cameras using module 24 and the risks of collisions of video cameras and devices moving them with each other are calculated in module 25. If such risks are found, then the trajectories of movements of video cameras 3 are adjusted using module 26, where they are calculated new movement trajectories taking into account identified risks. In parallel, signals are received from laser rangefinders 8 using module 27 and the risk of a collision with objects located in the studio room is determined using module 28. Then, if such risks are identified, the data is transmitted to module 26, where movement trajectories are adjusted video cameras
Затем происходит прием сигнала с акселерометров 9 при помощи модуля 29, и на основе этих данных производится расчет отклонений и определение корректирующих воздействий при помощи модуля 30. Данные о заданной траектории движения видеокамер и о корректирующих воздействиях стекаются в модуль 31, который отправляет их в контроллеры электроприводов видеокамер и их объективов. Затем контроллеры 5 и 6 производят выдачу управляющих воздействий на устройства перемещения видеокамер в пространстве 4. Таким образом осуществляется процесс съёмки. Чтобы произвести новый кадр необходимо повторить все действия, изложенные ранее, снова. Then the signal is received from accelerometers 9 using module 29, and based on these data, deviations are calculated and corrective actions are determined using module 30. Data on the specified trajectory of the video cameras and on corrective actions flows into module 31, which sends them to the electric drive controllers video cameras and their lenses. Then controllers 5 and 6 issue control actions to devices for moving video cameras in space 4. In this way, the filming process is carried out. To produce a new frame, you must repeat all the steps outlined earlier again.
Claims (1)
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2811574C1 true RU2811574C1 (en) | 2024-01-15 |
Family
ID=
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117979168A (en) * | 2024-04-01 | 2024-05-03 | 佳木斯大学 | Intelligent camera management system for aerobics competition video shooting |
Non-Patent Citations (1)
| Title |
|---|
| US 2006221187 A1 - 2006.10.05. US 11120638 B2 - 2021.09.14. RU 2705102 C1 - 2019.11.05. RU 2748581 C1 - 2021.05.27. US 7187401 B2 - 2007.03.06. US 2011052000 A1 - 2011.03.03. RU 2666137 C2 - 2018.09.06. * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117979168A (en) * | 2024-04-01 | 2024-05-03 | 佳木斯大学 | Intelligent camera management system for aerobics competition video shooting |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240069412A1 (en) | Image pickup device and method of tracking subject thereof | |
| EP1998567B1 (en) | Tracking device, tracking method, tracking device control program, and computer-readable recording medium | |
| JP3999561B2 (en) | Surveillance system and surveillance camera | |
| KR20150050172A (en) | Apparatus and Method for Selecting Multi-Camera Dynamically to Track Interested Object | |
| US8264517B2 (en) | Method and a device for controlling the movement of a line of sight, a videoconferencing system, a terminal and a program for implementing said method | |
| US9615015B2 (en) | Systems methods for camera control using historical or predicted event data | |
| JP2007158860A (en) | Photographing system, photographing device, image switching device, and data storage device | |
| JP2007074143A (en) | Imaging device and imaging system | |
| JP7525990B2 (en) | Main subject determination device, imaging device, main subject determination method, and program | |
| CN108600638A (en) | Video camera automatic focusing system and method | |
| Hu et al. | A dual-camera-based ultrafast tracking system for simultaneous multi-target zooming | |
| JP2011211598A (en) | Imaging system and imaging apparatus | |
| US20230328355A1 (en) | Information processing apparatus, information processing method, and program | |
| CN114666457A (en) | Video and audio program broadcasting guide method, device, equipment, system and medium | |
| RU2811574C1 (en) | Video cameras control system | |
| CN114549578A (en) | Target tracking method, device and storage medium | |
| JP2020022052A (en) | Information processing apparatus and control method of the same | |
| JP3615868B2 (en) | Automatic camera system | |
| AU2019200854A1 (en) | A method and system for controlling a camera by predicting future positions of an object | |
| JP7397001B2 (en) | Robot camera software and control equipment | |
| US11843846B2 (en) | Information processing apparatus and control method therefor | |
| JP2002101408A (en) | Supervisory camera system | |
| CN112540676B (en) | Projection system-based variable information display device | |
| TW202123673A (en) | Multi-robotic live production and webcast videography system includes at least one photographing robot, a main control equipment, and at least one operation mode unit | |
| WO2024062971A1 (en) | Information processing device, information processing method, and information processing program |