RU2216766C2 - Computer remote control system - Google Patents

Computer remote control system Download PDF

Info

Publication number
RU2216766C2
RU2216766C2 RU2002103328A RU2002103328A RU2216766C2 RU 2216766 C2 RU2216766 C2 RU 2216766C2 RU 2002103328 A RU2002103328 A RU 2002103328A RU 2002103328 A RU2002103328 A RU 2002103328A RU 2216766 C2 RU2216766 C2 RU 2216766C2
Authority
RU
Russia
Prior art keywords
laser
computer
input
spot
control
Prior art date
Application number
RU2002103328A
Other languages
Russian (ru)
Other versions
RU2002103328A (en
Inventor
А.К. Талыгин
Original Assignee
Талыгин Алексей Константинович
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Талыгин Алексей Константинович filed Critical Талыгин Алексей Константинович
Priority to RU2002103328A priority Critical patent/RU2216766C2/en
Publication of RU2002103328A publication Critical patent/RU2002103328A/en
Application granted granted Critical
Publication of RU2216766C2 publication Critical patent/RU2216766C2/en

Links

Images

Landscapes

  • Position Input By Displaying (AREA)

Abstract

FIELD: computer engineering. SUBSTANCE: newly introduced in system used in computer presentation are sync signal radiator and video image processor whose output is connected to sync signal radiator; video camera output is connected to input of video image processor whose other output is connected to interface; control device has in addition series-connected sync signal receiver whose input functions as control input of control device, controller, and switch; output of the latter is connected to modulating input of visible radiation laser; second input of controller is connected to control buttons. EFFECT: enhanced precision and noise immunity of computer remote control system. 3 cl, 14 dwg, 1 tbl

Description

Изобретение относится к компьютерной технике и может использоваться для компьютерных презентаций для отображения внешней среды, для управления удаленными объектами и др. The invention relates to computer technology and can be used for computer presentations to display the external environment, to control remote objects, etc.

В настоящее время используются различные устройства для управления компьютером. Наиболее применяемыми являются компьютерная мышь и графический программный интерфейс. Various computer control devices are currently used. The most used are a computer mouse and a graphical programming interface.

Использование такого устройства имеет серьезный недостаток: человек может управлять компьютером только сидя за столом, по которому перемещается мышь. Поэтому для управления компьютером в тех случаях, когда человек не может находиться за столом, например во время компьютерных презентаций, используются функциональные аналоги мыши. Примером такого устройства является пульт дистанционного управления проектором для компьютерных презентаций. Этот пульт содержит в своем составе устройство управления курсором мыши на основе TRACKBOLL или специальных кнопок перемещения и интерфейс для беспроводной передачи управляющих данных в компьютер. Этот интерфейс обычно выполняется на основе передатчика инфракрасного (ИК) излучения. Нередко такое устройство управления снабжается лазерной указкой, однако лазерная указка не используется для управления компьютером, а выполняет вспомогательную функцию указания объектов на экране зрителям. Using such a device has a serious drawback: a person can only control a computer while sitting at the table on which the mouse moves. Therefore, to control the computer in cases where a person cannot be at the table, for example during computer presentations, functional analogs of the mouse are used. An example of such a device is a projector remote control for computer presentations. This remote control contains a mouse cursor control device based on TRACKBOLL or special navigation buttons and an interface for wireless transfer of control data to a computer. This interface is typically based on an infrared (IR) transmitter. Often such a control device is equipped with a laser pointer, but the laser pointer is not used to control the computer, but performs the auxiliary function of indicating objects on the screen to the audience.

Однако упомянутое выше устройство управления не эргономично. Управление курсором мыши и указание объектов выполняются движениями пальцев, вращающих шарик TRACKBOLL или нажимающих кнопки перемещения, в то время как естественным движением человека, указывающего на объект, является движение руки в целом. However, the control device mentioned above is not ergonomic. The control of the mouse cursor and the indication of objects are carried out by the movements of the fingers rotating the TRACKBOLL ball or pressing the movement buttons, while the natural movement of the person pointing to the object is the movement of the arm as a whole.

Известна также система для управления компьютером с помощью лазерной указки (Патент WO 01/03106). Она содержит видеокамеру, направленную на экран компьютера, лазерную указку, дистанционно управляющую компьютером, что позволяет оператору находиться на значительном расстоянии от компьютера и/или экрана, на который выводится изображение от компьютера. A system for controlling a computer using a laser pointer is also known (Patent WO 01/03106). It contains a video camera aimed at the computer screen, a laser pointer that remotely controls the computer, which allows the operator to be at a considerable distance from the computer and / or screen, which displays the image from the computer.

В известной системе не устраняются погрешности, связанные с невозможностью точного определения положения светового пятна, контрастность которого может меняться в несколько раз в зависимости от его положения на экране и из-за неравномерной освещенности экрана, в зависимости от степени заряженности источника питания лазерной указки, в зависимости от углового положения указки по отношению к плоскости экрана. Кроме того, при использовании обычной лазерной указки для управления компьютером презентационной системы, например, в студенческой аудитории не исключена возможность перехвата управления компьютером другой аналогичной указкой. The known system does not eliminate errors associated with the inability to accurately determine the position of the light spot, the contrast of which can vary several times depending on its position on the screen and due to uneven illumination of the screen, depending on the degree of charge of the laser pointer power source, depending from the angular position of the pointer with respect to the plane of the screen. In addition, when using a conventional laser pointer to control the computer of a presentation system, for example, in a student audience, the possibility of intercepting computer control with another similar pointer is not ruled out.

Данная система не может быть использована для работы в полевых условиях при отсутствии проектора, когда удаленное управление компьютером используется при формировании геометрических моделей внешнего мира или для дистанционного управления оружием. Невозможность использования обычной лазерной указки прежде всего обусловлена отсутствием идентификации луча (по типу "свой-чужой"), что позволяет злоумышленникам обманывать систему. Кроме того, для передачи информации в полевых условиях нельзя использовать такие характеристики пятна лазерной указки, как форма или цвет в силу большой сложности их распознавания. This system cannot be used for work in the field in the absence of a projector, when remote computer control is used to form geometric models of the outside world or for remote control of weapons. The inability to use a conventional laser pointer is primarily due to the lack of beam identification (by the type of "friend or foe"), which allows attackers to deceive the system. In addition, for transmitting information in the field, it is impossible to use such characteristics of a laser pointer spot as a shape or color due to the great difficulty of recognizing them.

Технической задачей изобретения является создание системы для дистанционного управления компьютером, обеспечивающей высокую точность и обладающей высокой помехозащищенностью. An object of the invention is to provide a system for remote control of a computer, providing high accuracy and having high noise immunity.

Поставленная задача решается в системе для дистанционного управления компьютером, содержащей устройство управления, включающее лазер видимого излучения с кнопками управления, а также видеокамеру и интерфейс, подключенный к одному из портов компьютера, в которую, согласно изобретению, введены излучатель синхросигналов и процессор обработки видеоизображения, к выходу которого подключен излучатель синхросигналов, при этом выход видеокамеры подключен к входу процессора обработки видеоизображения, выход которого соединен с интерфейсом, устройство управления дополнительно содержит последовательно соединенные приемник синхросигналов, вход которого является управляющим входом устройства управления, контроллер и ключ, при этом выход ключа подсоединен к модулирующему входу лазера видимого излучения, а второй вход контроллера соединен с кнопками управления. The problem is solved in a system for remote control of a computer, comprising a control device including a visible laser with control buttons, as well as a video camera and an interface connected to one of the computer ports, into which, according to the invention, a clock emitter and a video image processing processor are inserted, to the output of which is connected to the emitter of the clock signals, while the output of the camera is connected to the input of the video processing processor, the output of which is connected to the interface, the control device further comprises a series-connected clock receiver, the input of which is the control input of the control device, a controller and a key, while the output of the key is connected to the modulating input of the visible laser, and the second input of the controller is connected to the control buttons.

Система также может содержать проектор, информационный вход которого подсоединен к видеовходу компьютера, и экран для отображения презентаций, а видеокамера снабжена светофильтром. The system may also include a projector, the information input of which is connected to the computer video input, and a screen for displaying presentations, and the video camera is equipped with a light filter.

Изобретение поясняется чертежами. На фиг. 1 приведена структурная электрическая схема системы для дистанционного управления компьютером на примере презентационной системы; на фиг.2 - структурная электрическая схема блока управления; на фиг.3 - эпюры сигналов, поясняющие работу системы; на фиг. 4 приведены рисунки, отображающие след пятна лазера, снятый при выключенном и включенном лазере. The invention is illustrated by drawings. In FIG. 1 shows a structural electrical diagram of a system for remote control of a computer by the example of a presentation system; figure 2 is a structural electrical diagram of a control unit; figure 3 - plot signals explaining the operation of the system; in FIG. Figure 4 shows the figures showing the trace of a laser spot taken with the laser turned off and on.

Система для дистанционного управления компьютером (фиг.1) содержит устройство управления 1, видеокамеру 2 для отображения светового пятна луча лазера видимого излучения, излучатель синхросигналов 3, процессор 4 обработки видеоизображения от видеокамеры 2 и интерфейс 5, видеокамера 2 снабжена светофильтром 6, центральной частотой которого в его полосе пропускания является частота излучения лазера, вход процессора 4 соединен с выходом видеокамеры 2, выход процессора 4 подсоединен к интерфейсу 5, выход которого является выходом управляющего сигнала, подаваемого на один из портов компьютера 7. The system for remote control of a computer (Fig. 1) comprises a control device 1, a video camera 2 for displaying the light spot of a visible laser beam, a clock emitter 3, a video processing processor 4 from the video camera 2 and an interface 5, the video camera 2 is equipped with a light filter 6, the central frequency of which in its passband is the laser radiation frequency, the input of the processor 4 is connected to the output of the video camera 2, the output of the processor 4 is connected to the interface 5, the output of which is the output of the control system Nala supplied to one of the computer ports 7.

Устройство управления 1 (фиг.2) состоит из лазера 8 видимого излучения, последовательно соединенных приемника 9 синхросигналов, вход которого является управляющим входом устройства управления 1, контроллера 10 и ключа 11, выход которого подсоединен к модулирующему входу лазера 8, а второй вход контроллера 10 соединен с кнопками управления 12, 13, 14. The control device 1 (Fig. 2) consists of a visible laser 8, a serially connected clock receiver 9, the input of which is the control input of the control device 1, controller 10 and key 11, the output of which is connected to the modulating input of the laser 8, and the second input of the controller 10 connected to the control buttons 12, 13, 14.

На фиг.1 также представлен экран 15, на который проецируется изображение проектором 16, соединенным с компьютером 7. 1 also shows a screen 15 on which an image is projected by a projector 16 connected to a computer 7.

Система для дистанционного управления компьютером работает следующим образом. The system for remote control of a computer operates as follows.

Оператор, управляющий компьютером 7, держит в руке устройство управления 1 и с его помощью указывает объекты внешней среды, находящиеся в поле зрения видеокамеры 2, например элементы изображения на экране 15 или компоненты графического интерфейса компьютера 7. Кроме того, с помощью модуляции луча 17 лазера 8 передается информация о состоянии кнопок управления 12, 13, 14. Видеокамера 2 фиксирует изображение объектов внешней среды и пятно от луча 17 и передает это изображение в процессор 4. Применение светофильтра 6 существенно упрощает распознавание пятна на фоне изображения. The operator controlling the computer 7 holds in his hand the control device 1 and with it indicates the objects of the environment that are in the field of view of the video camera 2, for example, image elements on the screen 15 or components of the graphical interface of the computer 7. In addition, by modulating the laser beam 17 8, information about the state of the control buttons 12, 13, 14 is transmitted. The video camera 2 captures the image of environmental objects and the spot from the beam 17 and transfers this image to the processor 4. The use of a light filter 6 greatly simplifies the recognition spots on the background of the image.

Процессор 4 по данным от видеокамеры осуществляет расчет координат пятна от луча 17 на объектах внешней среды или на экране, распознавание состояния кнопок управления 12, 13, 14, формирование синхросигналов и их модуляцию. The processor 4 according to the data from the camera calculates the coordinates of the spot from the beam 17 on the objects of the external environment or on the screen, recognizes the state of the control buttons 12, 13, 14, generates clock signals and modulates them.

В ходе распознавания координат лазерного пятна используются следующие координаты: номер строки видеокадра, в котором находится центр пятна; позиция центра пятна относительно начала этой строки. Одновременно с расчетом координат пятна извлекается информация о состоянии кнопок управления 12, 13, 14. Извлечение информации о состоянии кнопок также выполняется процессором 4, логика распознавания состояния кнопок реализована на финальных стадиях общего процесса распознавания координат пятна луча 17. Эти данные через интерфейс 5 передаются в компьютер 7. Интерфейс 5 может быть выполнен в проводном или беспроводном вариантах. During the recognition of the coordinates of the laser spot, the following coordinates are used: line number of the video frame in which the center of the spot is located; The position of the center of the spot relative to the beginning of this line. Simultaneously with the calculation of the coordinates of the spot, information on the state of the control buttons 12, 13, 14 is extracted. The information on the state of the buttons is also performed by the processor 4, the button state recognition logic is implemented at the final stages of the general process of recognizing the coordinates of the beam spot 17. These data are transmitted via interface 5 computer 7. Interface 5 can be performed in a wired or wireless version.

Полученная информация о координатах пятна луча 17 и состоянии кнопок управления 12, 13, 14 используется для управления компьютером 7 аналогично мыши. В случае, если на компьютере 7 запущено программное обеспечение для презентаций или игр, оператор может непосредственно через изображения кнопок и других элементов на экране взаимодействовать с графическим интерфейсом компьютера 7. В случае, если на компьютере 7 запущены программы машинной графики, оператор использует луч 17 лазера в качестве инструмента "кисть" или "карандаш", рисуя или редактируя изображения на экране естественными для человека движениями. The obtained information about the coordinates of the beam spot 17 and the state of the control buttons 12, 13, 14 is used to control the computer 7 similarly to a mouse. In the event that presentation or game software is running on computer 7, the operator can directly interact with the graphical interface of computer 7 through images of buttons and other elements on the screen. If computer graphics programs are running on computer 7, the operator uses a laser beam 17 as a tool “brush” or “pencil”, drawing or editing images on the screen with natural movements for a person.

В случае, если проектор 16 и экран 15 не используются, данная система может служить для указания объектов и/или подготовки двумерных моделей объектов внешней среды. If the projector 16 and the screen 15 are not used, this system can serve to indicate objects and / or prepare two-dimensional models of environmental objects.

Синхросигналы формируются и модулируются в процессоре 4 и затем подаются на синхронизирующий вход блока управления 1, где они используются для модуляции луча 17 лазера 8. Канал передачи синхросигналов реализуется беспроводным способом, например, на основе ИК передачи/приема или на основе радиоинтерфейса. The clock signals are generated and modulated in the processor 4 and then fed to the clock input of the control unit 1, where they are used to modulate the beam 17 of the laser 8. The transmission channel of the clock signals is implemented wirelessly, for example, on the basis of infrared transmission / reception or on the basis of the radio interface.

Лазер 8 представляет собой стандартный излучающий модуль, применяемый в лазерных указателях. Мощность модуля зависит от решаемой задачи. Питание лазера 8 производится от аккумуляторной батареи напряжением U. Схема контроля 18 разряда батареи, выполненная на основе компаратора, следит за этим напряжением и отображает состояние батареи с помощью светодиода 19. В зависимости от состояния кнопок управления 12, 13, 14 и в соответствии с синхросигналами, поступающими от приемника синхросигналов 9, контроллер 10 вырабатывает сигналы управления ключом 11, который регулирует ток лазера 8. Ключ 11 используется для модуляции лазерного луча 17, направленного на объект внешней среды. Laser 8 is a standard emitting module used in laser pointers. The power of the module depends on the problem being solved. The laser 8 is powered from a rechargeable battery with a voltage of U. The battery discharge control circuit 18, based on a comparator, monitors this voltage and displays the battery status using LED 19. Depending on the state of the control buttons 12, 13, 14 and in accordance with the clock signals coming from the clock receiver 9, the controller 10 generates control signals of the key 11, which controls the current of the laser 8. The key 11 is used to modulate the laser beam 17 aimed at the object of the external environment.

Приемник синхросигналов 9 может быть реализован различным образом, в зависимости от используемого способа передачи синхросигналов. В частности, могут использоваться радиопередача или передача с помощью ИК-излучения (для расстояний до 10-15 м между излучателем синхросигнала 3 и лазерной указкой). В последнем случае приемник синхросигналов 9 представляет собой стандартный модуль, используемый в телевизорах для приема ИК-команд от пульта дистанционного управления. Этот модуль содержит ИК-фотоприемник, усилитель и НЧ-фильтр. The clock receiver 9 can be implemented in various ways, depending on the method of transmitting the clock signals. In particular, radio or infrared transmission can be used (for distances of up to 10-15 m between the clock emitter 3 and the laser pointer). In the latter case, the clock receiver 9 is a standard module used in televisions to receive infrared commands from the remote control. This module contains an infrared photodetector, amplifier and lowpass filter.

Устройство управления 1 может работать в двух режимах: в режиме "лазерная указка" и в режиме "лазерная мышь". В первом режиме оно не управляет компьютером, а используется как обычная лазерная указка. В режиме "лазерная мышь" оно функционально заменяет компьютерную мышь. Текущий режим блока управления 1 отображается с помощью светодиода 20. Модулированный луч несет информацию о состоянии кнопок управления 12, 13, 14: левой кнопки 12, правой кнопки 13 и кнопки 14 переключения режима. Соответствующая модуляция выполняется контроллером 10 в соответствии с форматами сигналов модуляции тока лазера 8, представленными на фиг.3. Кнопка 14 переключает блок управления 1 из режима "лазерная указка" в режим "лазерная мышь" и обратно. The control device 1 can operate in two modes: in the "laser pointer" mode and in the "laser mouse" mode. In the first mode, it does not control the computer, but is used as a regular laser pointer. In the "laser mouse" mode, it functionally replaces a computer mouse. The current mode of the control unit 1 is displayed using the LED 20. The modulated beam carries information about the status of the control buttons 12, 13, 14: left button 12, right button 13 and mode switch button 14. The corresponding modulation is performed by the controller 10 in accordance with the formats of the modulation signals of the current of the laser 8, presented in figure 3. Button 14 switches the control unit 1 from the laser pointer mode to the laser mouse mode and vice versa.

Наличие канала передачи синхросигналов позволяет повысить достоверность распознавания координат пятна лазерного луча 17, повысить достоверность распознавания состояния кнопок управления 12, 13, 14, исключить "ложное" указание объектов немодулированным лучом. The presence of the transmission channel of the clock allows you to increase the accuracy of recognition of the coordinates of the spot of the laser beam 17, to increase the accuracy of recognition of the state of the control buttons 12, 13, 14, to eliminate the "false" indication of objects by an unmodulated beam.

Синхросигналы формируются процессором 4 по импульсам вертикальной синхронизации видеокамеры 2. Кроме того, используется информация о четности или нечетности текущего кадра видеокамеры 2. The clock signals are generated by the processor 4 by the pulses of the vertical synchronization of the video camera 2. In addition, the information on the parity or oddness of the current frame of the video camera 2 is used.

Блок управления 1 может находиться в следующих состояниях:
1. "Выключено" - ток через лазер 8 не протекает, лазерный луч 17 отсутствует.
The control unit 1 may be in the following states:
1. "Off" - the current through the laser 8 does not flow, the laser beam 17 is absent.

2. "Включено" - соответствует режиму "лазерная указка". 2. "On" - corresponds to the "laser pointer" mode.

3. "Включено" - соответствует режиму "лазерная мышь". Ни одна из кнопок управления не нажата. 3. "On" - corresponds to the "laser mouse" mode. None of the control buttons are pressed.

4. "Включено" - соответствует режиму "лазерная мышь". Нажата левая кнопка 12. 4. "On" - corresponds to the "laser mouse" mode. Left button 12 pressed.

5. "Включено" - соответствует режиму "лазерная мышь". Нажата правая кнопка 13. 5. "On" - corresponds to the "laser mouse" mode. Right button 13 pressed.

Форматы синхросигналов, поступающих в контроллер 10, и сигналов модуляции тока лазера 8, несущих информацию о состоянии кнопок 12, 13, 14, приведены на фиг.3. The formats of the clock signals supplied to the controller 10 and the modulation signals of the laser current 8, carrying information about the state of the buttons 12, 13, 14, are shown in Fig.3.

График а) отображает импульсы вертикальной синхронизации от видеокамеры 2. Период следования импульсов составляет 20 мс (PAL, SECAM) или 16,67 мс (NTSC). Graph a) displays vertical synchronization pulses from camcorder 2. The pulse repetition period is 20 ms (PAL, SECAM) or 16.67 ms (NTSC).

График б) отображает синхросигналы, которые формирует процессор 4 на основе импульсов вертикальной синхронизации. Представленные синхросигналы несут информацию о начале кадра видеосигнала, о четности/нечетности кадра. Для формирования синхросигнала может быть использована широтно-импульсная модуляция (как показано на графике). Сформированный синхросигнал преобразуется в форму для беспроводной передачи и подается на излучатель синхросигналов 3. Graph b) displays the clock signals that the processor 4 generates based on vertical synchronization pulses. The presented clock signals carry information about the beginning of the frame of the video signal, about the parity / oddness of the frame. Pulse width modulation (as shown in the graph) can be used to generate the clock signal. The generated clock is converted into a form for wireless transmission and is fed to the clock emitter 3.

Излучатель синхросигналов 3, также как и приемник синхросигналов 9, может быть реализован различными способами в зависимости от принятого способа передачи синхросигналов. Например, могут использоваться радиопередача или передача с помощью ИК-излучения (для расстояний до 10-15 м между излучателем синхросигнала и устройством управления). В последнем случае излучатель синхросигналов 3 представляет собой мощный светоизлучающий ИК-диод со встроенной линзой, который через токовый ключ и буферный элемент (транзистор или микросхему) подключается к одному из выходных портов процессора 4. The emitter of the clock signals 3, as well as the receiver of the clock signals 9, can be implemented in various ways, depending on the adopted method of transmitting the clock signals. For example, radio or infrared transmission can be used (for distances up to 10-15 m between the clock emitter and the control device). In the latter case, the clock emitter 3 is a powerful light emitting infrared diode with a built-in lens, which is connected to one of the output ports of the processor 4 through a current switch and a buffer element (transistor or microcircuit).

Сигнал от приемника синхросигналов 9 подается в контроллер 10. Форма этого сигнала также полностью соответствует графику б). The signal from the clock receiver 9 is supplied to the controller 10. The shape of this signal also fully corresponds to schedule b).

В соответствии с принятым синхросигналом и в зависимости от режима - "лазерной указки" или "лазерной мыши" - контроллер 10 с помощью ключа 11 модулирует ток маломощного лазера 8. Форма тока для различных состояний блока управления 1 компьютером 7 изображена на графиках 3-7 в)-ж). In accordance with the received clock signal and depending on the “laser pointer” or “laser mouse” mode, the controller 10, using the key 11, modulates the current of the low-power laser 8. The current shape for various states of the control unit 1 of computer 7 is shown in graphs 3-7 in ) -g).

График в) соответствует режиму, когда блок управления 1 выключен. Graph c) corresponds to the mode when control unit 1 is turned off.

График г) соответствует режиму "лазерной указки". Ток лазера 8 модулируется с частотой несколько kHz (в действующем образце использована частота 3 kHz). Изменение скважности импульсов требуется для регулирования интенсивности тока через лазер 8 для того, чтобы согласовать силу света лазера в режиме "лазерной указки" с силой света в режиме "лазерной мыши". Частота модуляции должна быть в десятки раз выше частоты следования кадров видеокамеры 2. Graph d) corresponds to the "laser pointer" mode. The laser current 8 is modulated at a frequency of several kHz (a frequency of 3 kHz is used in the current sample). A change in the duty cycle of the pulses is required to control the intensity of the current through the laser 8 in order to match the light intensity of the laser in the "laser pointer" mode with the light intensity in the "laser mouse" mode. The modulation frequency should be ten times higher than the frame rate of the video camera 2.

График д) соответствует режиму "лазерной мыши", когда не нажата ни одна из кнопок управления 12 или 13. График е) соответствует режиму "лазерной мыши", когда нажата кнопка 12. График ж) соответствует режиму "лазерной мыши", когда нажата кнопка 13. Graph e) corresponds to the "laser mouse" mode when none of the control buttons 12 or 13 is pressed. Graph e) corresponds to the "laser mouse" mode when the button 12 is pressed. Graph g) corresponds to the "laser mouse" mode when the button is pressed thirteen.

Как следует из графиков д)-ж) (режим "лазерной мыши"), ток через лазер 8 и соответствующая освещенность пятна от лазера 8 носят импульсный характер. Лазер 8 включен или выключен в течение текущего кадра длительностью 20 мс (PAL, SECAM) или 16,67 мс (NTSC). Это импульсное изменение освещенности фиксируется видеокамерой 2, так как постоянная времени накопления заряда ПЗС-видеокамеры составляет доли миллисекунд, что в десятки раз меньше длительности кадра. На фиг. 4 представлен след пятна луча, зафиксированный при выключенном и включенном в текущем кадре лазере 8. Наличие слабого следа при выключенном лазере 8 объясняется так называемым "смазом" ПЗС-камеры. Слабый след подавляется программным путем при дальнейшей обработке изображения. As follows from the graphs d) -g) ("laser mouse" mode), the current through the laser 8 and the corresponding illumination of the spot from the laser 8 are pulsed. Laser 8 is turned on or off during the current frame lasting 20 ms (PAL, SECAM) or 16.67 ms (NTSC). This pulsed change in illumination is recorded by the video camera 2, since the charge accumulation time constant of the CCD video camera is a fraction of a millisecond, which is ten times less than the frame duration. In FIG. Figure 4 shows the trace of the beam spot recorded when the laser was turned off and turned on in the current frame 8. The presence of a weak trace when the laser was turned off 8 is explained by the so-called “blur” of the CCD camera. A weak trace is suppressed programmatically during further image processing.

След пятна луча лазера 8 при выключенном и включенном лазере показан на фиг.4. The trace of the spot of the laser beam 8 with the laser turned off and on is shown in FIG.

Сигнал от видеокамеры 2 затем обрабатывается процессором 4, который имеет возможность анализировать сигнал за последние восемь кадров. Исследуя изменение освещенности "подозрительных" пятен на изображении от видеокамеры 2, процессор 4 выделяет пятно от "лазерной мыши". За счет этого повышается достоверность выделения пятна от лазера 8, за счет использования априорной информации о модуляции тока лазера, а следовательно, освещенности пятна "лазерной мыши" решается задача распознавания состояния кнопок управления; исключается несанкционированное использование обычных лазерных указок в качестве "лазерной мыши", так, режим "лазерной мыши" обязательно сопровождается синхронизированным с видеокамерой 2 импульсным изменением освещенности пятна лазерного луча 17, что обеспечивают контроллер 10 совместно с ключом 11. Графики е) и ж) показывают, что состояние с нажатой правой кнопкой 13 отличается от состояния с нажатой левой кнопкой 12 одним кадром из восьми - ж). Так как процессор 4 всегда обрабатывает восемь последних кадров, факт нажатия левой или правой кнопки может быть всегда установлен. The signal from the video camera 2 is then processed by the processor 4, which has the ability to analyze the signal for the last eight frames. Examining the change in the illumination of "suspicious" spots in the image from the video camera 2, the processor 4 selects a spot from the "laser mouse". Due to this, the reliability of spot allocation from the laser 8 is increased, due to the use of a priori information about the modulation of the laser current, and therefore, the illumination of the spot of the "laser mouse", the task of recognizing the state of the control buttons is solved; unauthorized use of conventional laser pointers as a "laser mouse" is excluded, so the "laser mouse" mode is necessarily accompanied by a pulsed change in the illumination of the spot of the laser beam 17 synchronized with the video camera 2, which is provided by the controller 10 together with the key 11. Graphs e) and g) show that the state with the right button 13 pressed differs from the state with the left button 12 pressed in one frame out of eight - g). Since processor 4 always processes the last eight frames, the fact of pressing the left or right button can always be set.

Как следует из представленных графиков д), е), состояние лазерного луча 17 без нажатой кнопки или с нажатой левой кнопкой 12 устанавливается за время длительности двух кадров видеокамеры 2. Состояние лазерной указки с нажатой правой кнопкой 13 в соответствии с графиком ж) может быть установлено за восемь кадров. Такое изменение длительности допустимо, так как в современных операционных системах нажатие правой кнопки мыши выполняется гораздо реже, чем действия без кнопок или нажатие левой кнопки. As follows from the graphs e), e), the state of the laser beam 17 without the pressed button or with the left button 12 pressed is set during the duration of two frames of the video camera 2. The state of the laser pointer with the right button 13 pressed in accordance with schedule g) can be set for eight frames. Such a change in duration is acceptable, since in modern operating systems, right-clicking is much less common than actions without buttons or left-clicking.

По сравнению с прототипом предлагаемая система включает канал передачи синхросигналов на блок управления, что позволяет решить следующие задачи: повысить достоверность распознавания координат пятна лазерного луча; повысить достоверность распознавания состояния кнопок устройства управления; исключить "ложное" указание объектов немодулированным лучом лазера. Compared with the prototype, the proposed system includes a channel for transmitting clock signals to the control unit, which allows to solve the following tasks: to increase the accuracy of recognition of the coordinates of the spot of the laser beam; increase the reliability of recognition of the state of the buttons of the control device; exclude "false" indication of objects by an unmodulated laser beam.

Данная система содержит недорогие стандартные компоненты (черно-белый видеотракт и ЦСП общего назначения) в составе блока обработки изображений от видеокамеры. Поэтому стоимость предлагаемой системы будет существенно ниже стоимости системы-прототипа. This system contains inexpensive standard components (black and white video path and general purpose DSP) as part of the image processing unit from the video camera. Therefore, the cost of the proposed system will be significantly lower than the cost of the prototype system.

Данная система позволяет оператору работать не только с экраном презентации, но и без него, указывая точки, линии и другие графические примитивы на поверхностях объектов внешней среды в поле зрения видеокамеры. Это становится возможным благодаря тому, что предлагаемая система использует только яркостную характеристику пятна в качестве носителя информации и не использует такие характеристики пятна, как форма и цвет, распознавание которых сильно зависит от поверхности объектов и их освещенности. This system allows the operator to work not only with the presentation screen, but also without it, indicating points, lines and other graphic primitives on the surfaces of objects of the environment in the field of view of the camera. This becomes possible due to the fact that the proposed system uses only the brightness characteristic of the spot as an information carrier and does not use such characteristics of the spot as the shape and color, the recognition of which greatly depends on the surface of the objects and their illumination.

Предложенная система позволяет не только управлять компьютером, но и формировать с помощью специальных программ графические двухмерные модели окружающей среды. Для этого оператор не просто указывает точки в окружающем пространстве, а указывает контуры объектов лучом лазера. После обработки эти данные включаются в состав графических моделей. The proposed system allows not only to control the computer, but also to create, using special programs, graphic two-dimensional environmental models. To do this, the operator does not just indicate points in the surrounding space, but indicates the contours of objects with a laser beam. After processing, these data are included in the composition of graphic models.

Методика расчета координат лазерного пятна и определения состояния блока управления 1 приведена в Приложении. The procedure for calculating the coordinates of the laser spot and determining the state of the control unit 1 is given in the Appendix.

Приложение к описанию
Координаты видеокамеры
Положение курсора блока управления 1 в режиме "лазерной мыши" сначала рассчитывается в координатах кадра видеокамеры 2. Такими координатами являются
- номер строки NL в кадре, в котором обнаружен центр пятна от лазера,
- номер отсчета NS в строке NL, соответствующий центру пятна.
Appendix to the description
Camera coordinates
The position of the cursor of the control unit 1 in the "laser mouse" mode is first calculated in the frame coordinates of the video camera 2. These coordinates are
- line number NL in the frame in which the center of the spot from the laser is detected,
- reference number NS in line NL, corresponding to the center of the spot.

Область значений координат NL и NS
Согласно стандартам на телевизионный сигнал PAL, SECAM область значений координаты NL лежит в пределах от 0 до 312. Процессор 4 измеряет координату NL, подсчитывая количество импульсов вертикальной синхронизации текущего кадра.
Range of coordinates NL and NS
According to the standards for the television signal PAL, SECAM, the NL coordinate value range lies in the range from 0 to 312. The processor 4 measures the NL coordinate by counting the number of vertical synchronization pulses of the current frame.

Область значений координаты NS зависит от частоты оцифровки сигнала, поступающего от видеокамеры 2 в процессор 4, то есть опроса АЦП, входящего в его состав, и первичной обработки этих данных. Современные цифровые сигнальные процессоры (ЦСП) и АЦП позволяют выполнить оцифровку видеосигнала с частотой как минимум 8 МГц, что соответствует периоду 0,125 мкс Тогда, приняв согласно указанным стандартам длительность информационной части телевизионной строки не более 60 мкс, получим количество отсчетов "вдоль" телевизионной строки:
NSmax=60 мкс/0,125 мкс/отсч=480 отсчетов.
The range of coordinates NS depends on the frequency of digitization of the signal from the camera 2 to the processor 4, that is, the survey of the ADC, which is part of it, and the primary processing of these data. Modern digital signal processors (DSPs) and ADCs allow you to digitize a video signal with a frequency of at least 8 MHz, which corresponds to a period of 0.125 μs. Then, having accepted, according to the specified standards, the duration of the information part of a television line is not more than 60 μs, we get the number of samples "along" the television line:
NSmax = 60 μs / 0.125 μs / count = 480 samples.

Отсюда область значений координаты NS лежит в пределах от 0 до 479. Hence, the range of NS coordinates lies in the range from 0 to 479.

Грубая оценка погрешности позиционирования курсора "лазерной мыши"
Произведем грубую оценку погрешности позиционирования курсора мыши компьютера в случае использования блока управления 1 как "лазерной мыши". Рассмотрим типичное разрешение экрана компьютерных презентаций 1024•768 пикселей. Тогда абсолютные погрешности позиционирования курсора можно оценить следующим образом:
ΔХmах0=INT(1024/480+0,5)=3 пикселя;
ΔYmax0=INT(768/312+0,5)=3 пикселя,
где INT() есть функция взятия целой части числа;
ΔXmax0, ΔYmax0 есть абсолютные погрешности позиционирования курсора мыши при его перемещении с помощью процессора 4 вдоль осей Х и Y экрана.
A rough estimate of the accuracy of the positioning cursor "laser mouse"
We make a rough estimate of the positioning error of the computer mouse cursor in the case of using control unit 1 as a "laser mouse". Consider a typical screen resolution of computer presentations of 1024 • 768 pixels. Then the absolute errors of cursor positioning can be estimated as follows:
ΔXmax0 = INT (1024/480 + 0.5) = 3 pixels;
ΔYmax0 = INT (768/312 + 0.5) = 3 pixels,
where INT () is the function of taking the integer part of a number;
ΔXmax0, ΔYmax0 are the absolute errors in the positioning of the mouse cursor when it is moved using processor 4 along the X and Y axes of the screen.

При производстве системы для управления компьютером могут возникнуть дополнительные погрешности из-за отклонения параметров конкретного экземпляра системы от точных значений. Можно указать несколько таких параметров:
- геометрические размеры видеокамеры,
- геометрические размеры кронштейна, на котором крепится видеокамера,
- геометрические размеры крепления кронштейна к экрану,
- угол обзора и нелинейность оптической системы видеокамеры.
In the manufacture of a computer control system, additional errors may occur due to deviation of the parameters of a particular system instance from the exact values. You can specify several such parameters:
- geometric dimensions of the video camera,
- geometric dimensions of the bracket on which the camcorder is mounted,
- geometric dimensions of mounting the bracket to the screen,
- viewing angle and nonlinearity of the optical system of the video camera.

Для всех перечисленных параметров технология современного приборостроения способна обеспечить повторяемость с отклонениями от номинала не более 0,1-0,3%. Предварительная оценка показывает, что вклад в относительную погрешность позиционирования курсора в этом случае может составить до 0,3%, что даст дополнительную абсолютную погрешность
ΔXmax1=INT(0,3%•1024+0,5)=3 пикселя;
ΔYmax1=INT(0,3%•768+0,5)=3 пикселя.
For all these parameters, the technology of modern instrumentation is able to provide repeatability with deviations from the nominal no more than 0.1-0.3%. A preliminary estimate shows that the contribution to the relative positioning error of the cursor in this case can be up to 0.3%, which will give an additional absolute error
ΔXmax1 = INT (0.3% • 1024 + 0.5) = 3 pixels;
ΔYmax1 = INT (0.3% • 768 + 0.5) = 3 pixels.

Тогда оценки для абсолютных погрешностей позиционирования курсора мыши при его перемещении с помощью процессора 4 вдоль осей Х и Y экрана составят
ΔХmах=ΔХmах0+ΔХmах1=6 пикселей;
ΔYmax=ΔYmax0+ΔYmax1=6 пикселей.
Then the estimates for the absolute errors in the positioning of the mouse cursor when moving it using processor 4 along the X and Y axes of the screen will be
ΔXmax = ΔXmax0 + ΔXmax1 = 6 pixels;
ΔYmax = ΔYmax0 + ΔYmax1 = 6 pixels.

Рассчитанные погрешности ΔXmax, ΔYmax позиционирования курсора мыши приемлемы для любого из приложений, используемого для презентаций. На практике это означает, что движение курсора на экране презентаций будет выполняться по сетке с шагом 3 пикселя по горизонтали (ΔХmах0) и вертикали (ΔYmax0), при этом максимальное отклонение положения курсора мыши от центра пятна лазерного луча на экране может составлять 6 пикселей по горизонтали (ΔХmах0) и вертикали (ΔYmax0). The calculated errors ΔXmax, ΔYmax of mouse cursor positioning are acceptable for any of the applications used for presentations. In practice, this means that the cursor on the presentation screen will move along the grid with a step of 3 pixels horizontally (ΔXmax0) and vertical (ΔYmax0), while the maximum deviation of the mouse cursor from the center of the laser beam spot on the screen can be 6 pixels horizontally (ΔXmax0) and vertical (ΔYmax0).

Алгоритм расчета координат лазерного пятна и определения состояния устройства управления
Алгоритм расчета основан на априорной информации о модуляции тока лазера 8. Алгоритм также опирается на следующие предположения, проверенные экспериментально.
Algorithm for calculating the coordinates of the laser spot and determining the state of the control device
The calculation algorithm is based on a priori information on the modulation of the laser current 8. The algorithm also relies on the following assumptions verified experimentally.

Пятно лазерного луча 17 на экране презентаций или других объектах внешней среды дает в телевизионном изображении связную область точек в 2-мерном пространстве координат (NL, NS) видеокамеры 2. Под связностью понимается тот факт, что при выбранном расстоянии D для любой пары точек пятна NL0, NS0 и NL1, NS1 всегда можно построить путь, состоящий из точек пятна, причем соседние точки пути находятся друг от друга на расстоянии d≤D. The spot of the laser beam 17 on the presentation screen or other objects of the environment gives in the television image a connected region of points in the 2-dimensional coordinate space (NL, NS) of the video camera 2. By connectivity, we mean the fact that for a selected distance D for any pair of spot points NL0 , NS0 and NL1, NS1 it is always possible to construct a path consisting of spot points, with neighboring path points being at a distance d≤D from each other.

Если изображение от видеокамеры содержит несколько пятен, ранжированных по средней освещенности точек, то пятно от лазера 8 будет иметь ранг в пределах от 0 (наиболее освещенное пятно) до NmaxGr (наименее освещенное пятно). Это утверждение, в частности, дает возможность использовать несколько лазерных указок одновременно. При этом гарантируется, что пятно от лазера 8 будет обязательно зафиксировано системой. If the image from the video camera contains several spots, ranked by the average illumination of the dots, then the spot from the laser 8 will have a rank ranging from 0 (the most illuminated spot) to NmaxGr (the least illuminated spot). This statement, in particular, makes it possible to use several laser pointers simultaneously. It is guaranteed that the spot from the laser 8 will be necessarily fixed by the system.

Пятно от лазерного луча 17 имеет вполне определенные размеры по координатам NL и NS. То есть на основе экспериментов можно задать граничные размеры nlmin, nlmax, nsmin, nsmax. The spot from the laser beam 17 has quite definite sizes in the coordinates NL and NS. That is, based on experiments, you can set the boundary dimensions nlmin, nlmax, nsmin, nsmax.

Форма пятна в общем случае не может служить надежным носителем информации, потому что может сильно искажаться следующими факторами: а) углом падения луча на экран или объект; б) возможным волнистым характером поверхности объекта. Кроме того, уверенное выделение формы пятна на экране и особенно на произвольных объектах внешней среды требует существенных вычислительных мощностей, что неприемлемо для недорогой системы, работающей в реальном времени. In general, the shape of a spot cannot serve as a reliable information carrier, because it can be greatly distorted by the following factors: a) the angle of incidence of the beam on the screen or object; b) the possible wavy nature of the surface of the object. In addition, the reliable identification of the spot shape on the screen and especially on arbitrary objects of the external environment requires significant computing power, which is unacceptable for an inexpensive system that works in real time.

Цвет пятна также не следует использовать в качестве носителя информации, так как это требует более дорогой цветной видеокамеры, а также более сложных и дорогих электронных компонентов системы. Spot color should also not be used as an information carrier, as this requires a more expensive color video camera, as well as more complex and expensive electronic components of the system.

Расчет координат лазерного пятна и определения состояния лазерной указки выполняется на подготовительном и основном этапах. The calculation of the coordinates of the laser spot and determination of the state of the laser pointer is performed at the preparatory and main stages.

На подготовительном этапе в течение текущего кадра видеосигнал от ПЗС-камеры оцифровывается и сохраняется в одном из видеобуферов VB0...VB7. На этом этапе производится предварительная селекция точек в пространстве координат видеокамеры (NL, NS) по критерию максимальной освещенности для уменьшения избыточности сохраняемой информации. В каждом кадре информация сохраняется в своем буфере таким образом, что к моменту окончания текущего кадра видеобуферы VB0. ..VB7 всегда содержат информацию о последних восьми кадрах видеоизображения от камеры 2. At the preparatory stage, during the current frame, the video signal from the CCD camera is digitized and stored in one of the video buffers VB0 ... VB7. At this stage, preliminary selection of points in the coordinate space of the video camera (NL, NS) is performed according to the criterion of maximum illumination to reduce the redundancy of the stored information. In each frame, information is stored in its buffer in such a way that, by the end of the current frame, the video buffers VB0. ..VB7 always contain information on the last eight frames of the video image from camera 2.

Основной этап расчета выполняется по окончании текущего кадра (во время обратного хода луча). Этап разбивается на пять шагов. The main stage of the calculation is performed at the end of the current frame (during the return beam). The stage is divided into five steps.

Шаг 1. Для каждого из буферов VB0...VB7 выделяются NMaxGr связных областей в пространстве координат видеокамеры (NL, NS), то есть выделяются элементы изображения, похожие на пятна от лазерного луча. Step 1. For each of the buffers VB0 ... VB7, NMaxGr connected regions are allocated in the coordinate space of the video camera (NL, NS), that is, image elements similar to spots from a laser beam are extracted.

Шаг 2. Полученные связные области для каждого из буферов VB0...VB7 исследуются на соответствие геометрическим характеристикам пятна nlmin, nlmax, nsmin, nsmax. Отобранных областей, то есть пятен, будет не более NmaxGr•8. Затем для каждого из пятен Sij (где i=0...7 есть номер буфера VBi, a j= l NMaxGr есть номер пятна в буфере VBi) вычисляются координаты центра пятна (XSij, YSij) и освещенность ZSij. XSij есть соответствующая координата NS, a YSij есть координата NL центра пятна. Координаты XSij, YSij, ZSij могут вычисляться по различным критериям: это могут быть усредненные координаты точек пятна или координаты самой освещенной точки пятна. Step 2. The resulting connected regions for each of the buffers VB0 ... VB7 are examined for compliance with the geometric characteristics of the spots nlmin, nlmax, nsmin, nsmax. Selected areas, that is, spots, will be no more than NmaxGr • 8. Then, for each of the spots Sij (where i = 0 ... 7 is the number of the buffer VBi, and j = l NMaxGr is the number of the spot in the buffer VBi), the coordinates of the center of the spot (XSij, YSij) and the illumination ZSij are calculated. XSij is the corresponding NS coordinate, and YSij is the NL coordinate of the spot center. The coordinates XSij, YSij, ZSij can be calculated according to various criteria: these can be the average coordinates of the spot points or the coordinates of the spotlighted spot itself.

Шаг 3. На этом шаге производится перенумерация и упорядочивание видеобуферов. Step 3. At this step, renumbering and arranging video buffers is performed.

Буфер VB0 сейчас содержит информацию о текущем кадре, т.е. о кадре 0. The VB0 buffer now contains information about the current frame, i.e. about frame 0.

Буфер VB1 сейчас содержит информацию о предыдущем кадре, т.е. о кадре -1. The buffer VB1 now contains information about the previous frame, i.e. about frame -1.

Буфер VB2 сейчас содержит информацию о кадре -2. Buffer VB2 now contains information about frame -2.

.................................................. ................ .................................................. ................

Буфер VB7 сейчас содержит информацию о кадре -7. VB7 buffer now contains information about -7 frame.

По окончании упорядочивания буферов образуются две цепочки буферов: четная (VB0, VB2, VB4, VB6) и нечетная (VB1, VB3, VB5, VB7). At the end of buffer ordering, two chains of buffers are formed: even (VB0, VB2, VB4, VB6) and odd (VB1, VB3, VB5, VB7).

Шаг 4. На этом шаге измеряются расстояния Di (i=0...7) между центрами пятен в четной и нечетной цепочках буферов. В качестве исходного пятна берется пятно буфера VB0 с максимальной интенсивностью. Измерение расстояний между центрами пятен производится в 3-мерном пространстве координат (XSij, YSij, ZSij). Для простоты изложения предположим NmaxGr=l, т.е. в каждом из буферов рассматривается ровно одно пятно. Расчет Di поясняется схемой на фиг.5. Step 4. At this step, the distances Di (i = 0 ... 7) between the centers of the spots in the even and odd chains of buffers are measured. The VB0 buffer spot with the maximum intensity is taken as the initial spot. The distance between the centers of the spots is measured in a 3-dimensional coordinate space (XSij, YSij, ZSij). For simplicity, we assume NmaxGr = l, i.e. in each buffer exactly one spot is considered. Calculation Di is illustrated by the diagram in figure 5.

Шаг 5. На этом шаге анализируется вектор полученных расстояний D0, D1... D7. При анализе используется константа С, полученная опытным путем на этапе подготовки производства системы. Решающее правило для определения состояния системы и расчета координат "лазерной мыши" отображено на фиг 6. Step 5. At this step, the vector of the obtained distances D0, D1 ... D7 is analyzed. In the analysis, the constant C is used, obtained experimentally at the stage of preparing the production of the system. The decisive rule for determining the state of the system and calculating the coordinates of the "laser mouse" is shown in Fig. 6.

Замечание. Для случая NMaxGr>l шаги 4 и 5 повторяются. При этом цепочки расстояний (D0, D2, D4, D6 и D1, D3, D5, D7) рассчитываются по тем пятнам, которые дают минимальные значения расстояний. Comment. For the case of NMaxGr> l, steps 4 and 5 are repeated. In this case, the distance chains (D0, D2, D4, D6 and D1, D3, D5, D7) are calculated from those spots that give the minimum values of distances.

Методика связывания координат устройства управления с координатами компьютерной мыши
В случае применения системы для компьютерных презентаций задача связывания координат устройства управления 1 в режиме "лазерной мыши" с координатами компьютерной мыши решается один раз на этапе подготовки производства системы. Задача связывания координат решается за несколько шагов.
The method of linking the coordinates of the control device with the coordinates of the computer mouse
In the case of using the system for computer presentations, the task of linking the coordinates of the control device 1 in the "laser mouse" mode with the coordinates of the computer mouse is solved once at the stage of preparing the production system. The task of linking coordinates is solved in a few steps.

Шаг 1. На этом шаге определяются граничные точки области изменения экранных координат пятна лазерного луча. Как указывалось выше, области изменения этих координат следующие:
NL изменяется от 0 до NLmax,
NS изменяется от 0 до NSmax,
где NLmax=312 (PAL, SECAM) и NSmax=479 при частоте оцифровки 8 МГц.
Step 1. At this step, the boundary points of the region where the screen coordinates of the spot of the laser beam change are determined. As indicated above, the areas of variation of these coordinates are as follows:
NL varies from 0 to NLmax,
NS varies from 0 to NSmax,
where NLmax = 312 (PAL, SECAM) and NSmax = 479 at a sampling frequency of 8 MHz.

В соответствии с этими значениями 2-мерная область изменения экранных координат пятна лазерного луча будет представлять собой прямоугольник со следующими угловыми точками: Р0(0, 0); P1(NLmax, 0); P2(0, NSmax); P3(NLmax, NSmax). In accordance with these values, the 2-dimensional region of the change in the screen coordinates of the spot of the laser beam will be a rectangle with the following corner points: P0 (0, 0); P1 (NLmax, 0); P2 (0, NSmax); P3 (NLmax, NSmax).

Шаг 2. На этом шаге образ полученной двухмерной области наносится на экран 15 для компьютерных презентаций. В помещении монтируется контрольный образец системы. Видеокамеру 2 и проектор 16 следует располагать рядом напротив середины верхнего края экрана 15 (см. фиг.7). Это размещение видеокамеры и проектора задается элементами крепления (кронштейн и др.) для серийно выпускаемой системы. Step 2. At this step, the image of the obtained two-dimensional region is applied to the screen 15 for computer presentations. A control system sample is mounted in the room. The camcorder 2 and the projector 16 should be located next to the middle of the upper edge of the screen 15 (see Fig.7). This placement of the camcorder and the projector is determined by the fastening elements (bracket, etc.) for the commercially available system.

Контрольный образец системы включается в рабочий режим, процессор 4 транслирует значения координат луча 17 в компьютер 7 без преобразования. На компьютере запускается специальная технологическая программа, которая отображает на экране монитора значения экранных координат, поступающих от процессора 4. A control sample of the system is included in the operating mode, the processor 4 transmits the coordinates of the beam 17 to the computer 7 without conversion. A special technological program is launched on the computer, which displays on the monitor screen the values of the screen coordinates received from processor 4.

Луч 17 системы направляется на экран 15 и перемещается до тех пор, пока технологическая программа не зафиксирует экранные координаты луча (0, 0), т. е. точку Р0. Соответствующая геометрическая точка на экране 15 помечается маркером. Аналогичная операция выполняется и для точек P1, P2, Р3. Полученные точки на экране 15 соединяются отрезками прямых, образуя многоугольник. При указанном выше размещении видеокамеры 2 и проектора 16 многоугольник представляет собой в общем случае равнобедренную трапецию. Эта трапеция (на фиг.7 отображена сплошной линией) с большой степенью точности является образом вышеуказанной двухмерной области изменения экранных координат пятна лазерного луча 17. Трапеция отображается краской на экране 15. The beam 17 of the system is directed to the screen 15 and moves until the technological program fixes the screen coordinates of the beam (0, 0), i.e., point P0. The corresponding geometric point on screen 15 is marked with a marker. A similar operation is performed for points P1, P2, P3. The resulting points on the screen 15 are connected by line segments, forming a polygon. With the above arrangement of the camcorder 2 and the projector 16, the polygon is generally an isosceles trapezoid. This trapezoid (shown in Fig. 7 by a solid line) with a high degree of accuracy is an image of the above two-dimensional region of change of the screen coordinates of the spot of the laser beam 17. The trapezoid is displayed with paint on the screen 15.

Шаг 3. На этом шаге в рабочую программу процессора 4 вносятся коэффициенты пересчета экранных координат луча 17 в координаты мыши компьютера. Эти коэффициенты равны:
Сх=Xmax/NLmax,
Су=Ymax/NSmax,
где Xmax есть разрешение экрана монитора компьютера по горизонтали,
Ymax есть разрешение экрана монитора компьютера по вертикали.
Step 3. At this step, the conversion factors of the screen coordinates of the beam 17 into the coordinates of the mouse of the computer are introduced into the working program of the processor 4. These coefficients are equal to:
Cx = Xmax / NLmax,
Su = Ymax / NSmax,
where Xmax is the horizontal resolution of the computer monitor screen,
Ymax is the vertical resolution of the computer monitor screen.

Разрешения Xmax, Ymax назначаются в соответствии с возможностями проектора.  Xmax, Ymax permissions are assigned according to the capabilities of the projector.

Тогда расчетные формулы связи координат пятна лазера и мыши будут представлять собой простые соотношения:
Хmouse=NL•Сx; (1)
Ymouse=NS•Су, (2)
где NL, NS - координаты пятна луча лазера;
Xmouse, Ymouse - соответствующие координаты мыши.
Then, the calculated formulas for the relation between the coordinates of the laser and mouse spots will be simple relations:
Xmouse = NL • Cx; (1)
Ymouse = NS • Su, (2)
where NL, NS are the coordinates of the spot of the laser beam;
Xmouse, Ymouse - the corresponding coordinates of the mouse.

Рабочая программа процессора 4 запускается с рассчитанными Сх, Су, а на экран 15 выводится изображение от проектора 16. Так как видеокамера 2 и проектор 16 расположены в пространстве рядом, проецируемое изображение с достаточной точностью будет также представлять собой равнобедренную трапецию (отображена на фиг.7 пунктирной линией), подобную трапеции [Р0, Р1, Р2, Р3]. Изображение от проектора следует выровнять по верхней (Р0, Р2) и левой (Р0, Р1) сторонам изображенной трапеции. The working program of the processor 4 starts with the calculated Cx, Su, and the image from the projector 16 is displayed on the screen 15. Since the video camera 2 and the projector 16 are located in the space nearby, the projected image with sufficient accuracy will also be an isosceles trapezoid (shown in Fig. 7 dashed line), similar to the trapezoid [P0, P1, P2, P3]. The image from the projector should be aligned on the upper (P0, P2) and left (P0, P1) sides of the trapezoid.

Шаг 4. На этом шаге луч лазера в режиме "лазерной мыши" устройства управления 1 перемещается внутри области, заданной трапецией [Р0, Р1, Р2, Р3]. При перемещении визуально контролируется отклонение положения компьютерной мыши от положения пятна. Если это отклонения по Х и Y для любой из точек не превышает 1-2% от разрешения по Х и Y, задача связывания координат лазерного пятна и компьютерной мыши может считаться законченной. Если требуемая величина отклонений не достигнута, решение задачи связывания координат продолжается. Step 4. At this step, the laser beam in the "laser mouse" mode of the control device 1 moves within the area defined by the trapezoid [P0, P1, P2, P3]. When moving, the deviation of the position of the computer mouse from the position of the spot is visually controlled. If these deviations in X and Y for any of the points do not exceed 1-2% of the resolution in X and Y, the task of linking the coordinates of the laser spot and the computer mouse can be considered complete. If the required deviation is not achieved, the solution of the coordinate binding problem continues.

Шаг 5. На этом шаге корректируются связи координат пятна и лазерной мыши. Предлагается выполнять коррекцию с помощью табулирования координат пятна луча лазера и координат мыши в опорных точках по узлам сетки и последующей интерполяции. Step 5. At this step, the relations between the coordinates of the spot and the laser mouse are adjusted. It is proposed to perform correction by tabulating the coordinates of the laser beam spot and the coordinates of the mouse at the reference points along the grid nodes and subsequent interpolation.

На экране монитора и экране презентации отображается сетка, имеющая К узлов по горизонтали и М узлов по вертикали. Узлы сетки N(k,m) (k=1...K, m= 1. . . M) имеют известные координаты и используются в качестве опорных точек при интерполяции. На компьютере также запускается программа, которая фиксирует значения текущих координат пятна лазера (поступающих от блока 4) и рассчитанных по формулам (1), (2) координат мыши. On the monitor screen and presentation screen, a grid is displayed having K nodes horizontally and M nodes vertically. The grid nodes N (k, m) (k = 1 ... K, m = 1... M) have known coordinates and are used as reference points for interpolation. A program is also launched on the computer that fixes the values of the current coordinates of the laser spot (coming from block 4) and calculated using the formulas (1), (2) of the mouse coordinates.

Затем луч лазера последовательно направляется в узлы сетки, отображенной на экране презентации. Данные каждой из опорных точек записываются в таблицу, формат которой представлен в таблице. Then the laser beam is sequentially directed to the nodes of the grid displayed on the presentation screen. The data of each of the control points are recorded in a table, the format of which is presented in the table.

Пусть в узел сетки N на экране презентации направлен луч лазера. Рассчитанные процессором 4 по формулам (1), (2) значения координат мыши Xmouse, Ymouse перевели курсор мыши в некоторое положение, в общем случае не совпадающее с узлом сетки N. Значения Xmouse1, Ymouse1 задаются при формировании сетки. Соответствующие значения NL, NS фиксируются и отображаются контрольной программой. Эти шесть чисел заносятся в таблицу. Let a laser beam be directed to the grid node N on the presentation screen. The coordinates of the mouse coordinates Xmouse, Ymouse calculated by processor 4 using formulas (1), (2) moved the mouse cursor to a certain position, which generally does not coincide with the grid node N. The values Xmouse1, Ymouse1 are set when the grid is formed. The corresponding values of NL, NS are recorded and displayed by the control program. These six numbers are entered in the table.

Затем по полученной таблице известными методами строятся две интерполяционные функции. Эти функции позволяют более точно связывать координаты устройства управления 1 в режиме "лазерной мыши" с координатами реальной компьютерной мыши, чем соотношения (1), (2). Формулы связи примут вид:
Xmouse =Fx(NL,{dX(k,m)},{dY(k,m)}) k=1...K, m=1...M; (3)
Ymouse =Fy(NS,{dX(k,m)},{dY(k,m)}) k=1...K, m=1...M, (4)
где Fx(), Fy() - интерполяционные функции по координатам X, Y;
NL, NS - координаты пятна лазера;
{dX(k,m)}, {dY(k,m)} - векторы отклонений рассчитанных координат мыши от координат соответствующих узлов.
Then, according to the obtained table, two interpolation functions are constructed by known methods. These functions make it possible to more accurately associate the coordinates of the control device 1 in the "laser mouse" mode with the coordinates of a real computer mouse than relations (1), (2). The communication formulas will take the form:
Xmouse = Fx (NL, {dX (k, m)}, {dY (k, m)}) k = 1 ... K, m = 1 ... M; (3)
Ymouse = Fy (NS, {dX (k, m)}, {dY (k, m)}) k = 1 ... K, m = 1 ... M, (4)
where Fx (), Fy () are interpolation functions along the X, Y coordinates;
NL, NS — coordinates of the laser spot;
{dX (k, m)}, {dY (k, m)} are the deviation vectors of the calculated mouse coordinates from the coordinates of the corresponding nodes.

На практике при расчетах Xmouse, Ymouse используются не все компоненты векторов dX, dY, а только отклонения от ближайших Xmouse1, Ymouse1 к рассчитанным по предварительным формулам (1), (2) значениям Xmouse, Ymouse (см. фиг. 8). Формулы связи (3), (4) используются на заключительной стадии расчетов. Затем полученные координаты мыши Xmouse, Ymouse через интерфейс 5 подаются в компьютер 7. In practice, when calculating Xmouse, Ymouse, not all components of the vectors dX, dY are used, but only deviations from the nearest Xmouse1, Ymouse1 to the values of Xmouse, Ymouse calculated by preliminary formulas (1), (2) (see Fig. 8). Communication formulas (3), (4) are used at the final stage of calculations. Then the obtained coordinates of the mouse Xmouse, Ymouse through interface 5 are fed to computer 7.

Claims (3)

1. Система для дистанционного управления компьютером, содержащая устройство управления, включающее лазер видимого излучения с кнопками управления, видеокамеру и интерфейс, подключенный к одному из портов компьютера, отличающаяся тем, что в нее введены излучатель синхросигналов и процессор обработки видеоизображения, к выходу которого подключен излучатель синхросигналов, при этом выход видеокамеры подключен к входу процессора обработки видеоизображения, другой выход которого соединен с интерфейсом, устройство управления дополнительно содержит последовательно соединенные приемник синхросигналов, вход которого является управляющим входом устройства управления, контроллер и ключ, при этом выход ключа подсоединен к модулирующему входу лазера видимого излучения, второй вход контроллера соединен с кнопками управления. 1. A system for remote control of a computer, comprising a control device including a visible laser with control buttons, a video camera and an interface connected to one of the computer ports, characterized in that a clock emitter and a video processing processor are connected to the output of which a radiator is connected clock signals, while the output of the video camera is connected to the input of the video processing processor, the other output of which is connected to the interface, the control device is an additional comprises a serially coupled receiver clock, the input of which is the control input of the control device, the controller and the key, the key output is connected to the modulating input of the visible light laser, a second input controller coupled to the control buttons. 2. Система по п. 1, отличающаяся тем, что она дополнительно содержит проектор, информационный вход которого подсоединен к видеовходу компьютера, и экран для отображения презентаций. 2. The system according to claim 1, characterized in that it further comprises a projector, the information input of which is connected to the video input of the computer, and a screen for displaying presentations. 3. Система по п. 1, отличающаяся тем, что видеокамера снабжена светофильтром. 3. The system according to claim 1, characterized in that the camcorder is equipped with a light filter.
RU2002103328A 2002-02-11 2002-02-11 Computer remote control system RU2216766C2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2002103328A RU2216766C2 (en) 2002-02-11 2002-02-11 Computer remote control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2002103328A RU2216766C2 (en) 2002-02-11 2002-02-11 Computer remote control system

Publications (2)

Publication Number Publication Date
RU2002103328A RU2002103328A (en) 2003-08-20
RU2216766C2 true RU2216766C2 (en) 2003-11-20

Family

ID=32027372

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2002103328A RU2216766C2 (en) 2002-02-11 2002-02-11 Computer remote control system

Country Status (1)

Country Link
RU (1) RU2216766C2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2447491C1 (en) * 2010-11-02 2012-04-10 Общество с ограниченной ответственностью "ИНТЕРНЕТДАНЕТ" Device and method for computer control via remote access networks
WO2012177171A1 (en) * 2011-06-21 2012-12-27 Golikov Vadim Viktorovich Electro-optical pointing device
RU2485573C2 (en) * 2006-10-12 2013-06-20 Конинклейке Филипс Электроникс Н.В. System and method of controlling light

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2485573C2 (en) * 2006-10-12 2013-06-20 Конинклейке Филипс Электроникс Н.В. System and method of controlling light
RU2447491C1 (en) * 2010-11-02 2012-04-10 Общество с ограниченной ответственностью "ИНТЕРНЕТДАНЕТ" Device and method for computer control via remote access networks
WO2012177171A1 (en) * 2011-06-21 2012-12-27 Golikov Vadim Viktorovich Electro-optical pointing device

Similar Documents

Publication Publication Date Title
CN103092432B (en) The trigger control method of man-machine interactive operation instruction and system and laser beam emitting device
RU2455676C2 (en) Method of controlling device using gestures and 3d sensor for realising said method
CA2378154C (en) Computer presentation system and method with optical tracking of wireless pointer
US7193608B2 (en) Collaborative pointing devices
JP4132061B2 (en) ARRAY SENSOR POINTING INPUT SYSTEM AND ITS METHOD (Pointing Input Systems Methodological Array Sensors)
EP1456806B1 (en) Device and method for calculating a location on a display
US9542755B2 (en) Image processor and image processing method
US20110243380A1 (en) Computing device interface
JP2001236181A (en) Pointing device
US20130307772A1 (en) Interactive projection system with light spot identification and control method thereof
CN110297556B (en) Electronic projection drawing board system based on image recognition technology and processing method thereof
US10742943B2 (en) Projector and method for controlling projector
CN1157650C (en) System and method for inputting coordinate and control information to computer
CN102184053A (en) Novel projector unit
KR101989998B1 (en) Input system for a computer incorporating a virtual touch screen
JP2011239279A (en) Remote control device and remote control method
RU2216766C2 (en) Computer remote control system
WO2013139090A1 (en) Method, system, and related device for operating display device
KR100773905B1 (en) Apparatus for remote pointing using image sensor and method of the same
US20030011566A1 (en) Image processing apparatus, image processing method, providing medium and presentation system
JP2003208260A (en) Pointing device
CN111402325A (en) Automatic calibration method for interactive projection game
KR100660137B1 (en) Input apparatus using a raser pointer and system for offering presentation using the apparatus
KR20080037315A (en) Electronic device having apparatus for controlling moving of pointer
JP2000050145A (en) Automatic tracking device

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20100212