KR20040081088A - A input method using a portable devices which have inner or outer camera and apparatus thereof - Google Patents
A input method using a portable devices which have inner or outer camera and apparatus thereof Download PDFInfo
- Publication number
- KR20040081088A KR20040081088A KR1020040060186A KR20040060186A KR20040081088A KR 20040081088 A KR20040081088 A KR 20040081088A KR 1020040060186 A KR1020040060186 A KR 1020040060186A KR 20040060186 A KR20040060186 A KR 20040060186A KR 20040081088 A KR20040081088 A KR 20040081088A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- input
- input signal
- signal
- mobile device
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/26—Devices for calling a subscriber
- H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
- H04M1/274—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc
- H04M1/2745—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips
- H04M1/2753—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips providing data content
- H04M1/2757—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips providing data content by data transmission, e.g. downloading
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
- H04N2007/145—Handheld terminals
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Human Computer Interaction (AREA)
- Telephone Function (AREA)
- Studio Devices (AREA)
Abstract
Description
본 발명은 카메라가 내 외장된 휴대기기에서의 사용자의 명령을 입력하기 위한 입력 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 카메라가 내 외장된 휴대기기의 내외장된 카메라에 의해 촬영된 영상 신호의 변화를 감지하여 카메라가 내 외장된 휴대기기의 키패드 또는 버튼과 같은 기존의 입력 수단을 이용하지 않고도 사용자가 명령어를 입력할 수 있는 입력 방법 및 그 장치에 대한 것이다.The present invention relates to an input method and apparatus for inputting a user's command in a mobile device in which the camera is embedded, and more particularly, to an image signal captured by an internal and external camera of a mobile device in which the camera is external. The present invention relates to an input method and a device in which a user can input a command by detecting a change of the camera without using a conventional input means such as a keypad or a button of an external portable device.
오늘날 이동 통신의 눈부신 발달은 이동 통신 단말기(휴대기기)의 대중화를 급속히 촉진시켜, 이제 대부분의 일반인들이 핸드폰, PDA 등의 이동 통신 단말기를 항상 소지하고 다니도록 우리의 생활을 변모시켰다. 이동 통신 단말기는 사용자로 하여금 통신망의 접근을 보다 용이하게 하면서 종래의 전통적인 통신 시스템이 가지던 시스템 자원을 효율적으로 배분하게 하는 효과를 가져왔다.The remarkable development of mobile communication today has rapidly promoted the popularization of mobile communication terminals (portable devices), transforming our lives so that most ordinary people always carry mobile terminals such as cell phones and PDAs. The mobile communication terminal has an effect of allowing the user to more easily access the communication network while efficiently allocating system resources of the conventional communication system.
또한, 이동 통신 단말기는 게임, 채팅, 컨텐츠 다운로드 등 다양한 응용 프로그램을 실행할 수 있어, 사용자들에게 보다 다양한 서비스를 제공하고 있다. 이러한 이동 통신 단말기는 응용 프로그램을 실행하기 위하여 사용자로부터 키패드의 버튼 등을 이용한 명령을 수신하여 상기 응용 프로그램을 제어할 수 있다.In addition, the mobile communication terminal can execute various applications such as games, chats, and content downloads, thereby providing more various services to users. The mobile communication terminal may control the application program by receiving a command using a button of a keypad or the like from the user to execute the application program.
그러나, 종래의 입력 방식은 입력의 종류가 제한되어 있어 다양하고 연속적인 입력 조절이 불가능하다. 또한, 기존의 게임 장치에 비해 이동 통신 단말기를 이용하여 게임을 하는 경우에는, 사용자 명령을 게임 특성에 맞게 자연스럽게 입력하기 어렵다는 문제가 있었다.However, the conventional input method is limited in the type of input is not possible to adjust a variety of continuous input. In addition, when playing a game using a mobile communication terminal compared to a conventional game device, there is a problem that it is difficult to naturally enter a user command according to the game characteristics.
예를 들어, 자동차 경주하는 게임을 이동 통신 단말기에서 실행하는 경우, 사용자는 자동차의 이동 방향을 변경 또는 속도를 변경하는 경우, 키패드의 버튼을 반복적으로 눌러야 하는 등, 사용자의 입장에서는 아케이드 게임에서와 같이 자동차 핸들 모양의 입력 장치를 회전시켜 좌회전 또는 우회전을 명령하거나, 자동차 액셀러레이터 모양을 발로 밟아 속도를 변경하는 것과 같이, 게임 특성에 맞는 자연스러운 명령어 입력이 불가능하다는 문제가 있었다.For example, if a user runs a car racing game on a mobile communication terminal, the user needs to repeatedly press a button on the keypad when changing the direction of movement or speed of the car. Similarly, there was a problem in that it was impossible to input natural commands suitable for game characteristics, such as rotating the steering wheel-shaped input device to turn left or right or changing the speed by stepping on the car accelerator.
또한, 사용자가 빠른 동작을 수행하는 게임을 하고 싶은 경우에도, 키패드의 버튼을 수회 눌러야만 원하는 명령이 입력되는 등 시간 상의 제약에 따라 이동 통신 단말기에서 제공하는 슈팅 또는 액션 게임에 대해서는 사용자들이 상대적으로 관심을 덜 갖게 되는 문제가 있었다.In addition, even when a user wants to play a fast action game, the user is relatively concerned with a shooting or action game provided by the mobile terminal according to time constraints, such as inputting a desired command by pressing a button on the keypad several times. There was a problem of less interest.
이러한 문제를 해결하기 위해 이동 통신 단말기에 추가적인 하드웨어 장치인 입력 장치(즉, 스틱 등의 추가적인 입력 장치)를 장착하는 경우에는, 현재 이동 통신 단말기의 표준 사양이 아니기 때문에 별도의 비용이 발생한다는 점, 이동 통신 단말기의 제작 단계에서부터 장착되는 경우에도 이동 통신 단말기의 디자인을 제약하는 요인이 되는 점, 추가적인 입력 장치를 장착하는 경우 명령 입력을 위해 사용자가 두 손을 모두 사용하는 등의 또 다른 문제가 발생하게 된다.In order to solve this problem, when the mobile terminal is equipped with an additional hardware device (ie, an additional input device such as a stick), there is a separate cost because it is not a standard specification of the mobile terminal at present. Another problem is that even when the mobile terminal is installed from the manufacturing stage, it is a factor that restricts the design of the mobile terminal, and when an additional input device is mounted, the user uses both hands to input a command. Done.
본 발명은 상기와 같은 종래 기술을 개선하기 위해 안출된 것으로서, 기존의 휴대기기가 제공하는 입력 방법 외에 추가적인 입력 방법을 제공하는 것을 목적으로 한다.The present invention has been made to improve the prior art as described above, and an object of the present invention is to provide an additional input method in addition to the input method provided by the existing mobile device.
또한, 본 발명은 카메라가 내 외장된 휴대기기로부터 입력되는 영상 신호를 이용하여 추가적인 하드웨어 장치를 장착하지 않고서도 카메라가 내 외장된 휴대기기로 사용자가 자연스럽고 간편하게 명령을 입력할 수 있는 입력 방법 및 장치를 제공하는 것을 목적으로 한다.In addition, the present invention provides an input method that allows the user to input a command naturally and easily to the portable device in which the camera is embedded without using an additional hardware device by using an image signal input from the portable device in which the camera is internal and It is an object to provide a device.
도 1은 본 발명에 따른 카메라가 내 외장된 휴대기기를 이용한 입력 방법을 도시한 흐름도.1 is a flowchart illustrating an input method using a portable device having an internal camera according to the present invention.
도 2는 본 발명에 따른 카메라가 내 외장된 휴대기기를 이용한 입력 방법의 예측 모델을 검증하는 순서를 도시한 흐름도.2 is a flowchart illustrating a procedure of verifying a predictive model of an input method using a portable device in which a camera is embedded according to the present invention.
도 3은 본 발명에 따른 카메라를 통해 입력된 영상 신호에 대한 유효한 영상 신호를 출력하는 순서를 도시한 흐름도.3 is a flowchart illustrating a procedure of outputting a valid video signal for a video signal input through a camera according to the present invention.
도 4a 내지 도 4c는 본 발명에 따른 기준 영상 신호를 이용하여 입력 신호를 추출하는 방법의 일예를 도시한 도면.4A to 4C illustrate an example of a method of extracting an input signal using a reference video signal according to the present invention.
도 5는 본 발명에 따른 카메라를 이용해 입력 신호를 인지하는 카메라가 내 외장된 휴대기기의 내부 구성을 도시한 도면.5 is a diagram illustrating an internal configuration of a portable device in which a camera for recognizing an input signal using a camera according to the present invention is mounted.
도 6은 본 발명에 따른 카메라가 내 외장된 휴대기기를 이용한 입력 방법 등을 구성하는 데 채용될 수 있는 범용 컴퓨터 시스템의 내부 블록도.6 is an internal block diagram of a general-purpose computer system that can be employed to configure an input method using a portable device in which the camera is external to the present invention.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
510: 저장 수단510: storage means
520: 예측 모델 설정부520: prediction model setting unit
530: 영상 입력부530: video input unit
540: 입력 신호 추출부540: input signal extraction unit
550: 명령어 선택부550: command selection unit
상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명에 따른 카메라가 내 외장된 휴대기기의 화상 처리를 이용한 입력 방법은 상기 카메라가 내 외장된 휴대기기의 저장 수단에 유효한 입력 신호 별 명령어에 대한 정보를 저장하는 단계; 상기 카메라가 내 외장된 휴대기기의 이동 방향 및 속도와 관련된 예측 모델을 설정하는 단계; 상기 예측 모델을 검증하는 단계; 상기 카메라로부터 영상 신호를 입력 받는 단계; 상기 검증된 예측 모델에 기초하여 결정된 상기 카메라가 내 외장된 휴대기기의 이동 방향 및 속도를 스레스홀드(threshold)로 설정하여 상기 입력된 영상 신호로부터 입력 신호를 추출하는 단계; 상기 추출된 입력 신호를 필터링하여 유효한 입력 신호를 출력하는 단계; 및 상기 출력된 유효한 입력 신호를 소정의 명령어에 대응시키는 단계를 포함하는 것을 특징으로 한다.In order to achieve the above object and solve the problems of the prior art, the input method using the image processing of the portable device in which the camera is embedded in the camera according to the present invention is effective for the input means by the input signal to the storage means of the portable device in the camera Storing information about; Setting a prediction model related to a moving direction and a speed of an external portable device by the camera; Verifying the prediction model; Receiving an image signal from the camera; Extracting an input signal from the input image signal by setting a moving direction and a speed of a mobile device in which the camera is determined based on the verified prediction model as a threshold; Filtering the extracted input signal and outputting a valid input signal; And mapping the output valid input signal to a predetermined command.
이하에서는 첨부된 도면을 참조하여 본 발명에 따른 카메라가 내 외장된 휴대기기를 이용한 입력 방법의 다양한 실시예를 상세히 설명한다. 카메라가 내 외장된 휴대 기기는 핸드 헬드 PC, PDA, 셀룰라폰, PCS폰, 스마트폰, 또는 DMB폰 등의 이동 통신 단밀기로서 내 외장된 카메라의 기능을 지원하는 휴대 기기, 또는 MP3 플레이어 등 휴대 기기로서 내 외장된 카메라의 기능을 지원하는 휴대 기기를 포함한다.Hereinafter, with reference to the accompanying drawings will be described in detail a variety of embodiments of the input method using a mobile device having an internal camera according to the present invention. A mobile device with an internal camera is a mobile communication device such as a handheld PC, a PDA, a cellular phone, a PCS phone, a smartphone, or a DMB phone, and supports a mobile device such as an external camera or an MP3 player. The device includes a portable device supporting the functions of an external camera.
도 1은 본 발명에 따른 카메라가 내 외장된 휴대기기를 이용한 입력 방법을 도시한 흐름도이다.1 is a flowchart illustrating an input method using a portable device having an internal camera according to the present invention.
먼저, 단계(S110)에서 카메라가 내 외장된 휴대기기는 유효한 입력 신호 별 명령어에 대한 정보를 저장 수단에 저장한다. 본 실시예에 따른 카메라가 내 외장된 휴대기기는 카메라로부터 입력되는 영상 신호(이미지)를 분석하여 유효한 입력 신호를 출력한다. 또한, 상기 카메라가 내 외장된 휴대기기는 상기 저장 수단을 참조하여 상기 유효한 입력 신호에 대응하는 명령어를 검색하여 상기 명령어에 대응하는 명령을 실행한다. 예를 들어, 테트리스 게임과 관련하여 카메라로부터 입력된 영상 신호를 분석한 결과, 상기 카메라가 내 외장된 휴대기기가 좌측 또는 우측으로 소정의 각속도 이상으로 소정 각도 이상 회전 운동을 한 경우 상기 카메라가 내 외장된 휴대기기에서 테트리스 게임을 구동하는 게임 모듈로 테트리스 블록을 좌측, 또는 우측 방향으로 이동하도록 하는 이동 명령이 입력되도록 할 수 있다.First, in step S110, the portable device in which the camera is embedded stores information about valid input signal-specific commands in storage means. The portable device in which the camera is mounted according to the present embodiment analyzes an image signal (image) input from the camera and outputs a valid input signal. In addition, the portable device in which the camera is embedded may search for a command corresponding to the valid input signal with reference to the storage means and execute a command corresponding to the command. For example, as a result of analyzing a video signal input from a camera in relation to a tetris game, when the external device of the camera is rotated to a left or right by a predetermined angular velocity or more by a predetermined angle or more, the camera is A game module for driving a tetris game in an external mobile device may allow a movement command for moving a tetris block to a left or right direction.
또한, 유효한 입력 신호에 각각 대응하는 명령어의 종류는 카메라가 내 외장된 휴대기기에서 실행되는 응용 프로그램 별로 상이하게 설정될 수 있다. 예를 들면, 테트리스 게임의 경우에는 좌, 우 회전 운동이 테트리스 블록을 좌, 우로 이동시키기 위한 명령어에 대응한다면, 문자 메시지를 입력하는 경우에는 좌, 우 회전 운동이 띄어쓰기 또는 느낌표를 입력하기 위한 명령어에 대응할 수 있다.In addition, the types of commands corresponding to valid input signals may be set differently for each application program executed in a portable device in which the camera is external. For example, in the case of a Tetris game, if the left and right rotational movements correspond to a command for moving the Tetris block to the left and right, the left and right rotational movements may be spaced or a exclamation point if a text message is entered. It can correspond to.
다음으로, 단계(S120)에서 카메라가 내 외장된 휴대기기는 이동 방향 및 속도와 관련된 예측 모델을 설정한다. 사용자는 카메라가 내 외장된 휴대기기를 항상 휴대하고 다니기 때문에, 사용자가 걸어가거나, 뛰는 동작 상태에서 입력 신호를 명령할 수 있다. 이러한 경우, 걷거나 뛰는 동작에 따라 카메라고 입력되는 영상 신호가 변경된다고 해도, 실제로는 사용자가 특정한 입력 신호를 입력하려고 한 것이 아니다. 그럼에도 카메라가 내 외장된 휴대기기는 상기 영상 신호의 변화를 입력 신호라고 "오해"할 우려가 있기 때문에, 사용자가 걷거나, 뛰는 동작을 수행하는 과정에서 발생하는 영상 신호의 변화는 입력 신호에 영향을 주지 않도록 할 필요성이 있다.Next, in step S120, the mobile device in which the camera is embedded sets a predictive model related to a moving direction and a speed. Since the user always carries the external portable device with the camera, the user can command the input signal while the user walks or runs. In this case, even if the video signal inputted by the camera changes according to the walking or running, the user does not actually try to input a specific input signal. Nevertheless, since the external device of the camera may “misunderstand” the change in the video signal as the input signal, the change in the video signal generated while the user walks or runs may affect the input signal. There is a need to avoid giving.
따라서, 카메라가 내 외장된 휴대기기는 여러 가지 물리 운동 모델에 따라 예측 모델을 설정한다. 예를 들면, 상기 물리 운동 모델로는 정지 상태, 등속 운동, 등가속 운동 등이 선택될 수 있다. 카메라가 내 외장된 휴대기기는 상기 예측 모델에 따라 상기 사용자가 등속 운동을 하고 있다고 판단되는 경우에는 영상 신호의 변화 중에서 상기 등속 운동에 따라 발생된 변화를 제하고 유효한 입력 신호가 있는지 여부를 판단한다.Therefore, the portable device in which the camera is embedded sets a prediction model according to various physical motion models. For example, the physical motion model may be selected from a stationary state, a constant velocity motion, a constant acceleration motion, and the like. If the external device of the camera is determined that the user is performing the constant velocity motion according to the predictive model, the portable device subtracts the change generated by the constant velocity motion from the change of the image signal and determines whether there is a valid input signal. .
단계(S130)에서 카메라가 내 외장된 휴대기기는 상기 예측 모델을 검증한다. 상술한 바와 같이 유효한 입력 신호를 정확하게 측정하기 위해서는 예측 모델이 정확하게 설정되어야 한다. 따라서, 상기 예측 모델이 현재 사용자의 운동에 잘 부합하는지 여부를 판단하고 잘 부합하는 경우에는 상기 예측 모델을 유지하고 그렇지 않은 경우에는 새로운 예측 모델을 설정해야 한다. 도 2를 참조하여 상기 예측 모델을 검증하는 방법을 구체적으로 설명한다.In operation S130, the mobile device in which the camera is embedded verifies the predictive model. As described above, in order to accurately measure a valid input signal, a prediction model must be set correctly. Therefore, it is necessary to determine whether the prediction model is well suited to the motion of the current user and to maintain the prediction model if it matches well, and to set a new prediction model if not. A method of verifying the prediction model will be described in detail with reference to FIG. 2.
도 2는 본 발명에 따른 카메라가 내 외장된 휴대기기를 이용한 입력 방법의 예측 모델을 검증하는 순서를 도시한 흐름도이다.2 is a flowchart illustrating a procedure of verifying a predictive model of an input method using a mobile device in which a camera is embedded according to the present invention.
먼저, 단계(S131)에서 카메라가 내 외장된 휴대기기는 카메라로부터 제1 영상 신호를 입력 받는다. 본 실시예에 따른 입력 방법은 카메라를 통해 입력된 영상 신호(이미지)의 변화를 감지하여 소정의 입력 신호가 입력되었는지 여부를 판단하기 때문에 이미지에서의 색상 정보를 반드시 이용할 필요는 없다. 따라서, 본 실시예에서는 상기 이미지가 컬러 이미지인 경우에는 그레이 스케일로 변경하여 상기 이미지의 변화를 감지함으로써, 카메라가 내 외장된 휴대기기에서의 계산 효율성을 증가시킨다.First, in step S131, the portable device in which the camera is externally receives a first image signal from the camera. The input method according to the present embodiment does not necessarily use color information in an image because it detects a change in an image signal (image) input through a camera and determines whether a predetermined input signal is input. Therefore, in the present embodiment, when the image is a color image, the image is changed to gray scale to detect the change of the image, thereby increasing the calculation efficiency of the portable device in which the camera is external.
픽셀의 색상 정보가 YUV 방식일 경우, Y(luminance) 값 자체가 휘도 이므로 이를 그대로 이용하고, 색상 정보가 RGB 방식일 경우, red, green, 및 blue 각각을 이용하여 그레이 스케일로 변환한다.When the color information of the pixel is the YUV method, since the Y (luminance) value is the luminance, it is used as it is, and when the color information is the RGB method, the color information is converted to gray scale using red, green, and blue.
또한, 카메라로부터 입력되는 이미지는 핫 픽셀(impulse noise), 폴스 컬러 노이즈(False Color Noise) 등과 같은 노이즈가 포함되어 있는 경우가 있다. 특히, 상기 카메라의 사양이 높지 않을수록 상기 카메라는 노이즈에 취약할 수 밖에 없다. 이러한 노이즈는 영상 처리 단계에서 종종 중요한 정보를 담고 있는 것으로오인되기 때문에, 신뢰도가 높은 결과(정확한 입력 신호)를 적은 계산으로 얻어내기 위해서 상기 이미지에 대한 영상 처리 전 단계에서 노이즈를 제거할 필요가 있다.In addition, the image input from the camera may include noise such as hot pixels, false color noise, and the like. In particular, as the specification of the camera is not high, the camera is inevitably vulnerable to noise. Since this noise is often mistaken for containing important information in the image processing step, it is necessary to remove the noise in the pre-image processing step for the image in order to obtain a highly reliable result (accurate input signal) with less calculation. .
예를 들면, 핫 픽셀을 제거하기 위해 MAXMIN 필터, MINMAX 필터 또는 pseudo-median 필터를 이용할 수 있다. 예를 들면, MAXMIN 필터는 카메라로부터 입력된 이미지 중에서 핫 픽셀이 존재하는 경우, 상기 핫 픽셀에 인접한 주변 픽셀 중 행 최소값 중에서 열 최대값으로 상기 핫 픽셀을 교체하는 방식을 사용한다.For example, you can use the MAXMIN filter, MINMAX filter, or pseudo-median filter to remove hot pixels. For example, when a hot pixel exists in an image input from a camera, the MAXMIN filter replaces the hot pixel with a column maximum value among row minimum values among neighboring pixels adjacent to the hot pixel.
다음으로, 단계(S132)에서 카메라가 내 외장된 휴대기기는 상기 예측 모델에 기초하여 제1 영상 신호로부터 소정 기간 후 입력될 것으로 예측되는 예측 영상 신호를 산출한다. 예를 들어, 상기 예측 모델이 사용자가 일정한 방향 및 속도로 걸어가는 등속도 운동을 하고 있는 경우로 설정된 경우, 카메라가 내 외장된 휴대기기는 상기 사용자가 계속 상기 방향으로 상기 속도로 이동 할 것이라고 판단한다. 카메라가 내 외장된 휴대기기는 등속도 운동의 방향 및 속도를 알고(예측하고) 있으면 일정 시간 후에 상기 카메라로부터 입력되는 이미지에 나타내는 대상이 어떻게 변동될 것인지도 예측할 수 있다. 따라서, 카메라가 내 외장된 휴대기기는 소정 시간이 경과한 후 상기 카메라로부터 입력될 것으로 예측되는 이미지를 결정할 수 있다. 본 명세서에서는 이와 같이 예측된 이미지에 대응하는 영상 신호를 "예측 영상 신호"라고 한다.Next, in step S132, the mobile device having the camera embedded therein calculates a predicted video signal predicted to be input after a predetermined period from the first video signal based on the predictive model. For example, when the predictive model is set to a case where the user is performing a constant velocity motion walking in a constant direction and speed, the mobile device having the camera determines that the user will continue to move at the speed in the direction. do. The mobile device in which the camera is embedded can predict how the object represented in the image input from the camera will fluctuate after a predetermined time if the direction and speed of the constant velocity motion are known (predicted). Therefore, the portable device in which the camera is embedded may determine an image that is expected to be input from the camera after a predetermined time elapses. In the present specification, an image signal corresponding to the predicted image is referred to as a "prediction image signal".
단계(S133)에서, 카메라가 내 외장된 휴대기기는 상기 기간이 경과한 후 카메라로부터 촬영된 실제 이미지인 제2 영상 신호를 입력 받는다. 카메라가 내 외장된 휴대기기는 상술한 바와 같이 제2 영상 신호에서 노이즈를 제거하고, 그레이 스케일로 변환한다. 본 발명에 있어서 카메라는 소정의 프레임 레이트로 영상 신호를 연속적으로 입력 받고 있으며, 카메라가 내 외장된 휴대기기는 연속적으로 입력되는 모든, 또는 일부 조건에 부합하는 이미지에 대해 노이즈 필터링 또는 그레이 스케일링을 수행한다.In step S133, the portable device in which the camera is embedded receives a second image signal which is an actual image captured by the camera after the period elapses. As described above, the portable device in which the camera is embedded removes noise from the second image signal and converts the noise to gray scale. In the present invention, the camera receives a video signal continuously at a predetermined frame rate, and the portable device in which the camera is internally performs noise filtering or gray scaling on an image that satisfies all or some of the conditions. do.
단계(S134)에서, 카메라가 내 외장된 휴대기기는 상기 예측 영상 신호와 상기 제2 영상 신호를 비교하여 예측 오차를 산출한다. 카메라가 내 외장된 휴대기기는 입력된 제2 영상 신호가 예측 영상 신호에 대응하여 좌, 우, 상, 하, 회전 방향에 따라 얼마나 차이가 나는지 확률적인 추론으로 예측 오차를 계산한다.In operation S134, the portable device having the camera embedded therein compares the prediction video signal with the second video signal to calculate a prediction error. The portable device in which the camera is embedded calculates the prediction error by probabilistic inference of how the input second video signal differs according to the left, right, up, down, and rotation directions corresponding to the predicted video signal.
단계(S135)에서, 카메라가 내 외장된 휴대기기는 산출한 예측 오차를 소정값 미만인지 판단한다. 카메라가 내 외장된 휴대기기는 산출한 예측 오차가 소정값을 초과하는 경우 예측 오차를 반영하여 예측 모델을 수정한다. 카메라가 내 외장된 휴대기기는 예측 모델을 기초하여 사용자가 의도하여 입력한 유효한 입력을 분석해야 하므로, 예측 모델을 선정하는 것은 매우 중요한 일이다. 따라서, 카메라가 내 외장된 휴대기기는 예측 오차가 소정값을 초과하는 경우, 즉 예측 모델이 카메라가 내 외장된 휴대기기의 운동과 잘 맞기 않는 경우, 예를 들면(카메라가 내 외장된 휴대기기는 가속도 운동을 하고 있음에도 예측 모델은 등속도 운동을 하는 경우, 또는 카메라가 내 외장된 휴대기기는 3m/s로 등속도 운동을 하고 있음에도 예측 모델을 2m/s로 등속도 운동을 하는 경우), 상기 계산한 예측 오차를 상기 예측 모델에 반영하여 상기 예측 모델을 수정한다. 본 발명에 따르면, 카메라가 내 외장된휴대기기는 입력된 영상 신호에서 예측 모델을 제외한 입력 신호가 사용자가 의도한 유효한 입력 신호로 판단하기 때문에 정확한 예측 모델을 선정하는 것이 중요하며 예측 오차가 소정값 미만이 될 때까지 상기와 같은 과정(예측 오차 산출 --> 예측 오차를 반영하여 예측 모델 수정)을 반복적으로 수행할 수 있다.In step S135, the portable device in which the camera is embedded determines whether the calculated prediction error is less than a predetermined value. When the prediction error calculated exceeds a predetermined value, the portable device in which the camera is embedded corrects the prediction model by reflecting the prediction error. It is very important to select a predictive model because a mobile device in which the camera is embedded has to analyze valid input input by the user based on the predictive model. Therefore, a mobile device in which the camera is embedded has a prediction error exceeding a predetermined value, that is, when the prediction model does not match the movement of the mobile device in which the camera is embedded, for example (mobile device in which the camera is embedded). If the predictive model performs the constant velocity motion while accelerating, or if the predictive model performs the constant velocity motion at 2 m / s even when the mobile device equipped with the camera is 3 m / s), The prediction model is modified by reflecting the calculated prediction error to the prediction model. According to the present invention, it is important to select an accurate prediction model because the mobile device in which the camera is embedded determines that the input signal excluding the prediction model is an effective input signal intended by the user. The same process as described above (predictive error calculation-> correction of the prediction model by reflecting the prediction error) may be repeatedly performed.
다시 도 1을 참조하여, 단계(S140)에서 카메라가 내 외장된 휴대기기는 카메라로부터 영상 신호를 입력 받는다. 마찬가지로 상기 카메라가 내 외장된 휴대기기는 입력된 영상 신호에서 노이즈를 제거하고, 색상 정보를 그레이 스케일로 변환한다.Referring back to FIG. 1, in step S140, the mobile device in which the camera is externally receives an image signal from the camera. Similarly, the portable device in which the camera is embedded removes noise from an input video signal and converts color information to gray scale.
단계(S150)에서, 카메라가 내 외장된 휴대기기는 검증된 예측 모델에 기초하여 결정된 카메라가 내 외장된 휴대기기의 이동 방향 및 속도를 스레스홀드로 설정한다. 이때, 상기 카메라가 내 외장된 휴대기기는 상기 영상 신호로부터 스레스홀드를 제외하여 영상 신호의 변화량을 측정할 수 있고 이로부터 입력 신호를 추출한다.In operation S150, the portable device having the camera embedded therein sets the moving direction and the speed of the portable device having the camera embedded therein as a threshold based on the verified prediction model. In this case, the portable device in which the camera is embedded may measure a change amount of the video signal by removing a threshold from the video signal and extract an input signal therefrom.
예를 들면, 3m/s의 속도로 카메라가 내 외장된 휴대기기의 액정의 위쪽 방향(북쪽 방향으로 본다)으로 등속도 운동하는 것을 예측 모델로 설정한 경우, 소정의 영상 신호를 분석한 결과 5m/s의 속도로 북서 방향으로 상기 카메라가 내 외장된 휴대기기가 이동한 경우, 상기 예측 모델에 따른 스레스홀드를 제거하면 실제적으로 사용자가 의도한 운동은 4m/s의 속도로 좌측으로 이동한 것이다. 따라서, 상기 영상 신호로부터 4m/s의 속도로 좌측 이동이라는 입력 신호가 추출될 수 있다.For example, when the predictive model is set to move the camera at a constant velocity in the upward direction (see north) of the liquid crystal of an external portable device at a speed of 3 m / s, the result of analyzing a predetermined video signal is 5 m. When the mobile device in which the camera is embedded in the northwest direction at a speed of / s is moved, when the threshold according to the predictive model is removed, the user actually moves the movement to the left at a speed of 4 m / s. will be. Therefore, an input signal called left shift can be extracted from the video signal at a speed of 4 m / s.
또한, 본 실시예에 따른 입력 방법에 있어서, 카메라가 내 외장된 휴대기기는 상기 입력 신호를 유효한 입력 신호로 볼 것인지 여부를 판단해야 한다. 상술한 바와 같이 카메라가 내 외장된 휴대기기에서 입력된 영상 신호를 분석함으로써 얻어지는 입력 신호는 예측 모델에 기반한 추정값이고, 그 이동 방향 및 속도는 키보드나 버튼 등 종래의 입력 장치와 같이 명확하게 얻어낼 수 없는 경우가 있다. 따라서, 입력된 영상 신호로부터 추출한 입력 신호가 정말로 사용자가 소정의 명령어를 입력하기 위해 의도한 결과 생성된 유효한 입력 신호인지 판단하기 위해 입력 신호의 보정 과정이 필요하다.In addition, in the input method according to the present embodiment, the portable device in which the camera is embedded must determine whether to view the input signal as a valid input signal. As described above, an input signal obtained by analyzing a video signal input from an external portable device of a camera is an estimated value based on a predictive model, and a moving direction and a speed thereof are obtained as clearly as in a conventional input device such as a keyboard or a button. You may not be able to. Therefore, a correction process of the input signal is necessary to determine whether the input signal extracted from the input image signal is really a valid input signal generated as a result of the user's intention to input a predetermined command.
특히, 카메라가 내 외장된 휴대기기는 휴대성이 강조되는 특성상 이동 중에 사용하는 빈도가 높아 고정되어 있지 않은 사용자의 손 동작에 영향을 받는 영상 신호를 입력 받게 된다. 그러므로 카메라가 내 외장된 휴대기기는 입력 영상의 분석을 통하여 입력 신호가 사용자의 의도와 상관 없는 손떨림에 의한 영상 신호의 변화가 입력 신호로 인식될 우려도 있다.In particular, the portable device in which the camera is embedded has a high frequency of use during movement due to the emphasis on portability, and thus receives an image signal that is affected by the hand motion of a user who is not fixed. Therefore, a mobile device in which the camera is embedded may be recognized as a change in the image signal due to the shaking of the input signal, regardless of the user's intention, by analyzing the input image.
도 3은 본 발명에 따른 카메라를 통해 입력된 영상 신호가 유효한지 여부를 판단하는 과정을 도시한 흐름도이다.3 is a flowchart illustrating a process of determining whether an image signal input through a camera according to the present invention is valid.
단계(S161)에서, 카메라가 내 외장된 휴대기기는 검증된 예측 모델에 기초하여 소정의 시점에서 입력될 것으로 예측되는 영상 신호와 상기 시점에서 카메라로부터 입력된 영상 신호를 비교한다.In operation S161, the portable device in which the camera is embedded compares the image signal predicted to be input at a predetermined time point with the image signal input from the camera at the time point based on the verified prediction model.
카메라가 내 외장된 휴대기기는 비교한 영상 신호에서 일치도를 산출하고(단계(S162)), 상기 산출된 일치도가 소정의 임계값 이상인 경우 상기 추출된 입력 신호를 유효한 입력 신호로 결정한다(단계(S163)).The portable device in which the camera is embedded in the camera calculates a match degree in the compared image signal (step S162), and when the calculated match degree is equal to or greater than a predetermined threshold value, the extracted input signal is determined as a valid input signal (step ( S163)).
만약 상기와 같이 산출된 일치도가 지나치게 낮은 경우, 입력 신호의 보정을 위한 내부 정보로만 저장하고 유효한 입력 신호로 인식하지 않는다. 또한, 카메라가 내 외장된 휴대기기는 일치도가 충분히 큰 경우라도 입력 신호가 충분히 크지 않은 경우(입력 장치의 움직임이 거의 없는 경우), 입력 신호의 보정을 위한 내부 정보로만 사용한다.If the coincidence calculated as described above is too low, it is stored only as internal information for correction of the input signal and is not recognized as a valid input signal. In addition, the portable device in which the camera is embedded is used only as internal information for correcting the input signal when the input signal is not large enough (when there is little movement of the input device) even when the match is large enough.
즉, 카메라가 내 외장된 휴대기기는 소정의 영상 신호의 변화에서 예측 모델에 따른 영상 신호의 변화 분을 제외한 영상 신호의 변화에 기여한 운동 분에 대해 입력 신호로 결정하면서도 상기 입력 신호가 사용자가 의도한 경우인지 단순히 손떨림에 의한 것인지 결정하기 위해, 소정의 기준 크기 미만의 크기를 갖는 입력 신호는 유효한 입력 신호로 인정하지 않는다.In other words, the mobile device in which the camera is embedded determines the input signal for the motion that contributed to the change in the video signal except for the change in the video signal according to the prediction model in the change of the predetermined video signal, but the input signal is intended by the user. In order to determine whether it is one case or simply by shaking, an input signal having a magnitude less than a predetermined reference magnitude is not recognized as a valid input signal.
상기 기준 크기는 적절하게 선택되어야 하며 상기 기준 크기가 너무 작으면, 사용자의 의도와 상관없는 단순한 손떨림에 의한 영상 신호의 변화가 유효한 입력 신호로 판단될 수 있고, 상기 기준 크기가 너무 크면 사용자가 의도한 입력 신호를 파악하지 못할 수 있다. 따라서, 카메라가 내 외장된 휴대기기는 사용자의 입력 신호 패턴에 따라 적절하게 상기 기준 크기를 설정하여 사용자의 의도에 부합하는 유효한 입력 신호를 인지할 수 있도록 한다. 또한, 본 발명의 또 다른 실시예에 따르면, 카메라가 내 외장된 휴대기기는 사용자가 반복적으로 수회 유효한 입력 신호를 입력하도록 한 후, 그 입력 신호의 크기에 따라 상기 기준 크기를 결정하도록 할 수도 있다. 따라서, 사용자 별로 특화된 기준 크기가 설정될 수 있다.The reference size should be appropriately selected and if the reference size is too small, a change in the image signal due to a simple hand motion irrelevant to the user's intention may be judged as an effective input signal, and if the reference size is too large, the user intends to One input signal may not be detected. Therefore, the portable device in which the camera is embedded can recognize the valid input signal corresponding to the user's intention by appropriately setting the reference size according to the user's input signal pattern. Further, according to another embodiment of the present invention, the portable device in which the camera is embedded may allow the user to repeatedly input an input signal validly several times, and then determine the reference size according to the size of the input signal. . Therefore, a reference size specialized for each user can be set.
또한, 카메라가 내 외장된 휴대기기에 내외장된 카메라 또는 상기 카메라를 제어하는 제어 모듈 등의 영상 장치 별로 사양 또는 특성이 틀릴 수 있으므로, 상기 일치도와 상기 임계값은 영상 장치 별로 유동적으로 설정될 수 있다. 따라서, 다양한 임계값에 대한 테스트를 거쳐 유효한 입력 신호를 정확하게 판별하는 최적의 성능을 보이는 임계값을 선택할 수도 있다.In addition, since specifications or characteristics may be different for each imaging device such as a camera embedded in a portable device having an internal or external camera or a control module for controlling the camera, the match and the threshold may be flexibly set for each imaging device. have. Accordingly, a threshold value having an optimal performance of accurately determining a valid input signal by testing various threshold values may be selected.
다시 도 1를 참조하여, 단계(S170)에서 카메라가 내 외장된 휴대기기는 출력된 유효한 입력 신호를 소정의 명령에 대응시킨다. 카메라가 내 외장된 휴대기기는 상기 저장 수단을 참조하여 상기 유효한 입력 신호에 대응하는 소정의 명령어를 검색하여, 검색된 명령어에 대응하는 소정의 동작을 실행시킨다.Referring back to FIG. 1, in step S170, the mobile device in which the camera is externally corresponds to a valid command outputted with a valid input signal. The mobile device having the camera embedded therein refers to the storage means to search for a predetermined command corresponding to the valid input signal and execute a predetermined operation corresponding to the searched command.
도 4a 내지 도 4c는 본 발명의 또 다른 실시예에 따른 "기준 영상 신호"를 이용하여 입력 신호를 추출하는 방법의 일예를 도시한 도면이다. 상술한 실시예에서는 상기 카메라로부터 입력되는 영상을 연속적으로 입력 받고 상기 영상의 변화에 기초하여 유효한 입력 신호를 산출하는 구성에 대해 기재했으며, 본 실시예에서는 상기 영상의 변화를 측정하기 위해 소정의 기준 영상 신호를 사용하는 경우에 대해 기재한다.4A to 4C illustrate an example of a method of extracting an input signal using a “reference video signal” according to another exemplary embodiment of the present invention. In the above-described embodiment, a configuration for continuously receiving an image input from the camera and calculating a valid input signal based on the change of the image is described. In the present embodiment, a predetermined criterion for measuring the change of the image is described. The case of using a video signal is described.
카메라가 내 외장된 휴대기기는 소정의 시점에서 카메라로부터 사용자를 촬영한 영상 신호를 입력 받고 상기 영상 신호를 기준 영상 신호로 설정한다. 도 4a는 기준 영상 신호를 나타낸다.The portable device in which the camera is embedded receives an image signal photographing a user from the camera at a predetermined time point and sets the image signal as a reference image signal. 4A shows a reference video signal.
지속적으로 사용자를 촬영하도록 사용자 방향으로 상기 카메라를 부착 또는 위치 변경하는 경우, 상기 사용자가 카메라가 내 외장된 휴대기기를 앞에 두고 바라보는 경우에는 상기 카메라는 상기 사용자를 지속적으로 촬영하게 된다. 따라서, 사용자를 대상으로 촬영한 영상 신호는 기준 영상 신호로서의 역할을 훌륭하게 수행할 수 있다. 특히, 사용자가 이동함에 따라 배경 화면이 변경되는 경우가 발생하더라도 기준 영상 신호가 기준으로서 정확하게 동작할 수 있도록 카메라가 내 외장된 휴대기기는 소정의 이미지 처리 과정을 거쳐 상기 사용자의 얼굴 부분만을 기준 영상 신호로 사용할 수도 있다.When the camera is attached or repositioned in the direction of the user to continuously photograph the user, the camera continuously photographs the user when the user looks in front of the external portable device. Therefore, the video signal captured by the user can perform a good role as a reference video signal. In particular, even if the background screen changes as the user moves, the mobile device in which the camera is externally executes a predetermined image processing process so that the reference video signal can operate accurately as a reference. Can also be used as a signal.
카메라가 내 외장된 휴대기기는 카메라로부터 도 4b에 도시한 바와 같은 이미지가 입력되는 경우 도 4a의 기준 영상 신호와 비교했을 때, 카메라가 내 외장된 휴대기기는 상기 사용자가 카메라가 내 외장된 휴대기기의 하단부를 회전축으로 해서 상기 카메라가 내 외장된 휴대기기를 좌측으로 회전 시켰음을 알 수 있다. 또한, 본 발명의 또 다른 실시예에 따르면 영상 신호의 변화가 발생한 경우, 영상 신호의 변화 정도, 영상 신호의 변화 속도 등을 고려하여 상기 영상 신호의 변화를 유효한 입력 신호로 결정할 지 여부를 판단할 수도 있다. 즉, 기준 영상 신호와 비교하여 입력된 영상 신호의 변화가 거의 없는 경우에는 유효한 입력 신호가 아니라고 판단하거나, 영상 신호의 변화 속도가 매우 느린 경우에도 유효한 입력 신호가 아니라고 판단할 수도 있다.When the mobile device having an internal camera is input from the camera as compared to the reference video signal of FIG. 4A when an image as shown in FIG. 4B is input, the mobile device having an internal camera is used by the user. It can be seen that the camera rotates the external portable device to the left using the lower end of the device as the rotation axis. According to another embodiment of the present invention, when a change in the video signal occurs, it is determined whether to determine the change in the video signal as a valid input signal in consideration of the change degree of the video signal, the change speed of the video signal, and the like. It may be. That is, when there is almost no change in the input video signal compared to the reference video signal, it may be determined that the input signal is not a valid input signal, or even when the change rate of the video signal is very slow, the input signal may not be valid.
도 4c는 기준 영상 신호(도 4a)와 비교 결과 사용자가 카메라가 내 외장된 휴대기기를 아래쪽으로 이동한 경우임을 알 수 있다. 도 4b 및 도 4c는 사용자의 모습이 기준 영상 신호와 비교할 때 원근 변화가 없는 경우만을 도시하고 있으나, 실시예에 따라 카메라가 내 외장된 휴대기기는 촬영된 이미지에서 사용자의 얼굴형태의 변화에 기초하여 입력 신호를 추출할 수도 있다. 예를 들면, 사용자의 얼굴이 기준 영상 신호로 설정된 이미지에 비해 가로 길이가 짧게 인식되는 경우 상기 카메라가 내 외장된 휴대기기는 상기 사용자가 카메라가 내 외장된 휴대기기를 전방으로 회전시켰음을 알 수 있다.4C shows that the user moves the external portable device to the bottom of the camera as a result of comparison with the reference video signal (FIG. 4A). 4B and 4C illustrate only a case in which the user's view does not have a perspective change when compared to the reference video signal. However, according to an exemplary embodiment, a mobile device having an internal camera is based on a change in the shape of a user's face in a captured image. It is also possible to extract the input signal. For example, when the user's face is recognized as having a shorter horizontal length than the image set as the reference video signal, the mobile device in which the camera is externally knows that the user has rotated the mobile device in which the camera is internally forward. have.
이와 같이 카메라가 내 외장된 휴대기기의 운동에 따른 입력 신호가 감지되는 경우, 카메라가 내 외장된 휴대기기는 저장 장치에 저장되어 있는 입력 신호 별 명령어 테이블을 이용하여 소정의 명령을 수행한다. 즉, 도 4b에서와 같이 좌측 회전 운동이 감지된 경우에는 카메라가 내 외장된 휴대기기에서 실행 중인 레이싱 게임에서 "좌회전" 명령이 입력된 것으로 판단한다. 또한, 카메라가 내 외장된 휴대기기는 입력 신호를 보다 정교하게 구분하여, 빠르게(소정값 이상의 각속도로) 카메라가 내 외장된 휴대기기가 좌회전 운동을 한 경우에는 "빠르게 좌회전" 명령이, 느리게(소정값 이내의 각속도로) 카메라가 내 외장된 휴대기기가 좌회전 운동을 한 경우에는 "보통 좌회전" 명령이 입력된 것으로 판단할 수 있다.When the input signal according to the movement of the mobile device in which the camera is externally detected is performed as described above, the mobile device in which the camera is internally executes a predetermined command by using a command table for each input signal stored in the storage device. That is, when a left rotational motion is detected as shown in FIG. 4B, it is determined that a "left turn" command is input to a racing game that is executed by a camera running on an external portable device. In addition, the mobile device having an internal camera separates input signals more precisely, so that when the mobile device having an internal camera moves leftwards at a faster speed (at an angular speed greater than a predetermined value), the "fast left turn" command is slow. At an angular velocity within a predetermined value) When the portable device in which the camera is mounted performs the left turn movement, it may be determined that the "normally left turn" command is input.
도 5는 본 발명에 따른 카메라를 이용해 입력 신호를 인지하는 카메라가 내 외장된 휴대기기의 내부 구성을 도시한 도면이다.5 is a diagram illustrating an internal configuration of a portable device in which a camera for recognizing an input signal using a camera according to the present invention is included.
카메라가 내 외장된 휴대기기(500)는 저장 수단(510), 예측 모델 설정부(520), 영상 입력부(530), 입력 신호 추출부(540), 명령어 선택부(550)를 포함한다.The portable device 500 in which the camera is embedded includes a storage means 510, a predictive model setting unit 520, an image input unit 530, an input signal extractor 540, and a command selector 550.
저장 수단(510)은 유효한 입력 신호 별 명령어에 대한 정보를 저장한다.The storage means 510 stores information about valid input signal instructions.
예측 모델 설정부(520)는 카메라가 내 외장된 휴대기기(500)의 이동 방향 및속도와 관련된 예측 모델을 설정하고, 상기 예측 모델을 검증한다. 예측 모델 설정부(520)는 이전에 입력된 영상 신호를 기초로 사용자의 예측 영상 신호 패턴에 따라 예측 모델을 선정하여 검증한다.The predictive model setting unit 520 sets a predictive model related to a moving direction and a speed of the mobile device 500 in which the camera is externally installed, and verifies the predictive model. The prediction model setting unit 520 selects and verifies the prediction model according to the prediction image signal pattern of the user based on the previously input image signal.
영상 입력부(530)는 카메라로부터 영상 신호를 입력 받는다. 영상 입력부(530)는 입력된 영상 신호에서 노이즈를 제거하고, 색상 정보를 그레이 스케일로 변환한다.The image input unit 530 receives an image signal from a camera. The image input unit 530 removes noise from the input image signal and converts color information to gray scale.
입력 신호 추출부(540)는 검증된 예측 모델에 기초하여 결정된 카메라가 내 외장된 휴대기기(500)의 이동 방향 및 속도를 스레스홀드로 설정하여 상기 입력된 영상 신호로부터 실제적으로 사용자가 입력하고자 했던 입력 신호를 추출하고, 추출된 입력 신호를 필터링하여 유효한 입력 신호를 출력한다.The input signal extractor 540 sets a moving direction and a speed of the mobile device 500 in which the camera is determined based on the verified predictive model as a threshold to actually input the user from the input image signal. The input signal is extracted, and the extracted input signal is filtered to output a valid input signal.
명령어 선택부(550)는 출력된 유효한 입력 신호를 소정의 명령어에 대응시킨다. 명령어 선택부(550)는 저장 수단을 참조하여 유효한 입력 신호에 대응하는 명령어를 추출하여 실행되는 응용 프로그램을 제어한다.The command selector 550 associates the output valid input signal with a predetermined command. The command selector 550 controls an application program to be executed by extracting a command corresponding to a valid input signal with reference to the storage means.
또한 본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Embodiments of the invention also include computer-readable media containing program instructions for performing various computer-implemented operations. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The medium or program instructions may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. The medium may be a transmission medium such as an optical or metal wire, a waveguide, or the like including a carrier wave for transmitting a signal specifying a program command, a data structure, or the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
도 6은 본 발명에 따른 카메라가 내 외장된 휴대기기를 이용한 입력 방법 등을 구성하는 데 채용될 수 있는 범용 컴퓨터 시스템의 내부 블록도 이다.6 is an internal block diagram of a general-purpose computer system that may be employed to configure an input method using a portable device in which the camera is mounted according to the present invention.
컴퓨터 시스템(600)은 램(RAM: Random Access Memory)(620)과 롬(ROM: Read Only Memory)(630)을 포함하는 주기억장치와 연결되는 하나 이상의 프로세서(610)를 포함한다. 프로세서(610)는 중앙처리장치(CPU)로 불리기도 한다. 본 기술분야에서 널리 알려져 있는 바와 같이, 롬(630)은 데이터(data)와 명령(instruction)을 단방향성으로 CPU에 전달하는 역할을 하며, 램(620)은 통상적으로 데이터와 명령을 양방향성으로 전달하는 데 사용된다. 램(620) 및 롬(630)은 컴퓨터 판독 가능 매체의 어떠한 적절한 형태를 포함할 수 있다. 대용량 기억장치(Mass Storage)(640)는 양방향성으로 프로세서(610)와 연결되어 추가적인 데이터 저장 능력을 제공하며, 상기된 컴퓨터 판독 가능 기록 매체 중 어떠한 것일 수 있다. 대용량 기억장치(640)는 프로그램, 데이터 등을 저장하는데 사용되며, 통상적으로 주기억장치보다 속도가 느린 하드디스크와 같은 보조기억장치이다. CD 롬(660)과 같은 특정 대용량 기억장치가 사용될 수도 있다. 프로세서(610)는 비디오 모니터, 트랙볼, 마우스, 키보드, 마이크로폰, 터치스크린 형 디스플레이, 카드 판독기, 자기 또는 종이 테이프 판독기, 음성 또는 필기 인식기, 조이스틱, 또는 기타 공지된 컴퓨터 입출력장치와 같은 하나 이상의 입출력 인터페이스(650)와 연결된다. 마지막으로, 프로세서(610)는 네트워크 인터페이스(670)를 통하여 유선 또는 무선 통신 네트워크에 연결될 수 있다. 이러한 네트워크 연결을 통하여 상기된 방법의 절차를 수행할 수 있다. 상기된 장치 및 도구는 컴퓨터 하드웨어 및 소프트웨어 기술 분야의 당업자에게 잘 알려져 있다.Computer system 600 includes one or more processors 610 connected to a main memory including random access memory (RAM) 620 and read only memory (ROM) 630. The processor 610 may also be called a central processing unit (CPU). As is well known in the art, the ROM 630 serves to transfer data and instructions to the CPU unidirectionally, and the RAM 620 typically transfers data and instructions bidirectionally. Used to. RAM 620 and ROM 630 may include any suitable form of computer readable media. Mass storage 640 is bidirectionally coupled to processor 610 to provide additional data storage capability, and may be any of the computer readable recording media described above. The mass storage device 640 is used to store programs, data, and the like, and is a secondary memory device such as a hard disk which is generally slower than the main memory device. Certain mass storage devices such as CD ROM 660 may be used. The processor 610 may include one or more input / output interfaces such as a video monitor, trackball, mouse, keyboard, microphone, touchscreen display, card reader, magnetic or paper tape reader, voice or handwriting reader, joystick, or other known computer input / output device. 650 is connected. Finally, the processor 610 may be connected to a wired or wireless communication network through the network interface 670. Through this network connection, the procedure of the method described above can be performed. The apparatus and tools described above are well known to those skilled in the computer hardware and software arts.
상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention.
본 발명에 따르면, 기존의 카메라가 내 외장된 휴대기기가 제공하는 입력 방법 외에 추가적인 입력 방법 및 그 장치가 제공된다.According to the present invention, an additional input method and an apparatus thereof are provided in addition to an input method provided by a portable device in which an existing camera is externally provided.
또한, 본 발명에 따르면, 카메라가 내 외장된 휴대기기의 내외장된 카메라로부터 입력되는 영상 신호를 이용하여 추가적인 하드웨어 장치를 장착하지 않고서도 카메라가 내 외장된 휴대기기로 사용자가 자연스럽고 간편하게 명령을 입력할 수 있는 입력 방법 및 장치가 제공된다.In addition, according to the present invention, a user can naturally and easily command a user to the external portable device without using an additional hardware device by using a video signal input from the internal and external camera of the external portable device. There is provided an input method and apparatus capable of inputting.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above-described embodiments, which can be variously modified and modified by those skilled in the art to which the present invention pertains. Modifications are possible. Thus, the invention idea should be construed only by the claims set out below, and all equivalent or equivalent modifications thereof will fall within the scope of the invention idea.
Claims (9)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040060186A KR20040081088A (en) | 2004-07-30 | 2004-07-30 | A input method using a portable devices which have inner or outer camera and apparatus thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040060186A KR20040081088A (en) | 2004-07-30 | 2004-07-30 | A input method using a portable devices which have inner or outer camera and apparatus thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20040081088A true KR20040081088A (en) | 2004-09-20 |
Family
ID=37365505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020040060186A KR20040081088A (en) | 2004-07-30 | 2004-07-30 | A input method using a portable devices which have inner or outer camera and apparatus thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20040081088A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006137670A1 (en) * | 2005-06-20 | 2006-12-28 | Samsung Electronics Co., Ltd. | Method for realizing user interface using camera and mobile communication terminal for the same |
-
2004
- 2004-07-30 KR KR1020040060186A patent/KR20040081088A/en not_active Application Discontinuation
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006137670A1 (en) * | 2005-06-20 | 2006-12-28 | Samsung Electronics Co., Ltd. | Method for realizing user interface using camera and mobile communication terminal for the same |
| US8694053B2 (en) | 2005-06-20 | 2014-04-08 | Samsung Electronics Co., Ltd. | Method for realizing user interface using camera and mobile communication terminal for the same |
| US8965452B2 (en) | 2005-06-20 | 2015-02-24 | Samsung Electronics Co., Ltd | Method for realizing user interface using camera and mobile communication terminal for the same |
| US9836196B2 (en) | 2005-06-20 | 2017-12-05 | Samsung Electronics Co., Ltd. | Method for realizing user interface using camera and mobile communication terminal for the same |
| US10545645B2 (en) | 2005-06-20 | 2020-01-28 | Samsung Electronics Co., Ltd | Method for realizing user interface using camera and mobile communication terminal for the same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102597680B1 (en) | Electronic device for providing customized quality image and method for controlling thereof | |
| CN109091869B (en) | Method and device for controlling action of virtual object, computer equipment and storage medium | |
| CN108304758B (en) | Face characteristic point tracking method and device | |
| CN108629354B (en) | Target detection method and device | |
| TWI489397B (en) | Method, apparatus and computer program product for providing adaptive gesture analysis | |
| CN109815150B (en) | Application testing method and device, electronic equipment and storage medium | |
| CN108668086B (en) | Automatic focusing method and device, storage medium and terminal | |
| WO2018219170A1 (en) | Focusing control method, computer device and computer readable storage medium | |
| CN109167893B (en) | Shot image processing method and device, storage medium and mobile terminal | |
| CN105205494B (en) | Similar pictures recognition methods and device | |
| WO2018133717A1 (en) | Image thresholding method and device, and terminal | |
| US11605965B2 (en) | Electronic device for adaptive power management | |
| CN111783747B (en) | Fingerprint acquisition method and device, storage medium and electronic equipment | |
| EP2571251B1 (en) | Image processor, image processing method, and computer readable medium | |
| CN108924452A (en) | Part record screen method, apparatus and computer readable storage medium | |
| WO2017173585A1 (en) | Photographing method and terminal | |
| CN113050860B (en) | Control identification method and related device | |
| CN114416260B (en) | Image processing method, device, electronic equipment and storage medium | |
| CN111656391A (en) | Image correction method and terminal | |
| CN110519503B (en) | Method for acquiring scanned image and mobile terminal | |
| KR101503017B1 (en) | Motion detecting method and apparatus | |
| CN113822322A (en) | Image processing model training method and text processing model training method | |
| CN114154068A (en) | Media content recommendation method and device, electronic equipment and storage medium | |
| CN108769538B (en) | Automatic focusing method and device, storage medium and terminal | |
| CN109302563B (en) | Anti-shake processing method and device, storage medium and mobile terminal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| G15R | Request for early publication | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |