KR101038323B1 - 영상인식기법을 이용한 화면 프레임 제어장치 - Google Patents

영상인식기법을 이용한 화면 프레임 제어장치 Download PDF

Info

Publication number
KR101038323B1
KR101038323B1 KR1020090090650A KR20090090650A KR101038323B1 KR 101038323 B1 KR101038323 B1 KR 101038323B1 KR 1020090090650 A KR1020090090650 A KR 1020090090650A KR 20090090650 A KR20090090650 A KR 20090090650A KR 101038323 B1 KR101038323 B1 KR 101038323B1
Authority
KR
South Korea
Prior art keywords
screen frame
user
frame control
image recognition
recognition technique
Prior art date
Application number
KR1020090090650A
Other languages
English (en)
Other versions
KR20110032906A (ko
Inventor
전형백
김섭곤
박석균
박정아
안윤석
이상민
이성범
이학성
임선빈
임원호
장경아
정도원
최성규
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42651126&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101038323(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020090090650A priority Critical patent/KR101038323B1/ko
Priority to US12/853,798 priority patent/US8587710B2/en
Priority to EP10172480A priority patent/EP2309720A1/en
Priority to CN201010284923.6A priority patent/CN102033696B/zh
Publication of KR20110032906A publication Critical patent/KR20110032906A/ko
Application granted granted Critical
Publication of KR101038323B1 publication Critical patent/KR101038323B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 영상인식기법을 이용한 화면 프레임 제어장치에 관한 것으로, 영상인식을 기법을 이용해 검출된 사용자 행동에 따라 이동단말 등의 화면표시수단을 통해 표시되는 화면 프레임을 제어하도록 구현함으로써 이동단말 등에서 사용자의 물리적인 조작없이 화면출력수단을 통해 표시되는 화면 프레임을 제어할 수 있어 사용자 편의성을 향상시킬 수 있도록 한 것이다.
영상인식, 이동단말, 카메라, 화면 프레임, 화면출력수단

Description

영상인식기법을 이용한 화면 프레임 제어장치{Picture frame processing apparatus used image recognition technicque}
본 발명은 화면 출력 제어 기술에 관련한 것으로, 특히 영상인식 기법을 이용해 이동단말 등의 화면출력수단을 통해 표시되는 화면 프레임을 제어하는 영상인식기법을 이용한 화면 프레임 제어장치에 관한 것이다.
종래의 경우, 사용자의 키 버튼 또는 터치 스크린 조작 등의 물리적인 조작에 의해 이동단말의 LCD 등의 화면표시수단을 통해 표시되는 화면 전체를 확대 또는 축소하는 기술이 있었다.
본 발명자는 사용자 편의성을 위해 이동단말 등에서 사용자의 물리적인 조작없이 화면출력수단을 통해 표시되는 화면 프레임을 제어하는 기술에 대한 연구를 하게 되었다.
본 발명은 상기한 취지하에 발명된 것으로, 영상인식을 기법을 이용해 검출된 사용자 행동에 따라 이동단말 등의 화면표시수단을 통해 표시되는 화면 프레임을 제어할 수 있는 영상인식기법을 이용한 화면 프레임 제어장치를 제공함을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 일 양상에 따르면, 영상인식기법을 이용한 화면 프레임 제어장치가 카메라에 의해 촬영되는 사용자 영상으로부터 특정 행동을 검출하여 특정 행동 검출시, 화면표시부를 통해 표시되는 화면 프레임의 제어를 수행하는 것을 특징으로 한다.
본 발명은 영상인식을 기법을 이용해 검출된 사용자 행동에 따라 이동단말 등의 화면표시수단을 통해 표시되는 화면 프레임을 제어함으로써 이동단말 등에서 사용자의 물리적인 조작없이 화면출력수단을 통해 표시되는 화면 프레임을 제어할 수 있으므로, 사용자 편의성을 향상시킬 수 있다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명 이 본 발명 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 발명 명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 은 본 발명에 따른 영상인식기법을 이용한 화면 프레임 제어장치의 일 실시예에 따른 블럭도이다. 이 실시예에 따른 영상인식기법을 이용한 화면 프레임 제어장치는 카메라를 구비한 이동단말 등에 탑재되는 하드웨어 또는 소프트웨어 또는 이들을 결합한 형태로 구현될 수 있다.
도면에 도시한 바와 같이, 이 실시예에 따른 영상인식기법을 이용한 화면 프레임 제어장치(100)는 행동 검출부(110)와, 화면 프레임 제어부(120)를 포함하여 이루어진다.
상기 행동 검출부(110)는 카메라(200)에 의해 촬영되는 사용자 영상으로부터 특정 행동을 검출한다. 상기 특정 행동은 영상인식 기법을 이용해 사용자 영상에 포함되는 특징점들의 변화를 분석함으로써 사용자의 움직임이나 표정 변화 등을 인식함에 의해 검출할 수 있다.
예컨대, 행동 검출부(110)가 사용자 영상으로부터 해당 사용자의 카메라쪽으로의 접근 또는 멀어짐을 검출하거나, 해당 사용자의 좌측 또는 우측으로의 움직임 을 검출하거나, 해당 사용자의 좌측 또는 우측 눈의 깜빡임을 검출하거나, 해당 사용자의 입 모양을 검출하거나, 해당 사용자 얼굴의 기울기를 검출하거나, 해당 사용자 얼굴의 좌측 또는 우측 회전을 검출하거나, 해당 사용자 얼굴의 찡그림을 검출하거나 하는 등의 사용자의 움직임이나 표정 변화 등을 인식함에 의해 특정 행동을 검출할 수 있다.
상기 화면 프레임 제어부(120)는 상기 행동 검출부(110)에 의해 특정 행동 검출시, 화면표시부(300)를 통해 표시되는 화면 프레임의 제어를 수행한다. 이 때, 상기 화면 프레임 제어부(120)가 상기 행동 검출부(110)에 의해 특정 행동 검출시, 화면표시부(300)를 통해 표시되는 화면 프레임의 확대 또는 축소를 제어하거나, 컬러 이펙트(Color Effect) 또는 화이트 벨런스(White Balance)를 변경하는 등의 화면 프레임에 속한 각 픽셀들의 좌표, 색상, 휘도를 변경함으로써 화면 프레임의 제어가 가능해진다.
화면 프레임의 확대 또는 축소를 제어하는 경우, 상기 화면 프레임 제어부(120)가 메모리에 저장된 화면 프레임의 확대 또는 축소를 제어할 수도 있고, 네트워크로부터 실시간 전송되는 화면 프레임의 확대 또는 축소를 제어할 수도 있다. 네트워크로부터 실시간 전송되는 화면 프레임의 경우 동일한 채널로부터 전송되는 화면 프레임일 수도 있고, 변경된 채널로부터 전송되는 화면 프레임일 수도 있다.
예컨대, 상기 화면 프레임 제어부(120)가 JPG 파일 등과 같이 하나의 레이어로 이루어지는 단일 구조 화면 프레임의 특정 또는 전체 영역의 확대 또는 축소를 제어하도록 구현할 수 있다.
예컨대, 상기 화면 프레임 제어부(120)가 포토샵 파일 등과 같이 다수의 레이어로 이루어지는 다층 구조 화면 프레임의 특정 레이어의 확대 또는 축소를 제어하도록 구현할 수 있다.
예컨대, 상기 화면 프레임 제어부(120)가 HTML 파일 등과 같이 다수의 객체들이 연관되어 이루어지는 트리 구조 화면 프레임의 특정 객체의 확대 또는 축소를 제어하도록 구현할 수도 있다.
따라서, 이 실시예에 따른 영상인식기법을 이용한 화면 프레임 제어장치(100)는 카메라(200)에 의해 촬영되는 사용자 영상으로부터 영상인식을 기법을 이용해 검출되는 사용자 행동에 따라 화면표시부(300)를 통해 표시되는 화면 프레임을 제어함으로써 이동단말 등에서 사용자의 물리적인 조작없이 화면 프레임을 확대하거나 또는 축소하는 등의 화면 프레임 제어가 가능해 사용자 편의성을 향상시킬 수 있다.
한편, 본 발명의 부가적인 양상에 따르면, 본 발명에 따른 영상인식기법을 이용한 화면 프레임 제어장치(100)가 기동부(130)를 더 포함할 수 있다. 상기 기동부(130)는 본 발명에 따른 영상인식기법을 이용한 화면 프레임 제어장치(100)의 화면 프레임 제어를 기동한다.
예컨대, 상기 기동부(130)가 사용자의 터치 스크린 동작에 의해 화면 프레임 제어를 기동하도록 구현할 수 있다. 즉, 이동단말의 터치 스크린 형태의 화면 표시부(300)를 통해 화면 프레임이 재생되는 상태에서 사용자가 터치 스크린상의 특정 위치를 터치하면, 기동부(130)가 카메라(200)를 구동하여 사용자 영상을 촬영한다.
그러면, 행동 검출부(110)가 카메라(200)에 의해 촬영되는 사용자 영상으로부터 특정 행동을 검출하고, 특정 행동 검출시 화면 프레임 제어부(120)가 화면표시부(300)를 통해 표시되는 화면 프레임의 제어를 수행한다.
이 때, 상기 화면 프레임 제어부(120)가 터치 스크린상의 터치 위치를 중심으로 화면 프레임의 확대 또는 축소를 제어하도록 구현할 수 있다. 즉, 사용자가 터치 스크린상의 특정 위치를 터치하면, 상기 기동부(130)에 의해 화면 프레임 제어가 기동되고, 카메라(200)에 의해 촬영되는 사용자 영상으로 행동 검출부(110)에 의해 특정 행동이 검출되면, 상기 화면 프레임 제어부(120)가 터치 스크린상의 터치 위치를 중심으로 화면 프레임의 확대 또는 축소를 제어한다.
따라서, 영상인식을 기법을 이용해 검출되는 사용자 행동에 따라 화면 프레임을 제어가 가능해 사용자의 물리적인 조작없이 화면 프레임을 확대하거나 또는 축소하는 등의 사용자 편의성을 향상시킬 수 있다.
한편, 본 발명의 부가적인 양상에 따르면, 본 발명에 따른 영상인식기법을 이용한 화면 프레임 제어장치(100)가 행동 설정부(140)를 더 포함할 수도 있다. 상기 행동 설정부(140)는 상기 행동검출부(110)에 의해 검출되는 특정 행동을 설정한다.
즉, 이 실시예는 행동 설정부(140)를 통해 화면 프레임을 제어를 수행할 특정 행동을 사용자로부터 설정받아 행동설정정보로 저장하도록 한 것이다. 저장된 행동설정정보는 행동검출부(110)에 의해 특정 행동 검출시 참조된다.
한편, 본 발명의 부가적인 양상에 따르면, 본 발명에 따른 영상인식기법을 이용한 화면 프레임 제어장치(100)가 음성 제어부(150)를 더 포함할 수도 있다. 상기 음성 제어부(150)는 상기 화면 프레임 제어부(120)에 의해 제어되는 화면 프레임과 연관된 음성을 제어한다.
즉, 이 실시예는 영상인식을 기법을 이용해 검출되는 사용자 행동에 따라 상기 화면 프레임 제어부(120)에 의해 제어되는 화면 프레임과 연관된 음성을 제어하도록 한 것으로, 상기 화면 프레임과 연관된 음성 제어는 화면 프레임 제어와 동시에 또는 화면 프레임 제어와는 별도로 제어될 수 있다.
예컨대, 상기 화면 프레임과 연관된 음성 제어는 음성 출력부(400)를 통해 출력되는 화면 프레임과 연관된 음성의 볼륨 업 또는 다운일 수 있다. 따라서, 영상인식을 기법을 이용해 검출되는 사용자 행동에 따라 화면 프레임과 연관된 음성 제어가 가능해 사용자의 물리적인 조작없이 화면 프레임과 연관된 음성의 볼륨을 업하거나 또는 다운하는 등의 사용자 편의성을 향상시킬 수 있다.
도 2 를 참조하여 상기한 바와 같은 구성을 갖는 본 발명에 따른 영상인식기법을 이용한 화면 프레임 제어장치의 화면 프레임 제어동작을 알아본다. 도 2 는 본 발명에 따른 영상인식기법을 이용한 화면 프레임 제어장치의 화면 프레임 제어 절차를 도시한 흐름도이다.
단계 S510 에서 사용자가 이동단말의 터치 스크린의 특정 위치를 터치하는 등의 행위에 의해 발생되는 기동 명령에 의해 카메라가 구동되어 사용자 영상이 촬영되면, 단계 S520 에서 영상인식기법을 이용한 화면 프레임 제어장치가 카메라에 의해 촬영되는 사용자 영상으로부터 특정 행동을 검출한다.
예컨대, 사용자 영상으로부터 해당 사용자의 카메라쪽으로의 접근 또는 멀어짐을 검출함으로써 특정 행동을 검출할 수 있다. 이 때, 사용자의 카메라쪽으로의 접근 또는 멀어짐 여부는 카메라에 의해 촬영되는 사용자 영상의 크기 변화를 인식함에 의해 검출할 수 있다.
예컨대, 사용자 영상으로부터 해당 사용자의 좌측 또는 우측으로의 움직임을 검출함으로써 특정 행동을 검출할 수 있다. 이 때, 사용자의 좌측 또는 우측으로의 움직임 여부는 카메라에 의해 촬영되는 사용자 영상에 포함되는 특징점들의 위치 이동 또는 회전 또는 기울임 등을 인식함에 의해 검출할 수 있다.
예컨대, 사용자 영상으로부터 해당 사용자의 좌측 또는 우측 눈의 깜빡임을 검출함으로써 특정 행동을 검출할 수 있다. 이 때, 사용자의 좌측 또는 우측 눈의 깜빡임 여부는 카메라에 의해 촬영되는 사용자 영상에 포함되는 좌측 또는 우측 눈과 관련한 특징점들의 변화를 인식함에 의해 검출할 수 있다.
예컨대, 사용자 영상으로부터 해당 사용자의 입 모양을 검출함으로써 특정 행동을 검출할 수 있다. 이 때, 사용자의 입 모양은 카메라에 의해 촬영되는 사용자 영상에 포함되는 입과 관련한 특징점들의 변화를 인식함에 의해 검출할 수 있다.
예컨대, 사용자 영상으로부터 해당 사용자 얼굴의 기울기를 검출함으로써 특정 행동을 검출할 수 있다. 이 때, 사용자 얼굴의 기울기는 카메라에 의해 촬영되는 사용자 영상에 포함되는 특징점들의 위치 이동 또는 회전 또는 기울임 등을 인식함에 의해 검출할 수 있다.
예컨대, 사용자 영상으로부터 해당 사용자 얼굴의 좌측 또는 우측 회전을 검출함으로써 특정 행동을 검출할 수 있다. 이 때, 사용자 얼굴의 좌측 또는 우측 회전 여부는 카메라에 의해 촬영되는 사용자 영상에 포함되는 특징점들의 위치 이동 또는 회전 또는 기울임 등을 인식함에 의해 검출할 수 있다.
예컨대, 사용자 영상으로부터 해당 사용자 얼굴의 찡그림을 검출함으로써 특정 행동을 검출할 수 있다. 이 때, 사용자 얼굴의 찡그림은 카메라에 의해 촬영되는 사용자 영상에 포함되는 눈, 코, 입과 관련한 특징점들의 변화를 인식함에 의해 검출할 수 있다.
만약, 상기 단계 S520에 의해 특정 행동이 검출되면, 영상인식기법을 이용한 화면 프레임 제어장치가 단계 S530 에서 이동단말 등의 화면표시부를 통해 표시되는 화면 프레임의 제어를 수행한다. 화면 프레임의 제어는 단계 S540 에서 미리 설정된 종료명령이 입력되기 전까지 유지된다.
이 때, 상기 단계 S530 에서의 화면 프레임 제어가 메모리에 저장된 화면 프레임의 확대 또는 축소를 제어하거나, 네트워크로부터 실시간 전송되는 화면 프레임의 확대 또는 축소를 제어하는 것 일 수 있다.
예컨대, 상기 단계 S530 에서 영상인식기법을 이용한 화면 프레임 제어장치 가 JPG 파일 등과 같이 하나의 레이어로 이루어지는 단일 구조 화면 프레임의 특정 또는 전체 영역의 확대 또는 축소를 제어할 수도 있다.
예컨대, 상기 단계 S530 에서 영상인식기법을 이용한 화면 프레임 제어장치가 포토샵 파일 등과 같이 다수의 레이어로 이루어지는 다층 구조 화면 프레임의 특정 레이어의 확대 또는 축소를 제어할 수도 있다.
예컨대, 상기 단계 S530 에서 영상인식기법을 이용한 화면 프레임 제어장치가 HTML 파일 등과 같이 다수의 객체들이 연관되어 이루어지는 트리 구조 화면 프레임의 특정 객체의 확대 또는 축소를 제어할 수도 있다.
따라서, 영상인식기법을 이용한 화면 프레임 제어장치가 카메라에 의해 촬영되는 사용자 영상으로부터 영상인식을 기법을 이용해 사용자 행동을 검출하고, 검출되는 사용자 행동에 따라 화면표시부를 통해 표시되는 화면 프레임을 제어함으로써 이동단말 등에서 사용자의 물리적인 조작없이 화면 프레임을 확대하거나 또는 축소하는 등의 화면 프레임 제어가 가능해 사용자 편의성을 향상시킬 수 있으므로, 상기에서 제시한 본 발명의 목적을 달성할 수 있게 된다.
다음은 본 발명에 따른 영상인식기법을 이용한 화면 프레임 제어장치를 이동단말에 적용한 예들을 설명한 것이다.
예를들면, 본 발명에 따른 영상인식기법을 이용한 화면 프레임 제어장치가 카메라에 의해 촬영되는 영상으로부터 사용자가 카메라쪽으로 접근한다 검출될 경우에는 화면표시부를 통해 표시되는 화면 프레임을 확대시키고, 멀어진다 검출될 경우에는 화면표시부를 통해 표시되는 화면 프레임을 축소시키도록 구현한다면, 사용자의 물리적인 조작 없이도 사용자의 카메라쪽으로의 접근 또는 멀어짐 동작에 의해 화면 프레임 제어가 가능하다.
예를들면, 본 발명에 따른 영상인식기법을 이용한 화면 프레임 제어장치가 카메라에 의해 촬영되는 영상으로부터 사용자가 좌측으로 움직인다 검출될 경우에는 화면표시부를 통해 표시되는 화면 프레임을 확대시키고, 우측으로 움직인다 검출될 경우에는 화면표시부를 통해 표시되는 화면 프레임을 축소시키도록 구현한다면, 사용자의 물리적인 조작 없이도 사용자의 좌측 또는 우측으로의 움직임 동작에 의해 화면 프레임 제어가 가능하다.
예를들면, 본 발명에 따른 영상인식기법을 이용한 화면 프레임 제어장치가 카메라에 의해 촬영되는 영상으로부터 사용자가 좌측 눈을 깜빡인다 검출될 경우에는 화면표시부를 통해 표시되는 화면 프레임을 확대시키고, 우측 눈을 깜빡인다 검출될 경우에는 화면표시부를 통해 표시되는 화면 프레임을 축소시키도록 구현한다면, 사용자의 물리적인 조작 없이도 사용자의 좌측 또는 우측 눈의 깜빡임 동작에 의해 화면 프레임 제어가 가능하다.
예를들면, 본 발명에 따른 영상인식기법을 이용한 화면 프레임 제어장치가 카메라에 의해 촬영되는 영상으로부터 사용자의 입 모양이 벌어졌다 검출될 경우에는 화면표시부를 통해 표시되는 화면 프레임을 확대시키고, 입 모양이 앞으로 내밀어졌다 검출될 경우에는 화면표시부를 통해 표시되는 화면 프레임을 축소시키도록 구현한다면, 사용자의 물리적인 조작 없이도 사용자의 입 모양에 의해 화면 프레임 제어가 가능하다.
예를들면, 본 발명에 따른 영상인식기법을 이용한 화면 프레임 제어장치가 카메라에 의해 촬영되는 영상으로부터 사용자 얼굴의 기울기가 앞으로 기울어졌다 검출될 경우에는 화면표시부를 통해 표시되는 화면 프레임을 확대시키고, 뒤로 기울어졌다 검출될 경우에는 화면표시부를 통해 표시되는 화면 프레임을 축소시키도록 구현한다면, 사용자의 물리적인 조작 없이도 사용자 얼굴의 기울임 동작에 의해 화면 프레임 제어가 가능하다.
예를들면, 본 발명에 따른 영상인식기법을 이용한 화면 프레임 제어장치가 카메라에 의해 촬영되는 영상으로부터 사용자 얼굴이 좌측으로 회전되었다 검출될 경우에는 화면표시부를 통해 표시되는 화면 프레임을 확대시키고, 우측으로 회전되었다 검출될 경우에는 화면표시부를 통해 표시되는 화면 프레임을 축소시키도록 구현한다면, 사용자의 물리적인 조작 없이도 사용자 얼굴의 좌측 또는 우측 회전 동작에 의해 화면 프레임 제어가 가능하다.
예를들면, 본 발명에 따른 영상인식기법을 이용한 화면 프레임 제어장치가 카메라에 의해 촬영되는 영상으로부터 사용자 얼굴이 찡그러졌다 검출될 경우에는 화면표시부를 통해 표시되는 화면 프레임을 확대시키고, 사용자 얼굴이 웃는다 검출될 경우에는 화면표시부를 통해 표시되는 화면 프레임을 축소시키도록 구현한다면, 사용자의 물리적인 조작 없이도 사용자 얼굴의 표정에 의해 화면 프레임 제어가 가능하다.
한편, 본 발명의 부가적인 양상에 따르면, 본 발명에 따른 영상인식기법을 이용한 화면 프레임 제어장치가 사용자의 카메라쪽으로의 접근 또는 멀어짐 속도나 횟수, 사용자의 좌측 또는 우측으로의 움직임 속도나 횟수, 사용자의 좌측 또는 우측 눈의 깜빡임 속도나 횟수, 사용자의 입 모양의 벌어짐 정도, 사용자 얼굴의 기울기 정도, 사용자 얼굴의 좌측 또는 우측 회전 속도나 횟수, 사용자 얼굴의 찡그림 정도를 반영하여 화면 프레임의 확대 또는 축소 정도를 가변 제어하도록 구현할 수 있다.
예를들면, 사용자 얼굴이 앞으로 한번 기울어졌다 검출될 경우에는 화면 프레임을 150% 확대하고, 두번 기울어졌다 검출될 경우에는 화면 프레임을 200% 확대하도록 구현한다면, 사용자의 움직임 정도나 표정 정도에 따라 화면 프레임의 확대 또는 축소 정도를 가변 제어할 수 있다.
본 발명은 첨부된 도면에 의해 참조되는 바람직한 실시예를 중심으로 기술되었지만, 이러한 기재로부터 후술하는 특허청구범위에 의해 포괄되는 범위 내에서 본 발명의 범주를 벗어남이 없이 다양한 변형이 가능하다는 것은 명백하다.
본 발명은 화면 출력 제어 기술분야 및 이의 응용 기술분야에서 산업상으로 이용 가능하다.
도 1 은 본 발명에 따른 영상인식기법을 이용한 화면 프레임 제어장치의 일 실시예에 따른 블럭도
도 2 는 본 발명에 따른 영상인식기법을 이용한 화면 프레임 제어장치의 화면 프레임 제어 절차를 도시한 흐름도
<도면의 주요 부분에 대한 부호의 설명>
100 : 화면 프레임 제어장치 110 : 행동 검출부
120 : 화면 프레임 제어부 130 : 기동부
140 : 행동 설정부 150 : 음성 제어부
200 : 카메라 300 : 화면 표시부
400 : 음성 출력부

Claims (19)

  1. 화면 프레임 제어장치에 있어서,
    카메라에 의해 촬영되는 사용자 영상으로부터 특정 행동을 검출하는 행동 검출부와;
    상기 행동 검출부에 의해 특정 행동 검출시, 화면표시부를 통해 표시되는 화면 프레임의 제어를 수행하는 화면 프레임 제어부를;
    포함하여 이루어지는 것을 특징으로 하는 영상인식기법을 이용한 화면 프레임 제어장치.
  2. 제 1 항에 있어서,
    상기 화면 프레임 제어부가:
    화면 프레임의 확대 또는 축소를 제어하는 것을 특징으로 하는 영상인식기법을 이용한 화면 프레임 제어장치.
  3. 제 2 항에 있어서,
    상기 화면 프레임 제어부가:
    하나의 레이어로 이루어지는 단일 구조 화면 프레임의 특정 또는 전체 영역의 확대 또는 축소를 제어하는 것을 특징으로 하는 영상인식기법을 이용한 화면 프레임 제어장치.
  4. 제 2 항에 있어서,
    상기 화면 프레임 제어부가:
    다수의 레이어로 이루어지는 다층 구조 화면 프레임의 특정 레이어의 확대 또는 축소를 제어하는 것을 특징으로 하는 영상인식기법을 이용한 화면 프레임 제어장치.
  5. 제 2 항에 있어서,
    상기 화면 프레임 제어부가:
    다수의 객체들이 연관되어 이루어지는 트리 구조 화면 프레임의 특정 객체의 확대 또는 축소를 제어하는 것을 특징으로 하는 영상인식기법을 이용한 화면 프레임 제어장치.
  6. 제 2 항에 있어서,
    상기 화면 프레임 제어부가:
    메모리에 저장된 화면 프레임의 확대 또는 축소를 제어하는 것을 특징으로 하는 영상인식기법을 이용한 화면 프레임 제어장치.
  7. 제 2 항에 있어서,
    상기 화면 프레임 제어부가:
    네트워크로부터 실시간 전송되는 화면 프레임의 확대 또는 축소를 제어하는 것을 특징으로 하는 영상인식기법을 이용한 화면 프레임 제어장치.
  8. 제 1 항에 있어서,
    영상인식기법을 이용한 화면 프레임 제어장치가:
    화면 프레임 제어를 기동하는 기동부를;
    더 포함하는 것을 특징으로 하는 영상인식기법을 이용한 화면 프레임 제어장치.
  9. 제 8 항에 있어서,
    상기 기동부가:
    사용자의 터치 스크린 동작에 의해 화면 프레임 제어를 기동하는 것을 특징으로 하는 영상인식기법을 이용한 화면 프레임 제어장치.
  10. 제 9 항에 있어서,
    상기 화면 프레임 제어부가:
    터치 스크린상의 터치 위치를 중심으로 화면 프레임의 확대 또는 축소를 제어하는 것을 특징으로 하는 영상인식기법을 이용한 화면 프레임 제어장치.
  11. 제 1 항에 있어서,
    상기 영상인식기법을 이용한 화면 프레임 제어장치가:
    상기 행동검출부에 의해 검출되는 특정 행동을 설정하는 행동 설정부를;
    더 포함하는 것을 특징으로 하는 영상인식기법을 이용한 화면 프레임 제어장치.
  12. 제 1 항에 있어서,
    상기 영상인식기법을 이용한 화면 프레임 제어장치가:
    상기 화면 프레임 제어부에 의해 제어되는 화면 프레임과 연관된 음성을 제어하는 음성 제어부를;
    더 포함하는 것을 특징으로 하는 영상인식기법을 이용한 화면 프레임 제어장치.
  13. 제 1 항 내지 제 12 항 중의 어느 한 항에 있어서,
    상기 행동 검출부가:
    사용자 영상으로부터 해당 사용자의 카메라쪽으로의 접근 또는 멀어짐을 검출하는 것을 특징으로 하는 영상인식기법을 이용한 화면 프레임 제어장치.
  14. 제 1 항 내지 제 12 항 중의 어느 한 항에 있어서,
    상기 행동 검출부가:
    사용자 영상으로부터 해당 사용자의 좌측 또는 우측으로의 움직임을 검출하는 것을 특징으로 하는 영상인식기법을 이용한 화면 프레임 제어장치.
  15. 제 1 항 내지 제 12 항 중의 어느 한 항에 있어서,
    상기 행동 검출부가:
    사용자 영상으로부터 해당 사용자의 좌측 또는 우측 눈의 깜빡임을 검출하는 것을 특징으로 하는 영상인식기법을 이용한 화면 프레임 제어장치.
  16. 제 1 항 내지 제 12 항 중의 어느 한 항에 있어서,
    상기 행동 검출부가:
    사용자 영상으로부터 해당 사용자의 입 모양을 검출하는 것을 특징으로 하는 영상인식기법을 이용한 화면 프레임 제어장치.
  17. 제 1 항 내지 제 12 항 중의 어느 한 항에 있어서,
    상기 행동 검출부가:
    사용자 영상으로부터 해당 사용자 얼굴의 기울기를 검출하는 것을 특징으로 하는 영상인식기법을 이용한 화면 프레임 제어장치.
  18. 제 1 항 내지 제 12 항 중의 어느 한 항에 있어서,
    상기 행동 검출부가:
    사용자 영상으로부터 해당 사용자 얼굴의 좌측 또는 우측 회전을 검출하는 것을 특징으로 하는 영상인식기법을 이용한 화면 프레임 제어장치.
  19. 제 1 항 내지 제 12 항 중의 어느 한 항에 있어서,
    상기 행동 검출부가:
    사용자 영상으로부터 해당 사용자 얼굴의 찡그림을 검출하는 것을 특징으로 하는 영상인식기법을 이용한 화면 프레임 제어장치.
KR1020090090650A 2009-09-24 2009-09-24 영상인식기법을 이용한 화면 프레임 제어장치 KR101038323B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020090090650A KR101038323B1 (ko) 2009-09-24 2009-09-24 영상인식기법을 이용한 화면 프레임 제어장치
US12/853,798 US8587710B2 (en) 2009-09-24 2010-08-10 Apparatus and method for controlling picture using image recognition
EP10172480A EP2309720A1 (en) 2009-09-24 2010-08-11 Apparatus and method for controlling picture using image recognition
CN201010284923.6A CN102033696B (zh) 2009-09-24 2010-09-17 图片控制装置和图片控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090090650A KR101038323B1 (ko) 2009-09-24 2009-09-24 영상인식기법을 이용한 화면 프레임 제어장치

Publications (2)

Publication Number Publication Date
KR20110032906A KR20110032906A (ko) 2011-03-30
KR101038323B1 true KR101038323B1 (ko) 2011-06-01

Family

ID=42651126

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090090650A KR101038323B1 (ko) 2009-09-24 2009-09-24 영상인식기법을 이용한 화면 프레임 제어장치

Country Status (4)

Country Link
US (1) US8587710B2 (ko)
EP (1) EP2309720A1 (ko)
KR (1) KR101038323B1 (ko)
CN (1) CN102033696B (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2613687B1 (en) 2010-09-08 2016-11-02 Covidien LP Catheter with imaging assembly
CN102841725A (zh) * 2011-06-21 2012-12-26 鸿富锦精密工业（深圳）有限公司 电子装置及其屏幕信息调整方法
CN102841676A (zh) * 2011-06-23 2012-12-26 鸿富锦精密工业（深圳）有限公司 网页浏览控制***及方法
CN102955565A (zh) * 2011-08-31 2013-03-06 德信互动科技（北京）有限公司 人机互动***和方法
US10890965B2 (en) * 2012-08-15 2021-01-12 Ebay Inc. Display orientation adjustment using facial landmark information
CN103631365B (zh) * 2012-08-22 2016-12-21 ***通信集团公司 一种终端输入控制方法及装置
USD717340S1 (en) 2012-09-07 2014-11-11 Covidien Lp Display screen with enteral feeding icon
US9517184B2 (en) 2012-09-07 2016-12-13 Covidien Lp Feeding tube with insufflation device and related methods therefor
USD735343S1 (en) 2012-09-07 2015-07-28 Covidien Lp Console
US9198835B2 (en) 2012-09-07 2015-12-01 Covidien Lp Catheter with imaging assembly with placement aid and related methods therefor
USD716841S1 (en) 2012-09-07 2014-11-04 Covidien Lp Display screen with annotate file icon
KR102003371B1 (ko) 2012-11-16 2019-10-01 삼성전자주식회사 화면 밝기를 조절하는 전자 장치 및 방법
CN103475758B (zh) * 2013-08-30 2016-04-27 杨堃 一种手机
CN105487648A (zh) * 2014-09-16 2016-04-13 深圳富泰宏精密工业有限公司 增加镜头功能的软件控制***及方法
CN106445272A (zh) * 2015-08-10 2017-02-22 中兴通讯股份有限公司 一种移动终端上的图片显示方法及相应的移动终端
CN110070063B (zh) * 2019-04-29 2020-06-30 北京字节跳动网络技术有限公司 目标对象的动作识别方法、装置和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040023088A (ko) * 2002-09-10 2004-03-18 엘지전자 주식회사 사용자의 위치에 따라 최적의 영상을 제공하는 영상 표시장치 및 방법
KR20080041051A (ko) * 2006-11-06 2008-05-09 주식회사 시공테크 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스방법 및 장치
KR20090060547A (ko) * 2007-12-10 2009-06-15 주식회사유넷컨버전스 사용자 인식형 전자식 광고판 및 전자식 액자
KR20090064680A (ko) * 2007-12-17 2009-06-22 한국전자통신연구원 머리 제스처를 이용한 사용자 인터페이스 장치 및 그 방법

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9614837D0 (en) * 1996-07-12 1996-09-04 Rank Xerox Ltd Interactive desktop system with multiple image capture and display modes
JP3535693B2 (ja) * 1997-04-30 2004-06-07 キヤノン株式会社 携帯電子機器、画像処理方法、撮像装置及びコンピュータ読み取り可能な記録媒体
US6211856B1 (en) * 1998-04-17 2001-04-03 Sung M. Choi Graphical user interface touch screen with an auto zoom feature
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US7158172B2 (en) * 2000-06-20 2007-01-02 Fuji Photo Film Co., Ltd. Digital camera with an automatic image transmission function
KR100413267B1 (ko) 2001-11-14 2004-01-03 에스케이텔레텍주식회사 얼굴의 특정부위 인식을 이용한 카메라의 자동 추적장치를구비하는 이동통신 단말기
KR100513739B1 (ko) 2002-08-23 2005-09-09 삼성전자주식회사 얼굴특징을 이용한 움직임 검출장치 및 이를 적용한감시시스템
KR100455294B1 (ko) 2002-12-06 2004-11-06 삼성전자주식회사 감시 시스템에서의 사용자 검출 방법, 움직임 검출 방법및 사용자 검출 장치
KR100464040B1 (ko) 2002-12-16 2005-01-03 엘지전자 주식회사 얼굴 움직임을 이용한 이동 통신 단말기의 제어 방법
JP4401804B2 (ja) * 2004-02-06 2010-01-20 キヤノン株式会社 撮像装置及びその制御方法
US7502036B2 (en) * 2004-03-03 2009-03-10 Virtual Iris Studios, Inc. System for delivering and enabling interactivity with images
JP2008508628A (ja) 2004-08-02 2008-03-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ タッチスクリーンにおける圧力制御ナビゲーション
KR100724939B1 (ko) 2005-06-20 2007-06-04 삼성전자주식회사 카메라부를 이용한 유저 인터페이스 구현 방법 및 이를위한 이동통신단말기
DE602006009191D1 (de) 2005-07-26 2009-10-29 Canon Kk Bildaufnahmegerät und -verfahren
JP4717539B2 (ja) 2005-07-26 2011-07-06 キヤノン株式会社 撮像装置及び撮像方法
KR20070023863A (ko) 2005-08-25 2007-03-02 주식회사 팬택앤큐리텔 사용자 움직임 인식을 통한 캐릭터 몸매 관리가 가능한이동통신 단말기
KR20070045664A (ko) 2005-10-28 2007-05-02 주식회사 팬택 이동통신단말기의 제어 방법
US7721207B2 (en) * 2006-05-31 2010-05-18 Sony Ericsson Mobile Communications Ab Camera based control
US7715598B2 (en) * 2006-07-25 2010-05-11 Arsoft, Inc. Method for detecting facial expressions of a portrait photo by an image capturing electronic device
JP4849988B2 (ja) * 2006-07-31 2012-01-11 三洋電機株式会社 撮像装置及び出力画像生成方法
US9317124B2 (en) * 2006-09-28 2016-04-19 Nokia Technologies Oy Command input by hand gestures captured from camera
US7995794B2 (en) * 2007-03-02 2011-08-09 Sony Ericsson Mobile Communications Ab Remote control of an image capturing unit in a portable electronic device
KR100790143B1 (ko) 2007-03-14 2008-01-02 삼성전자주식회사 카메라부를 이용한 사용자 인증 방법 및 이를 위한이동통신단말기
KR100724914B1 (ko) 2007-04-10 2007-06-04 삼성전자주식회사 카메라부를 이용한 유저 인터페이스 구현 방법 및 이를위한 이동통신단말기
KR100912511B1 (ko) * 2007-12-03 2009-08-17 한국전자통신연구원 사용자 적응형 제스처 인식 방법 및 그 시스템
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
KR100978929B1 (ko) * 2008-06-24 2010-08-30 한국전자통신연구원 기준 제스처 데이터 등록방법, 이동단말의 구동방법 및이를 수행하는 이동단말
US7990421B2 (en) * 2008-07-18 2011-08-02 Sony Ericsson Mobile Communications Ab Arrangement and method relating to an image recording device
JP4720874B2 (ja) * 2008-08-14 2011-07-13 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US20100138797A1 (en) * 2008-12-01 2010-06-03 Sony Ericsson Mobile Communications Ab Portable electronic device with split vision content sharing control and method
US8379134B2 (en) * 2010-02-26 2013-02-19 Research In Motion Limited Object detection and selection using gesture recognition
KR20130037998A (ko) * 2011-10-07 2013-04-17 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040023088A (ko) * 2002-09-10 2004-03-18 엘지전자 주식회사 사용자의 위치에 따라 최적의 영상을 제공하는 영상 표시장치 및 방법
KR20080041051A (ko) * 2006-11-06 2008-05-09 주식회사 시공테크 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스방법 및 장치
KR20090060547A (ko) * 2007-12-10 2009-06-15 주식회사유넷컨버전스 사용자 인식형 전자식 광고판 및 전자식 액자
KR20090064680A (ko) * 2007-12-17 2009-06-22 한국전자통신연구원 머리 제스처를 이용한 사용자 인터페이스 장치 및 그 방법

Also Published As

Publication number Publication date
CN102033696A (zh) 2011-04-27
EP2309720A1 (en) 2011-04-13
US8587710B2 (en) 2013-11-19
CN102033696B (zh) 2014-04-23
KR20110032906A (ko) 2011-03-30
US20110069215A1 (en) 2011-03-24

Similar Documents

Publication Publication Date Title
KR101038323B1 (ko) 영상인식기법을 이용한 화면 프레임 제어장치
KR101078057B1 (ko) 영상인식기법을 이용한 촬영 제어 기능을 구비한 이동단말 및 영상인식기법을 이용한 촬영 제어 시스템
US11012639B2 (en) Apparatus and method for processing an image in device
KR101373333B1 (ko) 터치인식을 통한 영상촬영 기능을 구비한 휴대 단말기 및그 촬영방법
KR101773845B1 (ko) 휴대용 단말기에서 입력 처리 방법 및 장치
US9886086B2 (en) Gesture-based reorientation and navigation of a virtual reality (VR) interface
EP2214079B1 (en) Display apparatus, display control method, and display control program
WO2022100712A1 (zh) 真实环境画面中虚拟道具的显示方法、***及存储介质
JP5591006B2 (ja) 自動追尾カメラシステムの制御装置及びそれを有する自動追尾カメラシステム
KR101797260B1 (ko) 정보 처리 장치, 정보 처리 시스템 및 정보 처리 방법
JP2012227737A (ja) カメラ装置の自動追尾制御装置及びそれを有する自動追尾カメラシステム
CN111418202A (zh) 相机缩放级别和图像帧捕获控制
CN107426502A (zh) 拍摄方法及装置、电子设备
CN113840070B (zh) 拍摄方法、装置、电子设备及介质
JP2011123501A (ja) 表示装置、表示制御方法および表示制御プログラム
WO2012149713A1 (zh) 一种人机交互的方法及装置
JP6772777B2 (ja) 情報処理装置及びプログラム
KR20160088719A (ko) 이미지를 촬영하는 전자 장치 및 방법
KR102077675B1 (ko) 이동 단말기 및 그것의 제어방법
CN109960406B (zh) 基于双手手指之间动作的智能电子设备手势捕获与识别技术
CN109993059B (zh) 智能电子设备上基于单摄像头的双目视觉与物体识别技术
KR101720607B1 (ko) 영상 촬영 장치 및 그 동작 방법
KR20130068943A (ko) 동작 인식을 이용한 차량주변 촬영시스템
EP4387253A1 (en) Video recording method and apparatus, and storage medium
WO2023226694A1 (zh) 录像方法、装置及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140430

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150429

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160517

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171030

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181030

Year of fee payment: 8