KR20140039395A - 가상 장치를 제어하는 스마트폰 - Google Patents

Abstract

본 발명은 허공에 가상의 키보드나 전화번호판, 메뉴판, 도구판, 컨트롤판, 컴퓨터 바탕화면, 웹이나 문서, 지도 등을 고정시킨 후 이를 클릭하거나 드래그 하는 등의 방법으로 제어하는 3D 가속도계, 3D 자이로스코프를 장착한 스마트폰이다. 스마트폰의 공간상의 움직임을 추적해서 허공에 고정된 가상 장치에 있는 키나 메뉴나 도구 등을 클릭하거나 드래그 한다. 문서나 지도는 허공에 고정되어 있고 스마트폰을 움직여서 그 전체나 일부를 본다. x, y 축으로 가상 장치의 평면을 움직이며 z축으로 홱 움직이는 것(jerk)을 이용해 클릭 하거나 홱 움직인채 머물러 드래그 상태가 되게 한 후 x, y축으로 드래그 한다. 가상의 화면은 사용자 앞에 고정한 것과 같고 그것을 보기 위해 스마트폰을 움직이는 것인데 허공에 고정된 가상의 화면은 좌우 기울기가 다를 수도 있고 전후 기울기가 다를 수도 있고 사용자로부터 거리가 다를 수도 있다. 가상의 고정된 장치는 여러 위치에 여러 크기로, 여러 각도로, 여러 개가 동시에 있을 수도 있다. 이들은 고정되어 있고 스마트폰을 움직여서 이를 클릭, 드래그, 조종하는 것이다.

Description

가상 장치를 제어하는 스마트폰{Virtual device control smartphone}

본 발명은 허공에 고정시킨 가상의 장치를 제어하는 스마트폰에 관한 것이다.

3D 자이로스코프, 3D 가속도계, 나침반, GPS http://www.youtube.com/watch?v=C7JQ7Rpwn2k&feature=related

전철이나 버스에서 스마트폰을 한 손으로 잡고, 다른 손은 가방을 들거나 전철 손잡이를 잡고 있을 때 문자를 보내거나 전화 번호를 누르거나 하는 스마트폰 조작을 한손으로 하는 방법은 스마트폰을 쥐고 있는 손으로 터치스크린을 조작하는 것 밖에 없다. 커다란 스마트폰을 한 손으로 쥔 채 쥔 손으로 조작하는 것은 스마트폰을 떨어뜨릴 수도 있어 불안하다. 음성으로 하는 것도 있지만 여러 사람이 탄 곳에서 말로 하기도 불편하다. 입술을 읽는 것도 아직은 불완전하다. 본 발명은 스마트폰을 손으로 확실히 쥐고 문자를 입력하거나 전화번호를 입력하거나 화면의 메뉴나 도구들을 조작할 수 있는 스마트폰이다.

요즘 스마트폰에는 아주 작은 3D 가속도계(accelerometer), 3D 자이로스코프(gyroscope), 나침반(compass), GPS 칩이 들어있다. 이들 중 일부는 한 칩에 통합되어 있기도 하다. 이들은 대개 동작처리장치(motion processing unit)와 통합되어 있다. 이를 이용해서 전화가 오면 흔들어서 통화를 시작하거나, 흔들어서 전화를 걸거나, 다음 사진 보기를 하거나 기울여서 기울이는 각도로 게임 아이콘을 움직이거나 지도를 움직이거나 다음사진 보기를 하거나 한다. 휴대폰의 움직임을 감지해서 게임이나 원하는 입력을 하는 것이다. 그런데 기울이는 것은 얼마나 기울였는지 사람이 감지하기 어려워서 스마트폰과 상호작용하기 어렵다. 흔들거나 뒤집거나 하는 큰 동작이나 단순한 동작은 종류가 제한된다. 본 발명은 스마트폰의 위와같은 센서들을 이용해서 허공에 고정시킨 가상의 키보드나 메뉴판, 숫자판, 각종 아이콘이나 도구 등이 있는 가상의 컴퓨터의 화면을 스마트폰을 움직여서 조작할 수 있는 스마트폰이다. 본 발명은 3D 가속도계와 자이로스코프를 이용해서 스마트폰의 공간상의 움직임을 추적해서 공간상에서 x축 y축 이동 거리, 속도 값을 마우스의 2차원 움직임처럼 사용하고 z축 이동 거리, 속도 값을 마우스 버튼의 클릭처럼 사용해서 스마트폰 화면에 나타나는 키보드나 메뉴나 아이콘 등 마우스나 터치스크린으로 선택하고 드래그하거나 클릭할 수 있는 것들을 스마트폰을 움직여서 선택하고 클릭하거나 드래그할 수 있다.

고정된 스마트폰 화면에서 키보드나 지도가 움직이는게 아니고 가상의 키보드나 지도는 허공에 고정되어 있고 스마트폰을 움직여 지도, 키보드 키들을 보고 선택할 수 있고 지도 곳곳을 볼 수 있다. 문서가 스마트폰 화면속에서 움직이는게 아니고 문서는 허공에 고정되어 있고 스마트폰을 x,y 로 움직여서 문서를 본다. 데스크톱 PC, 노프북PC, 테블릿PC 등 화면이 있는 장치들과 스마트폰을 무선연결해서 이들의 제어 장치를 가상으로 허공에 고정시키고 스마트폰을 움직여서 버튼이나 아이콘을 조종할 수도 있다.

본 발명을 사용하면 한 손밖에 쓸 수 없을 때 한 손으로 PC에서 마우스로 할 수 있거나 테블릿이나 스마트폰에서 터치스크린 터치 따위로 할 수 있는 것들을 한 손에 스마트폰을 안정되게 쥔채 다 할 수 있다. PC나 스마트 TV 등과 무선 연결해서 스마트폰을 입력장치로 사용할 수 있다. 스마트폰을 리모콘이나 레이저 포인터, 닌텐도 위 컨트롤러 같은 장치처럼 사용할 수 있다. 본 발명은 3D 가속도계와 자이로스코프를 이용해서 스마트폰의 공간상의 움직임을 추적해서 x축 y축 이동값을 받아서 허공에 있는 가상의 키보드나 전화번호 숫자패드, 메뉴 아이콘, 비디오 오디오 컨트롤 버튼이나 슬라이드, 웹이나 문서 페이지의 스크롤바나 도구상자 버튼 따위를 선택하고, z축으로 홱 움직이는 것(jerk)을 이용해 클릭 하거나 홱 움직인채 머물러 드래그 상태가 되게 한 후 x축이나 y축으로 드래그 함으로써 제어하는 스마트폰이다. 가상의 화면은 사용자 앞에 고정된 것과 같고 그것을 보기 위해 스마트폰을 움직이는 것이다. 지도를 보기 위해 스마트폰 화면에서 지도가 움직이는게 아니고 가상의 지도는 앞에 허공에 고정되어 있고 스마트폰을 움직여 지도 곳곳을 보는 것이고 스마트폰을 몸에서 멀리 밀면 지도가 확대되어 보이고 당기면 작게 보이게 할 수도 있다(또는 그 반대로 사용자가 선택가능). 문서가 스마트폰 화면속에서 움직이는게 아니고 문서는 허공의 공간에 고정되어 있고 스마트폰을 x,y로 움직여서 문서를 보는 것과 같다. 데스크톱 PC, 노프북PC, 테블릿PC 등 화면이 있는 것들과 스마트폰을 무선연결해서 이들 화면이 허공에 고정되어 있고 스마트폰을 움직여서 버튼이나 아이콘을 클릭하는 방법을 사용 할 수도 있다. 가상화면이나 장치의 크기는 얼마로 할 지, 몇 개로 할지, 각도나 배치는 어떻게 할지 사용자가 선택할 수 있다. 한 손만으로 직관적으로 스마트폰을 이용할 수 있다.

제1도는 스마트폰을 한 손으로 가로나 세로로 쥔 예
제2도는 스마트폰을 움직여서 키보드로 글자 LG 를 입력하는 예
제3도는 스마트폰을 움직여서 키보드로 숫자 1234 를 입력하는 예
제4도는 스마트폰을 움직여서 카메라를 선택하거나 전화를 선택하는 예
제5도는 스마트폰을 움직여서 뉴스를 읽은 예
제6도는 스마트폰을 움직여서 지도를 보는 예

디지털 3D 가속도계와 3D 자이로스코프 칩에서 감지 신호를 입력받아서 가상의 장치의 위치 설정과 스마트폰의 움직임 추적에 사용한다. x,y,z 이동, 회전 등 6 자유도(6 degrees of freedom)를 실시간으로 고속 샘플링하여 이 값들의 변화를 파악하고 처리 한다. 사용자가 허공에 스마트폰을 움직이면 이 때 좌표 값으로 가상키보드의 키에 접근하고 입력할 수 있게 한다. 스마트폰 화면과 허공에 고정하는 가상장치의 각도나 위치 등은 사용자가 편한대로 선택한다. 사용자는 가상키보드의 알파벳이나 숫자나 가상화면의 아이콘을 클릭할 때 z축으로 홱하고 스마트폰을 움직인다(급가속, jerk). 가속도계로 이를 알 수 있다. 한손으로 쥐고 요동(jot)을 주기엔 z축으로 하는 게 제일 쉽지만 z축이 아니라도 x축이나 y축, 어떤 방향으로든 스마트폰에 급격한 가속도 변화를 주고 이것을 클릭으로 간주할 수도 있다. 홱하고 움직였다 원위치로 돌아오면 클릭이고, 홱하고 움직인 자리에서 다시 돌아오지 않으면 클릭한채 있는 것으로 간주한다. 드래그를 원할 때 이렇게 할 수 있다. 더블클릭은 z축으로 홱 홱 두 번 움직이면 된다. 가상 키보드를 사용할 때 쉬프트(shift) 키를 누른채 있어야 할 때는 가상키보드에서 다른 키들이 있는 범위 밖 좌측 상단에 큰 쉬프트 키를 두어 한 번 누르면 한 번만 쉬프트가 적용되고 좌측하단에 큰 쉬프트 키 시작 버튼으로 설정하고 이 키를 다시 누를 때까지 누른 상태를 유지한다. 스마트폰 옆에 있는 단추를 눌러서 쉬프트 키를 누르는 것으로 할 수도 있다. 키보드에서 쉬프트를 누르고 선택하는 글자(uppercase letters)와 쉬프트를 누르지 않고 선택하는 글자(lowercase letters)를 사용자의 좌, 우 또는 상,하 또는 가깝게, 멀리 두는 식으로 따로 키보드를 둘 수도 있다. 가상키보드나 장치의 크기, 각도, 위치 등은 사용자가 마음대로 선택할 수 있다. 스마트폰을 세우든 누이든 기울이든 허공의 가상장치는 특정위치에 특정 각도로 사용자가 원하는 곳에 고정시킬 수 있다. 문자를 보낼 때 사용하는 가상 키보드는 PC 키보드와 동일한 모양의 쿼티 자판일 수도 있고 스마트폰 회사마다 다른 입력법에 알맞은 자판일 수도 있다. 사용자가 자기 맘에 맞게 키를 배치한 자판일 수도 있다. 전화 걸 때는 전화번호 자판이 나온다. 허공에 고정되어 있는 가상 키보드 위에 스마트폰을 움직여서 키를 선택하고 z축으로 홱 움직여서 클릭을 한다. 키보드나 전화번호 패드와 마찬가지로 PC화면이나 스마트폰 화면에 있는 것들을 선택하고 클릭하거나 드래그할 수도 있다.

스마트 TV나 PC와 무선 링크를 하면 TV나 PC에 마우스 커서가 나타나거나 메뉴나 아이콘 등이 스마트폰의 움직임에 반응한다. 가상키보드나 가상화면의 아이콘처럼 스마트폰을 움직여 원하는 키나 아이콘을 선택하면 이것들 모양이 변하거나 색이나 밝기가 변해서 클릭할 수 있는 상태임을 사용자가 알 수 있다. 스마트폰을 z축으로 홱하고 움직여서 키나 아이콘을 선택한다. 메뉴, 도구상자, 아이콘 등 요즘 흔한 그래픽 유저 인터페이스 (GUI)를 제어할 수 있다.

이런 기능으로 문자입력, 전화번호 입력, 메뉴 아이콘 선택 등을 한 손으로 스마트폰을 허공에 움직여서 할 수 있다.

이외에도 이런 기능을 활용해서 파일관리도 할 수 있다. 사람은 몸의 동작을 잘 기억한다. 동서남북에 가상의 벽화나 가구들 또는 조각상이나 식물, 어항 등 각종 사물이 있는 것처럼 가상세계가 스마트폰에 들어있어서 동서남북 어느 방향에 스마트폰을 향하면 거기 있는 것으로 나타나고 파일을 저장할 때 동쪽 코끼리에는 사진을 저장하고 서쪽 공룡에는 동영상을 저장하고 남쪽 펭귄에게는 텍스트 문서를 저장하고 북쪽 북극곰에는 학교 과제물을 저장하는 식으로 사용할 수 있다. 물론 이와 별도로 이들 데이터를 관리하는 파일관리 프로그램이 따로 있어서 이렇게 입력한 것들을 이걸로도 접근할 수 있다. 증강현실을 사용해서 스마트폰 카메라가 사용자 방안의 물건을 인식하면 그에 맞게 제어 화면이나 아이콘이나 미리 정해둔 동물이나 여러 가지 조작가능한 장치들이 나오게 해서 증강현실 사물과 사용자 방안의 사물을 연결해서 파일 관리 등에 사용할 수도 있다. 예를 들어 냉장고를 비추면 냉장고를 인식하고 스마트폰에 냉장고 속 물건들의 리스트를 보여줄 수 있다. 냉장고에 넣을 때 스마트폰으로 찍은 음식 사진들을 보여주거나 이름들을 나열해 보열줄 수도 있다. TV를 비추어 인식하면 스마트폰에 TV 프로그램 방송 스케줄이 나오게 할 수 있다. 라디오도 마찬가지다. 달력을 비추면 달력과 관련한 일정, 계획 등이 스마트폰에 나온다. 컴퓨터와 무선으로 연결했을 때 스마트폰 카메라로 위와 같은 것을 인식시키면 컴퓨터 모니터에 이런 내용이 나오게 할 수도 있다.

자이로스코프, 가속도계, 나침반, GPS 등으로 스마트폰의 기울기 이동등을 알 수 있기 때문에 스마트폰을 레이저포인터라 가상하고 TV를 향해서 리모콘을 향하듯 하고 버튼을 누르면 그에 상응하는 마우스 커서가 TV에 나타나서 커서가 위치한 것을 스마트폰을 홱하고 움직여 클릭 할 수 있다. 스마트폰을 기관총이라 가정하고 센서들로 총구가 어디로 향할지 알 수 있으므로 화면에서 달려오는 괴물들을 스마트폰을 작게 진동을 주듯이 흔들어 방아쇠를 당기는 걸 대신한다. 스마트폰의 터치스크린이나 단추를 이용해 방아쇠를 당길 수도 있다. 컴퓨터나 TV 화면 대신 가상현실 안경이나 헬멧을 쓰고 스마트폰을 총으로 사용하여 게임을 할 수도 있다.

허공에 고정된 가상 2D 화면은 게임판이 될 수 있다. 같은 그림 있는 판넬 뒤집기 게임 같은 것을 할 때 스마트폰을 허공에 움직여서 하므로 좀더 팔을 많이 움직이는 활동적 게임이 된다.

공간상의 움직임을 파악할 수 있어서 가상의 비행기나 탱크가 있으면 스마트폰을 움직여서 몸에서 멀어지면 비행기나 탱크의 점점 안쪽 모습을 볼 수 있게 할 수 있다. 가상의 인간이나 동물을 바깥 피부, 가죽에서부터 안쪽 근육, 뼈, 내장쪽으로 스마트폰을 움직여서 볼 수 있다. 이 방법은 테블릿PC처럼 화면이 큰 것에도 적용할 수 있다. PC화면이 크면 스마트폰과 PC화면을 연결해서 스마트폰을 움직여 동물의 가죽에서 내부 뼈와 내장, 장기 속까지 PC화면에 차례로 나타나게 할 수 있다.

스마트폰으로 허공에 상하좌우 x, y 2D 공간을 홱하고 움직여서 가상화면에 나온 바퀴나 통을 좌에서 우로 또는 위에서 아래로 뱅글뱅글 돌게 할 수 있다. 그리고 통위에 원하는 아이콘이 나타나면 z축으로 홱 움직여서 선택할 수 있다. 물론 z축으로 크게 홱하고 움직여서 활주로같은 메뉴판이나 오스카상 같은 것이 앞뒤로 죽 나열된 것이 z축 방향으로 사용자 가까이로 전진해 오거나 사용자에서 먼 쪽으로 이동하게 할 수 있고 이 때 선택은 z축 방향으로 홱하고 조금 움직여서 할 수 있다.

가상화면에 물병이나 구슬이 든 컵이 있어서 스마트폰을 기울이면 색깔이 다른 물들이 차례로 나오거나 구슬이 굴러나와서 그것이 메뉴 구실을 하고 원하는 게 흘러나오거나 굴러나오면 다시 스마트폰을 세우면 그걸 선택하는 게 될 수 있다.

나침반과 GPS도 있어서 스마트폰을 들고 360도 빙 돌아보면 서울 방향으로 서면 서울이 몇 km 멀리 있다고 나타나게 할 수 있다. 미리 서울을 찾고 싶다고 하면 360도 방향에서 서울이 있는 쪽으로 돌라는 화살표가 화면에 나타난다. 스마트폰을 몸에 가까이 하면 서울과 사용자가 있는 사이의 다른 작은 도시 이름이나 유명한 시설 이름이 나올 수도 있고 더 멀리하면 서울보다 먼 곳의 유명 산이나 도시나 시설이 나오게 할 수 있다. 시내 모드에서는 가까운 지하철역이나 버스, 택시 정거장 등이 나오게 할 수 있다. 친구를 찾는 중이면 친구 스마트폰과 연결될 경우 친구가 있는 직선 방향을 알려줄 수 있다. 기존 스마트폰처럼 화면을 움직이는 게 아니라 가상의 정보판이 공간에 고정된 듯이 설정하고 스마트폰을 움직여서 움직임에 따라 알맞은 여러 정보들을 보게 되므로 좀 더 직관적이고 한 손으로 조작하기도 편하다.

가게를 지나다가 진열창 안에 제품을 소개하는 TV화면이 있으면 스마트폰을 가진 사용자는 원하면 그 TV와 통신을 해서 TV 메뉴를 조정해서 보고 싶은 물건 소개 사항을 볼 수 있다.

커서가 원하는 키나 아이콘에 가면 키나 아이콘이 활성화되었음을 소리, 키나 아이콘의 색깔 크기 등이 변하는 것 외에 액추에이터로 스마트폰에 딸깍하고 진동을 주어서 알려줄 수 있다. 커서는 나타나게 할 수도 있고 안 보이게 할 수도 있다. 클릭을 하면 클릭이 되었음을 역시 철커덕하는 느낌이 나게 스마트폰의 액추에이터로 알려줄 수 있다.

z축으로 요동을 주는 것은 스마트폰을 안정되게 쥐고 스마트폰 전체를 z축으로 급격히 움직이듯이 하여 줄 수도 있고 스마트폰 한쪽 구석이나 한쪽 끝을 잡고 스마트폰을 흔드는 방법도 있다. 사용자가 편한대로 하면 된다. 스마트폰 속 프로그램은 수행하는 작업, 움직임의 상황을 파악해서 적절하게 사용자의 의도를 해석하여 z 축값만이 필요할 때는 x, y축 값은 무시하기도 한다(context sentitive).

자이로스코프, 가속도계를 한 칩에 통합한 것도 있고, 칩 값이 계속 싸지고 정확도와 속도가 계속 향상되고 있어서 스마트폰에 두 개 이상의 가속도계, 자이로스코프칩을 사용하고 CPU, GPU 등의 속도도 더욱 빨라지면 본 발명의 반응시간이나 정밀도가 더욱 높아져서 한 손만으로도 스마트폰을 사용하기가 매우 편리해 질 수 있다. 한 손만 쓸 수 있는 상황이나 손이 하나밖에 없는 사람에게도 편리한 스마트폰이 될 수 있다.

1. 스마트폰
2. 스마트폰 화면으로 사용자 눈에 보이는 가상 장치나 화면의 일부
3. 키 입력한 내용을 보여주는 표시창
4. 사용자 눈에 보이지 않는 가상 장치나 화면의 부분

Claims (2)

1. 스마트폰에 장착한 3D 가속도계와 3D 자이로스코프를 이용해서 스마트폰이 허공에서 x,y,z축으로 이동하는 거리, 속도, 가속도, 회전하는 각도 등을 측정해서 허공에 가상의 키보드, 숫자판, 아이콘판 등을 고정시키고 스마트폰을 움직여서 선택하고 클릭하여 문자를 입력하거나, 전화번호를 입력하거나, 계산을 하거나, 아이콘을 선택할 수 있는 스마트폰. 알파벳이나 숫자나 아이콘이 선택가능해지면 모양, 색깔, 밝기, 크기 등이 변하거나 뿅하는 효과음이 나거나 스마트폰이 띵하고 진동을 한다. 스마트폰에 요동을 주어 선택을 하면 역시 성공적으로 선택이 되었다는 시각적 신호나 청각적 신호나 진동을 준다.
2. 스마트폰에 장착한 3D 가속도계와 3D 자이로스코프를 이용해서 스마트폰이 허공에서 x,y,z축으로 이동하는 거리, 속도, 가속도, 회전하는 각도 등을 측정해서 허공에 가상의 웹페이지, 문서, 지도 등을 고정시키고 스마트폰을 움직여서 문서나 지도의 내용을 볼 수 있는 스마트폰.

Images