KR20170040389A - 화상인식장치 및 조작판정방법, 그리고 프로그램 - Google Patents

화상인식장치 및 조작판정방법, 그리고 프로그램 Download PDF

Info

Publication number
KR20170040389A
KR20170040389A KR1020177009386A KR20177009386A KR20170040389A KR 20170040389 A KR20170040389 A KR 20170040389A KR 1020177009386 A KR1020177009386 A KR 1020177009386A KR 20177009386 A KR20177009386 A KR 20177009386A KR 20170040389 A KR20170040389 A KR 20170040389A
Authority
KR
South Korea
Prior art keywords
operator
virtual
present
icon
image
Prior art date
Application number
KR1020177009386A
Other languages
English (en)
Inventor
켄지 이즈미
Original Assignee
시마네켄
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 시마네켄 filed Critical 시마네켄
Publication of KR20170040389A publication Critical patent/KR20170040389A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G06K9/00335—
    • G06K9/00375—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H04N13/0456—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308—Details of the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 정확한 조작의 판정을 가능하게 하는 것을 목적으로 한다. 조작자(102)는, 상술한 비디오 카메라(201)로 촬영한 조작자의 모습이나 위치로부터 결정한 가상조작면과, 조작자(102)와의 상대관계를 이용하여, 조작자(102)의 일부가 조작면의 비디오 카메라(201)로부터 보아 앞쪽에 오면, 조작이 개시되었다고 판단하고, 각 부분의 형상이나 움직임으로부터 그 형상, 움직임이 미리 상정되었던 어떤 조작인지를 판정한다.

Description

화상인식장치 및 조작판정방법, 그리고 프로그램{Image Recognition Apparatus, Operation Evaluation Method, and Program}
본 발명은, 화상인식장치 및 조작판정방법에 관한 것으로, 보다 상세하게는, 비디오 카메라 등에 의하여 촬영한 화상으로부터 측정대상의 동작을 판정하는 화상인식장치 및 조작판정방법에 관한 것이다.
최근에 컴퓨터나 전자기기와 인간과의 인터페이스, 즉 맨머신 인터페이스로서 다양한 기기, 수법이 제안되고 있고, 특히 게임기나 조작 가이드 기기 등에서는 카메라로 조작자 전체 또는 일부를 촬영하고, 그 화상에 따라서 조작자의 의사를 판단하여 동작하는 기술이 제안되고 있다. 예를 들어, 특허문헌 1에는, CCD 카메라로 촬상한 화상 중의 물체의 형상, 움직임을 인식하는 호스트 컴퓨터와, 호스트 컴퓨터에 의하여 인식한 물체의 형상, 움직임을 표시하는 디스플레이를 구비하고, CCD 카메라에 사용자가 마주하여 손짓 등에 의하여 지시를 주면, 지시한 손짓이 디스플레이의 표시화면 상에 표시되며, 표시화면 상에 표시한 가상 스위치 등을 손짓 등에 의하여 화살표 커서의 아이콘으로 선택할 수 있어, 마우스 등의 입력장치를 필요로 하지 않고 매우 간편한 기기의 조작이 가능해지는 기술이 제안되고 있다.
최근에는 더욱이, 손가락의 움직임이나 형상을 촬상한 화상으로부터, 어떤 종류의 제스처로 인식하고, 조작입력을 하는 입력 시스템도 제안되고 있다. 예를 들어, 제스처에 의한 화면 조작에서의 프레젠테이션이나 터치패널을 필요로 하지 않는 비접촉 키오스크 단말에 사용할 수 있는 입력장치에 있어서, 대화면에 마주한 조작자는, 통상 화면 하부의 위치에 설치된 카메라를 향하여 다양한 조작을 하면, 그 내용이 대화면에 투영된다. 이와 같이 촬영된 화상으로부터 조작자의 형상, 움직임을 본 기술분야에서 알려진 방법에 의하여 추출하고, 예를 들어 미리 정하여 데이터 베이스에 저장된 패턴과 비교함으로써, 조작자의 형상, 움직임의 의미, 즉 어떠한 조작을 의도한 동작인지를 판정하여 기기의 제어에 사용한다.
한편, 조작자의 화상의 판독 기술로서는, 도 13에 나타내는 바와 같이, 삼차원 또는 입체 대응의 카메라로 조작자를 촬영하고, 입체화상을 재현하는 것도 가능하게 되어 있어, 보안검사 등의 용도로 이용되고 있다. 입체화상을 재현함으로써, 조작자의 움직임을 입체적으로 파악할 수 있어, 예를 들어 조작자의, 특히 손의 움직임을 앞뒤로도 인식할 수 있으므로, 이차원 화상을 이용한 것에 비하여 제스처의 다양성이 증대된다. 또한, 복수의 조작자가 화상으로서 추출되어도, 다수의 인원이면 입체화상이므로 전후관계를 알 수 있어, 맨 앞의 조작자의 움직임만을 추출하여, 조작의 입력에 사용할 수도 있다.
더욱이, 최근에는 삼차원(3D) 또는 입체표시가 가능한 디스플레이도 다양한 형태가 제안되고 있고, 종래의 영화관 등의 한정된 분야뿐만 아니라, 이벤트홀에서의 디스플레이에서 가정용 텔레비전까지 그 응용분야가 확대되고 있다. 3D 표시기술도 다양한 것이 제안되고 있으며, 컬러 표시는 물론, 색상을 손상시키지 않는 방식이나, 전용 안경이 불필요한 것도 제안되고 있다(예를 들어, 특허문헌 2를 참조).
(특허문헌)
특허문헌 1: 일본공개특허공보 2004-078977호
특허문헌 2: 일본공개특허공보 2005-266116호
하지만, 종래의 제스처 조작은 디팩토 스탠더드(de facto standard) 등의 어떠한 표준의 제스처가 확립되어 있지 않아, 집게손가락으로 XY좌표의 포인팅을 조작하는 것 이외에는 사용자가 어떠한 동작으로 무엇을 할 수 있는지 직감적으로 확인할 수 없다. '클릭', '더블클릭', '드래그' 등, 클릭 조작을 몇 초간의 대기시간 동안 좌표에 고정함으로써 지시하는 것은 있지만, 설정된 대기시간이 너무 길거나 함으로써 쾌적한 조작을 저해하는 경우도 적지않다. 따라서, 클릭이나 결정(더블클릭 등) 등의 조작을 알기 쉽고, 쾌적하게 하는 현실적인 수법이 없다는 문제가 있다.
또한, 종래의 제스처 검출장치는, 터치패널 등의 직접 조작자가 접촉할 수 있는 입력장치와는 달리, 조작자의 명확한 의사를 파악하기 어렵다. 즉, 조작자가 어떠한 동작을 하여도, 그것이 입력을 의도한 것인지, 단순히 습관적으로 움직인 것인지를 판정하는 것이 쉽지 않다는 문제가 있다. 이 결과, 예를 들어 단순한 제스처를 부자연스럽게 눈에 띄는 형태로 하지 않으면 인식할 수 없고, 제스처에 대한 사전 결정이 필요하거나, 복잡한 제스처는 사용할 수 없는 등의 문제가 있다.
본 발명은, 이와 같은 문제에 감안하여 이루어진 것으로, 조작자에게 어떠한 입력으로 이어지는 조작을 하고 있는 상태에 있다는 것을 인식하게 한 후에 장치에 대하여 동작을 하게 함으로써, 정확한 동작의 판정을 가능하게 하는 화상인식장치 및 조작판정방법을 제공하는 것을 목적으로 한다. 이 결과, 조작에 숙달되거나, 특수한 제스처를 외우거나 하지 않고, 신체 전체 또는 일부를 동작하게 함으로써, 조작자의 의사를 정확하게 나타내는 조작으로서 판정하는 것이 가능해진다.
이와 같은 목적을 달성하기 위하여, 제 1 항에 기재된 발명은, 화상인식장치로서, 조작자의 모습을 판독하여 입체화상 데이터를 생성하는 삼차원 촬상수단과, 삼차원 촬상수단에 의하여 판독된 조작자의 모습 및 위치에 근거한 형상 및 위치에서 가상조작면을 형성하는 조작면 형성수단과, 형성된 가상조작면에 대한 조작자의 적어도 일부의 모습의 움직임을 삼차원 촬상수단으로 판독하고, 조작자의 일부와 가상조작면의 위치관계에 근거하여 움직임이 조작인지 아닌지를 판정하는 조작판정수단과, 움직임이 조작이라고 판정되면, 소정의 신호를 출력하는 신호출력수단을 구비한 것을 특징으로 한다.
제 2 항에 기재된 발명은, 제 1 항에 기재된 화상인식장치에 있어서, 삼차원 촬상수단이 복수의 조작후보자를 판독한 경우, 미리 정해진 특정 움직임을 하는 조작후보자를 상기 조작자라고 판정하는 것을 특징으로 한다.
제 3 항에 기재된 발명은, 제 1 항 또는 제 2 항에 기재된 화상인식장치에 있어서, 삼차원 촬상수단이 판독한 복수의 조작후보자의 화상이 나타내는, 조작자라고 판정된 조작후보자가 현재의 조작자와, 다른 조작후보자와의 위치관계를 표시하는 조작자 표시수단을 더 구비한 것을 특징으로 한다.
제 4 항에 기재된 발명은, 제 1 항 내지 제 3 항 중 어느 한 항에 기재된 화상인식장치에 있어서, 가상조작면의 조작자측의 소정의 위치에 배치되고, 가상조작면 상에서의 조작위치를 결정하기 위한 위치결정면을 더 구비하며, 조작판정수단은 조작자의 일부가 위치결정면에서 가상조작면으로 이동하는 일련의 동작에 있어서 가상조작면을 가로지를 때, 위치결정면 상의 조작자의 일부가 가로지른 위치에 대응하는 가상조작면 상의 위치를, 조작자의 일부가 가로지른 것으로서 조작자의 조작을 판정하는 것을 특징으로 한다.
제 5 항에 기재된 발명은, 제 1 항 내지 제 4 항 중 어느 한 항에 기재된 화상인식장치에 있어서, 가상조작면의 형상 및 위치는, 판독된 조작자의 모습에서 팔 및 얼굴의 위치를 추출하여, 추출한 팔 및 얼굴의 위치에 근거하여 결정하는 것을 특징으로 한다.
제 6 항에 기재된 발명은, 제 1 항 내지 제 5 항 중 어느 한 항에 기재된 화상인식장치에 있어서, 가상조작면의 위치는, 조작자와 상기 삼차원 촬상수단 사이에 있는 것을 특징으로 한다.
제 7 항에 기재된 발명은, 제 1 항 내지 제 6 항 중 어느 한 항에 기재된 화상인식장치에 있어서, 조작면 형성수단은, 삼차원 촬상수단에 의하여 판독된 조작자의 모습, 및 조작자의 미리 정해진 특정 움직임에 근거하여 정해지는 형상 및 위치로 가상조작면을 형성하는 것을 특징으로 한다.
제 8 항에 기재된 발명은, 제 1 항 내지 제 7 항 중 어느 한 항에 기재된 화상인식장치에 있어서, 조작면 형성수단은, 삼차원 촬상수단에 의하여 판독된 조작자의 모습, 및 조작자의 미리 정해진 특정 움직임에 근거하여 정해지는 각도로 가상조작면을 형성하는 것을 특징으로 한다.
제 9 항에 기재된 발명은, 제 1 항 내지 제 7 항 중 어느 한 항에 기재된 화상인식장치에 있어서, 조작면 형성수단은, 삼차원 촬상수단에 의하여 판독된 조작자의 모습 및 위치에 근거하여 정해지는 각도로 가상조작면을 형성하는 것을 특징으로 한다.
제 10 항에 기재된 발명은, 제 1 항 내지 제 9 항 중 어느 한 항에 기재된 화상인식장치에 있어서, 형성된 가상조작면을 나타내는 입체화상을 표시하는 조작면 입체 표시수단을 더 구비한 것을 특징으로 한다.
제 11 항에 기재된 발명은, 제 10 항에 기재된 화상인식장치에 있어서, 입체 화상은 좌우 시야 차이에 의한 것을 특징으로 한다.
제 12 항에 기재된 발명은, 제 10 항 또는 제 11 항에 기재된 화상인식장치에 있어서, 조작자의 일부와 가상조작면의 위치관계로부터 거리를 산출하여 거리에 따른 위치에, 조작자의 일부의 가상조작면에 대한 위치관계를 나타내는 소정의 표시(標示)를 입체 표시하는 것을 특징으로 한다.
제 13 항에 기재된 발명은, 화상인식장치로서, 조작자의 모습을 판독하여 입체화상 데이터를 생성하는 삼차원 촬상수단과, 삼차원 촬상수단에 의하여 판독된 조작자의 미리 정해진 특정 움직임에 근거한 형상 및 위치로 가상조작면을 형성하는 조작면 형성수단과, 형성된 가상조작면에 대한 조작자의 적어도 일부의 모습의 움직임을 삼차원 촬상수단으로 판독하여, 조작자의 일부와 가상조작면과의 위치관계에 근거하여 움직임이 조작인지 아닌지를 판정하는 조작판정수단과, 움직임이 조작이라고 판정되면, 소정의 신호를 출력하는 신호출력수단을 구비한 것을 특징으로 한다.
제 14 항에 기재된 발명은, 조작판정방법으로서, 조작자의 모습을 판독하여 입체화상 데이터를 생성하는 삼차원 촬상단계와, 삼차원 촬상단계에 있어서 판독된 조작자의 모습 및 위치에 근거한 형상 및 위치로 가상조작면을 형성하는 조작면 형성단계와, 형성된 가상조작면에 대한 조작자의 적어도 일부의 모습의 움직임을, 삼차원 촬상수단으로 판독하여, 조작자의 일부와 가상조작면과의 위치관계에 근거하여 움직임이 조작인지 아닌지를 판정하는 조작판정단계와, 움직임이 조작이라고 판정되면, 소정의 신호를 출력하는 신호출력단계를 구비한 것을 특징으로 한다.
제 15 항에 기재된 발명은, 제 14 항에 기재된 조작판정방법에 있어서, 조작판정단계는, 조작자의 일부가 가상조작면의 조작자측의 소정의 위치에 배치되고, 조작자의 일부가 가상조작면의 조작자측의 소정의 위치에 배치되며, 가상조작면 상에서의 조작위치를 결정하기 위한 위치결정면에서 가상조작면으로 이동하는 일련의 동작에 있어서 가상조작면을 가로지를 때, 위치결정면 상의 조작자의 일부가 가로지른 위치에 대응하는 가상조작면 상의 위치를 가로지른 것으로서 조작자의 조작을 판정하는 것을 특징으로 한다.
제 16 항에 기재된 발명은, 제 14 항 또는 제 15 항에 기재된 조작판정방법에 있어서, 형성된 가상조작면을 나타내는 입체화상을 표시하는 조작면 입체표시단계를 더 구비한 것을 특징으로 한다.
제 17 항에 기재된 발명은, 화상인식장치에, 조작자의 화상을 인식하여 조작내용을 판정하는 조작판정방법을 실행시키는 프로그램으로서, 조작판정방법은, 조작자의 모습을 판독하여 입체화상 데이터를 생성하는 삼차원 촬상단계와, 삼차원 촬상단계에 있어서 판독된 조작자의 모습 및 위치에 근거한 형상 및 위치로 가상조작면을 형성하는 조작면 형성단계와, 형성된 가상조작면에 대한 조작자의 적어도 일부의 모습의 움직임을, 삼차원 촬상수단으로 판독하여, 조작자의 일부와 가상조작면과의 위치관계에 근거하여 움직임이 조작인지 아닌지를 판정하는 조작판정단계와, 움직임이 조작이라고 판정되면, 소정의 신호를 출력하는 신호출력단계를 구비한 것을 특징으로 한다.
제 18 항에 기재된 발명은, 제 17 항에 기재된 프로그램에 있어서, 조작판정단계는, 조작자의 일부가 가상조작면의 조작자측의 소정의 위치에 배치되고, 가상조작면 상에서의 조작위치를 결정하기 위한 위치결정면에서 가상조작면으로 이동하는 일련의 동작에 있어서 가상조작면을 가로지를 때, 위치결정면 상의 조작자의 일부가 가로지른 위치에 대응하는 가상조작면 상의 위치를 가로지른 것으로서 조작자의 조작을 판정하는 것을 특징으로 한다.
제 19 항에 기재된 발명은, 제 17 항 또는 제 18 항에 기재된 프로그램에 있어서, 형성된 가상조작면을 나타내는 입체화상을 표시하는 조작면 입체표시단계를 더 구비한 것을 특징으로 한다.
이상에서 설명한 바와 같이, 본 발명의 화상인식장치에 따르면, 조작자의 모습을 판독하여 입체화상 데이터를 생성하는 삼차원 촬상수단과, 삼차원 촬상수단에 의하여 판독된 조작자의 모습 및 위치에 근거한 형상 및 위치로 가상조작면을 형성하는 조작면 형성수단과, 형성된 가상조작면에 대한 조작자의 적어도 일부의 모습의 움직임을 삼차원 촬상수단으로 판독하여, 조작자의 일부와 가상조작면과의 위치관계에 근거하여 움직임이 조작인지 아닌지를 판정하는 조작판정수단과, 움직임이 조작이라고 판정되면, 소정의 신호를 출력하는 신호출력수단을 구비하고 있으므로, 조작에 숙달되거나, 특수한 제스처를 외우거나 하지 않고, 신체 전체 또는 일부를 동작시킴으로써, 조작자의 의사를 정확하게 나타내는 조작으로서 판정할 수 있게 된다.
도 1은 본 실시형태의 조작입력 시스템의 일례를 나타내는 도면이다.
도 2는 본 실시형태의 조작입력 시스템의 컴퓨터와의 관계를 모식적으로 나타내는 블록도이다.
도 3은 본 실시형태의 컴퓨터의 CPU 내에서 처리되는 프로그램의 기능 모듈의 일례를 나타내는 블록도이다.
도 4는 본 실시형태의 처리의 플로차트이다.
도 5는 본 발명의 일 실시형태에 따른 입체표시된 가상적인 조작면을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시형태에 따른 가상적인 조작면의 모습을 나타내는 도면이다.
도 7은 본 발명의 일 실시형태의 사용예인 텔레비전 표시장치에서의 가상적인 조작면의 모습을 나타내는 도면이다.
도 8은 본 발명의 일 실시형태의 사용예인 텔레비전 표시장치에서의 가상적인 조작면의 위치를 나타내는 도면이다.
도 9는 본 발명의 일 실시형태에 따른 조작면 형성기준에 의하여 형성되는 가상적인 조작면의 모습을 나타내는 도면이다.
도 10은 종래의 3D 카메라를 이용한 복수의 조작자의 화상을 취한 경우의 화상의 일례를 나타내는 도면이다.
도 11은 본 발명의 일 실시형태에 따른 조작입력지원의 조작영역설정의 일례를 나타내는 도면이다.
도 12는 본 발명의 일 실시형태에 따른 화면 또는 카메라의 위치에 의한 조작영역의 조정의 일례를 나타내는 도면이다.
도 13은 본 발명의 일 실시형태에 따른 화면 또는 카메라의 위치에 의한 조작영역의 조정의 다른 예를 나타내는 도면이다.
도 14는 본 발명의 일 실시형태에 따른 화면 또는 카메라의 위치에 의한 조작영역의 조정의 다른 예를 나타내는 도면이다.
도 15는 본 발명의 일 실시형태에 따른 화면 또는 카메라의 위치에 의하여 조작영역을 조정하는 방법을 설명하기 위한 도면이다.
도 16은 본 발명의 일 실시형태에 따른 화면 또는 카메라의 위치에 의한 조작영역의 조정의 일례를 나타내는 도면이다.
도 17은 종래의 3D 카메라를 이용한 조작자의 화상 취득방법을 나타내는 도면이다.
도 18은 본 발명의 일 실시형태의 입체표시 아이콘을 이용한 조작입력을 설명하기 위한 도면이다.
도 19는 본 발명의 일 실시형태에 따른 조작입력지원의 구체적인 표시의 일례를 나타내는 도면이다.
도 20은 본 발명의 일 실시형태에 따른 가상적인 조작면 및 조작영역의 모습을 나타내는 도면이다.
도 21은 본 발명의 일 실시형태에 따른 조작자의 움직임과 화면에 표시되는 아이콘과의 관계를 나타내는 도면이다.
도 22는 본 발명의 일 실시형태에 따른 조작입력화면의 구체적인 표시의 일례를 나타내는 도면이다.
도 23은 본 발명의 일 실시형태에 따른 조작입력화면에서 사용 가능한 다양한 아이콘의 예를 나타내는 도면이다.
도 24는 본 발명의 일 실시형태에 따른 조작자의 움직임과 화면에 표시되는 아이콘과의 관계를 나타내는 도면이다.
도 25는 본 실시형태에 의하여 화면에 표시된 도형을 이동시키는 지시를 입력하는 일례의 표시화면을 나타내는 도면이다.
도 26은 본 발명의 일 실시형태에 따른 조작자의 움직임과 화면에 표시되는 메뉴와의 관계를 나타내는 도면이다.
도 27은 본 발명의 다른 일 실시형태에 따른 조작자의 움직임과 화면에 표시되는 메뉴와의 관계를 나타내는 도면이다.
도 28은 본 발명의 또 다른 일 실시형태에 따른 조작자의 움직임과 화면에 표시되는 메뉴와의 관계를 나타내는 도면이다.
도 29는 본 발명의 일 실시형태에 따른 가상조작면 및 조작면 형성기준의 모습을 나타내는 도면이다.
도 30은 본 발명의 일 실시형태에 따른 프로젝터에 의한 화면 또는 카메라의 위치에 의한 조작영역의 조정의 일례를 나타내는 도면이다.
도 31은 본 발명의 일 실시형태에 따른 조작자의 움직임과 화면에 표시되는 메뉴와의 관계를 나타내는 도면이다.
도 32는 본 발명의 일 실시형태에 따른 조작자의 제스처에 의하여 조작면의 위치를 설정하는 영역을 판정하기 위하여 촬영한 화상을 나타내는 도면이다.
도 33은 본 발명의 일 실시형태에 따른 지정된 조작면의 위치의 추출을 설명하기 위한 도면이다.
도 34는 본 발명의 일 실시형태에 따른 지정된 조작면의 위치의 추출을 위하여 카메라로부터 취득한 거리 데이터 화상을 나타내는 도면이다.
도 35는 본 발명의 일 실시형태에 따른 조작자의 제스처에 의하여 조작면의 위치를 설정하는 처리를 나타내는 플로차트이다.
도 36은 본 발명의 일 실시형태에 따른 지정된 조작면의 위치를 추출하는 처리를 나타내는 플로차트이다.
도 37a는 본 발명의 일 실시형태에 따른 조작자의 조작면 설정 제스처의 변형을 나타내는 도면이다.
도 37b는 본 발명의 일 실시형태에 따른 조작자의 조작면 설정 제스처의 변형을 나타내는 도면이다.
도 37c는 본 발명의 일 실시형태에 따른 조작자의 조작면 설정 제스처의 변형을 나타내는 도면이다.
도 37d는 본 발명의 일 실시형태에 따른 조작자의 조작면 설정 제스처의 변형을 나타내는 도면이다.
도 37e는 본 발명의 일 실시형태에 따른 조작자의 조작면 설정 제스처의 변형을 나타내는 도면이다.
도 37f는 본 발명의 일 실시형태에 따른 조작자의 조작면 설정 제스처의 변형을 나타내는 도면이다.
도 38은 본 발명의 일 실시형태에 따른 그리드 흡착처리에 사용되는 대상화면의 예를 나타내는 도면이다.
도 39는 본 발명의 일 실시형태에 따른 그리드 흡착처리에 사용되는 그리드의 설정예를 나타내는 도면이다.
도 40은 본 발명의 일 실시형태에 따른 그리드 흡착처리를 설명하기 위한 도면이다.
도 41은 본 실시형태의 현재의 조작자를 특정하기 위하여 삼차원 디스플레이의 하부에 아이콘을 표시하는 예를 나타내는 도면이다.
도 42는 도 42a 및 도 42b의 관계를 나타내는 도면이다.
도 42a는 본 실시형태의 현재의 조작자를 특정하기 위하여 삼차원 디스플레이의 하부에 아이콘을 표시하는 다른 예를 나타내는 도면이다.
도 42b는 본 실시형태의 현재의 조작자를 특정하기 위하여 삼차원 디스플레이의 하부에 아이콘을 표시하는 다른 예를 나타내는 도면이다.
도 43a는 본 실시형태의 조작자를 표시하는 다양한 변형의 예를 나타내는 도면이다.
도 43b는 본 실시형태의 조작자를 표시하는 다양한 변형의 예를 나타내는 도면이다.
도 43c는 본 실시형태의 조작자를 표시하는 다양한 변형의 예를 나타내는 도면이다.
이하, 도면을 참조하면서 본 발명의 실시형태에 대하여 상세하게 설명한다.
(제 1 실시형태)
도 1은 본 실시형태의 조작입력 시스템의 일례를 나타내는 도면이다. 본 실시형태의 입체표시 삼차원 디스플레이(111)는, 조작자(102)의 전면(前面)에 배치되고, 조작자(102)는 삼차원 디스플레이(111)와의 사이의 일정한 위치에 입체표시된 가상적인 조작면에 대하여, 손가락 등의 형상이 조작판정의 대상이 되는 것을 의식하여 조작을 행할 수 있다. 삼차원 디스플레이(111)에는 본 시스템이 목적으로 하는 다양한 어플리케이션용의 다양한 영상이 표시되는데, 이와 더불어 후술하는 바와 같이 조작입력을 지원, 즉 예를 들어 대상이 되는 조작자(102)의 부위 등을 화면의 구석 쪽에 표시하고, 조작자(102)에게 현시점에서 조작으로 판정될 수 있는 동작을 인식하게 할 수 있다.
여기에서, 본 실시형태에서는, 조작자가 시청하는 모니터로서 삼차원 디스플레이를 이용하고 있지만, 본 실시형태에서는 본 기술분야에서 알려진 어떠한 삼차원 디스플레이도 사용할 수 있으므로, 삼차원 디스플레이 자체에 대해서는 다음의 간단한 설명으로 정리한다. 삼차원 디스플레이란, 시청자에게 안쪽까지의 길이감이나 돌출감이 있는 입체적인 화상을 제시할 수 있는 디스플레이 디바이스를 말하며, 다양한 형태가 존재하는데, 기본적으로는 양쪽 눈에 대하여 다른 화상을 제사함으로써 조작자가 입체로 볼 수 있도록 만드는 것이다. 일반적으로는, 조작자가 어떤 오브젝트를 입체적으로 자신과 같은 공간에 존재하는지 지각하기 위해서는, 인간의 수렴 기능을 이용하여, 좌우 눈의 시차(parallax)가 있는 영상을 제시하는 동시에(양안시차(binocular parallax)라고 함), 조작자의 머리부 운동에 맞추어 영상을 보는 방법을 바꾸게 할 필요가 있으므로(운동시차(motion parallax)라고 함), 본 실시형태의 삼차원 카메라에 따른 인체치수계측에 의한 보정이나 트래킹 등의 요소와 잘 맞는다. 예를 들어, 조작자의 삼차원적인 눈의 위치를 보충하여, 실시간으로 보정을 행함으로써, 현장감을 더욱 향상시킬 수 있게 된다.
삼차원 디스플레이는, 크게 나누어 관찰자에게 특수한 광학특성을 가진 안경을 씌우고, 양쪽 눈에 시차를 준 화상을 제시하는 형태와, 안경을 이용하지 않는 형태의 두 가지로 나눌 수 있고, 안경을 이용하지 않는 것은 특히 나안(裸眼) 입체 디스플레이라고 부른다.
안경을 착용하는 형태에서는, 낮은 비용이지만 색상의 결손이나 피로감에 문제가 있었던 '애너글리프(anaglyph)식'이 예전부터 유명하지만, 최근에는 소재의 색조를 거의 잃지 않고, 풀컬러로 관람할 수 있는 '편광 안경식'이나 '액정셔터'를 이용한 것도 제품화되어, 그 촬영기술이나 표현기술의 향상과 함께, 돌출감·현장감에 대해서도 비약적으로 향상하여, 본격적인 실용화 단계를 맞이하고 있다.
안경을 착용하는 형태의 삼차원 디스플레이 방식으로서는, 상술한 바와 같이 애너글리프식, 편광 안경식 및 액정셔터가 일반적이다.
애너글리프식은, 좌우의 영상을 각각 적색과 청색의 빛으로 겹쳐서 영사하고, 각각 적색과 청색의 컬러 필터를 장착한 안경으로 분리하는 것이다. 기술적으로 가장 간단하고 낮은 비용인데, 이전에는 흑백 영상으로 한정되었지만 현재에는 컬러 정보를 남긴채로 영상제작을 할 수 있게 되었다. 그렇지만, 감상시에는 적색과 청색의 컬러 필터를 통과해야만 하므로, 어떻게 하여도 컬러 균형이 무너진다.
편광 안경식은, 좌우의 영상에 직교하는 직선편광을 걸어 겹쳐서 투영하고, 이것을 편광 필터에 의하여 분리하여 양쪽 눈에 상이한 화상을 제공하는 것이다. 통상적으로는, 편광상태를 보존하기 위하여 실버스크린 등이 이용된다. 직선편광 대신에 원편광을 이용하는 것도 있다. 원편광을 이용하는 것은, 관찰자가 얼굴을 기울여도 좌우영상의 크로스토크는 작게 유지되지만, 원편광의 차광 특성에는 본질적으로 파장 의존성이 있으므로, 옅은 보라나 황색 등의 색이 보이게 되는 경우가 있다.
액정셔터 안경은, 좌우의 영상이 교대로 차폐되도록 액정셔터가 구동하는 안경을 이용하여, 좌우 눈에 상이한 화상을 보냄으로써 입체로 볼 수 있게 하는 것이다. 좌우에 시차가 있는 영상을 소스의 프레임 레이트의 배인 레이트로 교대로 투영하기 때문에, 색의 재현성은 좋지만, 안경의 비용이 높아지는 것 이외에, 안경에 신호를 무선송신하기 위한 설비도 필요하게 된다. 프레임 레이트는 액정셔터의 응답주파수에 의존한다.
조작자(102)의 움직임은 비디오 카메라(201)에 의하여 촬영되고, 촬영된 영상은 컴퓨터(110)로 처리되며, 조작자(102)의 위치, 신장 및 팔의 길이 등에 의하여, 또는 신장이나 어깨폭 등의 신체치수 정보에 의하여 최적의 가상조작면 및 이것을 포함하는 조작영역의 위치 및 크기를 설정하고, 가상조작면으로부터 삼차원 디스플레이(111)측으로 나온 부분의 제스처가 어떠한 조작을 의미하는지를 판정한다. 즉, 컴퓨터(110)는 비디오 카메라(201)로부터 얻어진 데이터로부터, 조작자(102)의 입체화상을 작성하는 동시에, 작성된 입체화상으로부터 조작자에게 최적인 가상조작면의 위치를 산출하고, 후술하는 비디오 카메라(201)나 삼차원 디스플레이(111)의 위치나 배치상태에 의하여 가상조작면의 위치 및 크기 등을 조정하며, 가상조작면을 기준으로 조작자(102)의 손가락 등이 비디오 카메라(201)측으로 나와 있는지 아닌지를 결정하여, 그 부분을 조작의 대상으로 하여 조작내용을 판정한다.
한편, 삼차원 디스플레이(111)는, 조작자(102)로부터 보아 가상조작면이 설정 또는 조정된 위치에 존재하는 것처럼 보이도록 가상조작면을 표시한다. 이에 따라, 조작자(102)는, 마치 가상조작면이 그곳에 존재하는 것과 같이 입체영상으로서 인식하여, 인식한 입체영상에 대하여 손이나 손가락을 이용하여 조작을 실행할 수 있다. 이러한 점을 도 5 및 도 6을 참조하여 설명한다.
도 5는 본 실시형태에 따른 입체표시된 가상적인 조작면을 설명하기 위한 도면이다. 조작자(102)는 그 오른쪽 눈(504)과 왼쪽 눈(503)에 의하여 삼차원 디스플레이(111) 상에 표시된 화상(502) 및 가상조작면 화상(501)을 보는데, 가상조작면 화상(501)은 입체표시되기 때문에, 예를 들어 시차를 포함한 2매의 화상으로 이루어져 있고, 각각 오른쪽 눈(504) 및 왼쪽 눈(503)으로 봄으로써 도 5에 나타내는 바와 같이 삼차원 디스플레이(111)로부터 조작자의 전면에 있는 것처럼 입체표시되도록 가상조작면을 형성할 수 있다. 이러한 가상조작면화상(501)이 입체표시되는 위치를, 상술한 비디오 카메라(201)로 촬영한 조작자의 모습이나 위치로부터 결정하여 삼차원 디스플레이(111)에 수렴각도(θ1)가 되도록 조정하여 표시한다. 여기에서, 화상(502)은 통상 이차원으로 표시되므로 디스플레이(111)의 위치에서 표시되고, 수렴각도(θ2)가 되도록 조정하고 있는데, 사용 상황에 맞추어 수렴각도(θ2)를 정하면 깊이가 있는 입체영상을 제공할 수 있다. 한편, 도 5에 나타내는 가상조작면화상(501)의 위치는, 가상조작면을 입체표시하는 위치인데, 조작자의 조작감으로서 실제로 가상조작면이 형성되는 위치와는 약간 상이한 위치에 표시하는 경우도 있어, 가상조작면의 형성위치와 가상조작면화상의 입체표시위치와는 반드시 일치할 필요는 없다.
이와 같이, 가상조작면화상(501)은, 수렴각도(θ1)가 되도록 조정하여 입체표시되는데, 도 18에 나타내는 바와 같이 더욱이 아이콘(1801)을 수렴각도(θ3)가 되도록 조정하여 입체표시시켜서, 손끝이나 손가락끝을 안내하도록 할 수 있다. 구체적으로는, 손끝 등의 위치에 아이콘(1801)이 오도록 입체표시시켜서, 가상조작면에 대한 z방향의 거리감이나 xy방향에서의 위치관계의 파악을 쉽게 할 수 있다. 이 외에, 다양한 형태, 형상으로 아이콘을 입체표시시킬 수 있다. 예를 들어, 아이콘을 손가락끝과 같은 위치에 표시하는 것 이외에, 다소 안쪽방향으로 거리를 부여하여 떨어져서 표시할 수도 있다. 이와 같이 함으로써, 가상면과 아이콘의 위치관계가 손가락끝을 보는 방법보다 시인성이 용이한 경우가 있어, 가상면의 앞으로 떠오르는 거리가 부족한 경우, 이것으로 보충할 수도 있다. 왜냐하면, 어떠한 경우에도 눈 앞으로의 부상은, 일반적으로 초점 조정이 어렵기 때문에, 다소 안쪽에 있는 위치에 아이콘을 표시하는 편이 조작자에게 있어서는 조작하기 쉽기 때문이다. 더욱이, 이와 같은 입체표시 아이콘은 제 2 실시형태에 있어서 상술하는 포커스 아이콘 중 어느 한 형상, 형태로 표시할 수 있다. 예를 들어, 입체표시 아이콘으로서, 손가락끝 부근에 아이콘을 표시하게 하면서, 아이콘의 크기를 바꾸거나, 색을 변화시키거나 하여 가상조작면으로의 거리감을 조작자가 파악할 수 있도록 할 수도 있다.
도 6은 본 실시형태에 따른 가상적인 조작면의 모습을 나타내는 도면이고, 조작용 아이콘이 포함되는 가상조작면화상(501)이 표시되는데, 실제 시스템에서는 입체표시이므로 조작자로부터는 삼차원 디스플레이의 가까운 쪽의 손을 뻗으면 접촉할 수 있는 위치에 보이도록 표시된다. 이 때문에, 조작자는 마치 거기에 터치패널 또는 조작패널이 존재하는 것처럼 가상조작면에 대하여 조작할 수 있다. 여기에서, 한번 입체표시된 가상조작면화상(501)은, 조작자(102)의 팔이나 신체의 움직임에 맞추어 조작이 보다 자연스럽게 행해지도록 위치나 형상을 변경할 수도 있다.
(복수 조작후보자의 처리)
또한, 도 7 및 도 8은, 본 실시형태의 사용예인 텔레비전 표시장치에서의 가상적인 조작면의 모습을 나타내는 도면인데, 도 7 및 도 8에 나타내는 바와 같이 복수의 시청자에 대하여 각각 가상조작면을 생성하고, 개별로 조작할 수도 있고, 어떤 시청자의 지시를 우선적으로 접수하도록 하는 등, 다양한 설정을 할 수 있다. 하지만, 통상적으로는 복수의 시청자의 각각 다른 조작에 의한 혼란을 회피하기 위하여, 어떠한 방법으로 1명의 시청자를 결정하여 그 시청자의 조작입력만을 인정하도록 한다. 여기에서, 도 7 또는 도 8에 나타내는 바와 같은 복수의 시청자는, 장치에 대한 조작의 권한을 가지는 조작자가 되는 후보자인 것으로부터, 조작후보자라고 부르며, 다음에 복수의 조작후보자가 있는 경우의 조작자의 결정, 조작자 결정 후의 처리에 대하여 설명한다. 따라서, 조작후보자에는, 도 7 또는 도 8에 나타내는 바와 같은 시청자를 포함하여, 본 발명의 대상인 조작자의 후보자, 예를 들어 게임기의 복수의 플레이어나, 프레젠테이션의 발표자 등이 포함된다. 한편, 본 실시형태의 시스템에서는, 조작자의 대상이 되는 자는 시스템이 대상으로 하여 인식할 수 있는 것으로 한정되므로, 조작후보자는, 예를 들어 비디오 카메라(201)의 촬상 범위에 존재하는 것으로 한정된다.
이와 같은 복수의 시청자 중 누구를 조작자로 할지에 대한 설정, 및 가상조작면의 설정 등은, 후술하는 제 2 실시형태의 수법을 사용하여, 즉 제 2 실시형태의 가상조작면의 설정을 행할 때에 먼저 조작후보자에서 누가 조작자가 될지를 결정하고나서, 결정된 조작자가 가상조작면을 설정하도록 행할 수 있는데, 그 밖의 본 기술분야에서 알려진 어떠한 방법으로 행할 수도 있다. 예를 들어, 도 7의 예에서는 텔레비전의 시청을 개시한 직후, 어떠한 제스처로 어떠한 조작자(도 7 및 도 8에서는 조작자는 시청자(702))로 할지를 결정하거나, 시청 도중에 일정한 제스처 또는 리모컨의 조작으로, 설정 모드로 하여 설정할 수 있다. 조작자가 결정되면, 그 조작자(702)에 맞추어 가상조작면화상(501)이 입체표시된다. 한편, 입체표시의 특성에 의하여 일정한 입체표시 시스템에서는, 도 7 및 도 8에 나타내는 바와 같이 조작자(702) 이외의 다른 시청자에게는 가상조작면은 각각 도면에 나타내는 바와 같이 입체표시되는데, 도면에 나타내는 바와 같이 가상조작면이 형성되는 위치는 실제로는 조작자(702)의 눈 앞이므로, 다른 시청자를 실질적으로 조작이 어렵게 된다. 이와 같이, 통상적인 입체표시 시스템에서는, 복수의 사람이 조작할 가능성이 있는 경우, 한 명의 조작자를 먼저 결정하고, 그 조작자에게 적합한 가상조작면을 형성하여, 입체표시할 필요가 있는 경우가 적지않다.
여기에서, 이와 같은 복수의 조작후보자가 있어 현재 누가 조작자인지 명확하지 않은 경우, 조작자가 아닌 사람이 조작을 하려고 하거나, 거꾸로 조작자가 부주의한 동작을 하거나 하여 오조작이 될 우려도 있으므로, 본 실시형태에서는, 화면 상에 어느 조작자인지를 표시하도록 하여 조작후보자 전원에게 현재 누가 조작자인지를 인식시킬 수 있다. 도 41은, 현재 조작자를 특정하기 위하여 삼차원 디스플레이(111)의 하부에 아이콘(4202~4204)을 표시하는 예를 나타내는 도면이다. 도 41을 참조하면, 텔레비전(111)을 시청하고 있는 3명이 조작후보자가 되고, 그 중에 가장 중앙에 있는 1명이 조작자(702)라고 하면, 조작화면예(4201)에서는 화면의 하부에 3명의 조작후보자를 나타내는 3개의 박스(4202~4204)가 표시되고, 우선 사용자인 조작자(702)를 나타내도록 가장 중앙의 박스(4203)가 착색되는 등에 의하여 강조표시된다. 이와 같은 표시는, 상술한 바와 같이 비디오 카메라(201)에 의하여, 조작후보자의 위치를 판독할 수 있으므로, 각 조작후보자의 위치나 늘어선 순서를, 판독한 화상으로부터 추출함으로써 가능해진다.
도 42a 및 42b는, 현재의 조작자를 특정하기 위하여 삼차원 디스플레이(111)의 하부에 아이콘(4302~4304)을 표시하는 다른 예를 나타내는 도면이다. 도 42a 및 42b를 참조하면, 본 실시예에서는 상술한 박스(4202~4204)를 표시하는 예와 비교하여, 인물의 아이콘(4302~4304)을 사용하여, 모니터 화면(111)의 하부 영역(4301)에 표시하고, 거리감도 그 크기에 의하여 표현하고 있으므로, 보다 직감적으로 누가 조작자인지 인식할 수 있게 되어 있다. 이와 같은 조작자를 나타내는 표시의 변형으로서는, 다양한 것이 생각되는데, 예를 들어 도 43a 내지 43c에 나타내는 바와 같은 방법을 채용할 수도 있다. 즉, 조작후보자가 2명인 경우에는 보다 간이하게 도 43b에 나타내는 바와 같은 표시로 할 수도 있다. 또한, 조작후보자가 그것보다 많은 경우에는 도 43c에 나타내는 바와 같이 조작후보자의 사람 수만큼의 박스('사용자 1' 내지 '사용자 5')를 표시하고 있다.
더욱이, 사람모양의 아이콘을 사용하여 3인 이상을 나타내기 위해서는, 도 43a에 나타내는 바와 같이 아이콘 표시영역 내에 조작후보자를 나타내는 아이콘을 위치나 나열 순서를 고려하여 표시할 수도 있다. 이 경우, 본 실시형태에서는 삼차원 디스플레이를 사용하고 있으므로, 각 아이콘을 대응하는 조작후보자의 실제 위치에 근거한 안쪽깊이로 표시하여, 보다 직감적으로 현재의 우선 사용자인 조작자를 인식시킬 수 있다. 물론, 도 41 내지 42를 참조하여 설명한 조작자의 표시는, 통상의 이차원 디스플레이를 사용하는 시스템, 즉 삼차원 아이콘 등을 사용하지 않고, 후술하는 제 2 실시형태에서 설명하는 바와 같은 형태로 가상조작면을 설정하는 경우에도 유효한 것은 말할 것도 없다.
도 1에서는, 화상을 취득하기 위하여 비디오 카메라(201)를 삼차원 디스플레이(111)의 상부에 장착하여 촬영하고 있는데, 도 11 내지 15와 같이 필요한 화상이 얻어진다면 이것으로 한정되지 않고, 적외선 카메라 등 본 기술분야에서 알려진 어느 촬상수단을 이용할 수도 있어, 설치장소도 모니터 부근의 몇 곳을 선택할 수 있다. 여기에서, 본 실시형태에서는 비디오 카메라(201)로서 삼차원(또는 3D) 카메라를 사용함으로써 조작자를 포함하여 입체화상을 작성할 수 있게 한다.
더욱이, 본 실시형태의 시스템에는 도시하지 않은 스피커 등의 음성출력장치를 장착하고 있어, 표시내용이나 조작에 관한 정보를 음성으로 조작자에게 전달할 수도 있다. 이와 같은 기능을 설정함으로써, 디스플레이에 조작내용을 화상으로 표시하는 것뿐만 아니라, 지시사항이나 결과에 대하여 동시에 음성으로 흘려보냄으로써 가상조작면을 알 수 있으므로, 시각장애가 있는 조작자도 조작할 수 있게 된다.
도 9 및 도 10은, 가상조작면의 역할을 구체적으로 설명하기 위한 도면이다. 본 실시형태의 가상조작면(701)은, 조작자(102)의 신장이나 팔의 길이, 또는 신장이나 어깨폭 등의 신체치수 정보에 근거하여 설정되며, 사용자(102)는, 입체화상으로서 조작면(701)이 가상적으로 존재한다고 파악하여, 다양한 조작을 하고자 하는 경우에는 조작면(701)을 기준으로 손(601)을 앞으로 뻗어 제스처를 나타내거나 할 수 있다. 또한, 가상조작면을 포함하는 조작영역에서의 사용자가 임의의 포즈를 취한 후, 가상조작면의 전방으로 뻗는(결정) 동작으로 액션을 결정하거나, 조작을 결정하고나서 뻗는다고 하는 판단의 기준으로 하거나 할 수 있으므로, 사용자가 인지하기 쉬워, 조작성은 종래의 터치패널 조작에 가깝게 된다. 한편, 조작 변형은, 종래의 터치패널보다 압도적으로 증가한다(양손 조작이나, 동작, 복수 손가락 등).
본 실시형태에서, 도 9 및 도 10에 나타내는 바와 같은 가상조작면(701)은, 카메라(201)가 조작자(102)의 모습을 파악하면 실시간으로 형성되도록 되어 있는데, 조작자가 조작을 개시할 때까지는, 조작자의 서있는 위치가 일정하지 않으므로, 가상조작면이 정해지지 않아 조작 판정도 쉽지 않다. 그래서, 본 실시형태에서는, 조작자의 신체가 삼차원 카메라의 촬상 범위 내에서 일정 시간 정지한 타이밍에 가상조작면의 설정처리를 개시하도록 할 수도 있다.
이와 같이 본 실시형태의 가상조작면의 형성은 실시간으로 행할 수 있는데, 이 경우에도 어떠한 방법으로 조작자의 서있는 위치를 그 시스템에 있어서 최적인 일정한 범위로 제한함으로써, 조작판정을 보다 정확하게 할 수 있다. 예를 들어, 도시하지 않지만 바닥면에 서있는 위치를 나타내는 발 형상을 그려두거나, 모니터나 시스템의 배치에 의하여 조작자에게 일정한 제한 범위의 존재를 인식시키거나, 칸막이를 세우거나 하여 일정 범위 내에서 조작을 하도록 하게 할 수도 있다. 조작자가 자연스럽게 인식할 수 있는 가상조작면의 위치나 크기 등은, 조작자와 디스플레이와의 위치관계에 크게 영향을 받아, 시스템 전체적으로 디스플레이, 카메라, 조작자의 위치 등은 미리 상정해 두는 편이 좋은 경우도 있다.
도 2는, 본 실시형태의 화상인식장치의 컴퓨터(110)의 구조를 모식적으로 나타내는 블록도이다. 컴퓨터(110)에는, 모니터(701)에 설치되어 조작자(102) 등을 촬영하는 비디오 카메라(201)가 접속되고, 촬영한 화상이 컴퓨터(110)에 저장된다. 촬영에 의하여 얻어진 화상은 CPU(210)에 있어서 본 실시형태의 특징인 화상의 추출, 위치의 산출 등이 행해져, 산출된 위치에 근거하여 조작면으로부터 비디오 카메라측에 신체의 일부가 나왔는지 여부를 결정한다. 컴퓨터(110)는 일반적으로 CPU(210)를 구비하고, ROM(211) 등에 저장된 프로그램을 RAM(212) 상에서 실행하여, 화상인식장치로부터 입력한 화상에 근거한 처리 결과를 삼차원 디스플레이(111) 등에 출력한다. 본 실시형태에서는, 삼차원 디스플레이(111)는, 상술한 가상조작면 이외에 조작자가 체험하고자 하는 다양한 어플리케이션에 의하여 제공되는 다양한 영상을 출력할 수 있고, 또한 후술하는 바와 같이 조작입력의 지원이 되는 정보도 표시한다.
도 3은, 본 실시형태의 컴퓨터(110)의 CPU(210) 내에서 처리되는 프로그램의 기능 모듈의 일례를 나타내는 블록도이다. 도 3에 나타내는 바와 같이, 본 시스템에서의 처리는, 화상판독부(301), 화상추출부(302), 화상위치산출부(303), 조작판정부(304) 및 입체화상표시부(305)에 의하여 실행된다. 한편, 본 실시형태에서는, 비디오 카메라(201)로부터의 화상을 접수하고나서 데이터의 출력을 행할 때까지의 처리를 이 5개의 모듈에 의하여 실행하는데, 이것으로 한정되지 않고, 그 밖의 모듈을 사용하거나, 또는 보다 적은 모듈로 처리할 수도 있다.
(본 실시형태의 처리)
본 실시형태에서는, 도 10에 나타내는 바와 같이, 비디오 카메라(201)로 촬영된 조작자(102)의 모습에 근거하여 가상조작면을 입체화상으로서 형성하고, 마찬가지로 촬영한 조작자(102)의 일부인 손이나 손가락의 위치를 결정하는 동시에, 가상적인 조작면(701)과 조작자(102)의 손가락(601)과의 위치관계를 산출하는 처리를 행한다. 본 실시형태에서는, 이와 같은 처리를 행하는 전제로서, 본 기술분야에서 알려진 초기설정, 예를 들어 본 실시형태의 화상인식장치가 새롭게 설치된 경우를 상정하면, 사전준비로서 이용하는 비디오 카메라(201)의 이용렌즈의 왜곡, 삼차원 디스플레이(111)와 렌즈와의 거리 등의 정보를 장치에 입력해 둘 필요가 있다. 더욱이, 임계값 설정 등을 미리 조정해 둔다. 시스템의 초기설정이 종료되면, 본 실시형태의 처리를 행하게 되는데, 이러한 처리에 대해서는 도 4를 참조하여 이하에 설명한다.
도 4는, 본 실시형태의 처리의 플로차트이다. 우선, 화상판독부(301)에 있어서 비디오 카메라(201)로 촬영된 데이터를 판독하고(S401), 그 데이터로부터 조작자의 모습을 화상추출부(302)에 의하여 추출한다(S402).
이와 같은 준비 결과, 추출한 조작자(102)의 화상에 근거하여 가상조작면 및 조작영역을 결정한다(S403). 여기에서, 조작면의 형상은 도 11 등을 참조하면 바닥면에서 수직으로 세운 직사각형으로 되어 있는데, 이것으로 한정되지 않고, 조작자의 조작형태에 따라서 다양한 형상(크기, 디스플레이에 대한 각도를 포함)의 조작면을 형성할 수 있다. 구체적으로는, 후술하는 제 2 실시형태의 가상조작면의 설정시와 같이, 조작자의 체형이나 위치를 삼차원 카메라로 입체영상으로서 촬영하고, 조작자의 각 부위의 위치, 크기 등으로부터 최적인 가상조작면의 형상, 위치를 결정한다. 예를 들어, 가상조작면의 형성위치는, 조작자의 눈의 위치로부터, 팔의 길이를 기준으로 조작시의 스트로크가 최적이 되는 위치로 할 수 있는데, 그 밖의 부위의 길이, 크기를 기준으로 거리를 결정하여도 좋고, 기점을 눈이 아닌 어깨로 할 수도 있다. 또한, 눈의 위치의 추출이 어렵다면, 머리부의 위치를 기점으로 할 수도 있다. 더욱이, 본 실시형태에서는, 입체화상을 보기 위하여 조작자는 통상 편광 안경이나 셔터안경을 착용하므로, 안경의 전면 등에 삼차원 카메라의 영상으로부터 위치를 추출하기 쉬운 마커를 붙임으로써, 가상조작면의 형성위치 결정을 쉽게 할 수도 있다.
여기에서, 조작영역이란 본 실시형태의 특징인 가상조작면을 포함하고, 조작자의 조작의 주체가 되는 손이나 손가락 등이 주로 움직여지는 영역이며, 후술하는 가상조작면에 이르기까지의 지원에서 설명하는 바와 같이, 조작자의 몸체로부터 가상조작면을 넘은 일정한 영역이 본원발명의 조작인식을 위하여 이용된다. 예를 들어, 도 11에 나타내는 바와 같이 성인 조작자(810)에 대해서는, 신장(시선의 위치)이나 팔의 길이를 고려하여 조작영역(811)과 같이 형성할 수 있고, 아동 조작자(820)의 경우, 신장도 보다 낮아지고, 팔도 짧아지므로, 이것에 맞추어 조작영역(821)을 설정할 수 있다. 이와 같은 조작영역 중에 가상조작면을 설정하면, 조작자가 자연스럽게 손이나 손가락을 움직임으로써, 손이나 손가락의 움직임으로 조작자가 의도하고 있는 조작을 판정할 수 있게 된다.
보다 구체적으로는, 예를 들어, 안쪽깊이는 조작자가 전방에 손을 뻗은 손가락 끝까지, 가로폭은 조작자가 정확히 가로로 손을 뻗은 경우의 좌우손목의 길이까지, 높이는 조작자의 머리 위치부터 허리 위치까지의 범위로 할 수 있다. 또한, 본 실시형태의 시스템의 대상자를 초등학교 저학년에서 성인으로 한 경우, 신장의 폭은 약 100cm 내지 195cm 정도까지가 되며, 그 신장 차이로서 조작영역 또는 가상조작면의 상하위치의 보정폭은 약 100cm가 필요하게 된다. 한편, 가상조작면, 조작영역은, 그 정도로 실행할 수도 있고, 일정한 조건을 근거로 실행할 수도 있으며, 또는 이들의 설정 타이밍을 미리 또는 그때마다 선택할 수도 있다.
이와 같이, 가상조작면의 형상 및 위치가 결정되면, 본 기술분야에서 알려진 어떠한 방법으로, 조작자로부터 보아 결정된 위치에 결정된 형상(크기, 디스플레이에 대한 각도를 포함)으로 가상조작면을 형성하는 입체화상이 입체화상표시부(305)에 의하여 생성되며, 삼차원 디스플레이(111)에 표시된다(S410). 따라서, 조작자는 입체표시된 가상조작면에 정확하게 손가락이나 손을 접촉할 수 있게 되므로, 가상조작면에 표시된 아이콘을 터치하는 등의 조작을 행할 수 있다. 여기에서, 본 실시형태에서는, 가상조작면을 입체표시할 때까지의 일련의 흐름을 설명하였는데, 기본적으로 조작자가 전체적으로 이동하거나 하여 당초 설정한 가상조작면에서는 조작하기 어려워진 경우에는 더욱 최적의 형상, 위치를 산출하여 다시 입체표시하는데, 가상조작면으로서 표시하는 내용에 따라서도 같은 처리를 반복하여 실행한다, 예를 들어, 아이콘을 가상조작면으로서 표시하는 경우에는, 조작자의 아이콘의 지정처리를 보다 쉽게 하기 위해, 손가락 또는 손의 움직임에 맞추어 최적의 위치, 형상으로 가상조작면을 다시 표시할 수 있다.
조작판정부(304)는, 조작입력 시스템의 입체표시된 가상조작면과, 조작자(102)와의 상대관계를 이용하여(S404), 조작자(102)의 일부가 조작면의 비디오 카메라(201)에서 보아 앞쪽에 오면, 조작이 개시되었다고 판단하여(S405), 각 부분의 형상(손을 벌리고 있거나, 손가락을 2개 세우고 있는 등)이나 움직임으로부터, 그 형상, 움직임이 미리 상정된 어떠한 조작인지를 판정한다(S406). 여기에서, 어떠한 형상, 움직임이 어떠한 조작에 대응하는지는, 시스템 독자적으로 결정할 수도 있고, 본 기술분야에서 알려진 어떠한 수법을 적용하여 결정할 수 있으며, 또는 단순히 그 위치가 조작자에 의하여 접촉된, 예를 들어 아이콘이 선택되거나, 혹은 버튼이 눌리면 판정할 수 있다. 판정된 결과는, 그러한 조작의 입력이 있었던 것으로서 컴퓨터(110)에서 실행되고(S407), 원래 가상조작면으로부터 앞쪽으로 손이 나오지 않은 경우, 조작은 행해지지 않는다고 판정하여 종료된다(S408). 조작내용의 판정은 여기에서 설명한 수법으로 한정되지 않고, 본 기술분야에서 알려진 어떠한 방법도 이용할 수 있다. 또한, 구체적인 판정방법도 생략하였는데, 일반적으로는 미리 정한 제스처 등의 조작자의 신체의 형상, 움직임과, 그것이 의미하는 조작내용을 데이터 베이스 등에 저장해 두어, 화상추출 후에 이 데이터 베이스에 액세스하여 조작내용을 판정한다. 이때에도 물론 화상인식기술이나 인공지능 등을 본 기술분야에서 알려진 수법에 의하여 이용하고, 판정 정밀도를 향상시킬 수도 있다.
여기에서, 조작자가 아동인 경우와 성인인 경우에, 가상조작면을 어느 위치에 어느 정도의 크기로 형성할지가 바뀌는 것이 이해되는데, 더욱이 조작자의 신장 등의 체형의 차이와 더불어, 카메라(201)의 위치나 삼차원 디스플레이(111)의 위치나 설치각도에 따라서도, 가상조작면을 조정할 필요가 있다. 통상적으로, 삼차원 카메라는, CCD나 렌즈면에 대하여 평행하거나, 동심원 형상으로 대상물까지의 거리계측을 행할 수 있다. 모니터가 조작자의 시선의 높이에 설치되고, 카메라가 근접한 위치에 있어, 각각이 바닥면에 수직 설치된 경우, 조작자도 서 있다면 적정 조작영역을 생성한 후, 상호의 위치관계 등, 특별히 조정이나 보정을 할 필요는 없다고 할 수 있다. 하지만, 천장에 매달린 형태의 모니터인 경우나 초대형 모니터 또는 프로젝터 등을 이용하는 경우, 카메라 설치위치나 모니터 및 조작자와의 위치관계는, 다양한 상황이 상정된다,
일반적으로, 가상조작면을 입체표시하였다고 하더라도, 조작자는 조작대상화면을 보면서 입력조작을 행하므로, 항상 조작자의 시선과 조작대상화면을 연결하는 직선에 수직으로 가상조작면을 배치하여, 그것에 따른 조작영역을 생성하지 않으면 조작자의 Z방향으로의 푸시 스트로크 각도가 불일치를 일으켜, 조작자가 원한 포인트에 대하여 푸시 조작을 하여도, 푸시에 따라서 어떠한 각도를 따라 흘러가 버려서 정상적인 조작을 할 수 없게 될 가능성이 있다. 따라서, 가상조작면을 형성하는 경우에는, 모니터, 카메라 및 조작자의 위치, 배치 형태에 따라서 형성하는 각도, 크기, 또는 경우에 따라 위치를 조정하는 것이 바람직하다.
도 12를 참조하면, 도 11에 나타내는 바와 같이 조작자(820)에 맞추어 조작영역(821) 및 가상조작면(601)이 정해지는데, 도 12에 나타내는 예와 같이 카메라(201)가 삼차원 디스플레이(111)의 상부에 배치된 경우, 가상조작면(601)은 조작자(820)가 팔을 뻗는 방향(910)으로 수직이 아니면 조작자(820)는 가상조작면에 대한 양호한 조작감을 얻을 수 없으므로, 카메라(201)의 시야방향에 수직인 평면으로 하지 않는 편이 바람직하다.
또한, 도 13을 참조하면, 삼차원 디스플레이(111) 자체가 위쪽에 설치되고, 더욱이 각도를 가지고 설치되어 있으므로, 가상조작면(701)은 조작자(820)가 삼차원 디스플레이(111)를 올려 보고 조작할 수 있도록, 위쪽으로의 기울기를 가지는 방향(1010)에 수직인 면이 된다. 이 경우에도, 도 12에 나타내는 예와 마찬가지로 카메라(201)의 시야(1011)는 시선방향(1010)과 일정한 각도를 가지고 기울어져 있으므로, 카메라(201)에서 판독한 정보를 기울어진 가상조작면(701)에 맞추도록 보정하는 것이 바람직하다. 더욱이, 도 14를 참조하면, 카메라(201)가 삼차원 디스플레이(111)로부터 떨어져 바닥 가까이에 놓여져 있어, 조작자(820)의 시선(1110)과 카메라(201)의 시야는 보다 큰 각도가 주어져 있으므로, 그만큼을 보정하는 것이 바람직하다.
도 15는, 가상조작면(701) 및 조작영역(821)을 정하는 일례를 설명하기 위한 도면이다. 본 실시형태에서는, 가상조작면의 형상 및 위치를 결정하기 위하여, 삼차원 디스플레이(111) 및 카메라(201)의 위치, 설치방법(어느 정도의 각도로 설치되어 있는지 등), 조작자(820)의 서있는 위치, 신장 등의 정보를 이용한다. 즉, 일례로서는 우선, 조작자(820)의 삼차원 디스플레이(111)에 대한 눈의 높이(신장), 서있는 위치에서 조작자의 시선에 수직인 가상조작면(701)을 산출한다. 다음으로 조작자(820)의 머리와 몸체를 연결하는 선 A-B와, 카메라(201)의 시야의 중심선(1210)의 각도를 측정하여, 가상조작면 및 조작영역의 기울기를 보정한다. 팔의 스트로크는, 조작자의 모습으로부터 추출하여도 좋고, 얻어진 신장의 정보로부터, 별도의 신장마다 평균적인 팔의 길이의 정보로부터 정하여도 좋다.
본 실시형태의 가상조작면 및 조작영역은, 이상과 같이 카메라, 모니터 및 조작자의 위치, 배치형태 등에 근거하여, 자연스러운 조작과 보다 쉬운 조작판정이 가능하도록 정해지며, 실제 조작자의 움직임을 검출하여, 어떠한 조작이 행해지고 있는지가 판정된다. 단, 여기에서 설명을 하지 않는 구체적인 처리, 예를 들어 삼차원 카메라의 모습으로부터 어떻게 위치나 형상을 특정하는지, 조작자의 일부가 가상조작면을 통과하였는지 아닌지의 판정처리 등, 본 실시형태의 실장시에 필요한 처리는, 본 기술분야에서 알려진 어떠한 방법을 이용하여도 달성할 수 있다.
(조작입력의 지원)
이상에서 설명한 바와 같이, 삼차원 비디오 카메라에 의하여 가상조작면을 입체표시함으로써, 조작자는 공간 상에 마치 터치패널과 같은 조작면에 존재하는 것처럼 인식할 수 있어, 이러한 조작면에 대하여 다양한 조작을 행함으로써 신체의 전부 또는 일부를 이용한 조작입력이 가능해지는데, 더욱이 가상적인 조작면에 대한 조작자의 영상을 삼차원 디스플레이(111)에 표시하는 등, 조작입력을 지원함으로써, 보다 쉽게 본 실시형태의 시스템을 활용할 수 있다.
도 19는, 이와 같은 조작입력의 지원이 되는 가이던스를 디스플레이(111)에 표시하고 있는 일례를 나타내는 도면이다. 예를 들어, 디스플레이(111)의 중심부에 표시되어 있는 화상의 어딘가를 포인터로 지시하는 경우, 조작자는 그 자체로 가상적 조작면이 되어 있는 화상에 대하여, 손가락을 돌출함으로써 원하는 장소를 지시할 수 있는데, 그와 같이 지시하는 모습을 도 19에 나타내는 포인터(901)와 같이 표시함으로써, 조작자는 현재 행해지고 있는 조작을 인식하여 확인하면서, 다음 조작을 실행할 수 있다. 이러한 예로 말하자면, 예를 들어 포인터(901)는, 조작면에서 손가락을 돌출하면 화면에 표시되고, 움츠리면 사라지거나, 또는 농담을 주어 표시하도록 되어 있어, 손의 움직임과 디스플레이(111)에 표시되는 포인터의 모습으로부터, 조작자는 자연스러운 형태로 본 실시형태의 입력법을 실행할 수 있는 것이다. 마찬가지로 조작자 자신의 모습을 도 9 및 도 10에 나타내는 바와 같은 형태로 나타낸 조작화면(902)을, 삼차원 디스플레이(111)의 우측 상단에 작게 표시하여 현재 어떤 움직임을 하고, 시스템에서는 어떠한 조작으로 판정되고 있는지를 표시할 수 있고, 또한 손의 움직임을 그래프화한 꺾은선 그래프(903)로 나타내어, 손의 전후의 움직임이 어떻게 되고 있는지를 조작자 자신에게 인식시키는 등에 의하여, 보다 정확한 조작을 기대할 수 있다. 또한, 도시하지 않지만, 시스템에서 사용할 수 있는 제스처를 가이던스에 표시하고, 그에 따라서 조작입력을 하도록 조작자에게 재촉하도록 하여 지원할 수도 있다.
(가상조작면의 안쪽 조작 - 가상조작계층)
본 실시형태에서는, 조작자가 공간 상에 가상적으로 입체표시된 가상조작면을 기준으로, 거기에 마치 터치패널과 같은 입력기기가 존재하는 것처럼 조작함으로써, 그 조작내용을 확실하게 판정하도록 하는 것인데, 이렇게 하여 판정된 조작의 내용을 가상조작면에서 안쪽방향인, 조작자로부터 멀어지는 방향으로의 가상조작면과 조작자의 손 등의 신체의 일부 또는 몸에 부착한 물체의 위치관계로 결정한다. 예를 들어, 조작자로부터 멀어지는 방향인 z축 방향으로 2층 또는 3층에 조작영역을 가상조작계층으로 결정하고, 조작자의 손이 어느 층에 들어가 있는지에 따라 조작의 종류를 결정하여, 그 층 안에서의 손의 움직임에 의하여 조작내용을 결정한다. 이때, 조작자가 시인하고 있는 표시화면 상에 손의 위치나 조작의 종류 등을 표시하게 하면, 조작자는 조작의 인식을 보다 쉽게 할 수 있다. 한편, 조작자의 일부와 각 계층을 분할하는 면과의 z방향의 거리는, 상술한 형성된 가상조작면과 조작자의 일부와의 거리를 산출하는 수법에 의하여 취득할 수 있다.
보다 구체적으로 설명하면, 도 27에 나타내는 트리거면(701)은, 본 실시형태의 가상조작면이고, 상술한 실시형태의 어느 것을 이용하여 손가락(601)이 트리거면(701)으로부터 z축 방향으로 들어가면, 조작이 이루어졌다고 판정된다. 더욱이, 트리거면(701)으로부터 앞의 조작영역을 계층 A 내지 C의 3계층으로 면(4501) 및 면(4502)으로 분할하여, 각각 상이한 조작의 종류를 할당한다. 도 27의 예에서는, 계층 A에는 오브젝트의 회전의 조작을, 계층 B에는 확대축소 조작을, 계층 C에는 오브젝트의 이동의 조작을 각각 할당하고 있다. 각 계층에 있어서 손가락(601)을 움직임으로써 결정된 조작이 실행된다. 예를 들어, 계층 A에 있어서는, 트리거면(701)을 손가락(601)이 통과하였을 때에 손가락(601)을 나타내는 아이콘, 예를 들어 회전 아이콘(4503)이 나타내는 위치를 중심에 지정된 오브젝트가 손가락(601)의 움직임에 맞추어 회전한다. 계층 B에 있어서는, 예를 들어 삼차원 디스플레이(111)에 확대축소 아이콘(4504)을 표시하고, 손가락(601)을 z방향으로 움직이면 사물이 확대되고, 반대방향으로 움직이면 오브젝트가 축소되도록 할 수 있다.
마찬가지로, 계층 C에서는 삼차원 디스플레이(111)에 표시된 지정된 오브젝트 상의 손가락(601)의 위치에 이동 아이콘(4505)을 표시하고, 손가락(601)의 움직임에 맞추어 이동하도록 할 수 있다. 여기에서, 계층간을 구분하는 면(4501) 및 면(4502)은 각 계층이 같은 두께가 되도록 배치할 수도 있고, 계층에 할당된 조작 종류에 따라서 상이한 두께가 되도록 배치할 수도 있다. 예를 들어, 도 27의 예에서는, 계층 B에는 확대 축소의 조작이 할당되어 있는데, 확대 축소를 전후의 움직임으로 표현해야만 하므로, 계층 A나 계층 C와 비교하여 통상적으로는 z방향의 움직임이 커지는 것으로부터, 계층 B를 보다 두껍게 함으로써 조작을 쉽게 할 수도 있다.
이상과 같은 계층은, 표준적인 스트로크에 의하여 그 간격을 결정함으로써, 조작자의 자연스러운 감촉으로 사용할 수 있는데, 본 실시형태에서는 각 층을 나누는 면(4501) 및 면(4502) 등을 가상조작면(701)과 마찬가지로 적당하게 설정된 위치에 입체표시함으로써 조작자에게 계층의 경계를 확실하게 인식시킬 수도 있다. 또는, 계층 A, B, C 중 어느 것, 또는 전체를 계층의 깊이로 그라데이션을 주어 입체표시함으로써, 조작자에게 계층의 존재와 그 깊이를 인식시킬 수도 있는 것 이외에, 본 기술분야에서 알려진 어떠한 표시방법에 의하여 보다 효과적으로 표현할 수도 있다.
도 28은, 본 실시형태의 다른 아이콘의 예를 나타내는 도면이다. 도 28에 나타내는 예에서는 계층 A에는 삼차원 디스플레이(111) 상에서의 조작위치를 특정하는 조작을, 계층 B에는 특정된 위치에서의 오브젝트를 '잡는' 조작을, 계층 C에는 잡은 오브젝트를 던지거나 이동시키는 조작을 각각 할당하고 있다. 한편, 이상의 아이콘은 이차원 표시로 사용할 수도 있고, 입체표시용으로 아이콘을 조정하여 입체표시할 수도 있다.
이상과 같이, 가상조작면에 의하여 조작으로 판정된 후의 조작내용의 판정할 때에, 손가락이나 손의 움직임뿐만 아니라, 그 z방향의 위치, 즉 가상조작계층에 따라서 조작의 종류를 특정하도록 할 수 있으므로, 손가락이나 손의 움직임만으로는 다양한 제스처 패턴을 많이 준비하고, 또한 조작자가 그들을 외울 필요가 있는 것에 비교하여, 단순한 동작만으로 복잡한 조작을 나누어 사용할 수 있게 된다.
한편, 상술한, 특히 도 27에 나타내는 예에서는, 손이나 손가락 등의 일련의 움직임을 각 계층간에서 연속적으로 행할 수 있는 조작을 배치하도록 되어 있는데, 연속적으로 조작할 수 없는 배치의 경우(도 28에 나타내는 예)는, 다음과 같은 2개의 점이 문제가 된다. 즉, (1) 목적으로 하는 가상조작계층에 도달하기 전에 다른 계층을 통과하고, 조작자가 원하지 않는 지시를 내려 버리는 것, (2) 목적의 조작을 끝내고, 손을 조작영역에서 빼는 경우, 다른 가상조작계층을 통과하여, 조작자가 원하지 않는 지시를 내려 버리는 것이다. 상기 문제를 회피하기 위해서는, 예를 들어 다음의 방법 등을 생각할 수 있다. 즉, 조작하는 쪽과 반대 손을 조작영역 내에 끼워넣는 멀티센싱 상태(예를 들어, 오른손으로 조작하고 있는 경우, 왼손을 조작영역 내에 넣은 상태)를, 조작 없음(또는 그 반대로 조작 있음)의 상태로 설정하고, 조작하는 쪽과 반대 손의 출입에 따라서 각 계층의 조작을 행할지 여부를 판단하도록 한다(이 예에서는 양손 조작에 따르지만, XY평면 상에 빠짐용 영역을 설치하는 등, 다양한 방법이 생각된다).
이상, 본 실시형태를 이용하면, 조작자는 미리 제스처를 외우거나, 결정해 두거나 하지 않고, 그 움직임에 따라 시스템의 조작을 행할 수 있는 것 이외에, 조작자의 자세나 각 부분, 예를 들어 손의 움직임을 알 수 있으므로 신체 전체를 사용한 게임에 이용하여, 이른바 복합현실감(MR)을 실현할 수도 있다.
(제 2 실시형태)
본 실시형태는, 상술한 제 1 실시형태로 입체표시한 가상조작면을 미리 조작자에게 지정하게 함으로써 설정하는 점에서 상이한데, 제 1 실시형태의 시스템 구성 및 가상조작면에 대하여 조작자가 행한 동작을 어떻게 조작으로 인식하는지 등의 처리는 같다. 즉, 본 실시형태에서는, 후술하는 바와 같이 조작자가 조작을 행하는 경우에는 먼저, 가상조작면을 어디에 설정할지 일정한 조작으로 지시하게 하고, 그 지시에 따라서 가상조작면을 형성한다. 따라서, 제 1 실시형태의 시스템과 같이 삼차원 디스플레이에 의하여 가상조작면을 입체표시하지 않고도 조작자는 어디에 어떠한 조작면이 존재하고 있는지를 미리 인식할 수 있으므로, 가상조작면을 반드시 입체표시할 필요는 없어, 통상의 이차원 디스플레이를 사용할 수도 있다. 단, 가상조작면의 인식을 보다 확실하게 하기 위하여, 삼차원 디스플레이를 사용하여 입체표시시킬 수도 있다. 이상과 같이, 본 실시형태는, 가상조작면을 조작자의 지시에 따라서 형성한 후의 처리는 기본적으로 제 1 실시형태와 마찬가지이므로, 이하 주로 가상조작면의 설정처리에 대하여 설명한다.
(가상조작면의 설정)
도 32는, 본 실시형태에 따른 조작자의 제스처에 의하여 조작면의 위치를 설정하는 영역을 판정하기 위하여 촬영한 화상을 나타내는 도면이다. 도 32에 나타내는 예와 같이, 삼차원 카메라(201)로 촬영된 조작자의 화상(3210)의 손(3202) 및 손(3203)에 의하여 조작면의 형상(크기, 디스플레이에 대한 각도를 포함)이 결정되고, z방향의 거리 데이터 화상(3211)의 디스플레이로부터 손(3202) 및 손(3203)까지의 거리, 디스플레이로부터 몸통(3204)까지의 거리에 의하여 가상조작면(3201)의 위치를 결정한다. 구체적으로는, 도 33에 나타내는 바와 같이 삼차원 카메라(201)에 의하여 촬영된 조작자의 화상 데이터로부터 안쪽 깊이를 파악할 수 있다. 도 33은, 본 실시형태에 따른 지정된 조작면의 위치의 추출을 설명하기 위한 도면이고, 조작자의 모습을 안쪽방향(z방향)으로 나타낸 것이다. 도 33을 참조하면, 조작자가 손(3202)으로 나타낸 위치에 조작면(3201)을 형성하면 좋다는 것이 이해된다.
본 실시형태에서는, 이와 같은 가상조작면의 설정처리는, 시스템의 전원투입 후나 특정 조작, 예를 들어 리모콘으로 지시하는 등에 의하여 개시되는데, 이것으로 한정되지 않고 본 기술분야에서 알려진 어떠한 방법, 타이밍으로 개시할 수 있다. 도 35는, 본 실시형태에 따른 조작자의 제스처에 의하여 조작면의 위치를 설정하는 처리를 나타내는 플로차트이다. 여기에서, 도 7에 나타내는 바와 같이 상술한 제 1 실시형태에서 설명한 복수의 조작후보자가 있는 경우, 가상조작면의 설정을 행하는 자를 조작자로 정할 수 있고, 이때 설정된 가상조작면은 결정된 조작자용의 것이 된다. 그 결과, 본 실시형태에서 설명하는 가상조작면이 설정되면, 도 41 내지 도 42에 나타내는 바와 같은 조작자의 아이콘이나 박스를 화면에 표시함으로써, 결정한 조작자도 포함하는 조작후보자는 어떤 조작자인지를 인식하여 오조작을 방지할 수 있다.
우선, 전원투입 등에 의하여 시스템 프로그램이 개시되고(S3501), 시스템에서 사용하는 디바이스의 각종 설정 등의 디바이스 관리가 실행된다(S3502). 여기에서 가상조작면의 프레임 취득처리가 개시되고(S3503), 조작자로부터의 지시입력대기가 되어(S3504), 지시가 입력되면 화상 데이터를 취득하고(S3505), 후술하는 조작면 추출처리를 실행(S3506)한 후, 디바이스 후처리를 실행하여 가상조작면의 설정을 종료한다(S3509).
다음으로 도 34 및 도 36을 참조하여 조작면 추출처리를 설명한다. 도 34는, 본 실시헝태에 따른 지정된 조작면의 위치의 추출을 위하여 카메라로부터 취득한 거리 데이터 화상을 나타내는 도면이고, 도 36은 본 실시형태에 따른 지정된 조작면의 위치를 추출하는 처리를 나타내는 플로차트이다. 우선, 데이터, 즉 조작자의 입체화상 데이터의 입력이 이루어지면(S3601), 손의 형상 및 머리부를 인식하여(S3602, S3603), 가상조작면을 형성할지 말지를 판정한다(S3604). 구체적으로는, 예를 들어 손이 일정한 미리 정해진 제스처를 일정 시간 유지하고 있었을 때에는, 가상조작면의 설정처리라고 판단하여, 조작자가 손에 의하여 지시한 위치 및 크기를 포함하는 형상의 가상조작면을, 도 34에 나타내는 바와 같은 거리 데이터 화상으로부터 추출하여 가상조작면을 형성하고(S3605), 조작자의 신체의 측정값, 예를 들어 팔의 길이, 몸통이나 머리부의 위치에 근거하여 조작영역을 설정하고(S3606) 데이터를 출력하여 종료한다(S3609). 여기에서, 본 실시형태에서는 손 등의 움직임을 일정 시간 정지함으로써, 가상조작면의 설정지시라고 판단하도록 하고 있는데, 이것으로 한정되지 않고 다양한 제스처, 리모콘 조작 등으로 지시하는 등의 본 기술분야에서 알려진 어떠한 수법에 의하여 지시를 판단하게 할 수 있다. 한편, 본 실시형태에서는 기본적으로 손에 의하여 형태가 만들어진 형상, 위치에 가상조작면을 형성하는데, 조작자의 신체적 특징이나 디스플레이의 위치, 사용 상황 등에 맞추어 조정할 수도 있다.
머리부의 인식이나 손의 제스처로부터 가상조작면의 설정처리가 아니라고 판단하면, 이미 가상조작면이 설정된 상태인지 아닌지를 판정하고(S3607), 가상조작면이 설정되어 있는 경우에는 통상의 조작으로 판단하여 조작영역 내의 손의 위치를 취득한다(S3608). 이상에 의하여, 조작자의 지시에 근거하는 가상조작면의 설정처리를 행하는데, 본 실시형태에서는 조작자가 스스로 가상조작면을 지시하므로, 가상조작면의 위치를 별도로 어떠한 방법으로 조작자에게 나타내지 않아도 인식하게 할 수 있다. 한편, 가상조작면의 형상 및 위치를 지시하는 제스처는, 본 기술분야의 통상의 지식으로 다양한 것을 생각할 수 있기 때문에, 그들 중 어떤 것도 본 실시형태에서 이용할 수 있다. 그와 같은 변형예를 도 37a 내지 37f에 나타낸다.
(가상조작면의 앞쪽 조작지원)
본 실시형태에서는, 조작자가 공간 상에 가상적으로 입체표시된 가상조작면을 기준으로, 거기에 마치 터치패널과 같은 입력기기가 존재하는 것처럼 조작함으로써, 그 조작내용을 확실하게 판정하고자 하는 것인데, 특히 상술한 제 1 실시형태와 같이 가상조작면을 입체표시하지 않는 경우, 조작자의 일부인 손 또는 손가락 등이 가상조작면에 이르기까지, 즉 조작자가 어떠한 조작을 실행하려고 손 또는 손가락을 움직이기 시작하고서, 가상조작면을 누를 때까지의 동안도 조작지원함으로써, 더욱 조작입력을 쉽게, 보다 정밀하게 행하도록 할 수 있다.
기본적으로는, 이와 같은 조작지원의 원리는 가상조작면에 대한 조작자의 부위, 예를 들어 손 또는 손가락의 위치의 움직임에 맞추어, 삼차원 디스플레이(111) 상에 조작자가 어떠한 조작을 하려고 하고 있는지를 시각적으로 표시하게 함으로써, 조작자를 유도하여 정확한 조작입력을 가능하게 하는 것이다.
이러한 점에 대하여, 도 20 및 도 21을 참조하여 설명하면, 본 실시형태에서는 미리 조작자가 일정한 서있는 위치에서 조작할 수 있는 경우에는 미리 설정된 그 서있는 위치에서 가상조작면으로의 조작이 적합한 위치에, 또는 조작자의 서있는 위치에 맞추어 적절한 위치에 가상조작면(701)을 입체표시한다. 마찬가지로 도 20에 나타내는 바와 같이, 조작자(820)의 적당한 조작영역(821)을 설정해 둔다. 상술한 바와 같이 삼차원 디스플레이(111)에는 현재 어떠한 조작이 행해지려고 하고 있는지를 다양한 형태로 나타냄으로써, 조작자가 자기의 조작을 인식할 수 있도록 한다.
이와 같은 형태의 하나에 대하여 도 21을 참조하여 설명하면, 조작자는 시스템에 대하여 어떠한 조작을 하고자 하는 경우, 본 실시예에서는 삼차원 디스플레이(111)에 대하여, 팔(2401)을 전후로 움직임으로써, 손 또는 손가락(601)의 위치가 바뀌므로, 그 모습을 삼차원 디스플레이(111)에 표시하면, 돌출된 손가락(601)이 일정한 위치까지 오면, 그때 삼차원 디스플레이(111)의 화면 상에서 지시된 항목이 실행되는 등, 시스템적으로 일정한 처리가 이루어진다. 도 21의 예에서는, 가상조작면(701)에 대한 손가락(601)의 위치(깊이)에 따라서 아이콘의 크기가 바뀌게 되어 있어, 가상조작면에 가까워질수록 아이콘이 작아져서 조작자에게는 자기의 조작에 의하여 일정한 장소에 포커스되어 있는 것을 인식시킬 수 있도록 되어 있다. 그리고, 아이콘이 가장 작아진 위치에서 조작이 확정되고, 그에 따른 처리가 실행된다.
이상의 조작 결과, 아이콘이 삼차원 디스플레이(111)의 화면(2501) 상에서 어떻게 변하는지를 나타낸 것이 도 22이다. 도 22를 참조하면, 삼차원 디스플레이(111)의 화면(2501)에는 예를 들어 텔레비전 프로그램표가 입체표시되어 있고, 어떤 프로그램에 관한 조작을 하려고 하고 있다. 이와 같은 상태에서, 예를 들어 조작자가 '설정변경' 메뉴 버튼을 선택하려고 하는 경우, 조작자는 상술한 바와 같이 삼차원 디스플레이(111)를 향하여 손가락(601)을 돌출하여 선택하려고 한다. 본 실시형태에서는, 손가락(601)이 가상조작면인 텔레비전 프로그램표에 대하여 일정한 거리까지 가까워지면, 화면(2501)에 아이콘(2503)이 표시된다. 이러한 아이콘은 손가락의 위치가 아직 멀기 때문에 도 21에 나타내는 아이콘 중 오른쪽에 있는 비교적 큰 것이 표시된다. 조작자가 팔(2401)을 더욱 뻗으면, 이 아이콘은 목표인 선택항목 '설정변경'에 가까워지면서, 작아져서 일정 크기의 아이콘(2502)일 때에 특별한 아이콘이 되어, 손가락이 가상조작면을 가로지르면, 지시하는 위치의 항목이 선택되었다고 판정된다. 여기에서, 텔레비전 프로그램표는 조작자에게 있어서 가상조작면의 위치에 입체표시되는데, 아이콘은 반드시 같은 위치에 표시될 필요는 없고 이차원 표시로 할 수도 있어, 3D 표시에 의하여 적절한 위치에 배치할 수 있다.
이와 같이, 도 22의 예에서는, 손가락(601)의 위치에 따라서 화면(2501)에 표시되는 아이콘의 크기를 바꿈으로써, 조작자는 자기의 동작이 시스템에서 어떻게 인식되고 있는지를 파악할 수 있고, 가상조작면의 위치를 보다 인식하기 쉽게 하여, 메뉴의 선택 등의 조작을 행할 수 있다. 여기에서, 손가락(601), 팔(2401)을 포함하는 조작자 전체 및 각 부위의 위치나 크기는, 조작자의 전체 모습과 마찬가지로 삼차원 카메라를 이용함으로써 추출할 수 있다. 이에 따라 화면 내의 물체는 안쪽깊이도 포함하여 파악할 수 있으므로, 이들 정보에 근거하여 가상조작면과의 거리나 위치관계를 산출할 수 있다. 단, 본 실시형태에서 사용하는 삼차원 카메라나 위치의 추출, 거리의 산출 등은 본 기술분야에서 알려진 어떠한 방법도 사용할 수 있으므로, 여기에서는 그 설명을 생략한다.
여기에서 화면에 표시되는 아이콘은 원형으로 조작자의 동작에 맞추어 크기가 변하는데, 이것으로 한정되지 않고, 도 23에 나타내는 바와 같이 다양한 형태의 아이콘을 사용하여, 다양하게 변화시킬 수 있다. 즉, 도 23을 참조하면, (1)은 손가락 형태의 아이콘이고, 상술한 도 22의 예와 마찬가지로 가상조작면에 가까워질수록 작아지도록 되어 있다. (2)는, 원형으로 점차 작아지도록 되어 있는데, 입력 또는 선택이 확정되면 특별한 형상으로 바꾸어 확정한 것이 나타난다. 이 아이콘이나 다른 아이콘의 경우도 형상(크기, 디스플레이에 대한 각도를 포함)의 변화 대신에, 또는 그와 함께 아이콘의 색을 변화시킬 수도 있다. 예를 들어, 청, 녹, 황, 적색 등, 한색계에서 난색계로 바꿈으로써, 직감적으로 조작이 포커스되어 확정되는 것을 조작자는 인식할 수 있다. (3)은, X와 같은 형상으로, 멀리 있는 경우에는 클 뿐만 아니라 음영이 들어가 있고, 가까워질수록 아이콘의 크기가 작아지는 동시에, 음영이 사라져 선명한 형상이 된다. (4)는 아이콘 전체의 크기는 바뀌지 않고, 안에 그려진 도형이 형상변화를 일으켜서 포커스되는 모습을 인식하도록 되어 있다. 이 경우, 도형의 색도 바꿀 수 있다. 도 23에 나타내는 (5)도 형상을 바꾸는 것이다. 도 23에 있어서, 손가락의 움직임에 따라서 아이콘의 형상이나 색상 등이 바뀌어, 가상조작면을 넘으면 그 순간 란(2601)에 나타내는 바와 같이 다양한 형상이나 색상을 변하게 하거나, 점멸시키거나 하여 조작으로서 판정된 것을 조작자에게 인식시키도록 할 수도 있다. 또한, 도시하지 않지만, 이 밖의 아이콘의 변화로서는, 처음에는 투명하고 손가락이 가상조작면에 가까워질수록 불투명하게 되는 변화도 효과적이다. 더욱이, 도시하지 않지만, 삼차원 디스플레이의 입체표시기능을 이용하여 포커스해 가면 아이콘이 화면으로부터 튀어나오도록 보이는 화상을 작성하여, 조작자에게 포커스 상황을 알려줄 수도 있다.
여기에서, 아이콘의 변형 중, 특히 형상을 별로 바꾸지 않고 색상이나 농도를 바꾸는 경우는, 도 24에 나타내는 바와 같이 아이콘은 별로 이동하지 않고 손가락(601)을 가깝게 가져가면, 색상이 난색계가 되거나 옅어지거나 하여 입력을 확정할 수 있다.
또한, 이상의 예에서는 조작의 판정 상황을 확인하기 위하여 아이콘을 가상조작면의 위치에 표시하게 하고, 조작자의 동작에 따라서 색상이나 형상을 바꾸었는데, 예를 들어 처음부터 메뉴와 같이 미리 지시하는 위치가 고정되어 있는 경우에는, 일부러 아이콘을 표시하지 않아도, 손가락이 지시하는 위치가 입체표시된 메뉴의 어느 항목 버튼에 가까운지에 의하여 결정되고, 손가락의 움직임, 특히 가상조작면으로부터의 거리에 따라서 지시되고 있는 항목 버튼을 칠하는 색상 또는 칠하는 농도를 바꿈으로써, 가상조작면의 위치를 보다 알기 쉽게 하여, 조작입력을 쉽게 할 수 있다.
유사한 메뉴의 선택예로서는, 도 26에 나타내는 바와 같이 일례도 있으므로 설명하면, 예를 들어 도 21의 손가락(601)이 가상조작면(701)의 앞쪽의 일정 영역에 들어가면, 화면 상에 메뉴(4301)가 가상조작면의 위치에 입체표시되고, 그 손가락(601)이 더욱 가상조작면(701)에 가까워지면, 도 26에 나타내는 메뉴의 예를 들어 항목(4302) 상에 큰 아이콘(2610)이 표시된다. 그 후, 가상조작면(701)까지 손가락(601)이 도달하면, 항목(4302)의 선택이 확정되어 작은 아이콘(2611)이 표시되고, 이것이 통지된다. 그 후, 손가락(601)을 좌우 상하로 움직임으로써, 메뉴의 선택 항목이 이동하여 원하는 항목에서 일정 시간 정지하면, 선택된 항목에 따른 처리가 이루어지도록 할 수도 있다. 또한, 선택이 실행되기 전에 손가락(601)이 가상조작면(701)의 앞쪽의 일정 영역보다 뒤쪽으로 움직이면 메뉴를 소거하도록 할 수도 있다. 도 31도, 도 26과 마찬가지로 손가락(601)이 가상조작면(701)의 앞쪽의 일정 영역에 들어가면, 메뉴를 가상조작면의 위치에 입체표시하는데, 여기에서는 비디오 영상 제어의 예이다. 이러한 예에서도 도 26에 나타내는 예와 마찬가지로 큰 아이콘(3110) 및 작은 아이콘(3111)에 의하여 메뉴의 조작이 가능하게 된다.
더욱이, 다른 입력조작의 예를 도 25를 참조하여 설명한다. 도 25는, 본 실시형태에 의하여 화면에 표시된 도형을 이동시키는 지시를 입력하는 일례의 표시화면을 나타내는 도면이다. 여기에서, 표시화면은 가상조작면의 위치에 입체표시되어 있고, 지시는 조작자의 손 또는 손가락을 가상조작면에 접촉하여 움직임으로써 행한다. 우선, 손가락 등을 화면에 가깝게 할수록 화면(4211)의 아이콘(4201)으로부터 화면(4212)의 아이콘(4202)으로 아이콘을 축소하여 가상조작면에 근접하고 있는 것을 나타낸다. 그 후, 가상조작면에 접촉하면 화면(4213)의 아이콘(4203)과 같이, 예를 들어 색상을 바꾸어 방치하고, 그 상태로 위를 향하여 손가락 등을 움직이면 화면(4214)의 러버밴드(4204) 등을 표시하게 하여 이동방향을 나타냄으로써, 조작자가 자기의 조작을 확인할 수 있다. 또한, 오른쪽으로 손가락을 움직이면, 화면(4215)의 러버밴드(4205)를 표시할 수 있다. 이와 같이, 가상조작면에 손가락 등이 도달한 후의 상하좌우의 드래그 거리에 따라서 신축하는 러버밴드(위 도면에서는 화살표)를 출현하게 하고(아이콘(4203)의 위치는 가상조작면으로부터 빠질 때까지 고정), 신축 거리에 따라서 이동속도, 신장 각도에 따라서 3D 공간 내에서의 이동하는 방향을 바꿀 수 있다(화살표 선단이 팔 끝이나 손가락 끝의 움직임에 추종한다).
이상, 도 20에 나타내는 바와 같은 조작자와 모니터가 거의 같은 높이에 있는, 즉 가상조작면이 조작자의 수평방향 전면에 거의 수직으로 형성되는 경우에 대하여, 본 실시형태의 원리를 설명했는데, 이러한 원리는 이와 같은 조작자와 디스플레이와의 위치관계나 형상에는 영향을 받지 않고, 다양한 배치나 구성이 가능하다. 예를 들어, 도 13 내지 15에 나타내는 바와 같은 시스템의 배치에서도 응용할 수 있다. 이 경우, 삼차원 카메라(201)도 삼차원 디스플레이(111)와 함께 기울어져 있으므로, 기본적으로는 상술한 수평위치에 배치된 경우와 큰 차이는 없는데, 카메라를 다른 위치에 설치하였다고 하여도, 본 기술분야에서 알려진 어떠한 방법으로 위치 보정 등을 행함으로써, 조작자의 부위와 가상조작면과의 위치관계를 산출하여, 조작을 판정할 수 있다.
이상과 같이, 본 실시형태에서는 제 1 실시형태에서 설명한 가상조작면에 근거하여 조작입력처리 전에, 그 가상조작면 자체를 조작자의 의지로 설정하는 것이므로, 설정처리에 대해서만 설명하였는데, 한번 가상조작면이 설정되면 제 1 실시형태 중 어느 기능과 조합하여도, 조작입력처리를 실행할 수 있다.
(제 3 실시형태)
본 실시형태는, 기본적으로 상술한 제 1 및 제 2 실시형태에서 공통으로 사용할 수 있는 것으로, 따라서 시스템 구성이나 가상조작면의 설정 등의 처리는 같지만, 조작의 판정처리를 개량한 것이다. 즉, 본 실시형태에서는, 제 1 및 제 2 실시형태와 그 처리는 기본적으로 같지만, 예를 들어 가상조작면을 사용하여 아이콘을 선택할 때 등, 특히 작은 아이콘의 경우, 손가락을 미는 방향을 잘못하면, 적절하게 아이콘을 지정할 수 없거나, 다른 아이콘을 지정해버릴 우려가 있으므로, 아이콘의 주변에 그리드를 설정하여 그리드 흡착시켜, 원하는 아이콘을 지정하기 쉽게 하는 것이다. 본 발명과 같이 가상적으로 조작면을 설정하여 조작의 기준으로 하는 경우, 제 1 및 제 2 실시형태와 같이 조작면의 인식을 확실하게 하는 다양한 처리를 적용하였더라도, 조작자는 항상 정확한 위치 지정을 할 수 있는 것은 아니다. 본 실시형태에서는, 조작자가 다소 잘못된 위치나 방향으로 아이콘을 지정, 예를 들어 도 15에 나타내는 예와 같은 경우, 조작면의 기울기나 위치 등의 조정이 이루어지지 않은 때에도 정확하게 원하는 아이콘을 선택할 수 있도록 할 수 있다.
도 38은, 본 실시형태에 따른 그리드 흡착처리에 이용되는 대상화면의 예를 나타내는 도면이고, 도 39는, 본 실시형태에 따른 그리드 흡착처리에 이용되는 그리드의 설정예를 나타내는 도면이다. 도 39에 나타내는 바와 같이, 예를 들어 각 아이콘보다 크고, 아이콘(3902)을 감싸도록 그리드(4001)를 설정해 둠으로써, 조작자가 아이콘(3902)을 손가락으로 가리키고자 하여 정확하게 아이콘(3902)을 누르지 못한 경우에도, 아이콘(3902)을 감싸는 그리드(4001) 범위에 손가락이 들어가면 그리드 흡착시켜, 아이콘(3902)을 가리킨 것으로 판단할 수 있다. 더욱이, 그리드의 분할위치의 조정 등을 하여, 아이콘 사이를 눌렀을 때에 지시된 위치에 가장 가까운 아이콘을 지시하였다고 판정할 수도 있다.
구체적으로는, 조작대상 디스플레이 상의 아이콘이나 링크의 중심위치에 대하여, 전용 브라우저나 콘텐츠 작성 툴 등의 수단에 의해, 일정 면적의 주위로부터 타겟(아이콘이나 링크) 중심을 향하여, 포커스를 흡착시킨다. 이에 따라, 선택 조작을 쉽게 할 수 있고, 가상조작면이 경사져 있어도 조작자의 평면 포인팅 동작에 문제는 발생하지 않는다. 상기한 정도의 XY평면 상에서의 포커스 동작의 안정을 얻은 후, 타겟 영역에 대하여 가상조작면으로부터 Z축 방향의 푸시 스트로크(공중의 터치패널로의 터치 조작)가 있었던 경우, 푸시 동작 후에도 해당 타겟으로부터 포커스가 어긋나지 않도록(XY 포커스를 고정) 가이드를 계속하여, Z방향의 푸시 스트로크만을 판정, 즉 가상조작면으로부터의 푸시로 그 아이콘 영역으로부터 어긋나도, 푸시만을 인식하여 XY평면 상의 움직임은 무시하고, 그 후의 일련의 터치 스트로크 조작을 안정적인 것으로서 처리한다.
또한, 상기한 것 이외의 보정으로서는, 카메라 등의 장착위치나 각도가 조작대상 디스플레이와 크게 상이한 경우, XY평면에서 임의로 규정한 흡착 영역(면적)을 Z축의 안쪽방향에 대하여 확장·확대(카메라나 디스플레이의 설치각도의 상이에 따른 '물결'의 각도만큼의 면적)시킴으로써, 보다 그리드 흡착을 유효하게 할 수도 있다.
도 40을 참조하면, 이차원 아이콘 영역 'D'로부터 조작진입이 있었던 경우, 안쪽방향으로 진전시킨 입체 영역 'E'보다, 손의 선단의 푸시 스트로크가 어긋난 경우여도, 그대로 영역 'E' 내에 Z축의 푸시 스트로크를 흡착 판정시킴으로써 '흔들림'(손의 떨림이나 안정동작이 어려워서 기인하는 것)이나 '흐름'(카메라, 디스플레이, 신장 차이에 기인하는 것)에 의한 오동작을 방지할 수 있다.
이상과 같이, 본 실시형태에서는 제 1 실시형태 및 제 2 실시형태에서 설명한 가상조작면에 근거하여 조작판정처리시, 특히 아이콘 등 조작자가 일정 영역을 지시하는 동작을 한 경우, 다양한 원인으로 정확한 지시가 불가능한 경우에, 그리드 흡착이라고 하는 수법으로 적절한 조작을 판정하는 것이므로, 구체적인 그리드 흡착 처리에 대해서만 설명하였는데, 그 이외의 처리 및 가상조작면의 설정 등 제 1 실시형태 및 제 2 실시형태에서 설명한 어떠한 기능과 조합하여도 조작입력처리를 실행할 수 있다.
501: 화상
502: 화상
503: 왼쪽 눈
304: 오른쪽 눈

Claims (1)

  1. 소정의 조작영역 내에 있어서 조작자의 비접촉 조작에 기반하여 선택된 오브젝트를 표시하는 표시수단과,
    상기 소정의 조작영역 내에 있어서 조작자의 위치에 기반하여, 상기 오브젝트에 대한 상기 조작자의 조작을 판정하는 조작판정수단과,
    상기 판정의 결과에 응답하여, 소정의 신호를 출력하는 신호출력수단을 구비하고,
    상기 조작판정수단은, 상기 소정의 조작영역 내에 있어서, 동일한 오브젝트에 대하여, 상기 비접촉 조작에 기반하여 상기 조작자의 손이 상기 표시수단 측의 방향만으로 계속 푸시되어, 상기 표시수단 측의 방향만으로 연속하여 계속된 푸시 조작을 인식한 경우에, 그 연속하여 계속된 푸시된 손의 상기 표시수단 측의 방향에 있어서의 위치에 따라서, 상기 조작자의 조작을 판정하는 것을 특징으로 하는 화상인식장치.
KR1020177009386A 2010-09-06 2011-04-11 화상인식장치 및 조작판정방법, 그리고 프로그램 KR20170040389A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010199368A JP4900741B2 (ja) 2010-01-29 2010-09-06 画像認識装置および操作判定方法並びにプログラム
JPJP-P-2010-199368 2010-09-06
PCT/JP2011/002136 WO2012032687A1 (ja) 2010-09-06 2011-04-11 画像認識装置および操作判定方法並びにプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020147030384A Division KR20140140109A (ko) 2010-09-06 2011-04-11 화상인식장치 및 조작판정방법, 그리고 프로그램

Publications (1)

Publication Number Publication Date
KR20170040389A true KR20170040389A (ko) 2017-04-12

Family

ID=45811215

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020177009386A KR20170040389A (ko) 2010-09-06 2011-04-11 화상인식장치 및 조작판정방법, 그리고 프로그램
KR1020137005743A KR101541803B1 (ko) 2010-09-06 2011-04-11 화상인식장치 및 조작판정방법, 그리고 프로그램
KR1020147030384A KR20140140109A (ko) 2010-09-06 2011-04-11 화상인식장치 및 조작판정방법, 그리고 프로그램

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020137005743A KR101541803B1 (ko) 2010-09-06 2011-04-11 화상인식장치 및 조작판정방법, 그리고 프로그램
KR1020147030384A KR20140140109A (ko) 2010-09-06 2011-04-11 화상인식장치 및 조작판정방법, 그리고 프로그램

Country Status (6)

Country Link
EP (1) EP2615523A4 (ko)
JP (1) JP4900741B2 (ko)
KR (3) KR20170040389A (ko)
CN (1) CN103124945B (ko)
CA (1) CA2810307A1 (ko)
WO (1) WO2012032687A1 (ko)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8181123B2 (en) * 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
DE102011112619A1 (de) 2011-09-08 2013-03-14 Eads Deutschland Gmbh Auswahl von Objekten in einem dreidimensionalen virtuellen Szenario
DE102011112620B3 (de) * 2011-09-08 2013-02-21 Eads Deutschland Gmbh Abgewinkeltes Display zur dreidimensionalen Darstellung eines Szenarios
US20140300570A1 (en) * 2011-09-26 2014-10-09 Nec Casio Mobile Communications, Ltd. Mobile information processing terminal
JPWO2013077338A1 (ja) 2011-11-21 2015-04-27 株式会社ニコン 表示装置、表示制御プログラム
JP5646532B2 (ja) * 2012-03-26 2014-12-24 ヤフー株式会社 操作入力装置、操作入力方法、及び、プログラム
JP2013200784A (ja) * 2012-03-26 2013-10-03 Yahoo Japan Corp 操作入力装置、操作入力方法およびプログラム
CN102662577B (zh) * 2012-03-29 2016-08-10 华为终端有限公司 一种基于三维显示的光标操作方法及移动终端
JP5148004B1 (ja) * 2012-04-26 2013-02-20 株式会社三菱東京Ｕｆｊ銀行 情報処理装置、電子機器およびプログラム
EP2662705A1 (en) * 2012-05-07 2013-11-13 Hexagon Technology Center GmbH Surveying apparatus having a range camera
JP5735453B2 (ja) * 2012-05-16 2015-06-17 ヤフー株式会社 表示制御装置、表示制御方法、情報表示システム、およびプログラム。
JP2013250882A (ja) * 2012-06-01 2013-12-12 Sharp Corp 注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム
JP2014056462A (ja) * 2012-09-13 2014-03-27 Toshiba Alpine Automotive Technology Corp 操作装置
US9672413B2 (en) * 2012-11-06 2017-06-06 Sony Corporation Setting operation area for input according to face position
CA2896985A1 (en) 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass for virtual or augmediated vision
WO2014128748A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法
JP6177872B2 (ja) * 2013-02-19 2017-08-09 ミラマ サービス インク 入出力装置、入出力プログラム、および入出力方法
US10171800B2 (en) * 2013-02-19 2019-01-01 Mirama Service Inc. Input/output device, input/output program, and input/output method that provide visual recognition of object to add a sense of distance
US20140282275A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a zooming gesture
JP6266229B2 (ja) * 2013-05-14 2018-01-24 東芝メディカルシステムズ株式会社 画像処理装置、方法、及びプログラム
US9063578B2 (en) * 2013-07-31 2015-06-23 Microsoft Technology Licensing, Llc Ergonomic physical interaction zone cursor mapping
JP6524589B2 (ja) * 2013-08-30 2019-06-05 国立大学法人山梨大学 クリック動作検出装置，方法およびプログラム
TW201528049A (zh) * 2014-01-03 2015-07-16 Utechzone Co Ltd 基於圖樣的校正方法及電子裝置
US20170031515A1 (en) * 2014-04-15 2017-02-02 Sharp Kabushiki Kaisha Input device
WO2015170641A1 (ja) * 2014-05-08 2015-11-12 Ｎｅｃソリューションイノベータ株式会社 操作画面表示装置、操作画面表示方法および非一過性の記録媒体
US9841844B2 (en) 2014-06-20 2017-12-12 Funai Electric Co., Ltd. Image display device
CN104065949B (zh) * 2014-06-26 2016-08-10 深圳奥比中光科技有限公司 一种电视虚拟触控方法及***
JP2016110177A (ja) * 2014-12-02 2016-06-20 株式会社トプコン ３次元入力装置及び入力システム
JP2016118947A (ja) * 2014-12-22 2016-06-30 日本ユニシス株式会社 角度調整可能な仮想平面を用いた空間手書き入力システム
CN107003734B (zh) 2014-12-23 2019-12-17 美达视野股份有限公司 将视觉调节和视觉会聚耦合到感兴趣对象的任何深度处的同一平面的设备、方法和***
EP3239818A4 (en) * 2014-12-26 2018-07-11 Nikon Corporation Control device, electronic instrument, control method, and program
US9836130B2 (en) 2014-12-26 2017-12-05 Nextedge Technology K.K. Operation input device, operation input method, and program
JP6365660B2 (ja) * 2014-12-26 2018-08-01 株式会社ニコン 検出装置、電子機器、検出方法およびプログラム
CN106068489B (zh) * 2014-12-26 2021-03-19 株式会社尼康 检测装置及程序
JP2018032055A (ja) * 2015-01-13 2018-03-01 三菱電機株式会社 ジェスチャー認識装置及び方法、並びにプログラム及び記録媒体
JP6354653B2 (ja) * 2015-04-25 2018-07-11 京セラドキュメントソリューションズ株式会社 拡張現実操作システムおよび拡張現実操作プログラム
KR101708455B1 (ko) 2015-09-08 2017-02-21 엠더블유엔테크 주식회사 핸드 플로트 입체 메뉴 시스템
US10665020B2 (en) 2016-02-15 2020-05-26 Meta View, Inc. Apparatuses, methods and systems for tethering 3-D virtual elements to digital content
EP3438789A4 (en) * 2016-03-29 2019-03-27 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
WO2017217375A1 (ja) * 2016-06-15 2017-12-21 ナーブ株式会社 画像表示装置、画像表示方法、及び画像表示プログラム
US10747395B2 (en) * 2016-06-28 2020-08-18 Nikon Corporation Display device, program, display method and control device
JP6733731B2 (ja) * 2016-06-28 2020-08-05 株式会社ニコン 制御装置、プログラムおよび制御方法
JP6444345B2 (ja) * 2016-08-23 2018-12-26 株式会社コロプラ 仮想空間における入力を支援するための方法および装置ならびに当該方法をコンピュータに実行させるプログラム
CN107977071B (zh) * 2016-10-24 2020-02-28 ***通信有限公司研究院 一种适用于空间***的操作方法及装置
CN106774938A (zh) * 2017-01-16 2017-05-31 广州弥德科技有限公司 基于体感设备的人机交互集成装置
JP6690775B2 (ja) * 2017-02-28 2020-04-28 三菱電機株式会社 エレベーターの呼び登録システム
JP6728111B2 (ja) * 2017-08-01 2020-07-22 株式会社コロプラ 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
WO2019054037A1 (ja) * 2017-09-12 2019-03-21 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP7119398B2 (ja) * 2018-02-06 2022-08-17 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP6658809B2 (ja) * 2018-07-04 2020-03-04 株式会社ニコン 検出装置、電子機器、検出方法およびプログラム
US12017791B2 (en) 2020-09-03 2024-06-25 Rockwell Collins, Inc. System and method for interpreting gestures and providing control signals
KR102437979B1 (ko) * 2022-02-22 2022-08-30 주식회사 마인드포지 제스처 기반의 객체 지향적 인터페이싱 방법 및 장치
JP2023151420A (ja) * 2022-03-31 2023-10-16 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理システム、および情報処理方法
US11531448B1 (en) 2022-06-01 2022-12-20 VR-EDU, Inc. Hand control interfaces and methods in virtual reality environments

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0612177A (ja) * 1992-06-29 1994-01-21 Canon Inc 情報入力方法及びその装置
JPH10207620A (ja) * 1997-01-28 1998-08-07 Atr Chinou Eizo Tsushin Kenkyusho:Kk 立体インタラクション装置および立体インタラクション方法
JP2004303251A (ja) * 1997-11-27 2004-10-28 Matsushita Electric Ind Co Ltd 制御方法
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
JP4286556B2 (ja) * 2003-02-24 2009-07-01 株式会社東芝 画像表示装置
JP2004334590A (ja) * 2003-05-08 2004-11-25 Denso Corp 操作入力装置
JP3847753B2 (ja) * 2004-01-30 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2006235771A (ja) * 2005-02-23 2006-09-07 Victor Co Of Japan Ltd 遠隔操作装置
US9910497B2 (en) * 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
JP4318056B1 (ja) * 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
JP2010134629A (ja) * 2008-12-03 2010-06-17 Sony Corp 情報処理装置および情報処理方法

Also Published As

Publication number Publication date
KR20130049199A (ko) 2013-05-13
CA2810307A1 (en) 2012-03-15
EP2615523A4 (en) 2014-05-14
CN103124945B (zh) 2016-04-13
JP4900741B2 (ja) 2012-03-21
KR101541803B1 (ko) 2015-08-04
JP2011175617A (ja) 2011-09-08
WO2012032687A1 (ja) 2012-03-15
KR20140140109A (ko) 2014-12-08
EP2615523A1 (en) 2013-07-17
CN103124945A (zh) 2013-05-29

Similar Documents

Publication Publication Date Title
KR101541803B1 (ko) 화상인식장치 및 조작판정방법, 그리고 프로그램
JP5114795B2 (ja) 画像認識装置および操作判定方法並びにプログラム
US20120056989A1 (en) Image recognition apparatus, operation determining method and program
CN110647237B (zh) 在人工现实环境中基于手势的内容共享
JP4701424B2 (ja) 画像認識装置および操作判定方法並びにプログラム
KR101227610B1 (ko) 화상인식장치 및 조작판정방법과 이를 위한 프로그램을 기록한 컴퓨터 판독가능한 기록매체
US8441435B2 (en) Image processing apparatus, image processing method, program, and recording medium
US9651782B2 (en) Wearable tracking device
JP5450791B2 (ja) 立体表示装置及び立体撮影装置、並びに利き目判定方法及びこれに用いる利き目判定プログラム並びに記録媒体
US20130050069A1 (en) Method and system for use in providing three dimensional user interface
KR101822471B1 (ko) 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
KR20110109974A (ko) 차량 전자 장치용 차량 유저 인터페이스 유닛
JP2017187667A (ja) 頭部装着型表示装置およびコンピュータープログラム
WO2017085974A1 (ja) 情報処理装置
US20220012922A1 (en) Information processing apparatus, information processing method, and computer readable medium
JP4678428B2 (ja) 仮想空間内位置指示装置
KR101708455B1 (ko) 핸드 플로트 입체 메뉴 시스템
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
CN105446580A (zh) 一种控制方法及便携式电子设备
WO2021220407A1 (ja) ヘッドマウントディスプレイ装置および表示制御方法
JP4186742B2 (ja) 仮想空間内位置指示装置
KR20090112591A (ko) 영상 처리 장치, 영상 처리 방법, 프로그램 및 기록 매체

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
AMND Amendment