KR20160102179A - 표시 제어 장치, 표시 제어 방법 및 프로그램 - Google Patents

표시 제어 장치, 표시 제어 방법 및 프로그램 Download PDF

Info

Publication number
KR20160102179A
KR20160102179A KR1020167015813A KR20167015813A KR20160102179A KR 20160102179 A KR20160102179 A KR 20160102179A KR 1020167015813 A KR1020167015813 A KR 1020167015813A KR 20167015813 A KR20167015813 A KR 20167015813A KR 20160102179 A KR20160102179 A KR 20160102179A
Authority
KR
South Korea
Prior art keywords
processing system
information processing
menu
user
display
Prior art date
Application number
KR1020167015813A
Other languages
English (en)
Inventor
데츠오 이케다
다카유키 사카모토
도모히로 이시이
아츠시 이즈미하라
마사유키 야마다
요헤이 후쿠마
유즈루 기무라
야스시 오쿠무라
다카시 시부야
가츠야 효도
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20160102179A publication Critical patent/KR20160102179A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3155—Modulator illumination systems for controlling the light source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005—Microphone arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/008—Visual indication of individual signal levels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Computer Hardware Design (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Digital Computer Display Output (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stored Programmes (AREA)
  • Light Sources And Details Of Projection-Printing Devices (AREA)
  • Arrangement Of Elements, Cooling, Sealing, Or The Like Of Lighting Devices (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

정보를 표시하려고 하는 환경이나, 표시되어 있는 정보의 상황에 따라, 보다 적절하면서 또한 효율적으로 정보를 표시할 수 있도록 제어하는 것이 가능한 표시 제어 장치, 표시 제어 방법 및 프로그램을 제공한다. 표시면 상의 실제 오브젝트의 정보에 따라서 상기 표시면에 표시되는 표시 오브젝트의 표시 영역을 결정하는 표시 제어부를 구비하는, 표시 제어 장치.

Description

표시 제어 장치, 표시 제어 방법 및 프로그램{DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD, AND PROGRAM}
본 개시는, 표시 제어 장치, 표시 제어 방법 및 프로그램에 관한 것이다.
스마트폰이나 태블릿 단말기 등의, 터치 패널에 대한 조작에 의해 다양한 정보를 표시하는 장치가 널리 보급되어 있다. 태블릿 단말기에 대해서는, 화면 사이즈의 대형화도 도모되게 되고, 복수의 유저가 동시에 조작하는 사용 방법도 고려되어오고 있다. 또한, 정보를 표시하는 장치로서는, 종래부터 프로젝터가 사용되고 있다.
정보를 효율적으로 표시하는 기술은 종래부터 많이 제안되고 있으며, 예를 들어 하기 특허문헌 1에서는, 정보의 표시 시에 복수의 윈도우를 동시에 표시시키는 방법이 제안되어 있다. 구체적으로는, 제1 및 제2 윈도우가 중복되는 부분에서, 후방에 있는 윈도우의 표시 정보를 전방면의 윈도우 표시 정보보다도 옅게 표시시킴으로써, 양쪽 윈도우의 표시 정보를 시인 가능하게 하고 있다.
일본 특허 공개 평8-123652호 공보
이러한 스마트폰이나 태블릿 단말기, 프로젝터 등의 장치가 정보를 표시하려고 할 때, 정보를 표시하려고 하는 환경이나, 표시되어 있는 정보의 상황은 항상 일정하다고는 할 수 없다. 상기 사정을 감안하면, 정보를 표시하려고 하는 환경이나, 표시되어 있는 정보의 상황에 따라, 보다 적절하면서도 또한 효율적으로 정보를 표시할 수 있도록 제어하는 것이 요구된다.
따라서 본 개시에서는, 정보를 표시하려고 하는 환경이나, 표시되어 있는 정보의 상황에 따라, 보다 적절하면서도 또한 효율적으로 정보를 표시할 수 있도록 제어하는 것이 가능한, 신규이면서도 개량된 표시 제어 장치, 표시 제어 방법 및 프로그램을 제안한다.
본 개시에 의하면, 표시면 상의 실제 오브젝트의 정보에 따라서 상기 표시면에 표시되는 표시 오브젝트의 표시 영역을 결정하는 표시 제어부를 구비하는, 표시 제어 장치가 제공된다.
또한, 본 개시에 의하면, 표시면 상의 실제 오브젝트의 정보에 따라서 상기 표시면에 표시되는 표시 오브젝트의 표시 영역을 프로세서에 의해 결정하는 것을 포함하는 표시 제어 방법이 제공된다.
또한, 본 개시에 의하면, 컴퓨터를, 표시면 상의 실제 오브젝트의 정보에 따라서 상기 표시면에 표시되는 표시 오브젝트의 표시 영역을 결정하는 표시 제어부로서 기능시키기 위한 프로그램이 제공된다.
이상 설명한 바와 같이 본 개시에 의하면, 정보를 표시하려고 하는 환경이나, 표시되어 있는 정보의 상황에 따라, 보다 적절하면서도 또한 효율적으로 정보를 표시할 수 있도록 제어하는 것이 가능한, 신규이면서도 개량된 표시 제어 장치, 표시 제어 방법 및 프로그램이 제공된다.
또한, 상기 효과는 반드시 한정적인 것은 아니며, 상기 효과와 함께, 또는 상기 효과 대신에, 본 명세서에 나타낸 어느 하나의 효과, 또는 본 명세서로부터 파악될 수 있는 다른 효과가 발휘되어도 좋다.
도 1은 본 개시의 일 실시 형태에 따른 정보 처리 시스템의 구성예를 도시하는 설명도이다.
도 2는 본 개시의 일 실시 형태에 따른 정보 처리 시스템의 구성예를 도시하는 설명도이다.
도 3은 본 개시의 일 실시 형태에 따른 정보 처리 시스템의 구성예를 도시하는 설명도이다.
도 4는 본 개시의 일 실시 형태에 따른 정보 처리 시스템의 구성예를 도시하는 설명도이다.
도 5는 본 개시의 일 실시 형태에 따른 정보 처리 시스템의 기능 구성예를 도시하는 설명도이다.
도 6은 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 조작 상황의 예를 나타내는 설명도이다.
도 7은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 8은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 9는 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 10은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 11은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 12는 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 13은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 14는 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 동작 예를 나타내는 흐름도이다.
도 15는 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 동작 예를 나타내는 흐름도이다.
도 16은 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 동작 예를 나타내는 흐름도이다.
도 17은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 18은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 19는 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 20은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 21은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 22는 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 23은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 24는 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 25는 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 26은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 27은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 28은 정보 처리 시스템(100d)에서의 메뉴 표시 제어 예를 도시하는 설명도이다.
도 29는 정보 처리 시스템(100d)에서의 메뉴 표시 제어 예를 도시하는 설명도이다.
도 30은 정보 처리 시스템(100c)에서의 메뉴 표시 제어 예를 도시하는 설명도이다.
도 31은 정보 처리 시스템(100a)에서의 메뉴 표시 제어 예를 도시하는 설명도이다.
도 32는 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)과 제휴하는 휴대 단말기의 동작 예를 나타내는 흐름도이다.
도 33은 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 동작 예를 나타내는 흐름도이다.
도 34는 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 35는 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 36은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 37은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 38은 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 사용예를 나타내는 흐름도이다.
도 39는 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 40은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 41은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 42는 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 동작 예를 나타내는 흐름도이다.
도 43은 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 동작 예를 나타내는 흐름도이다.
도 44는 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 동작 예를 나타내는 흐름도이다.
도 45는 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 46은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 47은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 48은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 49는 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 50은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 51은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 52는 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 53은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 54는 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 55는 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 56은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 57은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 58은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 59는 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 60은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 61은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 62는 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 63은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 64는 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 65는 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 66은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 67은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 68은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 69는 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 70은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 71은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 72는 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 73은 애플리케이션의 GUI의 예를 나타내는 설명도이다.
도 74는 구체예 1에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 75는 구체예 1에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 76은 구체예 1에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 77은 구체예 2에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 78은 구체예 2에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 79는 구체예 2에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 80은 구체예 2에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 81은 구체예 2에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 82는 구체예 2에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 83은 구체예 2에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 84는 구체예 2에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 85는 구체예 2에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 86은 구체예 3에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 87은 구체예 3에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 88은 구체예 3에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 89는 구체예 3에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 90은 구체예 3에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 91은 구체예 3에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 92는 구체예 3에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 93은 구체예 3에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 94는 구체예 4에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 95는 구체예 5에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 96은 구체예 5에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 97은 구체예 5에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 98은 구체예 6에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 99는 구체예 6에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 100은 구체예 7에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 101은 구체예 7에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 102는 구체예 7에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 103은 구체예 7에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 104는 구체예 8에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 105는 구체예 8에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 106은 구체예 8에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 107은 구체예 8에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 108은 구체예 8에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 109는 구체예 8에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 110은 구체예 8에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 111은 구체예 9에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 112는 구체예 9에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 113은 구체예 9에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 114는 구체예 9에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 115는 구체예 10에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 116은 구체예 10에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 117은 구체예 10에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 118은 구체예 11에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 119는 구체예 12에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 120은 구체예 12에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 121은 구체예 12에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 122는 구체예 12에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 123은 구체예 12에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 124는 구체예 13에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 125는 구체예 13에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 126은 구체예 13에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 127은 구체예 13에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 128은 카루타 보조 애플리케이션의 구체예를 나타낸 설명도이다.
도 129는 대화 보조 애플리케이션의 구체예를 나타낸 설명도이다.
도 130은 투영면 추종 애플리케이션의 구체예를 나타낸 설명도이다.
도 131은 투영면 추종 애플리케이션의 구체예를 나타낸 설명도이다.
도 132는 투영면 추종 애플리케이션의 구체예를 나타낸 설명도이다.
도 133은 투영면 추종 애플리케이션의 구체예를 나타낸 설명도이다.
도 134는 식사 보조 애플리케이션의 구체예를 나타낸 설명도이다.
도 135는 식사 보조 애플리케이션의 다른 구체예를 나타낸 설명도이다.
도 136은 움직임 이펙트 애플리케이션의 구체예를 나타낸 설명도이다.
도 137은 움직임 이펙트 애플리케이션의 구체예를 나타낸 설명도이다.
도 138은 도시락 제작 지원 애플리케이션의 구체예를 나타낸 설명도이다.
도 139는 일상 보조 애플리케이션에 의한 유저 보조의 구체예를 나타낸 설명도이다.
도 140은 일상 보조 애플리케이션에 의한 유저 보조의 구체예를 나타낸 설명도이다.
도 141은 일상 보조 애플리케이션에 의한 유저 보조의 구체예를 나타낸 설명도이다.
도 142는 일상 보조 애플리케이션에 의한 유저 보조의 구체예를 나타낸 설명도이다.
도 143은 일상 보조 애플리케이션에 의한 유저 보조의 구체예를 나타낸 설명도이다.
도 144는 식탁 연출 애플리케이션의 구체예를 나타낸 설명도이다.
도 145는 요리 추천 애플리케이션의 구체예를 나타낸 설명도이다.
도 146은 식기 이펙트 애플리케이션의 구체예를 나타낸 설명도이다.
도 147은 방간 제휴 애플리케이션의 구체예를 나타낸 설명도이다.
도 148은 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 동작 예를 나타내는 흐름도이다.
도 149는 조명 맵의 예를 나타내는 설명도이다.
도 150은 환경 맵의 예를 나타내는 설명도이다.
도 151은 조명 맵과 환경 맵과의 대응짓기의 예를 나타내는 설명도이다.
도 152는 애플리케이션 조명 대응표의 예를 나타내는 설명도이다.
도 153은 조명 맵 및 환경 맵의 값의 예를 나타내는 설명도이다.
도 154는 조명 맵 및 환경 맵의 값의 예를 나타내는 설명도이다.
도 155는 외광을 환경 맵에 반영시킨 경우의 예를 나타내는 설명도이다.
도 156은 조명 맵 및 환경 맵의 값의 예를 나타내는 설명도이다.
도 157은 애플리케이션의 구체예에 대해서 설명하는 설명도이다.
도 158은 애플리케이션의 구체예에 대해서 설명하는 설명도이다.
도 159는 애플리케이션의 구체예에 대해서 설명하는 설명도이다.
도 160은 애플리케이션의 구체예에 대해서 설명하는 설명도이다.
도 161은 애플리케이션의 구체예에 대해서 설명하는 설명도이다.
도 162는 애플리케이션의 구체예에 대해서 설명하는 설명도이다.
도 163은 GUI의 예를 나타내는 설명도이다.
도 164는 GUI의 예를 나타내는 설명도이다.
도 165는 GUI의 예를 나타내는 설명도이다.
도 166은 GUI의 예를 나타내는 설명도이다.
도 167은 GUI의 예를 나타내는 설명도이다.
도 168은 GUI의 예를 나타내는 설명도이다.
도 169는 GUI의 예를 나타내는 설명도이다.
도 170은 GUI의 예를 나타내는 설명도이다.
도 171은 GUI의 예를 나타내는 설명도이다.
도 172는 GUI의 예를 나타내는 설명도이다.
도 173은 GUI의 예를 나타내는 설명도이다.
도 174는 GUI의 예를 나타내는 설명도이다.
도 175는 GUI의 예를 나타내는 설명도이다.
도 176은 GUI의 예를 나타내는 설명도이다.
도 177은 GUI의 예를 나타내는 설명도이다.
도 178은 GUI의 예를 나타내는 설명도이다.
도 179는 GUI의 예를 나타내는 설명도이다.
도 180은 GUI의 예를 나타내는 설명도이다.
도 181은 GUI의 예를 나타내는 설명도이다.
도 182는 GUI의 예를 나타내는 설명도이다.
도 183은 GUI의 예를 나타내는 설명도이다.
도 184는 GUI의 예를 나타내는 설명도이다.
도 185는 발화시키는 기능의 가시성의 예를 나타내는 설명도이다.
도 186은 GUI의 예를 나타내는 설명도이다.
도 187은 트리거의 조합의 예를 나타내는 설명도이다.
도 188은 GUI의 예를 나타내는 설명도이다.
도 189는 GUI의 예를 나타내는 설명도이다.
도 190은 윈도우의 모드 및 조작 방법의 예를 나타내는 설명도이다.
도 191은 윈도우의 모드 및 조작 방법의 예를 나타내는 설명도이다.
도 192는 윈도우의 모드 및 조작 방법의 예를 나타내는 설명도이다.
도 193은 윈도우의 모드 및 조작 방법의 예를 나타내는 설명도이다.
도 194는 윈도우의 조작예를 도시하는 설명도이다.
도 195는 유저의 조작에 대해서 도시하는 설명도이다.
도 196은 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 동작 예를 나타내는 흐름도이다.
도 197은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다.
도 198은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다.
도 199는 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다.
도 200은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다.
도 201은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다.
도 202는 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다.
도 203은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다.
도 204는 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다.
도 205는 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다.
도 206은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다.
도 207은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다.
도 208은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다.
도 209는 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다.
도 210은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다.
도 211은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다.
도 212는 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다.
도 213은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다.
도 214는 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다.
도 215는 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다.
도 216은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다.
도 217은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다.
도 218은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다.
도 219는 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다.
도 220은 윈도우가 투영면에 놓여 있는 실제의 물체에 간섭하는 경우의 표시 제어 예를 도시하는 설명도이다.
도 221은 정보의 표시예를 도시하는 설명도이다.
도 222는 GUI의 예를 나타내는 설명도이다.
도 223은 GUI의 예를 나타내는 설명도이다.
도 224는 GUI의 예를 나타내는 설명도이다.
도 225는 GUI의 예를 나타내는 설명도이다.
도 226은 GUI의 예를 나타내는 설명도이다.
도 227은 GUI의 예를 나타내는 설명도이다.
도 228은 GUI의 예를 나타내는 설명도이다.
도 229는 GUI의 예를 나타내는 설명도이다.
도 230은 유저 인터페이스의 개요를 설명하기 위한 설명도이다.
도 231은 유저 인터페이스의 개요를 설명하기 위한 설명도이다.
도 232는 유저 위치 추정 기능의 일례를 설명하기 위한 설명도이다.
도 233은 유저 위치 추정 기능의 일례를 설명하기 위한 설명도이다.
도 234는 유저 위치 추정 기능의 일례를 설명하기 위한 설명도이다.
도 235는 유저 위치 추정 기능의 일례를 설명하기 위한 설명도이다.
도 236은 유저 위치 추정 기능의 일례를 설명하기 위한 설명도이다.
도 237은 유저 위치 추정 기능의 일례를 설명하기 위한 설명도이다.
도 238은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 239는 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 240은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 241은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 242는 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 243은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 244는 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 245는 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 246은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 247은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 248은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 249는 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 250은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 251은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 252는 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 253은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 254는 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 255는 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 256은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 257은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 258은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 259는 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 260은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 261은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 262는 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 263은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 264는 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 265는 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 266은 정보 처리 시스템에 있어서 실행되는 표시 제어 처리의 흐름의 일례를 나타내는 흐름도이다.
도 267은 유저 인터페이스의 개요를 설명하기 위한 설명도이다.
도 268은 정보 처리 시스템의 논리적인 구성의 일례를 나타내는 블록도이다.
도 269는 실제 오브젝트 인식 기능의 일례를 설명하기 위한 설명도이다.
도 270은 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다.
도 271은 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다.
도 272는 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다.
도 273은 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다.
도 274는 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다.
도 275는 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다.
도 276은 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다.
도 277은 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다.
도 278은 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다.
도 279는 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다.
도 280은 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다.
도 281은 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다.
도 282는 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다.
도 283은 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다.
도 284는 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다.
도 285는 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다.
도 286은 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다.
도 287은 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다.
도 288은 정보 처리 시스템에 있어서 실행되는 표시 제어 처리의 흐름의 일례를 나타내는 흐름도이다.
도 289는 정보 처리 시스템에 있어서 실행되는 표시 영역 결정 처리의 흐름의 일례를 나타내는 흐름도이다.
도 290은 정보 처리 시스템에 있어서 실행되는 표시 영역 결정 처리의 흐름의 일례를 나타내는 흐름도이다.
도 291은 정보 처리 시스템의 논리적인 구성의 일례를 나타내는 블록도이다.
도 292는 투영 배율의 산출 처리에 대해서 설명하기 위한 설명도이다.
도 293은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 294는 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 295는 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 296은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 297은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 298은 정보 처리 시스템에 있어서 실행되는 표시 제어 처리의 흐름의 일례를 나타내는 흐름도이다.
도 299는 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 300은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 301은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 302는 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 303은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 304는 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 305는 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 306은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 307은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 308은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 309는 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 310은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 311은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 312는 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 313은 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 314는 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 315는 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
도 316은 정보 처리 시스템에 있어서 실행되는 표시 제어 처리의 흐름의 일례를 나타내는 흐름도이다.
도 317은 정보 처리 시스템에 있어서 실행되는 표시 제어 처리의 흐름의 일례를 나타내는 흐름도이다.
도 318은 하드웨어 구성예를 도시하는 설명도이다.
이하에 첨부 도면을 참조하면서, 본 개시의 적합한 실시 형태에 대해서 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복 설명을 생략한다.
또한, 설명은 이하의 순서로 행하는 것으로 한다.
<1. 본 개시의 일 실시 형태>
[1.1. 시스템 구성예]
[1.2. 기능 구성예]
[1.3. 표시 제어 예]
<2. 유저 인터페이스의 구체예>
<3. 하드웨어 구성예>
<4. 정리>
<1. 본 개시의 일 실시 형태>
[1.1. 시스템 구성예]
먼저, 도면을 참조하면서 본 개시의 일 실시 형태에 따른 정보 처리 시스템의 구성예에 대해서 설명한다. 도 1은, 본 개시의 일 실시 형태에 따른 정보 처리 시스템의 구성예를 도시하는 설명도이다. 이하, 도 1을 사용해서 본 개시의 일 실시 형태에 따른 정보 처리 시스템의 구성예에 대해서 설명한다.
도 1에 도시한 바와 같이, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100a)은, 입력부(110a)와, 출력부(130a)를 포함하여 구성된다. 도 1에 도시한 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100a)은, 테이블(140a)의 천장면에 정보를 표시하고, 테이블(140a)에 표시한 정보에 대하여 정보 처리 시스템(100a)을 사용하는 유저에게 조작을 시키는 시스템이다. 도 1과 같이 테이블(140a)의 천장면에 정보를 표시하는 방식을 「프로젝션형」이라고도 칭한다.
입력부(110a)는, 정보 처리 시스템(100a)을 사용하는 유저의 조작 내용이나, 테이블(140a)에 놓여 있는 물체의 형상이나 모양 등을 입력하는 장치이다. 도 1에 도시한 예에서는, 입력부(110a)는, 테이블(140a)의 상방에, 예를 들어 천장으로부터 현수되어진 상태로 설치된다. 즉, 입력부(110a)는, 정보가 표시되는 대상이 되는 테이블(140a)과는 이격되어 설치된다. 입력부(110a)로서는, 예를 들어 1개의 렌즈로 테이블(140a)을 촬상하는 카메라나, 2개의 렌즈로 테이블(140a)을 촬상해서 깊이 방향의 정보를 기록하는 것이 가능한 스테레오 카메라, 정보 처리 시스템(100a)을 사용하는 유저가 발하는 음성이나 정보 처리 시스템(100a)이 놓여 있는 환경의 환경음을 수음하기 위한 마이크 등이 사용될 수 있다.
입력부(110a)로서, 1개의 렌즈로 테이블(140a)을 촬상하는 카메라가 사용되는 경우, 정보 처리 시스템(100a)은, 그 카메라가 촬상한 화상을 해석함으로써, 테이블(140a)에 놓인 물체를 검출할 수 있다. 또한 입력부(110a)로서 스테레오 카메라가 사용되는 경우, 그 스테레오 카메라에는, 예를 들어 가시광 카메라나 적외선 카메라 등이 사용될 수 있다. 입력부(110a)로서 스테레오 카메라가 사용됨으로써, 입력부(110a)는 심도 정보를 취득하는 것이 가능하게 된다. 입력부(110a)가 심도 정보를 취득함으로써, 정보 처리 시스템(100a)은, 예를 들어 테이블(140a) 상에 놓인 손이나 물체의 검출이 가능해진다. 또한 입력부(110a)가 심도 정보를 취득함으로써, 정보 처리 시스템(100a)은, 테이블(140a)에 대한 유저의 손 접촉, 근접의 검출이나 테이블(140a)로부터의 손의 이탈의 검출이 가능하게 된다. 또한, 이하의 설명에서는, 유저가 정보의 표시면에 손 등의 조작체를 접촉 또는 근접시키는 것을, 통합해서 간단히 「접촉」이라고도 칭한다.
또한, 입력부(110a)로서 마이크가 사용되는 경우, 그 마이크는 특정한 방향의 음성을 수음하기 위한 마이크 어레이가 사용될 수 있다. 입력부(110a)로서 마이크 어레이가 사용되는 경우, 정보 처리 시스템(100a)은, 마이크 어레이의 수음 방향을 임의의 방향으로 조정해도 된다.
이하에서는, 유저의 조작이, 입력부(110a)에 의해 촬상된 화상으로부터 검출되는 경우를 주로 설명하는데, 본 개시는 이러한 예에 한정되는 것은 아니다. 유저의 조작은, 유저의 손가락 등의 접촉을 검출하는 터치 패널에 의해 검출되어도 된다. 또한 입력부(110a)가 취득할 수 있는 유저 조작으로서는, 이 밖에도, 예를 들어 정보의 표시면에 대한 스타일러스 조작, 카메라에 대한 제스처 조작 등이 포함될 수 있다.
출력부(130a)는, 입력부(110a)에 의해 입력된, 정보 처리 시스템(100a)을 사용하는 유저의 조작 내용이나, 출력부(130a)가 출력하고 있는 정보의 내용, 테이블(140a)에 놓여 있는 물체의 형상이나 모양 등의 정보에 따라, 테이블(140a)에 정보를 표시하거나, 음성을 출력하거나 하는 장치이다. 출력부(130a)로서는, 예를 들어 프로젝터나 스피커 등이 사용된다. 도 1에 도시한 예에서는, 출력부(130a)는, 테이블(140a)의 상방에, 예를 들어 천장으로부터 현수된 상태로 설치된다. 출력부(130a)가 프로젝터로 구성되는 경우, 출력부(130a)는, 테이블(140a)의 천장면에 정보를 투영한다. 출력부(130a)가 스피커로 구성되는 경우, 출력부(130a)는 음성 신호에 기초하여 음성을 출력한다. 출력부(130a)가 스피커로 구성되는 경우, 스피커의 수는 1개이어도 되고, 복수이어도 된다. 출력부(130a)가 복수의 스피커로 구성되는 경우, 정보 처리 시스템(100a)은, 음성을 출력하는 스피커를 한정하거나, 음성을 출력하는 방향을 조정하거나 해도 된다.
또한 정보 처리 시스템(100a)이 도 1에 도시한 바와 같은 프로젝션형인 경우, 출력부(130a)에, 조명 기기가 포함되어 있어도 된다. 출력부(130a)에 조명 기기가 포함되는 경우, 정보 처리 시스템(100a)은, 입력부(110a)에 의해 입력된 정보의 내용에 기초하여, 조명 기기의 점등, 소등 등의 상태를 제어해도 된다.
정보 처리 시스템(100a)을 사용하는 유저는, 출력부(130a)가 테이블(140a)에 표시하는 정보에 대하여, 손가락 등을 테이블(140a)에 놓고 조작할 수 있다. 또한 정보 처리 시스템(100a)을 사용하는 유저는, 테이블(140a)에 물체를 놓고 입력부(110a)에 인식시킴으로써, 그 인식시킨 물체에 관한 다양한 조작을 실행할 수 있다.
또한 도 1에는 도시하지 않지만, 정보 처리 시스템(100a)에는 다른 장치가 접속되어 있어도 된다. 예를 들어 정보 처리 시스템(100a)에는, 테이블(140a)을 비추기 위한 조명 기기가 접속되어 있어도 된다. 정보 처리 시스템(100a)에 테이블(140a)을 비추기 위한 조명 기기가 접속되어 있음으로써, 정보 처리 시스템(100a)은, 정보의 표시면의 상태에 따라서 조명 기기의 점등 상태를 제어하는 것이 가능하게 된다.
본 개시에서는, 정보 처리 시스템의 형태는 도 1에 도시한 것에 한정되는 것은 아니다. 도 2 내지 도 4는, 본 개시의 일 실시 형태에 따른 정보 처리 시스템의 또 다른 형태의 예를 나타내는 설명도이다.
도 2에 도시한 것은, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100b)의 구성예를 도시하는 설명도이며, 테이블(140b)의 아래로부터 정보를 출력부(130a)에 조사시킴으로써, 테이블(140b)의 표면에 정보를 표시시키도록 구성되어 있는 것이다. 즉, 도 2에 도시한 정보 처리 시스템(100b)에서는, 정보의 표시면은 테이블(140b)의 천장면이 된다. 테이블(140b)의 면은 유리판이나 투명 플라스틱판 등의 투명한 재질로 형성된다. 도 2와 같이 테이블(140b)의 아래로부터 정보를 출력부(130a)에 조사시켜서, 테이블(140b)의 천장면에 정보를 표시하는 방식을 「리어 프로젝션형」이라고도 칭한다. 도 2에 도시한 예에서는, 테이블(140b)의 표면에 입력부(110b)가 설치되는 구성을 나타내고 있지만, 도 1에 도시한 정보 처리 시스템(100a)과 마찬가지로, 입력부(110b)는, 테이블(140b)의 하방에 테이블(140b)과는 이격되어 설치되어도 된다.
도 3에 도시한 것은, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100c)의 구성예를 도시하는 설명도이다. 도 3에는, 터치 패널식의 디스플레이가 테이블 상에 놓여 있는 상태가 도시되어 있다. 이렇게 터치 패널식의 디스플레이의 경우, 입력부(110c) 및 출력부(130c)는, 터치 패널식의 디스플레이로서 구성될 수 있다. 즉, 도 3에 도시한 정보 처리 시스템(100c)에서는, 정보의 표시면은 터치 패널식의 디스플레이가 된다. 도 3에 도시한 정보 처리 시스템(100c)에서는, 도 1에 도시한 정보 처리 시스템(100a)과 마찬가지로, 터치 패널식의 디스플레이의 상방에, 유저의 위치를 검출하기 위한 카메라가 설치되어도 된다.
도 4에 도시한 것은, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100d)의 구성예를 도시하는 설명도이다. 도 4에는, 플랫 패널식의 디스플레이가 테이블 상에 놓여 있는 상태가 도시되어 있다. 즉, 도 4에 도시한 정보 처리 시스템(100d)에서는, 정보의 표시면은 플랫 패널식의 디스플레이가 된다. 이렇게 플랫 패널식의 디스플레이의 경우, 입력부(110d) 및 출력부(130d)는, 플랫 패널식의 디스플레이로서 구성될 수 있다. 이 도 4에 도시한 플랫 패널식의 디스플레이에, 터치 패널이 설치되어 있어도 된다.
또한, 이하의 설명에서는, 도 1에 도시한 바와 같은, 테이블(140a)의 상방에 입력부(110a) 및 출력부(130a)가 설치되는 정보 처리 시스템(100a)의 구성, 즉, 정보의 표시면과 이격되어 입력부(110a) 및 출력부(130a)가 설치되는 구성을 예로서 설명한다. 이하의 설명에서는, 정보 처리 시스템(100a), 입력부(110a), 출력부(130a)를 간단히 정보 처리 시스템(100), 입력부(110), 출력부(130)로 해서도 설명한다.
[1.2. 기능 구성예]
계속해서, 본 개시의 일 실시 형태에 따른 정보 처리 시스템의 기능 구성예에 대해서 설명한다. 도 5는, 본 개시의 일 실시 형태에 따른 정보 처리 시스템의 기능 구성예를 도시하는 설명도이다. 이하, 도 5를 사용해서 본 개시의 일 실시 형태에 따른 정보 처리 시스템의 기능 구성예에 대해서 설명한다.
도 5에 도시한 바와 같이, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 입력부(110)와, 제어부(120)와, 출력부(130)를 포함하여 구성된다.
입력부(110)는, 정보 처리 시스템(100)을 사용하는 유저의 정보 처리 시스템(100)에 대한 조작 내용이나, 출력부(130)가 정보를 출력하는 면(예를 들어 도 1에 도시한 테이블(140a))에 놓여 있는 물체의 형상이나 모양 등을 입력한다. 정보 처리 시스템(100)을 사용하는 유저의 정보 처리 시스템(100)에 대한 조작 내용에는, 정보 처리 시스템(100)이 정보의 표시면에 출력하는 GUI에 대한 조작 내용을 포함한다. 입력부(110)가 입력한, 정보 처리 시스템(100)에 대한 조작 내용, 물체의 형상, 모양 등의 정보는 제어부(120)에 보내진다.
입력부(110)는, 정보 처리 시스템(100)이 프로젝션형인 경우, 예를 들어 1개의 렌즈로 구성되는 카메라, 2개의 렌즈로 구성되는 스테레오 카메라, 마이크 등으로 구성될 수 있다.
제어부(120)는, 정보 처리 시스템(100)의 각 부의 제어를 실행한다. 예를 들어 제어부(120)는, 입력부(110)가 입력한 정보를 사용하여, 출력부(130)로부터 출력하는 정보를 생성한다. 도 5에 도시한 바와 같이, 제어부(120)는, 검출부(121)와, 출력 제어부(122)를 포함하여 구성된다. 검출부(121)는, 정보 처리 시스템(100)을 사용하는 유저의, 정보 처리 시스템(100)에 대한 조작 내용이나, 출력부(130)가 출력하고 있는 정보의 내용, 출력부(130)가 정보를 출력하는 면(예를 들어 도 1에 도시한 테이블(140a))에 놓여 있는 물체의 형상이나 모양 등을 검출하는 처리를 실행한다. 검출부(121)가 검출한 내용은 출력 제어부(122)에 보내진다. 출력 제어부(122)는, 검출부(121)가 검출한 내용에 기초하여, 출력부(130)로부터 출력하는 정보를 생성하는 제어를 실행한다. 출력 제어부(122)가 생성한 정보는 출력부(130)에 보내진다.
예를 들어 정보 처리 시스템(100)이 도 1에 도시한 프로젝션형인 경우, 정보의 표시면의 좌표와, 유저의 손 등의 조작체의 표시면에의 접촉 좌표가 일치하도록 미리 교정됨으로써, 검출부(121)는, 유저의 손 등의 조작체가, GUI의 어느 부분에 접촉했는지를 검출하는 것이 가능해진다.
제어부(120)는, 예를 들어 CPU(Central Processing Unit; 중앙 연산 처리 장치) 등으로 구성되어 있어도 된다. 제어부(120)가 CPU 등의 장치로 구성되는 경우에는, 이러한 장치는 전자 회로로 구성될 수 있다.
또한 도 5에는 도시하지 않지만, 제어부(120)는, 다른 장치와의 사이에서 무선 통신을 행하기 위한 통신 기능이나, 정보 처리 시스템(100)에 접속되는 다른 장치, 예를 들어 조명 기기의 동작을 제어하는 기능을 가져도 된다.
출력부(130)는, 입력부(110)에 의해 입력된, 정보 처리 시스템(100)을 사용하는 유저의 조작 내용이나, 출력부(130)가 출력하고 있는 정보의 내용, 또한 출력부(130)가 정보를 출력하는 면(예를 들어 도 1에 도시한 테이블(140a))에 놓여 있는 물체의 형상이나 모양 등의 정보에 따라서 정보를 출력한다. 출력부(130)는, 출력 제어부(122)가 생성하는 정보에 기초하여 정보를 출력한다. 출력부(130)가 출력하는 정보에는, 정보의 표시면에 표시되는 정보나, 스피커(도시하지 않음) 등으로부터 출력되는 음성 등이 포함된다.
도 5에 도시한 정보 처리 시스템(100)은, 단독의 장치로서 구성되어도 되고, 일부 또는 전부가 각각 별도의 장치로 구성되어도 된다. 예를 들어, 도 5에 도시한 정보 처리 시스템(100)의 기능 구성예 중, 제어부(120)가, 입력부(110) 및 출력부(130)와 네트워크 등으로 접속된 서버 등의 장치에 구비되어 있어도 된다. 제어부(120)가 서버 등의 장치에 구비되는 경우에는, 입력부(110)로부터의 정보가 네트워크 등을 통해서 당해 서버 등의 장치에 송신되어, 제어부(120)가 입력부(110)로부터의 정보에 대하여 처리를 행하고, 당해 서버 등의 장치로부터, 출력부(130)가 출력하기 위한 정보가 네트워크 등을 통해서 출력부(130)에 보내진다.
이상, 도 5를 사용해서 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 기능 구성예에 대해서 설명하였다. 계속해서, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)에 의한 정보의 표시 제어 예에 대해서 설명한다.
[1.3. 표시 제어 예]
도 6은, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 조작 상황의 예를 나타내는 설명도이다. 도 6에 도시한 바와 같이, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 복수의 유저가, 예를 들어 테이블(140a)에 표시되는 동일한 화면 상에서 각각 독립된 애플리케이션을 실행할 수 있도록 구성된 시스템이다. 도 6에 나타낸 애플리케이션의 GUI(Graphical User Interface)는, 출력 제어부(122)가 생성하고, 출력부(130)가 출력한다. 도 6에 나타낸 부호 1100은, 애플리케이션을 조작하기 위한 메뉴 버튼이다.
본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 출력부(130)가 정보의 표시면에 출력한 애플리케이션의 GUI에 대한 유저의 조작 내용을 입력부(110)에서 취득한다. 정보 처리 시스템(100)은, 유저에게 그 표시면에 대하여 손 등의 조작체를 접촉시키거나, 접촉시킨 그 조작체를 표시면 상에서 이동시키거나 함으로써, 출력부(130)가 정보의 표시면에 출력한 애플리케이션의 GUI의 조작을 접수한다.
도 7 및 도 8은, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 7은, 애플리케이션의 윈도우의 코너(도 7의 예에서는 좌측 코너)를 중심으로 해서 부채형으로 버튼이 배치되어 있는 GUI의 예이다. 도 8은, 애플리케이션의 윈도우의 한 변(도 8의 예에서는 아래의 변)을 따라 버튼이 배치되어 있는 GUI의 예이다. 도 7에 나타낸 부호 1100은, 애플리케이션을 조작하기 위한 메뉴 버튼이다. 또한 도 7에 나타낸 부호 1110은, 부호 1100으로 나타낸 메뉴 버튼에 유저가 접촉했을 때 표시되거나, 또는 처음부터 표시되어 있는, 애플리케이션을 조작하기 위한 메뉴 버튼 군이다. 마찬가지로, 도 8에 나타낸 부호 1100'는, 애플리케이션을 조작하기 위한 메뉴 버튼이다. 또한 도 8에 나타낸 부호 1110'는, 부호 1100'로 나타낸 메뉴 버튼에 유저가 접촉했을 때 표시되거나, 또는 처음부터 표시되어 있는, 애플리케이션을 조작하기 위한 메뉴 버튼 군이다.
정보 처리 시스템(100)은, 메뉴 버튼 군(1110) 중의 임의의 메뉴 버튼에 유저가 손가락 등을 접촉시킨 상태에서, 유저가 그 손가락 등을 정보의 표시면 상에서 메뉴 버튼 군(1110)의 배열을 따라 이동시키면, 메뉴 버튼 군(1110)을, 그 유저의 조작에 추종해서 메뉴 버튼(1100)을 중심으로 회전하도록 표시시킨다.
도 9 및 도 10은, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이며, 복수의 윈도우가 표시되어 있는 상태를 도시하는 설명도이다. 도 9 및 도 10에는, 정보 처리 시스템(100)이 실행하는 애플리케이션을 유저가 기동하기 위한 메뉴인 글로벌 메뉴와, 기동된 애플리케이션을 유저가 조작하기 위한 메뉴인 로컬 메뉴가 표시되어 있는 모습이 도시되어 있다. 도 9에는, 글로벌 메뉴 및 로컬 메뉴가 부채형으로 표시되는 버튼 형식으로 표시되어 있는 예가 도시되어 있고, 도 10에는, 글로벌 메뉴 및 로컬 메뉴가 바 형식으로 표시되어 있는 예가 도시되어 있다. 또한, 도 9에서는, 글로벌 메뉴가 메뉴 버튼(1100a) 및 메뉴 버튼 군(1110a)이며, 로컬 메뉴가 메뉴 버튼(1100b) 및 메뉴 버튼 군(1110b)이다. 또한 도 10에서는, 글로벌 메뉴가 메뉴 버튼(1100') 및 메뉴 버튼 군(1110')이다.
도 11 내지 도 13은, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 11의 부호 A는, 카메라 애플리케이션을 기동하기 위한 버튼 아이콘(1101)의 예이며, 부호 B는, 정보 처리 시스템(100)이 관리하고 있는 데이터를 판독하기 위한 버튼 아이콘(1101)의 예이며, 부호 C는, 폴더를 의미하는 버튼 아이콘(1101)의 예이다. 도 11의 부호 B로 나타낸, 정보 처리 시스템(100)이 관리하고 있는 데이터를 판독하기 위한 버튼 아이콘(1101)을 유저가 선택하면, 정보 처리 시스템(100)은, 그 데이터를 판독하여, 당해 데이터의 종류에 따른 동작을 실행한다. 당해 데이터가 화상 데이터라면, 정보 처리 시스템(100)은, 그 화상 데이터를 출력부(130)로부터 출력시킨다. 당해 데이터가 악곡 데이터라면, 정보 처리 시스템(100)은, 그 악곡 데이터를 출력부(130)로부터 재생시킨다.
도 12는, 도 11의 부호 A로 나타낸 카메라 애플리케이션을 기동하기 위한 버튼 아이콘(1101)을 정보 처리 시스템(100)의 유저가 선택했을 때의 표시예를 도시하는 설명도이다. 또한 도 13은, 정보 처리 시스템(100)의 유저가 메뉴 버튼(1100)을 선택했을 때의 표시예를 도시하는 설명도이다. 도 13에 나타낸 예에서는, 메뉴 버튼(1100)이 유저에 의해 선택되면, 메뉴 버튼(1100)에 속하는 기능을 실행시키기 위한 메뉴 버튼 군(1110)이 표시되어 있다.
본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이, 이러한 GUI를 출력하고자 하는 경우, 다른 윈도우의 위치나, 정보의 표시면의 상태, 예를 들어 도 1에 도시한 테이블(140a)에 놓여 있는 물체의 상태에 따라서는, 미리 설정되어 있는 초기 상태로 메뉴를 표시시켜버리면 다양한 문제가 발생할 수 있다. 예를 들어, 윈도우의 위치가 표시 영역의 밖으로 밀려 나와버리면, 선택할 수 없는 메뉴가 생겨버린다. 또한 다른 윈도우에 가려짐으로써, 윈도우를 최전면에 이동시키는 조작을 유저가 행하지 않으면, 선택할 수 없는 메뉴가 생겨버린다. 또한 도 6과 같이, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 다양한 방향으로부터 유저가 메뉴를 조작할 수 있기 때문에, 유저의 위치나 방향에 따라서는 메뉴까지의 위치가 멀어져서, 유저가 만지기 어려워진다. 또한, 도 1과 같이 출력부(130a)로부터 테이블(140a)에 정보를 표시시키는 경우, 테이블(140a)에 물체가 놓여 있는 장소에 메뉴가 겹쳐져버림으로써, 메뉴를 조작할 수 없게 된다.
따라서 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 다른 윈도우의 위치나, 정보의 표시면의 상태를 검출하고, 그 검출 결과에 기초하여 메뉴의 위치를 제어한다. 구체적으로는, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 예를 들어 도 1에 도시한 테이블(140a)이나, 도 2에 도시한 테이블(140b)에 놓여 있는 물체의 상태를 검출하고, 그 검출 결과에 기초하여 메뉴의 위치를 제어한다. 정보의 표시면의 상태를 검출하고, 그 검출 결과에 기초하여 메뉴의 위치를 제어함으로써, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 정보를 표시하려고 하는 환경에 따라, 적절하면서도 또한 효율적으로 정보를 표시하는 것이 가능하게 된다. 이하, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)에 의한 메뉴의 위치의 제어 방법에 대해서 설명한다.
도 14 내지 도 16은, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 동작 예를 나타내는 흐름도이다. 도 14 내지 도 16에 나타낸 것은, 다른 윈도우의 위치나, 정보의 표시면의 상태를 검출하고, 그 검출 결과에 기초하여 메뉴의 위치를 제어할 때의, 정보 처리 시스템(100)의 동작 예이다. 이하, 도 14 내지 도 16을 사용하여, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 동작 예에 대해서 설명한다.
정보 처리 시스템(100)의 유저가, 메뉴를 표시시키기 위한 소정의 조작을 실행하면, 정보 처리 시스템(100)은, 그 메뉴를 표시하는 메뉴 이동처를, 현재의 메뉴 위치에 세트한다(스텝 S1001). 스텝 S1001의 처리는, 예를 들어 출력 제어부(122)가 실행한다. 계속해서 정보 처리 시스템(100)은, 유저의 조작에 따라서 표시하는 윈도우의 상태가, 메뉴 위치에 관계하는지 여부를 판단한다(스텝 S1002). 이 판단은 예를 들어 검출부(121)가 실행한다. 구체적으로는, 스텝 S1002에서는, 정보 처리 시스템(100)은, 윈도우가 최대화되어 있는지 여부의 판정을 실행하고, 윈도우가 최대화되어 있으면, 윈도우의 상태가 메뉴 위치에 관계한다고 판정한다. 또한, 윈도우가 최대화되어 있다는 것은, 출력부(130)에 의해 표시가 가능한 최대의 범위로 윈도우가 표시되어 있는 것을 말한다.
스텝 S1002의 판단 결과, 유저의 조작에 따라서 표시하는 윈도우의 상태가, 메뉴 위치에 관계하면(스텝 S1002, "예"), 즉 윈도우가 최대화되어 있으면, 계속해서 정보 처리 시스템(100)은 윈도우의 상태에 따라, 스텝 S1001에서 세트한 메뉴 위치에 오프셋을 부여하는 처리를 실행한다(스텝 S1003). 즉 정보 처리 시스템(100)은, 메뉴 위치를 소정량 윈도우의 내측에 가깝게 하는 오프셋을, 스텝 S1001에서 세트한 메뉴 위치에 부여한다. 스텝 S1003의 처리는 예를 들어 출력 제어부(122)가 실행한다.
도 17은, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이며, 정보 처리 시스템(100)이 표시하는 애플리케이션의 윈도우가 최대화되어 있는 상태가 도시되어 있다. 구체적으로는, 윈도우가 최대화되어 있는 상태이므로, 스텝 S1003에서는, 도 17에 도시한 바와 같이, 메뉴 버튼(1100)의 위치를 윈도우의 내측으로 소정량 이동시키는 처리가 정보 처리 시스템(100)에 의해 실행된다. 한편, 스텝 S1002의 판단 결과, 유저의 조작에 따라서 표시하는 윈도우의 상태가, 메뉴 위치에 관계하지 않으면(스텝 S1002, "아니오"), 즉 윈도우가 최대화되어 있지 않으면, 정보 처리 시스템(100)은 스텝 S1003의 처리를 스킵한다.
계속해서 정보 처리 시스템(100)은, 스텝 S1001에서 세트된 메뉴 이동처가, 화면의 내부, 즉 출력부(130)에 의해 표시가 가능한 화면의 내부에 있는지 판단한다(스텝 S1004). 이 판단은 예를 들어 검출부(121)가 실행한다.
도 18은, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이며, 메뉴가 화면 내부에 있는지 여부에 대해서 도시하는 설명도이다. 도 18에서, 파선으로 나타낸 원은, 메뉴 버튼(1100)의 메뉴 이동처가 화면 외부, 즉 출력부(130)에 의해 표시가 가능한 화면의 외부에 있는 경우의 메뉴 이동처의 예이며, 실선으로 나타낸 원은, 메뉴 버튼(1100)의 메뉴 이동처가 화면 내부, 즉 출력부(130)에 의해 표시가 가능한 화면의 내부에 있는 경우의 메뉴 이동처의 예니다.
스텝 S1001에서 세트된 메뉴 이동처가 화면 내부에 있으면(스텝 S1004, "예"), 계속해서 정보 처리 시스템(100)은, 스텝 S1001에서 세트된 메뉴 이동처가, 정보 처리 시스템(100)이 표시하는 다른 윈도우에 덮여 있지 않은지 여부를 판단한다(스텝 S1005). 이 판단은 예를 들어 검출부(121)가 실행한다.
도 19는, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이며, 메뉴 버튼(1100)이, 정보 처리 시스템(100)이 표시하는 다른 윈도우에 덮여 있는 상태에 있는지 여부에 대해서 도시하는 설명도이다. 도 19에서, 파선으로 나타낸 원은, 메뉴 버튼(1100)이 다른 윈도우에 덮여 있는 경우의 메뉴 이동처의 예이며, 실선으로 나타낸 원은, 메뉴 버튼(1100)이 다른 윈도우에 덮여 있지 않은 경우의 메뉴 이동처의 예이다.
스텝 S1001에서 세트된 메뉴 이동처가, 정보 처리 시스템(100)이 표시하는 다른 윈도우에 덮여 있지 않으면(스텝 S1005, "예"), 계속해서 정보 처리 시스템(100)은, 스텝 S1001에서 세트된 메뉴 이동처가, 유저의 위치나 유저의 조작 방향에 따라서 적절한 위치에 있는지 판단한다(스텝 S1006). 구체적으로는, 정보 처리 시스템(100)은, 스텝 S1001에서 세트된 메뉴 이동처와, 유저의 위치나 유저의 조작 방향을 비교하여, 스텝 S1001에서 세트된 메뉴 이동처가, 유저의 위치나 유저의 조작 방향에 따라서 적절한 위치에 있는지 판단한다. 이 판단은 예를 들어 검출부(121)가 실행한다.
도 20은, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이며, 스텝 S1001에서 세트된 메뉴 이동처가, 유저의 위치나 유저의 조작 방향에 따라서 적절한 위치에 있는지 여부에 대해서 도시하는 설명도이다. 도 20에서, 파선으로 나타낸 원은, 메뉴 버튼(1100)의 이동처가 유저의 위치로부터 멀기 때문에, 메뉴 버튼(1100)의 이동처가 유저의 위치나 유저의 조작 방향(화면 아래로부터 위의 방향)에 따라서 적절한 위치에 없는 경우의 예이며, 실선으로 나타낸 원은, 메뉴 버튼(1100)의 이동처가 유저의 위치에 가까우므로, 메뉴 버튼(1100)의 이동처가 유저의 위치나 유저의 조작 방향(화면 아래로부터 위의 방향)에 따라서 적절한 위치에 있는 경우의 예이다.
스텝 S1006의 판단 결과, 스텝 S1001에서 세트된 메뉴 이동처가 유저의 위치나 유저의 조작 방향에 따라서 적절한 위치에 있으면(스텝 S1006, "예"), 계속해서 정보 처리 시스템(100)은, 스텝 S1001에서 세트된 메뉴 이동처가, 정보 처리 시스템(100)이 표시하는 정보의 표시면에 놓여 있는 물체와 간섭하지 않는지 여부를 판단한다(스텝 S1007). 이 판단은 예를 들어 검출부(121)가 실행한다. 정보 처리 시스템(100)이 표시하는 정보의 표시면으로서는, 예를 들어 도 1에 도시한 테이블(140a)의 천장면을 들 수 있다. 메뉴 이동처가 물체와 간섭한다는 것은, 메뉴 이동처가 물체의 적어도 일부와 겹쳐 있는 것을 말하는 것으로 한다.
도 21은, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이며, 스텝 S1001에서 세트된 메뉴 버튼(1100)의 이동처가, 정보의 표시면에 놓여 있는 물체(1200)와 간섭하지 않는지 여부에 대해서 도시하는 설명도이다. 도 21에서, 파선으로 나타낸 원은, 메뉴 버튼(1100)의 이동처가 정보의 표시면에 놓여 있는 물체(1200)와 간섭하고 있는 경우의 예이며, 실선으로 나타낸 원은, 메뉴 버튼(1100)의 이동처가 정보의 표시면에 놓여 있는 물체(1200)와 간섭하고 있지 않은 경우의 예이다. 또한, 검출부(121)는, 파선으로 나타낸 원과 같이, 메뉴 버튼(1100)의 이동처가 정보의 표시면에 놓여 있는 물체(1200)에 겹쳐져 있는 경우에는 일률적으로 간섭하고 있다고 판단해도 되고, 메뉴 버튼(1100)의 이동처가 정보의 표시면에 놓여 있는 물체(1200)에 겹쳐져 있는 경우라도, 그 메뉴 버튼(1100)의 이동처가 물체(1200)의 평면 상에 위치하고 있는 경우에는, 메뉴 이동처가 정보의 표시면에 놓여 있는 물체와 간섭하고 있지 않다고 판단해도 된다.
스텝 S1001에서 세트된 메뉴 이동처가 정보의 표시면에 놓여 있는 물체와 간섭하지 않는 경우에는(스텝 S1007, "예"), 정보 처리 시스템(100)은, 유저에 의해 호출된 메뉴를 스텝 S1001에서 세트된 메뉴 이동처로 이동한다(스텝 S1008). 스텝 S1008의 처리는 예를 들어 출력 제어부(122)가 실행한다.
한편, 상기 스텝 S1004 내지 S1007의 판단에서, 적어도 어느 한쪽이 조건을 만족하지 않는 경우에는(스텝 S1004 내지 S1007, "아니오"), 계속해서 정보 처리 시스템(100)은, 모든 메뉴 이동처를 조사했는지 여부를 판단한다(스텝 S1009). 모든 메뉴 이동처를 조사했는지 여부의 판단은, 예를 들어 검출부(121)가 실행한다.
상기 스텝 S1009의 판단 결과, 모든 메뉴 이동처를 끝까지 조사하지 않았으면(스텝 S1009, "아니오"), 정보 처리 시스템(100)은, 다른 메뉴 이동처에 대해서 상기 스텝 S1004 내지 S1007의 판단을 실행한다. 우선, 정보 처리 시스템(100)은, 유저의 위치가 얻어졌는지 여부를 판단한다(스텝 S1010). 유저의 위치가 얻어졌는지 여부의 판단은, 예를 들어 검출부(121)가 실행한다. 구체적으로는, 스텝 S1010에서는, 예를 들어 카메라에 의한 유저의 몸, 얼굴, 머리 등의 인식이나, 마이크에 의한 음성의 방향의 인식 등에 의해, 유저의 위치가 얻어졌는지 여부가 판단된다.
상기 스텝 S1010의 판단 결과, 유저의 위치가 얻어졌으면(스텝 S1010, "예"), 계속해서 정보 처리 시스템(100)은, 메뉴 이동처를 유저 위치에 가장 가까우면서, 또한 미조사인 위치에 세트한다(스텝 S1011). 스텝 S1011의 처리는 예를 들어 출력 제어부(122)가 실행한다. 그리고, 메뉴 이동처를 유저 위치에 가장 가까운 미조사인 위치에 세트하면, 계속해서 정보 처리 시스템(100)은, 상기 스텝 S1004 내지 S1007의 판단을 다시 실행한다. 메뉴가 도 7에 도시된 바와 같은 버튼형인 경우에는, 윈도우의 4개의 코너 중, 유저 위치에 가장 가까운 미조사인 위치에 메뉴 이동처가 세트된다. 또한, 메뉴가 도 8에 도시된 바와 같은 바형인 경우에는, 윈도우의 4개의 변 중, 유저 위치에 가장 가까운 미조사인 위치에 메뉴 이동처가 세트된다.
도 22는, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 22에서, 실선으로 나타낸 원은, 스텝 S1001의 처리에서 설정된 메뉴 버튼(1100)의 이동처(초기 메뉴 위치)의 예를 나타내고, 파선으로 나타낸 원은, 메뉴 버튼(1100)의 이동처의 후보의 예를 나타내고 있다. 도 22에 나타낸 예에서는, 유저의 위치에 가장 가까운 것은 윈도우의 좌측 하방의 코너이며, 2번째로 가까운 것은 윈도우의 우측 하단의 코너이며, (초기 메뉴 위치를 제외하고) 3번째로 가까운 것은 윈도우의 우측 상단의 코너이다. 따라서, 도 22에 나타낸 예에서는, 먼저 정보 처리 시스템(100)은, 유저 위치에 가장 가까운 미조사인 위치로서, 유저의 위치에 가장 가까운, 윈도우의 좌측 하방의 코너에 메뉴 버튼(1100)의 이동처를 설정한다.
한편, 상기 스텝 S1010의 판단 결과, 유저의 위치가 얻어지지 않았으면(스텝 S1010, "아니오"), 계속해서 정보 처리 시스템(100)은 유저가 자주 사용하는 물체를 정보의 표시면 상에서 인식할 수 있는지 여부를 판단한다(스텝 S1012). 유저가 자주 사용하는 물체의 정보의 표시면 상에서의 인식은, 예를 들어 검출부(121)가 실행한다. 유저가 자주 사용하는 물체는, 예를 들어 휴대 전화, 스마트폰, 태블릿 단말기, 키, 책, 신문, 잡지, 식기, 장난감 등, 어떤 물체이어도 된다. 그리고 정보 처리 시스템(100)은, 정보의 표시면에 놓여 있는 물체를 인식해 두고, 메뉴를 표시하려고 하고 있는 시점에서, 정보의 표시면에 놓여 있는 물체와, 미리 인식해 둔 물체를 비교함으로써, 유저가 자주 사용하는 물체의 유무를 판단해도 된다.
정보 처리 시스템(100)은, 정보의 표시면 상에 놓인 물체의 이력을, 입력부(110)에서 취득된 정보를 유지해 둠으로써 축적할 수 있다. 또한, 정보의 표시면 상에 놓인 물체의 이력은, 정보 처리 시스템(100)과 네트워크 등으로 접속되는 별도의 장치에 축적되도록 해도 됨은 물론이다.
정보 처리 시스템(100)은, 정보의 표시면 상에 놓인 물체가, 유저가 자주 사용하는 물체인지의 판단을, 예를 들어 그 물체가 소정의 빈도를 상회해서 정보의 표시면 상에 놓였는지 여부로 판단해도 되고, 또한 예를 들어, 유저에 의해 자주 사용하는 물체라고 등록된 물체인지 여부로 판단해도 된다.
상기 스텝 S1012의 판단 결과, 유저가 자주 사용하는 물체를 정보의 표시면 상에서 인식할 수 있으면(스텝 S1012, "예"), 계속해서 정보 처리 시스템(100)은, 메뉴 이동처를 유저가 자주 사용하는 물체의 위치에 가장 가까우면서, 또한 미조사인 위치에 세트한다(스텝 S1013). 스텝 S1013의 처리는 예를 들어 출력 제어부(122)가 실행한다.
도 23은, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 23에서, 실선으로 나타낸 원은, 스텝 S1001의 처리에서 설정된 메뉴 버튼(1100)의 이동처(초기 메뉴 위치)의 예를 나타내고, 파선으로 나타낸 원은, 메뉴 버튼(1100)의 이동처의 후보의 예를 나타내고 있다. 도 23에 나타낸 예에서는, 유저가 자주 사용하는 물체의 위치에 가장 가까운 것은 윈도우의 좌측 하방의 코너이며, 2번째로 가까운 것은 윈도우의 우측 하단의 코너이며, (초기 메뉴 위치를 제외하고) 3번째로 가까운 것은 윈도우의 우측 상단의 코너이다. 따라서, 도 23에 나타낸 예에서는, 먼저 정보 처리 시스템(100)은, 유저가 자주 사용하는 물체의 위치에 가장 가까운 미조사인 위치로서, 유저가 자주 사용하는 물체의 위치에 가장 가까운, 윈도우의 좌측 하방의 코너에 메뉴 버튼(1100)의 이동처를 설정한다.
한편, 상기 스텝 S1012의 판단 결과, 유저가 자주 사용하는 물체를 정보의 표시면 상에서 인식할 수 없으면(스텝 S1012, "아니오"), 계속해서 정보 처리 시스템(100)은, 유저의 조작 이력을 이용해서 메뉴 이동처를 결정할 수 있는지 여부를 판단한다(스텝 S1014). 유저의 조작 이력을 이용해서 메뉴 이동처를 결정할 수 있는지 여부는, 예를 들어 검출부(121)가 실행한다. 정보 처리 시스템(100)은, 유저의 조작 이력을, 입력부(110)에서 취득된 유저 조작의 정보를 유지해 둠으로써 축적할 수 있다. 또한, 유저의 조작 이력은, 정보 처리 시스템(100)과 네트워크 등으로 접속되는 별도의 장치에 축적되도록 해도 됨은 물론이다.
상기 스텝 S1014의 판단 결과, 유저의 조작 이력을 이용해서 메뉴 이동처를 결정할 수 있으면(스텝 S1014, "예"), 계속해서 정보 처리 시스템(100)은, 메뉴 이동처를 유저가 자주 조작하는 위치이며, 또한 미조사인 위치에 세트한다(스텝 S1015). 스텝 S1015의 처리는 예를 들어 출력 제어부(122)가 실행한다.
도 24는, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 24에서, 실선으로 나타낸 원은, 스텝 S1001의 처리에서 설정된 메뉴 버튼(1100)의 이동처(초기 메뉴 위치)의 예를 나타내고, 파선으로 나타낸 원은, 메뉴 버튼(1100)의 이동처의 후보의 예를 나타내고 있다. 도 24에 나타낸 예에서는, 유저가 자주 조작하는 위치는 윈도우의 우측 하단의 코너이며, 2번째로 자주 조작하는 위치는 윈도우의 좌측 하방의 코너이며, (초기 메뉴 위치를 제외하고) 3번째로 자주 조작하는 위치는 윈도우의 우측 상단의 코너이다. 따라서, 도 24에 나타낸 예에서는, 먼저 정보 처리 시스템(100)은, 유저가 자주 조작하는 위치이며 또한 미조사인 위치이면서, 윈도우의 우측 하단의 코너에 메뉴 버튼(1100)의 이동처를 설정한다.
한편, 상기 스텝 S1014의 판단 결과, 유저의 조작 이력을 이용해서 메뉴 이동처를 결정할 수 있으면(스텝 S1014, "아니오"), 계속해서 정보 처리 시스템(100)은, 메뉴 이동처를, 원래의 메뉴 위치에 가장 가까운 미조사인 위치에 세트한다(스텝 S1016). 스텝 S1016의 처리는 예를 들어 출력 제어부(122)가 실행한다.
도 25는, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 25에서, 실선으로 나타낸 원은, 스텝 S1001의 처리에서 설정된 메뉴 버튼(1100)의 이동처(초기 메뉴 위치)의 예를 나타내고, 파선으로 나타낸 원은, 메뉴 이동처의 후보의 예를 나타내고 있다. 도 25에 나타낸 예에서는, 초기 메뉴 위치에 가장 가까운 것은 윈도우의 좌측 하방의 코너이며, 2번째로 가까운 것은 윈도우의 좌측 상단의 코너이며, 3번째로 가까운 것은 윈도우의 우측 하단의 코너이다. 따라서, 도 25에 나타낸 예에서는, 먼저 정보 처리 시스템(100)은, 원래의 메뉴 위치에 가장 가까운 미조사인 위치로서, 윈도우의 우측 하단의 코너에 메뉴 버튼(1100)의 이동처를 설정한다.
상기 스텝 S1009의 판단 결과, 모든 메뉴 이동처를 끝까지 조사하였으면(스텝 S1009, "예"), 계속해서 정보 처리 시스템(100)은, 정보 처리 시스템(100)이 표시하는 윈도우 내의 임의의 위치에 메뉴가 이동 가능한 위치가 있는지 판단한다(스텝 S1017). 스텝 S1017의 처리는 예를 들어 검출부(121)가 실행한다.
상기 스텝 S1017의 판단 결과, 윈도우 내의 임의의 위치에 메뉴가 이동 가능한 위치가 있으면(스텝 S1017, "예"), 정보 처리 시스템(100)은, 상술한 처리에 적합하지 않은 위치로서, 초기 위치로부터 가장 가까우면서, 또한 화면에 표시되는 윈도우 내의 임의의 위치에 메뉴 이동처를 설정한다(스텝 S1018). 스텝 S1018의 처리는, 예를 들어 출력 제어부(122)가 실행한다.
도 26은, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 26에 나타낸 것은, 윈도우의 네 코너가 모두 메뉴 이동처로서 상응하지 않는 경우의, 메뉴 버튼(1100)의 이동처의 설정예이다. 즉, 도 26에는, 윈도우의 좌측 상단의 코너 및 좌측 하방의 코너는 화면의 밖으로 밀려 나와버리고, 우측 상단의 코너는 정보의 표시면에 놓여 있는 물체와 간섭해버리고, 우측 하단의 코너는 다른 윈도우에 덮여버리고 있는 상태가 도시되어 있다. 이러한 경우, 정보 처리 시스템(100)은, 메뉴 버튼(1100)의 이동처로서, 초기 위치(도 26의 예에서는, 윈도우의 좌측 하방의 코너)에 가장 가까우면서, 또한 화면에 표시되는 윈도우 내의 임의의 위치를 결정하고, 그 위치에 메뉴 버튼(1100)의 이동처를 설정한다.
한편, 상기 스텝 S1017의 판단 결과, 윈도우 내의 임의의 위치에 메뉴가 이동 가능한 위치가 없으면(스텝 S1017, "아니오"), 계속해서 정보 처리 시스템(100)은, 화면 내에 윈도우가 1개밖에 없는지 여부를 판단한다(스텝 S1019). 스텝 S1019의 처리는 예를 들어 검출부(121)가 실행한다.
상기 스텝 S1019의 판단 결과, 화면 내에 윈도우가 1개밖에 없으면(스텝 S1019, "예"), 정보 처리 시스템(100)은, 다른 윈도우의 메뉴와 혼동할 우려가 없으므로, 상술한 처리에 적합하지 않은 위치로서, 초기 위치로부터 가장 가까우면서, 또한 화면에 표시되는 윈도우 밖의 임의의 위치에 메뉴 이동처를 설정한다(스텝 S1020). 스텝 S1020의 처리는, 예를 들어 출력 제어부(122)가 실행한다. 한편, 상기 스텝 S1019의 판단 결과, 화면 내에 윈도우가 복수 존재하면, 정보 처리 시스템(100)은, 메뉴 이동처는 변경하지 않고, 그대로 처리를 종료시킨다.
도 27은, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 27에 나타낸 것은, 정보 처리 시스템(100)이 표시하는 윈도우가 모두 물체(1220)에 덮여 있고, 또한 화면에 윈도우가 1개밖에 표시되어 있지 않은 경우의, 메뉴 버튼(1100)의 이동처의 설정예이다. 정보 처리 시스템(100)이 표시하는 윈도우 중의 임의의 위치에 메뉴가 이동 가능한 위치가 없고, 또한 정보 처리 시스템(100)에 의해 화면에 윈도우가 1개밖에 표시되어 있지 않으면, 정보 처리 시스템(100)은, 메뉴 버튼(1100)의 이동처로서, 초기 위치(도 27의 예에서는, 윈도우의 좌측 하방의 코너)에 가장 가까우면서, 또한 화면에 표시되는 윈도우 밖의 임의의 위치를 결정하고, 그 위치에 메뉴 버튼(1100)의 이동처를 설정한다.
상술한 일련의 처리의 실행에 의해, 정보 처리 시스템(100)은, 도 6과 같은 형태 이외에도, 메뉴의 위치를 적절한 위치로 이동시키는 제어가 가능해진다. 도 28은, 화면이 지면에 수직이 되는 정보 처리 시스템(100d)에서의 메뉴 표시 제어 예를 도시하는 설명도이다. 도 28에는, 화면에 윈도우가 4개 표시되어 있지만, 상술한 일련의 처리의 실행에 의해, 어느 윈도우에 있어서든, 윈도우에 부수되는 메뉴 바가 중첩되지 않도록 표시되어 있는 상태가 도시되어 있다.
도 29는, 도 28과 마찬가지로, 화면이 지면에 대하여 수직이 되는 정보 처리 시스템(100d)에서의 메뉴 표시 제어 예를 도시하는 설명도이다. 도 29에는, 화면에 윈도우가 4개 표시되어 있지만, 상술한 일련의 처리의 실행에 의해, 어느 윈도우에 있어서든, 윈도우에 부수되는 메뉴 바가 중첩되지 않도록 표시되어 있는 상태가 도시되어 있다.
도 30은, 디스플레이를 테이블에 두고 조작시키는 정보 처리 시스템(100c)에서의 메뉴 표시 제어 예를 도시하는 설명도이다. 도 30에 나타낸 것은, 어떤 유저(유저 X라 함)가 조작하고 있던 윈도우를, 그 유저 X와 대면하고 있는 유저(유저 Y라 함)가 조작하려고 손을 뻗치면, 그 유저 Y가 조작하기 쉽도록, 메뉴 버튼(1100)을 자동으로 유저 Y에 가까운 위치로 이동시키는 표시 제어가 실행되고 있는 예이다. 정보 처리 시스템(100c)에, 유저의 위치를 검출할 수 있는 카메라, 마이크 기타 센서 장치가 설치됨으로써, 정보 처리 시스템(100c)은, 유저가 화면에 대하여 어느 위치에 존재하는지, 또한 어느 방향으로부터 조작하려고 하고 있는지를 검출하는 것이 가능하다. 따라서, 상술한 일련의 처리의 실행에 의해, 정보 처리 시스템(100c)은, 유저 Y가 조작하기 쉽도록 메뉴 버튼(1100)을 자동으로 유저 Y에 가까운 위치로 이동시키는 표시 제어를 실행할 수 있다.
도 31은, 메뉴나 윈도우를 테이블에 투영하고, 그 투영한 메뉴나 윈도우에 대하여 조작시키는 정보 처리 시스템(100a)에서의 메뉴 표시 제어 예를 도시하는 설명도이다. 도 31은, 식탁에서 정보 처리 시스템(100a)이 이용되는 경우를 예시한 것이다. 식탁과 같은 물체가 놓이기 쉬운 장소에서는, 실물체 상에 메뉴가 투영되는 케이스가 많아질 가능성이 있어, 유저가 메뉴에 직접 닿을 수 없는 경우나, 닿는데 유저의 심리적 부하가 큰 경우가 발생하기 쉬워진다. 예를 들어 도 31에는, 정보 처리 시스템(100a)이 정보를 표시하는 면에, 케이크(1201)나 커피(1202)가 놓여 있는 상태가 도시되어 있다.
유저가, 식탁 위의 메뉴가 투영되어 있는 실물체를, 메뉴가 투영되어 있지 않은 장소로 이동시키면, 유저는 투영된 메뉴를 조작할 수 있다. 또한, 유저가, 실물체에 메뉴가 투영되지 않는 위치에 투영된 윈도우를 이동시키는 조작을 행하면, 유저는 투영된 메뉴를 조작할 수 있다. 그러나, 이들 조작을 유저에게 강요하는 것은 부담이 크다.
따라서 정보 처리 시스템(100a)은, 상술한 일련의 처리의 실행에 의해, 도 31과 같이, 식탁 위의 실물체(케이크(1201)나 커피(1202))의 위치에 겹치지 않도록, 메뉴 버튼(1100)의 표시 위치를 자동으로 변화시킨다. 식탁 위의 실물체의 위치에 겹치지 않도록 메뉴 버튼(1100)의 표시 위치를 자동으로 변화시킴으로써, 정보 처리 시스템(100a)은 유저의 조작 부담을 경감시킬 수 있다.
본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 상술한 일련의 처리를 실행함으로써, 다른 윈도우의 위치나, 정보의 표시면의 상태, 예를 들어 도 1에 도시한 테이블(140a)에 놓여 있는 물체의 상태를 검출하고, 그 검출 결과에 기초하여 메뉴의 위치를 적절한 위치로 이동시키는 제어를 행할 수 있다.
본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 상술한 일련의 처리를 실행함으로써, 유저가 윈도우의 위치를 이동시키거나, 정보의 표시면에 놓여 있는 실물체를 이동시키거나 하는 스텝을 요하지 않고, 메뉴를 조작할 수 있다. 따라서, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 상술한 일련의 처리를 실행함으로써, 유저가 목적으로 하는 조작을 행할 때까지의 스텝 수 및 시간이 단축된다.
또한 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 상술한 일련의 처리를 실행함으로써, 화면 밖으로 윈도우가 빈번히 이동할 가능성이 있는, 전방위로부터 조작 가능한 윈도우를 갖는 GUI에 있어서, 화면 밖으로 밀려난 윈도우에 대한 유저의 조작의 수고를 경감시킬 수 있다. 화면 밖으로 밀려난 윈도우에 대한 유저의 조작의 수고의 경감에 의해, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 화면을 넓게 사용시키는 것을 가능하게 한다.
또한 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 복수의 윈도우가 유저에 의해 화면에 표시된 경우에도, 항상 메뉴가 보이도록, 메뉴의 표시 위치가 제어됨으로써, 유저가 목적으로 하는 애플리케이션을 특정하기 쉬워진다는 효과를 가져온다.
또한 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 도 1에 도시한 바와 같은, 화면을 투영하는 형태의 경우에, 실물체에 조작을 방해받지 않게 된다. 따라서 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 조작을 위해서 유저에게 실물체를 이동시키거나, 윈도우의 위치를 이동시키거나, 또한 투영 장소에 실물체를 두지 않도록 하거나 하는 부하를 경감시키거나 할 수 있다는 효과를 가져온다.
본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이, 예를 들어 도 1에 도시한 바와 같은, 테이블에 정보를 투영하고, 그 정보에 대하여 유저에게 조작시키는 형태를 채용하는 경우, 정보 처리 시스템(100)은, 테이블 상에 스마트폰 등의 휴대 단말기와의 제휴가 가능해진다. 예를 들어, 유저가 테이블 상에 스마트폰 등의 휴대 단말기를 두고, 그 휴대 단말기를 입력부(110)에 인식시킴으로써, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 그 휴대 단말기를 식별하고, 식별한 휴대 단말기와의 제휴를 가능하게 한다.
그러나, 복수의 유저가 완전히 동일한 휴대 단말기를 소유하고 있고, 그 동일한 휴대 단말기를 동시에, 또한 따로따로 테이블 상에 두고 정보 처리 시스템(100)에 인식시키려고 하면, 정보 처리 시스템(100)은, 어느 휴대 단말기에 제휴하면 되는지 판단할 수 없게 된다.
따라서 본 개시의 일 실시 형태에서는, 복수의 유저가 완전히 동일한 휴대 단말기를 소유하고 있고, 동일한 휴대 단말기가 동시에, 또한 따로따로 테이블 상에 놓인 경우에도, 제휴하는 휴대 단말기를 용이하게 특정 가능한 정보 처리 시스템(100)에 대해서 설명한다.
본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 검출부(121)가 화상 인식 기술을 사용하여, 제휴하는 휴대 단말기의 식별을 행함과 함께, 식별한 휴대 단말기의 위치, 자세, 또한 입력부(110)로부터의 거리를 검출한다. 따라서 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 휴대 단말기를 식별하기 위해서 필요한 특징량 데이터를 갖는다. 또한 정보 처리 시스템(100)에 인식되고자 하는 휴대 단말기는, 정보 처리 시스템(100)에 발견되는 화상 데이터를 갖는다.
정보 처리 시스템(100)과 휴대 단말기와의 제휴에 대해서는, 이하의 같은 방법을 생각할 수 있다. 예를 들어, 휴대 단말기의 소유자가 각각 원하는 화상을 선택하고, 미리 그 화상을 정보 처리 시스템(100)에 인식시키는 방법이 있다. 화상을 인식시킨 후에, 휴대 단말기의 소유자가, 소유하고 있는 휴대 단말기에, 그 미리 인식시킨 화상을 표시시켜서, 정보 처리 시스템(100)에 인식시킴으로써, 정보 처리 시스템(100)과 휴대 단말기와의 제휴가 가능해진다.
또한, 휴대 단말기의 소유자가, 정보 처리 시스템(100)에 인식하게 하기 위한 화상 데이터를 포함한 인식 전용의 애플리케이션을, 휴대 단말기에 미리 인스톨해 두는 방법이 있다. 이러한 애플리케이션에 포함되는 화상 데이터의 특징량 데이터를, 미리 정보 처리 시스템(100)에 갖게 함으로써, 정보 처리 시스템(100)에서의 검출 처리의 부하를 억제할 수 있다.
또한, 로크 화면이나 홈 화면 등, 휴대 단말기의 시스템이 생성하는 화면을, 인식 대상의 화상으로서 정보 처리 시스템(100)에 인식시키는 방법이 있다. 휴대 단말기의 시스템이 생성하는 화면을 정보 처리 시스템(100)에 인식시키기 위해서는, 전용의 애플리케이션을 통해도 되고, 유저 자신이 화면을 캡쳐하여, 캡쳐한 화상을 정보 처리 시스템(100)에 인식시켜도 된다.
도 32 및 도 33은, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100) 및 정보 처리 시스템(100)과 제휴하는 휴대 단말기의 동작 예를 나타내는 흐름도이다. 도 32에 나타낸 것은 정보 처리 시스템(100)과 제휴하는 휴대 단말기의 동작 예이며, 도 33에 나타낸 것은 정보 처리 시스템(100)의 동작 예이다. 또한, 도 32 및 도 33에 나타낸 동작이 행하여지기 전에, 휴대 단말기는 미리 임의의 화상을 정보 처리 시스템(100)에 등록하고 있는 것으로 한다. 이하, 도 32 및 도 33을 사용하여, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100) 및 정보 처리 시스템(100)과 제휴하는 휴대 단말기의 동작 예에 대해서 설명한다.
정보 처리 시스템(100)과 제휴하는 휴대 단말기는, 유저의 소정의 조작에 따라, 정보 처리 시스템(100)에 인식시키기 위한 인식용 화면을 표시한다(스텝 S1101). 또한 정보 처리 시스템(100)은, 유저의 소정의 조작에 따라, 휴대 단말기를 인식하는 모드(이하, 「인식 모드」라고도 칭함)로 이행한다(스텝 S1111).
유저는, 상기 스텝 S1101에서 정보 처리 시스템(100)에 인식시키기 위한 인식용 화면을 표시한 휴대 단말기를, 정보 처리 시스템(100)에 인식시키기 위한 인식 가능 에리어 내에 둔다(스텝 S1102). 이 인식 가능 에리어는, 정보 처리 시스템(100)이 임의의 영역을 설정할 수 있다. 예를 들어 테이블에 정보를 투영하는 시스템인 경우, 그 테이블에 정보가 투영되는 영역 전체가 인식 가능 에리어이어도 되고, 또는 소정의 일부 영역이 인식 가능 에리어이어도 된다. 소정의 일부의 영역을 인식 가능 에리어로 설정하는 경우에는, 정보 처리 시스템(100)은, 인식 가능 에리어인 것을 알 수 있는 표시를 출력부(130)로부터 출력해도 된다.
또한 정보 처리 시스템(100)은, 상기 스텝 S1111에서 인식 모드로 이행하면, 계속해서, 정보 처리 시스템(100)에 등록되어 있는 인식 화상을 검색한다(스텝 S1112). 이 인식 화상의 검색 처리는, 예를 들어 검출부(121)가 실행한다. 정보 처리 시스템(100)은, 이 스텝 S1112의 검색 처리를, 화상 인식용 화면을 표시한 휴대 단말기가 인식 가능 에리어에 놓이면 개시해도 되고, 휴대 단말기가 인식 가능 에리어에 놓이기 전부터 개시하고 있어도 된다.
상기 스텝 S1112의 검색 처리를 개시하면, 정보 처리 시스템(100)은, 상기 스텝 S1112의 검색 처리에 의해 등록되어 있는 화상을 발견했는지 여부를 판단한다(스텝 S1113). 이 판단 처리는, 예를 들어 검출부(121)가 실행한다. 그리고, 스텝 S1113의 판단 처리의 결과, 등록되어 있는 화상이 보이지 않으면(스텝 S1113, "아니오"), 계속해서 정보 처리 시스템(100)은 검색을 개시하고 나서 일정 시간이 경과했는지 여부를 판단한다(스텝 S1114). 이 판단 처리는, 예를 들어 검출부(121)가 실행한다. 스텝 S1114의 판단 처리의 결과, 일정 시간 경과해도 등록되어 있는 화상이 보이지 않으면(스텝 S1114, "예"), 정보 처리 시스템(100)은 처리를 종료하고, 인식 모드로부터 이탈한다. 한편 스텝 S1114의 판단 처리의 결과, 일정 시간이 경과하지 않았으면(스텝 S1114, "아니오"), 다시 스텝 S1112의 검색 처리를 실행한다.
상기 스텝 S1113의 판단 처리의 결과, 등록되어 있는 화상을 발견했으면(스텝 S1113, "예"), 계속해서 정보 처리 시스템(100)은 등록되어 있는 화상을 발견한 것을 의미하는 효과를 표시한다(스텝 S1115). 스텝 S1115의 표시 처리는, 예를 들어 출력 제어부(122)가 실행한다. 등록되어 있는 화상을 발견한 것을 의미하는 효과는 어떤 것이든 상관없지만, 일례를 들면, 정보 처리 시스템(100)은, 예를 들어 휴대 단말기가 놓여 있는 장소를 중심으로 파문이 퍼지는 듯한 표시를 행해도 된다. 등록되어 있는 화상을 발견한 것을 의미하는 효과가, 휴대 단말기가 표시하고 있는 화상과 겹쳐버리면, 정보 처리 시스템(100)에서의 인식 처리에 영향을 미쳐버리므로, 정보 처리 시스템(100)은, 등록되어 있는 화상을 발견한 것을 의미하는 효과를, 휴대 단말기에 겹치지 않도록 출력하는 것이 바람직하다.
도 34는, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 34에 나타낸 것은, 정보 처리 시스템(100)이 표시하는, 등록되어 있는 화상을 발견한 것을 의미하는 효과의 예이다. 화상 인식용 화면을 표시한 휴대 단말기(1300)가 인식 가능 에리어에 놓이고, 휴대 단말기(1300)가 표시하고 있는 화상이, 정보 처리 시스템(100)에 등록되어 있는 화상인 것을 검출부(121)가 인식하면, 정보 처리 시스템(100)은, 휴대 단말기(1300)가 놓여 있는 장소를 중심으로, 부호 1301로 나타낸 파문이 퍼지는 듯한 표시를 행해도 된다.
또한, 정보 처리 시스템(100)이 휴대 단말기의 화상을 인식하고 있을 때, 휴대 단말기의 디스플레이 휘도가 너무 밝거나, 또한 너무 어둡거나 하면, 정보 처리 시스템(100)에서의 인식에 영향을 미친다. 정보 처리 시스템(100)이 인식 모드에 있는 경우에는, 예를 들어 휴대 단말기의 유저는, 휴대 단말기의 디스플레이의 휘도를 조정함으로써, 정보 처리 시스템(100)에 화상을 인식시키기 쉽게 해도 된다.
상기 스텝 S1115에서, 등록되어 있는 화상을 발견한 것을 의미하는 효과를 표시하면, 계속해서 정보 처리 시스템(100)은, 정보 처리 시스템(100)에서 현재 실행 중인 애플리케이션이, 화상을 계속해서 인식할 필요가 있는 애플리케이션인지 여부를 판단한다(스텝 S1116). 이 판단 처리는, 예를 들어 검출부(121)가 실행한다. 화상을 계속해서 인식할 필요가 있는 애플리케이션에는, 예를 들어 인식한 화상에 추종해서 정보를 계속해서 표시할 필요가 있는 애플리케이션을 들 수 있다.
상기 스텝 S1116의 판단 결과, 정보 처리 시스템(100)에서 현재 실행 중인 애플리케이션이, 화상을 계속해서 인식할 필요가 있는 애플리케이션이 아니라면(스텝 S1116, "아니오"), 휴대 단말기는 인식 가능 에리어에 계속해서 놓일 필요가 없으므로, 계속해서 정보 처리 시스템(100)은, 인식한 휴대 단말기를 인식 가능 에리어로부터 퇴거시키도록 촉구하는 정보를 표시한다(스텝 S1117). 스텝 S1115의 표시 처리는, 예를 들어 출력 제어부(122)가 실행한다. 휴대 단말기를 퇴거시키도록 촉구하는 정보는 어떤 것이든 상관없다. 그러나, 휴대 단말기를 퇴거시키도록 촉구하는 정보가, 휴대 단말기가 표시하고 있는 화상과 겹쳐버리면, 정보 처리 시스템(100)에서의 인식 처리에 영향을 미쳐버리므로, 정보 처리 시스템(100)은, 휴대 단말기를 퇴거시키도록 촉구하는 정보를, 휴대 단말기에 겹치지 않도록 출력하는 것이 바람직하다.
도 35는, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 35에 나타낸 것은, 휴대 단말기가 표시한 화상을 인식한 후에 정보 처리 시스템(100)이 표시하는 정보의 예이다. 정보 처리 시스템(100)이 현재 실행 중인 애플리케이션이, 화상을 계속해서 인식할 필요가 있는 애플리케이션이 아니라면, 정보 처리 시스템(100)은, 예를 들어 도 35의 부호 1302로 나타낸 바와 같은, 휴대 단말기(1300)를 퇴거시키도록 촉구하는 정보를 표시한다. 정보 처리 시스템(100)은, 도 35에 도시된 바와 같은 정보를 표시함으로써, 휴대 단말기(1300)의 유저에게, 휴대 단말기(1300)를 인식 가능 에리어로부터 퇴거시킬 필요가 있음을 알아차리게 할 수 있다. 휴대 단말기를 퇴거시키도록 촉구하는 정보가, 휴대 단말기가 표시하고 있는 화상과 겹쳐버리면, 정보 처리 시스템(100)에서의 인식 처리에 영향을 미쳐버린다. 따라서, 정보 처리 시스템(100)은, 도 35에 도시한 바와 같이, 휴대 단말기를 퇴거시키도록 촉구하는 정보를, 휴대 단말기에 겹치지 않도록 출력하는 것이 바람직하다.
정보 처리 시스템(100)은, 상기 스텝 S1117에서 정보를 표시한 후에, 정보 처리 시스템(100)에 등록되어 있는 화상이 화면 내(인식 가능 에리어 내)로부터 사라졌는지 여부를 판단한다(스텝 S1118). 이 판단 처리는, 예를 들어 검출부(121)가 실행한다. 스텝 S1118의 판단 처리의 결과, 정보 처리 시스템(100)에 등록되어 있는 화상이 화면 내(인식 가능 에리어 내)로부터 사라지지 않았으면(스텝 S1118, "아니오"), 정보 처리 시스템(100)은, 스텝 S1117에서 표시한 정보를 계속해서 표시한다. 한편, 도 32의 스텝 S1103에서, 휴대 단말기가 유저에 의해 인식 가능 에리어로부터 치워져서, 정보 처리 시스템(100)에 등록되어 있는 화상이 화면 내(인식 가능 에리어 내)로부터 사라지면(스텝 S1118, "예"), 정보 처리 시스템(100)은 화상 인식 처리를 정지한다(스텝 S1119).
한편, 상기 스텝 S1116의 판단 결과, 현재 실행 중인 애플리케이션이, 화상을 계속해서 인식할 필요가 있는 애플리케이션이라면(스텝 S1116, "예"), 정보 처리 시스템(100)은, 상기 스텝 S1117 내지 S1119의 처리를 스킵한다.
상기 스텝 S1119에서 화상 인식 처리를 정지하면, 계속해서 정보 처리 시스템(100)은, 상기 스텝 S1113에서 발견한 화상의 ID를 기록한다(스텝 S1120). 이 스텝 S1120의 처리는, 예를 들어 검출부(121)가 실행한다. 그리고, 정보 처리 시스템(100)은, 화상의 ID 매칭을 하고, 그 화상을 표시하고 있던 휴대 단말기와의 통신 처리를 개시한다(스텝 S1121). 정보 처리 시스템(100)과, 휴대 단말기와의 사이의 통신은, 예를 들어 인터넷, Wi-Fi, Bluetooth(등록 상표) 등으로 행하여진다. 또한 정보 처리 시스템(100)은, 상기 스텝 S1113에서 발견한 화상의 위치, 자세, 크기를 기록한다(스텝 S1122). 이 스텝 S1122의 처리는, 예를 들어 검출부(121)가 실행한다.
그리고, 정보 처리 시스템(100)은, 상기 스텝 S1113에서 발견한 화상의 위치, 자세, 크기의 정보를 이용하여, 휴대 단말기와의 접속 상태를 나타내는 표시를 정보의 표시면에 대하여 행한다(스텝 S1123). 이 스텝 S1123의 표시 처리는, 예를 들어 출력 제어부(122)가 실행한다. 이 스텝 S1123에서의, 휴대 단말기와의 접속 상태를 나타내는 표시를, 이하에서는 「접속 마크」라고도 칭한다. 정보 처리 시스템(100)은, 접속 마크로서, 예를 들어 인식한 휴대 단말기가 표시하고 있던 인식용 화면과 동일한 화상을 표시해도 된다. 접속 마크로서, 인식한 휴대 단말기가 표시하고 있던 인식용 화면과 동일한 화상을 표시함으로써, 정보 처리 시스템(100)은, 어느 접속 마크가 어느 휴대 단말기에 대응하고 있는지를 유저에게 용이하게 파악시키는 것이 가능하게 된다.
도 36은, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 36에 나타낸 것은, 정보 처리 시스템(100)이 접속 마크를 표시면에 표시하고 있는 상태의 예이다. 도 36의 부호 1303은, 접속 마크의 예이며, 정보 처리 시스템(100)이 도 34, 35에 나타낸 휴대 단말기(1300)와 접속 상태에 있는 것이 도시되어 있다. 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 이러한 접속 마크의 표시면에의 표시에 의해, 유저가 소유하는 휴대 단말기와의 제휴가 행하여져, 접속 마크가 데이터 교환의 인터페이스로서 화면에 표시되어 있는 것을 유저에게 제시할 수 있다. 후술하는 바와 같이, 도 36에 나타낸 접속 마크(1303)는, 휴대 단말기로부터 데이터를 취출하거나, 또한 휴대 단말기에 데이터를 카피하거나 하기 위한 인터페이스로서 사용될 수 있다.
또한 접속 마크(1303)는, 도 36에 도시한 바와 같이, 휴대 단말기의 디스플레이에 표시된 화상은 인식되었을 때의 위치, 자세, 크기에 기초하여 표시면에 표시된다. 따라서, 접속 마크(1303)는, 저절로 그 휴대 단말기를 둔 유저의 손아래에, 유저가 접촉하기 쉬운 방향으로 표시됨으로써, 복수 유저나 복수 단말기에서의 기기 제휴의 편리성의 향상이라는 효과를 가져온다.
정보 처리 시스템(100)과, 휴대 단말기와의 접속 상태는, 유저의 능동적인 접속 해제 조작에 의해 해제되어도 되고, 일정 시간 동안 휴대 단말기나 접속 마크에 대하여 조작이 행하여지지 않으면 자동으로 해제되도록 해도 된다. 정보 처리 시스템(100)과, 휴대 단말기와의 접속 상태가 해제되면, 정보 처리 시스템(100)은, 상기 스텝 S1123에서 표시시킨 접속 마크를 소거해도 된다. 정보 처리 시스템(100)은, 상기 스텝 S1123에서 표시시킨 접속 마크를 소거함으로써, 접속 상태가 종료된 것을 유저에게 제시할 수 있다.
상술한 일련의 처리의 실행에 의해 접속 마크를 정보의 표시면에 표시시킴으로써, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 유저에 대하여 다양한 체험을 제공할 수 있다. 이하, 정보 처리 시스템(100)이 접속 마크의 표시에 의해 유저에게 제공할 수 있는 체험의 예를 설명한다.
정보 처리 시스템(100)은, 정보의 표시면에의 접속 마크의 표시에 의해, 휴대 단말기에 보존되어 있는 화상 데이터의 공유를 가능하게 한다. 도 37은, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 37에 나타낸 것은, 접속 마크의 표시에 의해, 휴대 단말기에 보존되어 있는 화상 데이터를 공유할 때의, 정보 처리 시스템(100)이 실행하는 애플리케이션의 GUI의 예이다.
도 37에는, 정보 처리 시스템(100)에 의해 접속 마크(1303, 1304)가 정보의 표시면에 표시되어 있는 상태가 도시되어 있다. 예를 들어, 유저에게 소정의 메뉴 버튼을 조작시켜서, 사진을 공유하기 위한 애플리케이션을 실행시키면, 정보 처리 시스템(100)은, 도 37에 도시한 바와 같이, 접속 마크(1303, 1304)에 대응하는 휴대 단말기의 화상 폴더 등으로부터 화상 데이터를 취득하고, 그 접속 마크(1303, 1304)의 주위에, 화상 폴더로부터 취득한 화상을 표시한다. 접속 마크(1303, 1304)의 주위에 표시된 화상은, 유저에 의해 드래그 조작이 가능하도록 표시된다. 정보 처리 시스템(100)은, 정보 처리 시스템(100)에의 카피를 의미하는 아이콘 기타 정보를 출력하고, 표시한 화상 데이터를 당해 정보로 유저에게 드래그시킴으로써, 간단한 유저 조작으로, 휴대 단말기가 유지하고 있는 화상 데이터를 정보 처리 시스템(100)에 카피시키는 것이 가능하게 된다.
또한, 도 37에 도시한 바와 같이 접속 마크(1303, 1304)를 정보의 표시면에 표시하고 있는 상태에서, 예를 들어 접속 마크(1303)에 대응하는 휴대 단말기에 보존되어 있는 화상 데이터를, 유저에게 접속 마크(1304)에 드래그시킴으로써, 정보 처리 시스템(100)을 통한 휴대 단말기간에서의 화상 데이터의 카피를 가능하게 해도 된다. 따라서, 정보 처리 시스템(100)은, 간단한 유저 조작으로, 휴대 단말기가 유지하고 있는 화상 데이터를 다른 휴대 단말기에 카피시키는 것이 가능하게 된다.
정보 처리 시스템(100)이 상술한 일련의 처리의 실행에 의해 접속 마크를 표시시킨 후에는, 유저는 휴대 단말기를 자유롭게 갖고 다닐 수 있다. 따라서, 예를 들어 정보 처리 시스템(100)과 제휴한 휴대 단말기로 사진을 촬상하면, 그 촬상한 사진을 정보 처리 시스템(100)에 표시시키는 애플리케이션도 가능하게 된다. 도 38은, 정보 처리 시스템(100)의 사용예를 도시하는 설명도이며, 정보 처리 시스템(100)과 제휴한 휴대 단말기를 사용해서 유저가 사진을 촬상하는 모습을 나타낸 것이다. 정보 처리 시스템(100)과 제휴한 휴대 단말기를 사용해서 유저가 사진을 촬상하면, 정보 처리 시스템(100)은, 그 휴대 단말기로 촬상된 사진이, 접속 마크(1303)의 주위에 표시되는 애플리케이션도 실현할 수 있다. 정보 처리 시스템(100)은, 휴대 단말기로 촬상된 사진을 접속 마크(1303)의 주위에 표시할 때, 예를 들어 접속 마크(1303)로부터 그 사진이 나타나게 되는 효과를 부여해서 표시해도 된다. 정보 처리 시스템(100)은, 휴대 단말기로 촬상된 사진을, 그러한 효과를 부여해서 표시함으로써, 어느 휴대 단말기로 촬상된 사진인지를 명시화할 수 있다.
정보 처리 시스템(100)은, 정보의 표시면에의 접속 마크의 표시에 의해, 휴대 단말기에 보존되어 있는 악곡 데이터의 공유를 가능하게 한다. 도 39는, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 39에 나타낸 것은, 접속 마크의 표시에 의해, 휴대 단말기에 보존되어 있는 악곡 데이터를 공유할 때의, 정보 처리 시스템(100)이 실행하는 애플리케이션의 GUI의 예이다.
도 39에는, 정보 처리 시스템(100)에 의해 접속 마크(1303, 1304)가 표시되어 있는 상태가 도시되어 있다. 예를 들어, 유저에게 소정의 메뉴 버튼을 조작시켜서, 악곡 데이터를 공유하기 위한 애플리케이션을 실행시키면, 정보 처리 시스템(100)은, 도 39에 도시한 바와 같이, 접속 마크(1303, 1304)에 대응하는 휴대 단말기의 음악 폴더 등으로부터 악곡 데이터를 취득하고, 그 접속 마크(1303, 1304)의 주위에, 음악 폴더로부터 취득한 악곡 데이터의 재킷 화상을 표시한다. 접속 마크(1303, 1304)의 주위에 표시된 재킷 화상은, 유저에 의해 드래그 조작이 가능하도록 표시된다. 정보 처리 시스템(100)은, 정보 처리 시스템(100)에의 카피를 의미하는 아이콘 기타 정보를 출력하고, 표시한 재킷 화상을 당해 정보로 유저에게 드래그시킴으로써, 간단한 유저 조작으로, 휴대 단말기가 유지하고 있는 악곡 데이터를 정보 처리 시스템(100)에 카피시키는 것이 가능하게 된다.
또한, 도 39에 도시한 바와 같이 접속 마크(1303, 1304)를 표시하고 있는 상태에서, 예를 들어 접속 마크(1303)에 대응하는 휴대 단말기에 보존되어 있는 악곡 데이터의 재킷 화상을, 유저에게 접속 마크(1304)에 드래그시킴으로써, 정보 처리 시스템(100)을 통한 휴대 단말기간에서의 악곡 데이터의 카피를 가능하게 해도 된다. 따라서, 정보 처리 시스템(100)은, 간단한 유저 조작으로, 휴대 단말기가 유지하고 있는 악곡 데이터를 다른 휴대 단말기에 카피시키는 것이 가능하게 된다.
또한 도 39에는, 정보 처리 시스템(100)이 악곡 데이터를 재생하기 위한 인터페이스를 표시하고 있는 상태가 도시되어 있다. 유저에게, 악곡 데이터를 재생하기 위한 인터페이스에 재킷 화상을 드래그시킴으로써, 정보 처리 시스템(100)은, 재킷 화상에 대응하는 악곡 데이터를 재생하거나, 플레이 리스트를 작성하거나 하는 처리를 실행할 수 있다.
정보 처리 시스템(100)은, 화상 데이터나 악곡 데이터 이외에도, 다양한 데이터를 정보 처리 시스템(100)에 제휴시킨 휴대 단말기와 공유할 수 있다. 정보 처리 시스템(100)은, 예를 들어 정보 처리 시스템(100)에 제휴시킨 휴대 단말기에서 표시하고 있던 웹 사이트나, 브라우저의 북마크에 대해서도, 상술한 GUI와 마찬가지로 공유시킬 수 있다. 또한, 정보 처리 시스템(100)에서 표시하고 있던 웹 사이트를, 정보 처리 시스템(100)에 제휴시킨 휴대 단말기에서 계속해서 표시시키기 위해서, 정보 처리 시스템(100)은, 정보 처리 시스템(100)이 실행하는 브라우저의 소정의 메뉴 버튼을 접속 마크에 드래그시키는 조작도 제공할 수 있다.
정보 처리 시스템(100)은, 정보의 표시면에의 접속 마크의 표시에 의해, 휴대 단말기에 보존되어 있는 연락처 데이터의 공유를 가능하게 한다. 도 40은, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 40에 나타낸 것은, 접속 마크의 표시에 의해, 휴대 단말기에 보존되어 있는 연락처 데이터를 공유할 때의, 정보 처리 시스템(100)이 실행하는 애플리케이션의 GUI의 예이다.
도 40에는, 정보 처리 시스템(100)에 의해 접속 마크(1303, 1304)가 정보의 표시면에 표시되어 있는 상태가 도시되어 있다. 예를 들어, 유저에게 소정의 메뉴 버튼을 조작시켜서, 연락처 데이터를 공유하기 위한 애플리케이션을 실행시키면, 정보 처리 시스템(100)은, 도 40에 도시한 바와 같이, 정보의 표시면에 표시되어 있는 접속 마크(1303, 1304)에 대응하는 휴대 단말기로부터 연락처 데이터를 취득하고, 그 접속 마크(1303, 1304)의 주위에, 휴대 단말기로부터 취득한 연락처 데이터를 의미하는 화상을 표시한다. 접속 마크(1303, 1304)의 주위에 표시된 화상은, 유저에 의해 드래그 조작이 가능하도록 표시된다. 정보 처리 시스템(100)은, 정보 처리 시스템(100)에의 카피를 의미하는 아이콘 기타 정보를 출력하고, 유저에게 당해 정보에 표시한 화상을 드래그시킴으로써, 간단한 유저 조작으로, 휴대 단말기가 유지하고 있는 연락처 데이터를 정보 처리 시스템(100)에 카피시키는 것이 가능하게 된다.
또한 정보 처리 시스템(100)은, 도 40에 도시한 바와 같이 접속 마크(1303, 1304)를 정보의 표시면에 표시하고 있는 상태에서, 예를 들어 접속 마크(1303)에 대응하는 휴대 단말기에 보존되어 있는 연락처 데이터를, 유저에게 접속 마크(1304)에 드래그시킴으로써, 정보 처리 시스템(100)을 통한 휴대 단말기간에서의 연락처 데이터의 카피를 가능하게 해도 된다. 따라서, 정보 처리 시스템(100)은, 간단한 유저 조작으로, 휴대 단말기가 유지하고 있는 연락처 데이터를 다른 휴대 단말기에 카피시키는 것이 가능하게 된다.
정보 처리 시스템(100)과 제휴되는 휴대 단말기는, 다양한 애플리케이션의 인스톨에 의해 기능을 추가할 수 있다. 정보 처리 시스템(100)은, 상술한 처리에 의해 접속 마크를 표시함으로써, 휴대 단말기간에서 애플리케이션의 수수를 가능하게 하는 GUI를 실현할 수도 있다.
도 41은 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 41에 나타낸 것은, 접속 마크의 표시에 의해, 휴대 단말기에 보존되어 있는 애플리케이션을 표시할 때의, 정보 처리 시스템(100)이 실행하는 애플리케이션의 GUI의 예이다.
도 41에는, 정보 처리 시스템(100)에 의해 접속 마크(1303, 1304)가 정보의 표시면에 표시되어 있는 상태가 도시되어 있다. 예를 들어, 유저에게 소정의 메뉴 버튼을 조작시켜서, 휴대 단말기에 인스톨되어 있는 애플리케이션의 일람을 표시하기 위한 애플리케이션을 실행시키면, 정보 처리 시스템(100)은, 도 41에 도시한 바와 같이, 접속 마크(1303, 1304)에 대응하는 휴대 단말기로부터, 휴대 단말기에 인스톨되어 있는 애플리케이션의 정보를 취득하고, 접속 마크(1303, 1304)의 주위에 아이콘 기타 정보로 표시한다. 도 41에는, 접속 마크(1303)에 대응하는 휴대 단말기에는 애플리케이션이 복수 인스톨되어 있지만, 접속 마크(1304)에 대응하는 휴대 단말기에는 애플리케이션이 전혀 인스톨되어 있지 않은 상태가 도시되어 있다. 여기서, 접속 마크(1304)에 대응하는 휴대 단말기의 유저가, 원하는 애플리케이션을 접속 마크(1303)에 대응하는 휴대 단말기에 인스톨되어 있는 것 중에서 발견하면, 그 애플리케이션의 아이콘을, 접속 마크(1304)에 드래그시킨다. 이 드래그 조작에 의해, 접속 마크(1304)에 대응하는 휴대 단말기에서는, 그 애플리케이션의 다운로드 및 인스톨 처리가 자동으로 행하여진다.
본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 휴대 단말기가 표시한 화상을 인식함으로써, 휴대 단말기에서 전용의 애플리케이션을 기동시키지 않아도, 휴대 단말기의 위치, 자세, 크기 등을 취득한 후에, 휴대 단말기와 제휴해서 통신을 행할 수 있다.
본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 휴대 단말기와의 기기 제휴에 앞서, 휴대 단말기에서 임의의 화상을 표시시키고, 그 표시시킨 화상을 등록해 둔다. 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 이러한 화상의 등록 처리를 거침으로써, 유저에게 화상의 선택의 즐거움을 부여할 수 있다. 또한 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 휴대 단말기가 표시한 화상의 인식이 완료되면, 그 화상을 접속 마크로서 화면에 계속해서 표시함으로써, 어느 유저의 접속 마크인지를 유저에게 인식시키기 쉽게 할 수 있다.
본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 휴대 단말기와의 기기 제휴에 앞서, 휴대 단말기에서 임의의 화상을 표시시키고, 그 표시시킨 화상을 등록해 두기 때문에, 완전히 동일한 기종의 휴대 단말기가 복수 존재하는 경우에도, 인식용의 화상의 구분 사용에 의해, 휴대 단말기의 일의적인 식별을 가능하게 한다. 또한, 복수의 유저가 각각 동일한 기종을 갖고 있고, 각 유저가, 우연히 완전히 동일한 화상을 인식용 화상으로 선택할 가능성이 없는 것은 아니다. 따라서 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 휴대 단말기에, 선택한 인식용 화상을 정보 처리 시스템(100)에 등록시킨 후가 아니면, 휴대 단말기와의 제휴를 할 수 없도록 해도 된다. 휴대 단말기에, 선택한 인식용 화상을 정보 처리 시스템(100)에 등록시킴으로써, 정보 처리 시스템(100)은, 휴대 단말기가 선택한 화상의 중복 유무를 판단할 수 있다.
또한, 완전히 동일한 화상이 인식용 화상으로 선택된 경우에는, 복수의 유저가 각각 동일한 기종을 갖고 있을 때 문제가 될 수 있지만, 다른 기종이라도, 외관이 비슷하면, 완전히 동일한 화상이 인식용 화상으로 선택되면 마찬가지로 문제가 될 수 있다. 따라서, 정보 처리 시스템(100)은, 제휴하려고 하는 휴대 단말기에 대하여, 모든 휴대 단말기에 대해서 일의적이 되도록 인식용 화상을 선택시켜, 정보 처리 시스템(100)에 등록시켜도 된다.
본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 예를 들어 도 6에 도시한 바와 같이, 복수의 유저로부터의, 다양한 방향으로부터의 메뉴의 조작을 접수할 수 있다. 그러나, 1개의 메뉴를 복수의 유저가 취급하면, 누군가가 사용하고 있는 동안에는 다른 유저는 그 메뉴를 사용할 수 없다. 또한 복수의 유저로부터의, 다양한 방향으로부터의 메뉴의 조작을 접수할 수 있기 때문에, 메뉴의 커스터마이즈가 어려워진다. 즉, 어떤 유저가 자신이 사용하기 쉽게 하기 위해서 커스터마이즈한 메뉴는, 다른 유저에게 있어서도 반드시 사용하기 쉽다고는 할 수 없다.
복수의 유저로부터의, 다양한 방향으로부터의 메뉴의 조작을 접수함으로써, 복수의 윈도우가 표시된 상태에서는, 자신이 표시시킨 윈도우가 어느 것인지 판별하기 어려워지기 쉽다. 또한 1개의 메뉴로부터 애플리케이션을 기동시키면, 애플리케이션의 구동 시에 유저마다 로그인의 필요가 있어, 유저가 증가할수록 번거로워진다.
따라서, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 복수의 유저로부터의, 다양한 방향으로부터의 메뉴의 조작을 접수할 때의 조작성 및 편리성의 향상을 도모하도록, 이하에서 설명하는 바와 같은 유저로부터의 조작을 접수할 수 있게 한다.
복수의 유저로부터의, 다양한 방향으로부터의 메뉴의 조작을 접수할 때의 조작성 및 편리성의 향상을 도모할 때의, 정보 처리 시스템(100)의 동작 예에 대해서 설명한다. 도 42는, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 동작 예를 나타내는 흐름도이다. 도 42에 나타낸 것은, 도 6 등에 나타낸 메뉴 버튼(1100)이나, 메뉴 버튼 군(1110)에 대한 드래그 조작이 유저에 의해 행하여졌을 때의, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 동작 예이다. 이하, 도 42를 사용해서 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 동작 예에 대해서 설명한다.
이하, 메뉴 버튼(1100)이나, 메뉴 버튼 군(1110)에 대한 드래그 조작을, 간단히, (메뉴에 대한) 드래그 조작이라고도 칭하는 경우가 있다.
정보 처리 시스템(100)은, 정보 처리 시스템(100)에 의해 표시되어 있는 메뉴에 대하여, 유저가 드래그 조작을 행한 것을 검출하면(스텝 S1201), 그 드래그 조작이, 1점에서 메뉴를 누르고, 또 1점에서 그 메뉴에 대하여 드래그하고 있는지 여부를 판단한다(스텝 S1202). 상기 스텝 S1201, S1202의 처리는, 예를 들어 검출부(121)가 실행한다.
상기 스텝 S1202의 판단 결과, 1점에서 메뉴를 누르고, 또 1점에서 그 메뉴에 대하여 드래그하고 있는 조작이면(스텝 S1202, "예"), 정보 처리 시스템(100)은, 그 드래그되어 있는 메뉴의 카피를 작성한다(스텝 S1203). 스텝 S1203의 메뉴의 카피의 작성은, 예를 들어 출력 제어부(122)가 실행한다.
도 45는, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 45에 나타낸 것은, 상기 스텝 S1203의 메뉴의 카피의 작성예이다. 예를 들어 도 45와 같이, 유저가 왼쪽 집게 손가락으로, 정보의 표시면에 표시되어 있는 메뉴 버튼 군(1110) 중에서 1개의 메뉴 버튼(B)을 누르고, 오른쪽 집게 손가락으로 동일한 메뉴 버튼(B)에 대하여 드래그 조작을 행했다고 하자. 정보 처리 시스템(100)은, 이러한 유저의 조작에 따라, 그 메뉴 버튼(B)의 카피의 메뉴 버튼(1111)을 작성하는 처리를 실행한다.
한편, 상기 스텝 S1202의 판단 결과, 1점에서 메뉴를 누르고, 또 1점에서 그 메뉴에 대하여 드래그하고 있는 조작이 아니면(스텝 S1202, "아니오"), 계속해서 정보 처리 시스템(100)은, 상기 스텝 S1201에서 검출한 드래그 조작이, 2점에서 메뉴를 누르고, 또 1점에서 그 메뉴에 대하여 드래그하고 있는지 여부를 판단한다(스텝 S1204). 스텝 S1204의 처리는, 예를 들어 검출부(121)가 실행한다.
상기 스텝 S1204의 판단 결과, 2점에서 메뉴를 누르고, 또 1점에서 그 메뉴에 대하여 드래그하고 있는 조작이면(스텝 S1204, "예"), 계속해서 정보 처리 시스템(100)은, 그 메뉴가 폴더를 의미하는 폴더 메뉴인지 여부를 판단한다(스텝 S1205). 스텝 S1205의 처리는, 예를 들어 검출부(121)가 실행한다. 스텝 S1205의 판단 결과, 드래그되어 있는 메뉴가 폴더 메뉴가 아니면(스텝 S1205, "아니오"), 정보 처리 시스템(100)은, 1점에서 메뉴를 누르고, 또 1점에서 그 메뉴에 대하여 드래그하고 있는 조작의 경우와 마찬가지로, 그 드래그되어 있는 메뉴의 카피를 작성한다(스텝 S1203). 한편, 스텝 S1205의 판단 결과, 드래그되어 있는 메뉴가 폴더 메뉴라면(스텝 S1205, "예"), 정보 처리 시스템(100)은, 그 메뉴(폴더 메뉴)의 쇼트컷을 작성한다(스텝 S1206). 스텝 S1206의 메뉴의 쇼트컷의 작성은, 예를 들어 출력 제어부(122)가 실행한다. 쇼트컷이란, 별도의 메뉴에의 참조로서 기능하는, 실체가 없는 메뉴를 말하는 것으로 한다.
도 46은 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 46에 나타낸 것은, 상기 스텝 S1206의 메뉴의 쇼트컷의 작성예이다. 예를 들어 도 46과 같이, 유저가 왼쪽 집게 손가락 및 가운데 손가락의 2점에서 메뉴 버튼 군(1110) 중에서 1개의 메뉴 버튼(B)을 누르고, 오른쪽 집게 손가락으로 동일한 메뉴 버튼(B)에 대하여 드래그 조작을 행했다고 하자. 정보 처리 시스템(100)은, 이러한 유저의 조작에 따라, 그 메뉴 버튼(B)의 쇼트컷 버튼(1112)을 작성하는 처리를 실행한다.
정보 처리 시스템(100)은, 도 45에 나타낸 메뉴 버튼(B)의 카피의 메뉴 버튼(1111)과, 도 46에 나타낸 쇼트컷 버튼(1112)은, 외견을 상이하게 해서 작성해도 된다. 본 실시 형태에서는, 메뉴 버튼(1111)은 단순한 원이며, 쇼트컷 버튼(1112)은 이중 원이다. 물론 카피의 메뉴 버튼(1111)과 쇼트컷 버튼(1112)의 형상은 이러한 예에 한정되는 것은 아니며, 정보 처리 시스템(100)은, 형상의 차이뿐만 아니라, 색의 차이에 의해 외견을 상이하게 하도록 해도 된다.
메뉴의 카피의 작성과 메뉴의 쇼트컷의 작성의 차이에 대해서 설명한다. 정보 처리 시스템(100)은, 유저의 조작에 기초하여 메뉴의 카피를 작성한 경우에는, 한쪽의 메뉴(예를 들어 카피원의 메뉴)에 다른 메뉴를 추가해도, 다른 쪽의 메뉴(예를 들어 카피처의 메뉴)에는, 그 추가된 메뉴를 추가하지 않는다. 한편, 정보 처리 시스템(100)은, 유저의 조작에 기초하여 메뉴의 쇼트컷을 작성한 경우에는, 한쪽의 메뉴(예를 들어 쇼트컷원의 메뉴)에 다른 메뉴를 추가하면, 다른 쪽의 메뉴(예를 들어 쇼트컷처의 메뉴)에도, 그 추가된 메뉴를 추가한다.
도 47 및 도 48은, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이며, 유저의 조작에 기초하여 메뉴의 카피를 작성한 경우의 GUI의 예이다. 도 47과 같이 유저의 조작에 기초하여 메뉴를 작성한 후에, 도 48과 같이 한쪽의 메뉴에 새로운 메뉴(G)를 추가해도, 또 한쪽의 메뉴에는, 그 메뉴(G)는 추가되지 않는다.
도 49 및 도 50은, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이며, 유저의 조작에 기초하여 메뉴의 쇼트컷을 작성한 경우의 GUI의 예이다. 또한 도 49 및 도 50에는, 파선에 의해 도 49와 같이 유저의 조작에 기초하여 메뉴의 쇼트컷을 작성한 후에, 도 50과 같이 한쪽의 메뉴에 새로운 메뉴(G)를 추가하면, 또 한쪽의 메뉴에도, 그 새로운 메뉴(G)가 추가된다.
한편, 상기 스텝 S1204의 판단 결과, 2점에서 메뉴를 누르고, 또 1점에서 그 메뉴에 대하여 드래그하고 있는 조작이 아니면(스텝 S1204, "아니오"), 계속해서 정보 처리 시스템(100)은, 메뉴의 배열과, 메뉴의 드래그 방향이 이루는 각이 규정값 이상인지 여부를 판단한다(스텝 S1207). 스텝 S1207의 처리는, 예를 들어 검출부(121)가 실행한다.
상기 스텝 S1207의 판단 결과, 메뉴의 배열과, 드래그 방향이 이루는 각이 규정값 이상이라면(스텝 S1207, "예"), 계속해서 정보 처리 시스템(100)은, 그 드래그되어 있는 메뉴가, 메뉴 버튼 군으로부터 분리 가능한 메뉴인지 여부를 판단한다(스텝 S1208). 스텝 S1208의 처리는, 예를 들어 검출부(121)가 실행한다. 스텝 S1208의 판단 결과, 드래그되어 있는 메뉴가 메뉴 버튼 군으로부터 분리 가능한 메뉴가 아니면(스텝 S1208, "아니오"), 정보 처리 시스템(100)은, 그 드래그되어 있는 메뉴의 카피를 작성한다(스텝 S1203). 한편, 스텝 S1208의 판단 결과, 드래그되어 있는 메뉴가 분리 가능한 메뉴라면(스텝 S1208, "예"), 정보 처리 시스템(100)은, 그 메뉴를 메뉴 버튼 군으로부터 분리한다(스텝 S1209). 스텝 S1209의 메뉴의 메뉴 버튼 군으로부터의 분리 처리는, 예를 들어 출력 제어부(122)가 실행한다.
도 51은, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 51에 나타낸 것은, 유저에 의한 메뉴의 드래그 조작의 일례이다. 부호 1401은, 원호 형상으로 배치된 메뉴 버튼 군(1110)의 동경 방향을 나타내고, 부호 1402는, 유저에 의해 메뉴 버튼이 드래그되는 방향을 나타내고, 부호 1403은 원호 형상으로 배치된 메뉴 버튼 군(1110)의 원주 방향을 나타내고 있다. 부호 1402로 나타낸 유저에 의해 메뉴 버튼이 드래그되는 방향과, 메뉴의 배열과의 이루는 각이 규정값 이상이며, 그 메뉴 버튼이 메뉴 버튼 군(1110)으로부터 분리 가능한 것이라면, 정보 처리 시스템(100)은, 그 드래그되는 메뉴 버튼을, 메뉴 버튼 군(1110)으로부터 분리한다.
도 52는 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 52에 나타낸 것은, 유저에 의한 메뉴의 드래그 조작의 일례이다. 유저가, 메뉴 버튼 군(1110) 중에서 1개의 메뉴 버튼을 손가락으로 접촉하여, 그 메뉴 버튼에 대하여 드래그 조작을 실행하면, 정보 처리 시스템(100)은, 그 드래그되는 메뉴 버튼을, 메뉴 버튼 군(1110)으로부터 분리하여, 메뉴 버튼(1111)으로서 독립시킨다.
한편, 상기 스텝 S1207의 판단 결과, 메뉴의 배열과, 드래그 방향이 이루는 각이 규정값 이상이 아니면(스텝 S1207, "아니오"), 정보 처리 시스템(100)은, 유저의 드래그 조작을 통상의 거동으로 한다(스텝 S1210). 이 스텝 S1210의 처리는, 예를 들어 출력 제어부(122)가 실행한다. 통상의 거동이란, 예를 들어 메뉴 버튼(1100)이 유저의 조작에 추종해서 이동하는 것이거나, 메뉴 버튼 군(1110)이 유저의 조작에 추종해서 메뉴 버튼(1100)을 중심으로 회전하거나 하는 것이다.
본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 유저의 메뉴 버튼의 드래그 조작의 내용에 따라, 상술한 바와 같은 동작을 실행함으로써, 유저에게, 간이한 조작으로 메뉴를 카피시키거나, 메뉴의 쇼트컷을 작성시키거나, 메뉴를 분리시키거나 할 수 있다.
계속해서, 유저의 메뉴 버튼의 드롭 조작의 내용에 따른 정보 처리 시스템(100)의 동작 예에 대해서 설명한다. 도 43 및 도 44는, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 동작 예를 나타내는 흐름도이다. 도 43 및 도 44에 나타낸 것은, 도 6 등에 나타낸 메뉴 버튼(1100)이나, 메뉴 버튼 군(1110)에 대하여 유저에 의해 드래그 조작이 이루어진 후에, 유저에 의해 드롭 조작이 행하여졌을 때의, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 동작 예이다. 이하, 도 43 및 도 44를 사용해서 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 동작 예에 대해서 설명한다.
이하, 메뉴 버튼(1100)이나, 메뉴 버튼 군(1110)에 대한 드롭 조작을, 간단히, (메뉴에 대한) 드롭 조작이라고도 칭하는 경우가 있다.
정보 처리 시스템(100)은, 정보 처리 시스템(100)에 의해 표시되어 있는 메뉴에 대하여 유저가 드롭 조작을 행한 것을 검출하면(스텝 S1211), 유저에 의해 드래그된 거리가 규정 거리 이하인지 여부를 판단한다(스텝 S1212). 상기 스텝 S1211, S1212의 처리는, 예를 들어 검출부(121)가 실행한다.
상기 스텝 S1212의 판단 결과, 유저에 의해 드래그된 거리가 규정 거리 이하라면(스텝 S1212, "예"), 정보 처리 시스템(100)은, 그 드롭된 메뉴에 할당된 기능을 실행한다(스텝 S1213). 메뉴에 할당된 기능으로서는, 예를 들어 애플리케이션의 기동, 웹 사이트의 표시, 화상 데이터의 표시, 악곡 데이터의 재생 등 다양한 기능이 있으며, 특정한 기능에 한정되는 것은 아니다.
한편, 상기 스텝 S1212의 판단 결과, 유저에 의해 드래그된 거리가 규정 거리를 초과하고 있으면(스텝 S1212, "아니오"), 정보 처리 시스템(100)은, 그 메뉴가, 별도의 메뉴이며, 드래그된 거리가 규정 거리 이하인 메뉴 위에 드롭된 것인지 여부를 판단한다(스텝 S1214). 스텝 S1214의 판단은, 예를 들어 검출부(121)가 실행한다.
상기 스텝 S1214의 판단 결과, 드롭한 메뉴와 다른 메뉴이며, 드래그된 거리가 규정 거리 이하인 메뉴 위에 드롭된 경우에는(스텝 S1214, "예"), 계속해서 정보 처리 시스템(100)은, 그 드롭된 메뉴는 드롭을 접수하는 메뉴인지 여부를 판단한다(스텝 S1215). 스텝 S1214의 판단은, 예를 들어 검출부(121)가 실행한다.
상기 스텝 S1215의 판단 결과, 드롭된 메뉴는 드롭을 접수하는 메뉴라면(스텝 S1215, "예"), 계속해서 정보 처리 시스템(100)은, 그 드롭된 메뉴가 폴더 메뉴인지 여부를 판단한다(스텝 S1216). 스텝 S1215의 판단은, 예를 들어 검출부(121)가 실행한다.
상기 스텝 S1216의 판단 결과, 드롭된 메뉴가 폴더 메뉴라면(스텝 S1216, "예"), 계속해서 정보 처리 시스템(100)은, 드롭처의 아래의 계층의 메뉴(자 메뉴)에 드롭된 메뉴를 추가한다(스텝 S1218). 스텝 S1218의 추가 처리는, 예를 들어 출력 제어부(122)가 실행한다.
한편 상기 스텝 S1216의 판단 결과, 드롭된 메뉴가 폴더 메뉴가 아니면(스텝 S1216, "아니오"), 계속해서 정보 처리 시스템(100)은, 유저가 드롭한 메뉴에 대응하는 아이템을 드롭된 메뉴가 취급할 수 있는지 여부를 판단한다(스텝 S1217). 스텝 S1217의 판단은, 예를 들어 검출부(121)가 실행한다.
상기 스텝 S1217의 판단 결과, 유저가 드롭한 아이템을 드롭된 메뉴가 취급할 수 있는 경우에는(스텝 S1217, "예"), 계속해서 정보 처리 시스템(100)은, 유저가 드롭한 메뉴에 관련된 정보를, 드롭된 메뉴에 전달한다(스텝 S1219). 스텝 S1219의 처리는, 예를 들어 출력 제어부(122)가 실행한다.
한편 스텝 S1217의 판단 결과, 유저가 드롭한 아이템을 드롭된 메뉴가 취급할 수 없는 경우에는(스텝 S1217, "아니오"), 계속해서 정보 처리 시스템(100)은, 드롭원의 메뉴와 드롭처의 메뉴를 자 요소에 갖는 새로운 메뉴를 작성하는 처리를 행한다(스텝 S1220). 스텝 S1220의 처리는, 예를 들어 출력 제어부(122)가 실행한다.
상기 스텝 S1214의 판단 결과, 드롭한 메뉴와 다른 메뉴이며, 드래그된 거리가 규정 거리 이하인 메뉴 위에 드롭된 경우가 아니면(스텝 S1214, "아니오"), 계속해서 정보 처리 시스템(100)은, 드롭한 메뉴와 다른 메뉴가 1점에서 눌린 상태에서, 그 메뉴가 드롭한 메뉴와 규정 거리 이하로 근접하고 있는지 여부를 판단한다(스텝 S1221). 스텝 S1221의 판단은, 예를 들어 검출부(121)가 실행한다.
상기 스텝 S1221의 판단 결과, 드롭한 메뉴와 다른 메뉴가 1점에서 눌린 상태에서, 그 메뉴가 드롭한 메뉴와 규정 거리 이하로 근접하고 있으면(스텝 S1221, "예"), 계속해서 정보 처리 시스템(100)은, 드롭한 메뉴와, 다른 그 메뉴가 머지 가능한지 판단한다(스텝 S1222). 스텝 S1222의 판단은, 예를 들어 검출부(121)가 실행한다.
상기 스텝 S1222의 판단 결과, 드롭한 메뉴와, 다른 그 메뉴가 머지 가능한 경우에는(스텝 S1222, "예"), 계속해서 정보 처리 시스템(100)은, 드롭한 메뉴의 자 메뉴와, 다른 그 메뉴의 자 메뉴를 머지하는 처리를 실행한다(스텝 S1223). 스텝 S1223의 처리는, 예를 들어 출력 제어부(122)가 실행한다. 상기 스텝 S1222의 판단 결과, 드롭한 메뉴와, 다른 그 메뉴가 머지 가능하지 않은 경우에는(스텝 S1222, "아니오"), 계속해서 정보 처리 시스템(100)은, 드롭한 메뉴를 드래그 전의 위치로 복귀시키는 처리를 실행한다(스텝 S1226). 스텝 S1226의 처리는, 예를 들어 출력 제어부(122)가 실행한다.
상기 스텝 S1221의 판단 결과, 드롭한 메뉴와 다른 메뉴가 1점에서 눌린 상태에서, 그 메뉴가 드롭한 메뉴와 규정 거리 이하로 근접하고 있는 경우가 아니면(스텝 S1221, "아니오"), 계속해서 정보 처리 시스템(100)은, 드롭된 메뉴가, 동 계층의 2개의 메뉴로부터 각각 미리 정해진 거리 이내의 장소에 드롭되었는지 여부를 판단한다(스텝 S1224). 스텝 S1224의 판단은, 예를 들어 검출부(121)가 실행한다.
상기 스텝 S1224의 판단 결과, 드롭된 메뉴가, 동 계층에 2개의 메뉴로부터 각각 미리 정해진 거리 이내의 장소에 드롭된 경우에는(스텝 S1224, "예"), 계속해서 정보 처리 시스템(100)은, 드래그 및 드롭된 메뉴를, 그 2개의 메뉴의 사이에 삽입하는 처리를 실행한다(스텝 S1225). 스텝 S1225의 처리는, 예를 들어 출력 제어부(122)가 실행한다.
한편, 상기 스텝 S1224의 판단 결과, 드롭된 메뉴가, 동 계층의 2개의 메뉴로부터 각각 미리 정해진 거리 이내의 장소에 드롭된 경우가 아니면(스텝 S1224, "아니오"), 계속해서 정보 처리 시스템(100)은, 드롭될 때까지 미리 정해진 속도 이상으로 그 메뉴가 드래그되어 있었는지 여부를 판단한다(스텝 S1227). 스텝 S1227의 판단은, 예를 들어 검출부(121)가 실행한다.
상기 스텝 S1227의 판단 결과, 드롭될 때까지 미리 정해진 속도 이상으로 그 메뉴가 드래그되어 있었던 경우에는(스텝 S1227, "예"), 계속해서 정보 처리 시스템(100)은, 그 드롭된 메뉴가 삭제 가능한지 여부를 판단한다(스텝 S1228). 스텝 S1228의 판단은, 예를 들어 검출부(121)가 실행한다.
상기 스텝 S1228의 판단 결과, 드롭된 메뉴가 삭제 가능한 경우에는(스텝 S1228, "예"), 계속해서 정보 처리 시스템(100)은, 드래그하고 있었던 메뉴를 삭제하는 처리를 실행한다(스텝 S1230). 스텝 S1230의 처리는, 예를 들어 출력 제어부(122)가 실행한다. 한편, 상기 스텝 S1228의 판단 결과, 드롭된 메뉴가 삭제 가능하지 않은 경우에는(스텝 S1228, "아니오"), 드롭한 메뉴를 드래그 전의 위치로 복귀시키는 처리를 실행한다(스텝 S1226). 스텝 S1226의 처리는, 예를 들어 출력 제어부(122)가 실행한다.
상기 스텝 S1227의 판단 결과, 드롭될 때까지 미리 정해진 속도 미만으로 그 메뉴가 드래그되어 있었던 경우에는(스텝 S1227, "아니오"), 계속해서 정보 처리 시스템(100)은, 드롭된 장소가 화면의 밖인지 여부를 판단한다(스텝 S1229). 스텝 S1229의 판단은, 예를 들어 검출부(121)가 실행한다.
상기 스텝 S1229의 판단 결과, 드롭된 장소가 화면의 밖이라면(스텝 S1229, "예"), 계속해서 정보 처리 시스템(100)은, 상기 스텝 S1228의, 그 드롭된 메뉴가 삭제 가능한지 여부의 판단을 실행한다. 한편, 상기 스텝 S1229의 판단 결과, 드롭된 장소가 화면의 밖이 아니면(스텝 S1229, "아니오"), 계속해서 정보 처리 시스템(100)은, 드롭된 장소에, 그 메뉴를 이동시키는 처리를 실행한다(스텝 S1231). 스텝 S1231의 처리는, 예를 들어 출력 제어부(122)가 실행한다.
정보 처리 시스템(100)은, 상술한 일련의 처리를 실행함으로써, 유저가 드롭한 메뉴의 상태를, 드롭된 위치, 드래그의 속도 등에 따라서 변화시킬 수 있다.
구체적인 GUI의 예를 나타내면서 상술한 동작 예에 대해서 재차 설명한다. 먼저, 메뉴 버튼을 삭제하는 GUI의 예에 대해서 설명한다. 도 53은 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 53에 나타낸 것은, 유저에 의한 메뉴의 드롭 조작의 일례이며, 메뉴가 미리 정해진 속도 이상으로 드래그되어 있었던 경우의 GUI의 예이다. 유저가, 메뉴 버튼 군(1110) 중에서 1개의 메뉴 버튼(1111)을 미리 정해진 속도(v) 이상으로 드래그시킨 후, 그 메뉴 버튼(1111)을 화면 내에서 드롭하면(즉, 메뉴 버튼(1111)을 내던지는 듯한 동작을 행하면), 정보 처리 시스템(100)은, 그 메뉴 버튼(1111)을 삭제하는 처리를 실행한다. 이렇게 메뉴 버튼을 내던지는 듯한 동작이 행하여진 것의 검출에 의해, 메뉴 버튼을 삭제하는 처리를 실행함으로써, 정보 처리 시스템(100)은, 유저에 대하여 직감적으로 알기 쉬운 GUI를 제공할 수 있다.
또한, 메뉴 버튼의 삭제는 이러한 예에 한정되는 것은 아니다. 도 54는, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 54에 나타낸 것은, 유저에 의한 메뉴의 드롭 조작의 일례이며, 유저가 메뉴 버튼(1111)을 휴지통 메뉴(1112)에 드롭하는 조작을 행하고 있는 상태를 나타낸 것이다. 이와 같이, 유저가 메뉴 버튼(1111)을 휴지통 메뉴(1112)에 드롭하면, 정보 처리 시스템(100)은 그 메뉴 버튼(1111)을 삭제하는 처리를 실행한다.
도 55는 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 55에 나타낸 것은, 유저에 의한 메뉴의 드롭 조작의 일례이며, 유저가 메뉴 버튼(1111)을 화면 밖까지 이동시켜서 드롭하는 조작을 행하고 있는 상태를 나타낸 것이다. 이와 같이, 유저에 의해, 메뉴 버튼(1111)이 화면 밖까지 이동되어 드롭된 조작이 행하여진 것을 검출하면, 정보 처리 시스템(100)은, 그 메뉴 버튼(1111)을 삭제하는 처리를 실행한다.
이상, 메뉴 버튼을 삭제하는 GUI의 예에 대해서 설명하였다. 계속해서, 메뉴 버튼을 메뉴 버튼 군 중에 추가하는 GUI의 예에 대해서 설명한다.
도 56은 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 56에 나타낸 것은, 유저에 의한 메뉴의 드롭 조작의 일례이며, 유저가 메뉴 버튼 군(1110) 중에 메뉴 버튼을 삽입하는 조작을 행하고 있는 상태를 나타낸 것이다. 유저가, 메뉴 버튼 군(1110)이 표시되어 있는 원호 상에 메뉴 버튼(1111)을 드래그시키면, 정보 처리 시스템(100)은, 메뉴 버튼 군(1110)이 표시되는 원호 상에, 메뉴 버튼(1111)을 삽입하기 위한 간극을 작성한다. 그리고 유저가, 원호 상의 간극에 메뉴 버튼(1111)을 드롭하면, 정보 처리 시스템(100)은, 그 원호 상에 드롭된 메뉴 버튼(1111)을 표시한다. 이렇게 메뉴 버튼을 드롭한 동작이 행하여진 것의 검출에 의해, 메뉴 버튼 군에 메뉴 버튼을 추가하는 처리를 실행함으로써, 정보 처리 시스템(100)은, 유저에 대하여 직감적으로 알기 쉬운 GUI를 제공할 수 있다.
이상, 메뉴 버튼을 메뉴 버튼 군 중에 추가하는 GUI의 예에 대해서 설명하였다. 계속해서, 드롭처의 메뉴의 자 항목에 메뉴를 추가하는 GUI의 예에 대해서 설명한다.
도 57은 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 57에 나타낸 것은, 유저에 의한 메뉴의 드롭 조작의 일례이며, 유저가 메뉴 버튼 군(1110) 중의 임의의 메뉴 버튼에 메뉴 버튼을 드롭하는 조작을 행하고 있는 상태를 나타낸 것이다. 드롭처의 메뉴가 폴더 메뉴인 경우, 정보 처리 시스템(100)은, 먼저 유저가 메뉴 버튼을 드롭하려고 하고 있는 메뉴 버튼의 장소까지 드래그시키면, 도 57에 도시한 바와 같이, 드롭하려고 하고 있는 메뉴 버튼을 확대하도록 표시한다. 그리고 유저가, 그 장소에서 메뉴 버튼을 드롭하면, 정보 처리 시스템(100)은, 도 57에 도시한 바와 같이, 드롭된 메뉴 버튼을, 드롭처의 자 메뉴에 추가하도록 표시한다. 정보 처리 시스템(100)은, 드롭된 메뉴 버튼을, 드롭처의 메뉴의 자 메뉴의 말미에 추가하도록 표시해도 되고, 드롭처의 메뉴의 가장 가까운 위치에 추가하도록 표시해도 된다.
도 58은 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 58에 나타낸 것은, 유저에 의한 메뉴의 드롭 조작의 일례이며, 유저가 메뉴 버튼 군(1110) 중의 임의의 메뉴 버튼에 메뉴 버튼을 드롭하는 조작을 행하고 있는 상태를 나타낸 것이다. 드롭처의 메뉴가 애플리케이션 또는 데이터인 경우, 정보 처리 시스템(100)은, 먼저 유저가 메뉴 버튼을 드롭하려고 하고 있는 메뉴 버튼의 장소까지 드래그시키면, 도 58에 도시한 바와 같이, 드롭하려고 하고 있는 메뉴 버튼을 확대하도록 표시한다. 그리고 유저가, 그 장소에서 메뉴 버튼을 드롭하면, 정보 처리 시스템(100)은, 도 58에 도시한 바와 같이, 지금까지 드롭처의 메뉴 버튼이 표시되어 있었던 장소에, 폴더 메뉴의 메뉴 버튼을 새롭게 표시하고, 드롭한 메뉴 버튼과, 드롭처의 메뉴 버튼을, 그 폴더 메뉴의 자 메뉴로서 표시한다. 즉, 정보 처리 시스템(100)은, 드롭한 메뉴 버튼과, 드롭처의 메뉴 버튼을 머지하는 처리를 실행한다.
이상, 드롭처의 메뉴의 자 항목에 메뉴를 추가하는 GUI의 예에 대해서 설명하였다. 지금까지 나타낸 것은, 드롭처의 메뉴 버튼을 유저의 손가락으로 누르지 않은 경우의 예인데, 이하에서 설명하는 것은, 드롭처의 메뉴 버튼을 유저의 손가락으로 누른 경우의 예이다.
도 59는 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 59에 나타낸 것은, 유저에 의한 메뉴의 드롭 조작의 일례이며, 유저가 메뉴 버튼 군(1110) 중의 임의의 메뉴 버튼을 손가락으로 누르면서, 그 메뉴 버튼에 다른 메뉴 버튼(1111)을 드롭하는 조작을 행하고 있는 상태를 나타낸 것이다. 유저가 메뉴 버튼 군(1110) 중의 임의의 메뉴 버튼을 손가락으로 누르면서, 그 메뉴 버튼에 다른 메뉴 버튼(1111)을 규정 거리 이하로 근접시키면, 정보 처리 시스템(100)은, 도 59에 도시한 바와 같이 메뉴 버튼끼리 결합하도록 표시한다. 그리고, 유저가 메뉴 버튼 군(1110) 중의 임의의 메뉴 버튼을 손가락으로 누르면서, 드래그하고 있었던 메뉴 버튼(1111)을 드롭하면, 2개의 메뉴 버튼의 자 메뉴끼리를 머지하는 처리를 실행한다. 정보 처리 시스템(100)은, 자 메뉴끼리를 머지할 때, 메뉴 버튼 군(1110)에 표시되어 있는 메뉴 버튼을 그대로 해도 되고, 별도의 메뉴 버튼을 메뉴 버튼 군(1110)의 원호 상에 표시하도록 해도 된다.
이렇게 정보 처리 시스템(100)은, 유저가 임의의 메뉴 버튼을 손가락으로 누르면서, 그 메뉴 버튼에 다른 메뉴 버튼을 드롭함으로써, 메뉴의 머지를 행한다. 그 메뉴의 머지 예에 대해서 설명한다. 도 60은 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 60에 나타낸 것은, 유저가 임의의 메뉴 버튼을 손가락으로 누르면서, 그 메뉴 버튼에 다른 메뉴 버튼을 드롭했을 때의, 메뉴의 머지 예이다. 정보 처리 시스템(100)은, 머지 시에 동일한 자 메뉴가 존재하고 있으면, 그 자 메뉴는 2개 작성하는 것이 아니라, 1개만으로 해도 된다. 예를 들어 도 60에는, A, B, D, F, G라는 자 메뉴와, A, C, D, E, F라는 자 메뉴가 임의의 메뉴를 머지할 때, 양쪽에서 공통인 자 메뉴 A, D, F는 1개만으로 하는 예가 도시되어 있다.
이상, 드롭처의 메뉴 버튼이 유저의 손가락에 눌려진 경우의 예에 대해서 설명하였다. 계속해서, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 메뉴의 조작예에 대해서, 구체예를 들면서 더 설명한다.
도 61은 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 61에 나타낸 것은, 정보 처리 시스템(100)이 표시하는 애플리케이션에서의, 유저의 드래그 조작 및 드롭 조작에 따른 새로운 메뉴의 작성예이다. 도 61과 같이 메뉴 버튼(1100) 및 메뉴 버튼 군(1110)이 표시되어 있는 상태에서, 유저가 메뉴 버튼 군(1110) 중의 임의의 메뉴 버튼(1111)을 손가락으로 누른 채, 다른 한쪽의 손가락으로 드래그한 유저 조작에 따라, 정보 처리 시스템(100)은 그 메뉴 버튼(1111)의 카피를 작성한다.
도 61에서는, 메뉴 버튼 군(1110) 중의, 메뉴 D, E의 카피가 유저 조작에 기초하여 작성된 예가 도시되어 있다. 그리고, 이 메뉴 D, E의 카피를 머지하는 유저 조작에 따라, 정보 처리 시스템(100)은, 새로운 메뉴 버튼(1100) 및 메뉴 버튼 군(1110)을 작성한다.
그리고, 새롭게 작성된 메뉴 버튼 군(1110)을 향해서, 또 다른 메뉴 버튼(1111)이 드롭되면, 정보 처리 시스템(100)은, 도 61에 도시한 바와 같이, 그 새롭게 작성된 메뉴 버튼 군(1110)에, 드롭된 메뉴 버튼(1111)을 추가한다.
이러한 유저에 의한 드래그 조작이나 드롭 조작을 접수함으로써, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 메뉴의 커스터마이즈의 용이성을 담보할 수 있다. 또한 이러한 유저에 의한 드래그 조작이나 드롭 조작을 접수함으로써, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 동일한 메뉴를 복수의 유저에게 동시에 사용시키는 것을 가능하게 한다.
다른 실시예를 설명한다. 도 62는, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 62에 나타낸 것은, 정보 처리 시스템(100)이 표시하는 애플리케이션에서의, 유저의 드래그 조작 및 드롭 조작에 따른 쇼트컷 버튼의 작성예이다. 예를 들어, 메뉴 버튼(1100)에서부터 세어 2계층째에 있는, 메뉴 버튼 군(1120) 중의 임의의 메뉴 버튼에 대해서, 통상의 경우에는, 메뉴 버튼(1100), 메뉴 버튼 군(1110), 메뉴 버튼 군(1120)의 순서대로 유저가 3회의 조작으로 순서대로 선택해나가지 않으면 도달할 수 없다. 그러나, 정보 처리 시스템(100)은, 상술한 바와 같이 유저 조작에 기초하여 쇼트컷 버튼을 작성함으로써, 그 메뉴 버튼 군(1120) 중의 임의의 메뉴 버튼에는, 1회의 조작으로 도달할 수 있다.
예를 들어, 복수의 유저에 의해 빈번히 사용되는 메뉴에 대해서, 유저의 수만큼 쇼트컷 버튼이 작성됨으로써, 정보 처리 시스템(100)은, 어느 유저로부터든, 1회의 조작으로 그 메뉴에 도달시킬 수 있다.
상술한 바와 같은 메뉴의 카피나 쇼트컷의 작성에 의해, 정보 처리 시스템(100)은, 예를 들어 가족에게 공통의 메뉴를 작성시키거나, 가족에게 각각 별도의 메뉴를 작성시키거나 하는 것을 가능하게 한다.
도 63은 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 63에 나타낸 것은, 정보 처리 시스템(100)이 표시하는 애플리케이션에서의, 유저의 드래그 조작 및 드롭 조작에 따른 가족별 메뉴의 작성예이다.
도 63의 우측 하단에, 메뉴 버튼(1100) 및 메뉴 버튼 군(1110, 1120)이 도시되어 있다. 그리고, 도 63에는, 메뉴 버튼 군(1120)에, 아버지용 메뉴 버튼, 어머니용 메뉴 버튼, 및 자녀용 메뉴 버튼이 포함되어 있는 상태가 도시되어 있다. 이렇게 메뉴 버튼 군(1120)이 표시되어 있는 상태에서, 아버지용 메뉴 버튼, 어머니용 메뉴 버튼, 및 자녀용 메뉴 버튼이 쇼트컷 버튼을 작성하는 조작을 유저가 실행하면, 정보 처리 시스템(100)은, 각각의 메뉴 버튼에 대한 쇼트컷 버튼을 작성한다. 각각의 메뉴 버튼에의 쇼트컷 버튼이 작성됨으로써, 아버지, 어머니, 자녀는, 그 쇼트컷 버튼에 손가락 등의 조작체를 접촉시키는 것만으로, 자신을 위한 메뉴를 사용하고, 또한 자신이 사용하기 쉽도록 메뉴를 커스터마이즈할 수 있다. 또한, 쇼트컷 버튼의 조작에 의해 표시되는 메뉴에 대한 커스터마이즈가, 원래의 메뉴에도 반영된다.
상술한 바와 같은 메뉴의 카피의 작성에 의해, 정보 처리 시스템(100)은, 예를 들어 웹 사이트의 북마크를 직감적이면서 또한 용이하게 유저에게 작성시킬 수 있다.
도 64는 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 64에 나타낸 것은, 정보 처리 시스템(100)이 표시하는 애플리케이션에서의, 유저의 드래그 조작 및 드롭 조작에 따른 북마크 메뉴의 작성예이다.
도 64에는, 메뉴 버튼(1100) 및 메뉴 버튼 군(1110, 1120)이 정보 처리 시스템(100)에 의해 표시되어 있는 상태가 도시되어 있다. 또한 도 64에는, 애플리케이션의 예로서 인터넷의 웹 사이트를 표시하는 웹 브라우저(1140)가 정보 처리 시스템(100)에 의해 표시되어 있는 상태가 도시되어 있다. 또한 도 64에는, 웹 브라우저(1140)의 좌측 하방 부분에, 현재 표시하고 있는 웹페이지에 접속하기 위한 메뉴 버튼(1141)이 정보 처리 시스템(100)에 의해 표시되어 있는 상태가 도시되어 있다. 유저가, 메뉴 버튼(1141)에 대하여 카피를 작성하는 조작을 실행한 것을 검출하면, 정보 처리 시스템(100)은, 그 유저 조작에 따라, 메뉴 버튼(1141)의 카피를 작성한다. 메뉴 버튼(1141)의 카피는, 그 웹페이지의 북마크로서 기능할 수 있다. 작성된 메뉴 버튼(1141)의 카피는, 예를 들어 유저의 조작에 의해 메뉴 버튼 군(1120) 중에 추가된다. 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 이러한 조작을 유저에게 제공함으로써, 예를 들어 웹페이지의 북마크를 직감적이면서 또한 용이하게 유저에게 작성시킬 수 있다. 또한 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 이러한 조작을 유저에게 제공함으로써, 간단한 조작으로 복수의 웹페이지의 북마크를 1개의 메뉴 버튼 군에 통합시킬 수 있다.
본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 복수의 유저로부터의 메뉴 조작을 접수할 수 있도록 구성되어 있으므로, 동일한 애플리케이션이나, 비슷한 애플리케이션이 복수의 유저로부터 기동되어, 동시에 실행되는 상황이 발생할 수 있다. 동일한 애플리케이션이나, 비슷한 애플리케이션이 복수의 유저로부터 동시에 실행되면, 누가 어느 애플리케이션을 기동하였는지 알기 어려워지는 상황이 발생할 수 있다. 따라서, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 메뉴와 애플리케이션과의 관련짓기를 행하고, 또한 그 관련짓기를 간단한 유저 조작으로 해제할 수 있는 구조를 제공한다.
도 65는 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 65에 나타낸 것은, 정보 처리 시스템(100)이 표시하는 애플리케이션과 메뉴와의 관련짓기를, 유저의 조작에 따라서 해제할 때의 GUI의 예이다.
예를 들어 도 65의 좌측과 같이 메뉴 버튼(1100), 메뉴 버튼 군(1110, 1120), 및 애플리케이션의 예로서 웹 브라우저(1140)가 정보 처리 시스템(100)에 의해 표시되어 있는 상태에서, 정보 처리 시스템(100)은, 메뉴 버튼 군(1120) 중의 1개의 메뉴 버튼과, 웹 브라우저(1140)의 메뉴 버튼(1141)이 선으로 연결되어 있는 것처럼 표시해도 된다. 도 65의 예에서는, 메뉴 버튼 군(1120) 중의 1개의 메뉴 버튼과, 웹 브라우저(1140)의 메뉴 버튼(1141)과의 관련짓기를 파선으로 나타내고 있는데, 본 개시에서는 관련짓기의 표시는 이러한 예에 한정되는 것은 아니다.
이 관련짓기의 표시에 대하여, 유저가 소정의 조작, 예를 들어 유저가 소정의 속도 이상으로 선을 자르는 듯한 조작을 실행한 것을 검출하면, 정보 처리 시스템(100)은, 메뉴 버튼 군(1120) 중의 1개의 메뉴 버튼과, 웹 브라우저(1140)의 메뉴 버튼(1141)과의 관련짓기를 해제하는 처리를 실행한다. 관련짓기의 해제 시에는, 정보 처리 시스템(100)은, 웹 브라우저(1140)를 종료시키는 처리를 실행한다. 웹 브라우저(1140)를 종료시키는 처리 시에는, 정보 처리 시스템(100)은, 도 65에 도시한 바와 같이, 그 웹 브라우저(1140)를 서서히 옅어져 가게 해서, 최종적으로 표시가 사라지는 표시 처리를 실행해도 된다.
본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 메뉴와 애플리케이션과의 관련짓기를 행하고, 또한 그 관련짓기를 간단한 유저 조작으로 해제시킬 수 있다.
도 64에 도시한 바와 같이 메뉴와 애플리케이션을 관련지음으로써, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 그 밖에도 다양한 조작을 유저에게 제공할 수 있다. 예를 들어 도 1과 같은 프로젝션형의 정보 처리 시스템(100a)은, 테이블(140a)와 같은 면적이 큰 표시면에 정보를 표시하므로, 유저가 이격된 위치에 있는 애플리케이션을 손아래로 끌어당기고 싶은 요구가 발생할 수 있다. 따라서, 메뉴와 애플리케이션과의 관련짓기의 표시에 대하여 유저에게 그 표시를 끌어당기는 듯한 조작을 시킴으로써, 정보 처리 시스템(100)은, 애플리케이션의 윈도우를, 그 유저 조작에 따라서 이동시키는 표시 처리를 실행해도 된다.
도 66은 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 66에 나타낸 것은, 정보 처리 시스템(100)이 표시하는 애플리케이션과 메뉴와의 관련짓기에 대하여 유저가 조작할 때의 GUI의 예이다.
도 66에는, 메뉴 버튼(1100), 메뉴 버튼 군(1110, 1120), 및 애플리케이션의 예로서 웹 브라우저(1140)가 정보 처리 시스템(100)에 의해 표시되어 있다. 또한 도 66에는, 메뉴 버튼 군(1120) 중의 1개의 메뉴 버튼과, 웹 브라우저(1140)의 메뉴 버튼(1141)이 관련지어지도록 정보 처리 시스템(100)에 의해 표시되어 있는 상태가 도시되어 있다. 이렇게 메뉴 버튼이나 윈도우가 정보 처리 시스템(100)에 의해 표시되어 있는 상태에서, 유저가, 이어진 선을 손아래로(메뉴 버튼 군(1120)의 방향으로) 끌어당기는 조작을 행하면, 정보 처리 시스템(100)은, 그 조작의 검출에 따라, 웹 브라우저(1140)를 메뉴 버튼 군(1120)에 근접시키는 표시 처리를 실행한다.
이와 같이, 관련짓기의 표시에 대하여 유저가 손아래로 끌어당기는 조작을 실행한 것에 따라, 애플리케이션의 윈도우를 이동시키는 표시 처리를 실행함으로써, 정보 처리 시스템(100)은 유저 조작의 편리성을 높일 수 있다. 또한 도 65에는, 유저가 애플리케이션의 윈도우를 손아래로 끌어당기는 조작을 행한 경우의 예가 도시되어 있지만, 유저가 애플리케이션의 윈도우를 손아래로부터 멀리 떨어지게 하는 조작을 실행한 경우에는, 정보 처리 시스템(100)은, 반대로 애플리케이션의 윈도우를 메뉴 버튼으로부터 멀리 떨어지게 하는 표시 처리를 실행한다.
도 64에 도시한 바와 같이 메뉴와 애플리케이션을 관련지음으로써, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 유저에게, 애플리케이션의 조작을 애플리케이션의 윈도우로부터 이격된 장소에서 행하게 할 수 있다.
도 67은 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 67에 나타낸 것은, 정보 처리 시스템(100)이 표시하는 애플리케이션과 메뉴가 관련지어진 상태에서 유저가 조작할 때의 GUI의 예이다.
도 67에는, 메뉴 버튼(1100), 메뉴 버튼 군(1110, 1120, 1121), 및 애플리케이션의 예로서 웹 브라우저(1140)가 정보 처리 시스템(100)에 의해 표시되어 있다. 또한 도 67에는, 메뉴 버튼 군(1120) 중의 1개의 메뉴 버튼과, 웹 브라우저(1140)의 메뉴 버튼(1141)이 관련지어져 있도록 정보 처리 시스템(100)에 의해 표시되어 있는 상태가 도시되어 있다. 또한, 메뉴 버튼 군(1121)은, 웹 브라우저(1140)를 조작하기 위한 메뉴가 배열된 것으로 한다. 이렇게 메뉴 버튼이나 윈도우가 정보 처리 시스템(100)에 의해 표시되어 있는 상태에서, 유저가 메뉴 버튼 군(1121)을 조작하면, 정보 처리 시스템(100)은, 그 조작에 따른 웹 브라우저(1140)에 대한 처리(예를 들어, 북마크되어 있는 웹페이지를 열거나, 전 페이지로 돌아가거나, 다음 페이지로 진행하거나, 웹 브라우저를 종료하는 등의 처리)를 실행한다.
이렇게 애플리케이션의 조작을 애플리케이션의 윈도우로부터 이격된 장소에서 행하게 할 수 있음으로써, 정보 처리 시스템(100)은 유저 조작의 편리성을 높일 수 있다. 예를 들어 도 1과 같은 프로젝션형의 정보 처리 시스템(100a)은, 테이블(140a)와 같은 면적이 큰 표시면에 정보를 표시하므로, 유저가 이격된 위치에 애플리케이션이 표시되어도 관련짓기에 의해 원격 조작이 가능하게 되어, 유저 조작의 편리성을 높일 수 있다.
도 67의 예에서는 애플리케이션으로서 웹 브라우저(1140)를 나타냈지만, 원격 조작할 수 있는 애플리케이션은 이러한 예에 한정되는 것은 아니다. 예를 들어 애플리케이션이 음악 재생 소프트웨어라면, 애플리케이션과 메뉴 버튼과의 관련짓기에 의해, 음량의 조정, 악곡의 스킵, 빨리 감기, 되감기 등이, 원격 조작으로 가능해진다. 또한 예를 들어 애플리케이션이 동화상 재생 소프트웨어라면, 애플리케이션과 메뉴 버튼과의 관련짓기에 의해, 음량의 조정, 동화상의 스킵, 빨리 감기, 되감기 등이, 원격 조작으로 가능해진다.
여기까지의 예에서는, 메뉴 버튼(1100)을 기점으로 해서, 메뉴 버튼 군(1110, 1120)을 표시하는 GUI를 표시하는 정보 처리 시스템(100)을 나타냈지만, 메뉴 버튼 군(1110, 1120)의 기점은 메뉴 버튼(1100)에 한정되지 않는다. 정보 처리 시스템(100)은, 예를 들어 유저가 소유하는 휴대 전화, 스마트폰 기타 휴대 단말기를 기점으로 하여, 메뉴 버튼 군(1110, 1120)을 표시하도록 해도 된다. 상술한 예에서 정보 처리 시스템(100)과 휴대 단말기와의 제휴 예를 나타냈다. 정보 처리 시스템(100)은, 정보 처리 시스템(100)과 제휴시킨 휴대 단말기를 기점으로 하여, 메뉴 버튼 군(1110, 1120)을 표시시킬 수도 있다.
도 68은 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 68에 나타낸 것은, 메뉴 버튼 군(1110, 1120)의 표시 기점으로서, 정보 처리 시스템(100)과 제휴시킨 휴대 단말기(1310)가 사용되는 경우의 GUI의 예이다. 정보 처리 시스템(100)과, 휴대 단말기(1310)를 제휴시켜서, 소정의 조작을 유저가 실행하면, 정보 처리 시스템(100)은, 도 68에 도시한 바와 같이 휴대 단말기(1310)의 주위에 메뉴 버튼 군(1110, 1120)을 표시시켜도 된다.
메뉴 버튼 군(1110, 1120)의 정보를 휴대 단말기(1310)에 보존시킴으로써, 그 휴대 단말기(1310)를 다른 정보 처리 시스템(100)과 제휴시킨 경우에도, 완전히 동일한 레이아웃으로 메뉴 버튼 군(1110, 1120)을 표시하는 것이 가능하게 된다. 예를 들어, 유저가 자택에서 메뉴 버튼 군(1110, 1120)의 레이아웃을 편집해서 휴대 단말기(1310)에 보존하고, 그 휴대 단말기(1310)를 친구의 집에 가져가서, 유저가 자택에서 편집한 메뉴 버튼 군(1110, 1120)을, 친구의 집의 정보 처리 시스템(100)에서 표시시킬 수 있다.
본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 도 63에 도시한 바와 같이, 쇼트컷 버튼의 작성에 의해, 유저마다, 예를 들어 가족에게 각각 상이한 메뉴를 작성시키는 것을 가능하게 한다. 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 그렇게 유저마다 작성시킨 메뉴에 대하여, 각 유저의 어카운트를 관련짓도록 해도 된다.
도 69는 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 69에 나타낸 것은, 유저마다 작성시킨 메뉴에, 각 유저의 어카운트를 관련지은 상태이다. 도 69에는, 아버지 및 어머니가 사용하는 애플리케이션의 윈도우(1150)와, 그 애플리케이션을 조작하기 위한 메뉴 버튼(1151)이 도시되어 있다. 정보 처리 시스템(100)은, 유저마다 작성시킨 메뉴에, 각 유저의 어카운트를 관련지음으로써, 예를 들어 유저마다, 웹 브라우저의 Cookie를 보존하거나, 웹페이지의 로그인 정보를 기록하거나, 웹페이지에의 액세스 이력을 관리하거나 할 수 있다.
본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 복수의 유저에 의해 동시에 사용되는 형태가 상정될 수 있다. 따라서, 상술한 바와 같이 유저마다 커스터마이즈된 메뉴를 작성하면, 어떤 유저가 다른 유저의 메뉴를 사용해버리는 상황이 발생할 수 있다. 유저의 메뉴에 키가 걸려 있지 않으면, 누구라도 간단하게 그 유저의 메뉴를 사용할 수 있게 되어버린다.
따라서 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 인증을 받은 후가 아니면 메뉴를 사용할 수 없는 구조를 제공한다. 인증 방식은 패스워드 방식이어도 되고, 유저가 사용하고 있는 휴대 단말기를 사용한 기기 인증 방식이어도 된다. 이하의 예에서는, 기기 인증 방식에 의해 메뉴에의 액세스를 인증하는 구조를 설명한다.
도 70은 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 70에 나타낸 것은, 유저가 사용하고 있는 휴대 단말기를 사용한 기기 인증 방식에 의해 메뉴에의 액세스를 인증할 때의 GUI의 예이다. 정보 처리 시스템(100)은, 예를 들어 아버지가 사용하는 메뉴에는, 그 아버지가 사용하고 있는 휴대 단말기를 사용해서 인증을 받지 않으면 액세스할 수 없도록, 메뉴에 키를 걸어두게 하는 것을 가능하게 한다. 정보 처리 시스템(100)은, 아버지가 사용하는 메뉴에 키가 걸려 있는 상태에서는, 유저가 그 메뉴를 선택해도(가령 선택한 것이 아버지 본인이라도) 아무것도 반응하지 않도록 제어한다.
그리고, 아버지가 사용하는 메뉴의 근처에 그 아버지가 사용하고 있는 휴대 단말기가 놓인 것을 검출하면, 정보 처리 시스템(100)은, 그 휴대 단말기를 인식한 뒤에, 그 휴대 단말기가 아버지의 것인 것을 인식하면, 아버지가 사용하는 메뉴의 키를 해제한다. 정보 처리 시스템(100)은, 휴대 단말기의 인식을, 상술한 화상 인식으로 행해도 되고, 근접 비접촉 통신(NFC), Wi-Fi 통신, Bluetooth(등록 상표) 통신 등으로 행해도 된다. 정보 처리 시스템(100)은, 인증이 완료하면, 키를 걸어 두었던 메뉴의 키를 해제하고, 유저가 그 메뉴에 액세스할 수 있도록 제어한다.
이와 같이, 기기 인증 방식을 사용해서 메뉴에의 액세스를 인증하는 구조를 사용함으로써, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 인증되지 않은 유저에 의한 메뉴에의 액세스를 제한할 수 있다.
본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 상술한 바와 같이, 휴대 단말기를 기점으로 해서 메뉴 버튼을 표시할 수 있다. 여기서 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 그 휴대 단말기를 기점으로 해서 표시하는 메뉴 버튼에 의해, 휴대 단말기에서의 권한을 제어하는 구조를 제공한다.
도 71은 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 71에 나타낸 것은, 휴대 단말기를 기점으로 해서 메뉴 버튼을 표시할 때, 그 메뉴 버튼에 의해, 휴대 단말기에서의 권한을 제어할 때의 GUI의 예이다.
도 71에는, 휴대 단말기(1310, 1320)를 기점으로 해서, 각각 메뉴 버튼 군(1110, 1120)이 표시되어 있는 상태가 도시되어 있다. 그리고, 도 71에는, 메뉴 버튼 군(1120)에, 각 휴대 단말기(1310, 1320)에서의 권한이 표시되어 있는 상태가 도시되어 있다. 휴대 단말기(1310, 1320)에서의 권한으로서는, 예를 들어 애플리케이션의 조작 권한, 휴대 단말기로부터 원격 조작하는 기기의 조작 권한, 휴대 단말기를 사용해서 대금을 결제할 때의 결제 권한 등이 있다.
예를 들어, 휴대 단말기(1310)를 기점으로 해서 표시되어 있는 메뉴 버튼 군(1120) 중에서, 임의의 권한(예를 들어, 1000엔분의 대금 결제 권한)을 휴대 단말기(1320)를 기점으로 해서 표시되어 있는 메뉴 버튼 군(1120)에 카피하는 조작을 유저가 행했다고 하자. 정보 처리 시스템(100)은, 그 유저 조작에 따라, 휴대 단말기(1310)에 유지되어 있는 그 권한을, 휴대 단말기(1320)에 카피하는 처리를 실행한다.
이렇게 메뉴 버튼의 조작을 통해서, 휴대 단말기간에서 권한을 카피시킴으로써, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은 간단한 조작으로, 휴대 단말기에서의 권한의 수수를 가능하게 한다.
본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 애플리케이션의 윈도우에의 메뉴 버튼의 드래그 및 드롭 조작에 기초하여, 애플리케이션에 데이터를 전달하는 기능을 제공한다.
도 72는 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 72에 나타낸 것은, 애플리케이션의 윈도우에의 메뉴 버튼의 드래그 및 드롭 조작에 기초하여, 애플리케이션에 데이터를 전달할 때의 GUI의 예이다.
도 72에는, 메뉴 버튼 군(1120)에, 웹페이지에 액세스하기 위한 북마크에 대응하는 메뉴 버튼이 존재하는 상태가 도시되어 있다. 메뉴 버튼 군(1120) 중의 임의의 메뉴 버튼을, 웹 브라우저(1140)에 드래그 및 드롭하는 조작을 유저가 실행하면, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 그 유저 조작에 따라, 드롭된 메뉴 버튼에 대응하는 웹페이지에 액세스하도록 웹 브라우저(1140)의 동작을 제어한다. 이와 같이, 유저에 의한 드래그 및 드롭 조작에 따라, 애플리케이션에 데이터를 전달함으로써, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 유저에 대하여 직감적인 조작을 제공할 수 있다.
또한 도 72에는, 애플리케이션이 웹 브라우저인 예를 나타냈지만, 데이터 전달의 대상이 되는 애플리케이션은 이러한 예에 한정되는 것은 아니다. 예를 들어, 애플리케이션이 화상 표시 애플리케이션인 경우, 유저가 화상 데이터를 의미하는 메뉴 버튼을 화상 표시 애플리케이션에 드롭하면, 정보 처리 시스템(100)은, 그 화상 데이터를 화상 표시 애플리케이션에서 표시하는 처리를 실행한다. 또한 예를 들어, 애플리케이션이 악곡 재생 애플리케이션인 경우, 유저가 악곡 데이터를 의미하는 메뉴 버튼을 악곡 재생 애플리케이션에 드롭하면, 정보 처리 시스템(100)은, 그 악곡 데이터를 악곡 재생 애플리케이션에서 재생하는 처리를 실행한다. 또한 예를 들어, 애플리케이션이 동화상 재생 애플리케이션인 경우, 유저가 동화상 데이터를 의미하는 메뉴 버튼을 동화상 재생 애플리케이션에 드롭하면, 정보 처리 시스템(100)은, 그 동화상 데이터를 동화상 재생 애플리케이션에서 재생하는 처리를 실행한다.
도 72에서는, 애플리케이션의 윈도우에 메뉴 버튼이 드롭된 것에 따라, 정보 처리 시스템(100)이, 그 애플리케이션에의 데이터의 전달을 행하는 예를 설명하였다. 계속해서, 임의의 기능을 제공하는 메뉴 버튼에 다른 메뉴 버튼이 드롭된 것에 따라, 정보 처리 시스템(100)이, 드롭된 메뉴 버튼에 대응하는 기능을 실행하는 예를 설명한다.
도 73은 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 정보의 표시면에 표시하는 애플리케이션의 GUI의 예를 나타내는 설명도이다. 도 73에 나타낸 것은, 임의의 기능을 제공하는 메뉴 버튼에의, 별도의 메뉴 버튼의 드래그 및 드롭 조작에 기초하여, 드롭된 메뉴 버튼에 대응하는 기능이 실행될 때의 GUI의 예이다.
도 73에는, 메뉴 버튼 군(1120)에, 예를 들어 소셜·네트워킹·서비스(SNS)에 투고하기 위한 메뉴 버튼이 존재하는 상태가 도시되어 있다. 그 메뉴 버튼 군(1120) 중의 임의의 메뉴 버튼에, 유저가, 예를 들어 화상 데이터를 의미하는 메뉴 버튼을 드롭했다고 하자. 정보 처리 시스템(100)은, 그 유저의 드롭 조작에 따라, 그 화상 데이터를 SNS에 투고하는 처리를 실행한다.
이와 같이, 유저에 의한 드래그 및 드롭 조작에 따라, 드롭된 메뉴 버튼에 대응하는 기능을 실행함으로써, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 유저에 대하여 직감적인 조작을 제공할 수 있다.
또한, 도 73에서의 메뉴 버튼 군(1120)의 각 메뉴 버튼이 실행하는 기능은, SNS에의 투고에 한정되지 않는다. 예를 들어 메뉴 버튼 군(1120)의 각 메뉴 버튼이 실행하는 기능으로서는, 연락처로서 등록되어 있는 상대방에게의 데이터의 송신, 제휴하고 있는 기기에의 데이터의 송신 등, 다양한 기능을 생각할 수 있다.
<2. 유저 인터페이스의 구체예>
이하, 상술한 정보 처리 시스템(100)에 의해 실현 가능한 유저 인터페이스(UI: User Interface)의 구체예를 설명한다. 이하에서는, 프로젝션형의 정보 처리 시스템(100a)을 상정해서 설명하지만, 도 1 내지 도 4를 참조하여 설명한 어떤 타입으로도, 이하에 설명하는 구체예에 관한 UI를 실현 가능하다. 또한, 프로젝션형의 정보 처리 시스템(100a) 중, 테이블(140a)의 상방에 설치되는, 프로젝터 및 카메라 등이 설치되는 하우징을, 본체라고도 칭한다. 또한, 테이블(140a)을, 프로젝터에 의해 화상이 투영되는 투영면(표시면)이라고도 칭한다.
[구체예 1]
본 구체예에 관한 정보 처리 시스템(100)은, 조작 오브젝트의 형상에 따라서 회전하는 반원 형상의 메뉴를 제공한다. 조작 오브젝트의 형상을 고려하지 않고 메뉴가 표시되는 경우, 예를 들어 메뉴가 손에 겹쳐져서 표시되어, 시인성이 저하되는 경우가 있다. 따라서, 본 구체예에 관한 정보 처리 시스템(100)은, 조작 오브젝트가 겹치는 영역 이외의 영역에 메뉴를 표시한다. 이하, 도 74 내지 도 76을 참조하여, 본 구체예에 대해서 상세하게 설명한다. 도 74 내지 도 76은, 구체예 1에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 74에 도시한 바와 같이, 본 구체예에 관한 정보 처리 시스템(100)은, 표시면으로서 기능하는 테이블(140a) 상에 표시된 메뉴 버튼(2001)이 유저에 의해 손가락으로 터치되면, 터치한 손가락의 형상에 따라서 아이콘(메뉴 항목)이 반원 형상으로 배치된 메뉴(2002)를 표시한다. 구체적으로는, 정보 처리 시스템(100)은, 터치한 손가락의 방향을 중심으로 해서 좌우로 넓어지는 반원 형상의 메뉴(2002)를, 터치한 손가락에 아이콘이 겹쳐지지 않도록 표시하고 있다. 또한, 정보 처리 시스템(100)은, 아이콘의 문자 표시를, 터치한 손가락의 방향에 따라서 유저에게 정면으로 대향시키고 있다. 메뉴 버튼(2003)이 터치된 경우도 마찬가지로, 터치한 손가락의 형상에 따라서 각 항목이 반원 형상으로 배치된 메뉴(2003)가 표시된다.
이러한 표시 처리를 행하기 위해서, 먼저, 검출부(121)는, 표시면에 겹치는 조작 오브젝트를 검출한다. 조작 오브젝트는, 유저의 손가락 또는 손 등의 몸의 일부이어도 되고, 조작 봉 등의 유저에 의해 조작되는 임의의 물체이어도 되고, 로봇 암 등이어도 된다. 검출부(121)는, 스테레오 카메라에 의해 얻어지는 심도 정보에 기초하여, 표시면에 겹쳐지는 조작 오브젝트의 형상, 긴 변 방향, 짧은 변 방향 및 높이를 검출한다. 조작 오브젝트가 손가락인 경우, 검출부(121)는 손가락이 가리키는 방향을 검출해도 된다. 도 74에 나타낸 예에 있어서, 검출부(121)는, 테이블(140a) 상에 겹쳐서 메뉴 버튼(2001, 2003)을 터치한 손가락 및 손을, 조작 오브젝트로서 검출함과 함께, 손가락이 가리키는 방향을 검출한다.
그리고, 출력 제어부(122)는, 검출부(121)에 의해 검출된 조작 오브젝트가 겹치는 영역이 부족한 원 형상(반원 형상)의 메뉴를 표시면에 표시하도록 출력부(130)를 제어한다. 예를 들어, 도 74에 나타낸 예에서, 출력 제어부(122)는, 메뉴(2001)를 터치한 손가락이 겹치는 영역에, 항목이 배치되어 있지 않은 메뉴(2002)를 표시한다.
출력 제어부(122)는, 조작 오브젝트가 겹치는 영역이 부족한 원 형상의 메뉴를 생성하기 위한 하나의 수단으로서, 조작 오브젝트가 표시면에 겹치는 영역의 크기에 따라, 아이콘의 표시 개수 또는 아이콘의 표시 사이즈 중 적어도 어느 하나를 증감시켜도 된다. 예를 들어, 출력 제어부(122)는, 메뉴를 터치하는 손의 크기에 따라서 표시하는 아이콘의 표시 개수를 증감시키도록 출력부(130)를 제어한다. 구체적으로는, 출력 제어부(122)는, 도 75에 도시한 바와 같이, 유저가 손가락을 1개 펴서 메뉴 버튼에 터치한 경우에는 9개의 아이콘을 표시하고, 유저가 손가락을 접지 않고 펴서 터치한 경우에는 7개의 아이콘을 표시하고 있다.
또한, 도 76에 도시한 바와 같이, 출력 제어부(122)는, 손가락의 굵기에 따라서, 문제없이 터치할 수 있는 사이즈 및 개수의 상한이 되도록 아이콘 표시를 조정해도 된다. 구체적으로는, 출력 제어부(122)는, 손가락이 가는 경우에는 아이콘 사이즈를 작게 해서 많은 아이콘을 표시하고, 손가락이 굵어짐에 따라서 아이콘 사이즈를 크게 해서 아이콘 수를 적게 한다. 또한, 출력 제어부(122)는, 아이콘을 배치하는 원의 반경을 증감시켜도 된다. 예를 들어, 표시 사이즈를 고정하면, 반경의 증감에 따라서 표시 개수가 증감된다. 또한, 표시 개수를 고정하면, 반경의 증감에 따라서 표시 사이즈가 증감된다.
출력 제어부(122)가 이러한 표시 제어를 행함으로써, 유저의 손가락에 아이콘이 겹치지 않으므로, 유저는 메뉴 전체를 용이하게 파악할 수 있다. 또한, 손가락이 겹쳐서 표시된 아이콘에, 의도하지 않게 손가락이 접촉해버리는 것에 의한 오작동이 방지된다. 또한, 출력 제어부(122)는, 손의 크기에 맞춰서 메뉴 표시를 제어함으로써, 이용 가능한 면적을 최대한 활용해서 아이콘을 표시할 수 있다. 아이콘의 표시 개수의 조정은, 표시 개수를 초과했을 때, 즉 모든 아이콘을 전부 표시할 수 없을 때 특히 효과를 발휘한다.
또한, 출력 제어부(122)는, 조작 오브젝트의 방향에 따라서 표시하는 메뉴의 방향을 제어해도 된다. 상세하게는, 출력 제어부(122)는, 검출부(121)에 의해 검출된 조작 오브젝트의 긴 변 방향에 기초하여 항목이 배치된 메뉴를 표시면에 표시하도록 출력부를 제어해도 된다. 예를 들어, 도 74에 나타낸 예에서는, 출력 제어부(122)는, 메뉴 버튼(2001)을 터치한 손가락의 방향에 기초하여, 터치한 손가락의 방향을 중심으로 해서 좌우로 넓어지는 반원 형상의 메뉴(2002)를 표시한다. 또한, 출력 제어부(122)는, 메뉴 버튼(2001)을 터치한 손가락의 방향에 기초하여, 당해 손가락을 갖는 유저의 방향을 추정하고, 유저에게 문자 표시 및 메뉴 배치가 정면으로 대향하도록 메뉴(2002)를 표시한다. 출력 제어부(122)는, 이러한 표시 제어를 행함으로써, 유저가 테이블(140a)을 어느 방향으로부터 터치해도, 유저에게 정면으로 대향하는 메뉴를 제공할 수 있다.
또한, 정보 처리 시스템(100)은, 검출부(121)에 의한 검출 결과에 따라서 개인을 식별하고, 식별한 개인의 조작 이력 등에 따른 개인화한 출력을 행하는 것도 가능하다. 예를 들어, 정보 처리 시스템(100)은, 손가락의 굵기에 따라서 개인을 특정할 수 있다. 이 때문에, 예를 들어 가정 내 사용되는 정보 처리 시스템(100)에, 유저가 가족 공용 어카운트로 로그인한 상태이어도, 카메라로 얼굴을 돌려서 얼굴 인식에 의한 식별을 행하지 않고, 로그인한 가족에게 개인화한 출력을 행하는 것이 가능하다. 예를 들어, 정보 처리 시스템(100)이 프로젝션형인 경우에, 유저는 위를 보지 않아도 개인화한 출력의 제공을 받을 수 있다. 또한, 정보 처리 시스템(100)은, 술집 등의 불특정 다수가 접촉하는 환경 하에서도, 개인화한 출력을 행하는 것이 가능하다. 단, 예를 들어 눈이 쌓인 산에서 장갑을 낀 상태에서 터치하는 경우 등, 동일한 개인이라도 손가락의 굵기가 바뀌는 경우를 생각할 수 있다.
[구체예 2]
본 구체예는, 카메라, 마이크, 프로젝터, 스피커가 기지인 경우에, 손이나 손가락이 관측된 방향으로부터 유저가 있는 방향을 추정함으로써, 입출력을 유저에게 최적화하는 형태이다. 마이크에 의한 음성 취득에 유저의 위치가 고려되지 않는 경우, 선명한 음성을 취득하는 것이 곤란한 경우가 있고, 또한 스피커로부터의 음성 출력에 유저의 위치가 고려되지 않는 경우, 현장감이 있는 음성 출력이 곤란한 경우가 있다. 따라서, 본 구체예에 관한 정보 처리 시스템(100)은, 유저의 위치를 추정하여, 유저의 위치에 최적화한 입력 및 출력을 행한다. 이하, 도 77 내지 도 85를 참조하여, 본 구체예에 대해서 상세하게 설명한다. 도 77 내지 도 85는, 구체예 2에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
일례로서, 여기에서는 입력부(110)로서 기능하는 마이크를 유저에게 최적화하는 예를 설명한다. 본 구체예에 관한 검출부(121)는, 입력부(110)로서 기능하는 마이크의 지향성을 제어하여, 유저의 입가에 마이크의 지향성을 향하게 한다. 검출부(121)는, 복수의 마이크를 조합한 마이크 어레이를 사용하여, 지향성을 제어한다.
도 77은, 4개의 마이크를 갖는 마이크 어레이에 의해 형성되는 지향성의 일례를 나타내고 있다. 검출부(121)는, 각 마이크에 음성이 도달하는 시간차를 이용해서 지향성을 갖게 함(빔 포밍을 행함)으로써, 지향성을 부여하지 않는 방각으로부터의 생활 잡음을 배제할 수 있다. 또한, 마이크의 개수가 증가하면, 보다 압축된 지향성을 갖게 하는 것이 가능하게 된다.
도 78은, 표시면에 터치된 손가락의 위치에 따른 지향성의 제어의 일례를 도시하고 있다. 검출부(121)는, 표시면에 터치한 유저의 손가락의 위치에 따라서 유저의 위치를 추정하고, 추정한 유저의 위치에 마이크의 지향성을 향하게 한다. 검출부(121)는, 이와 같이 하여 마이크의 지향성을 제어함으로써, 마이크로부터 유저가 이격되어 있는 경우에도, 생활 잡음을 배제한 선명한 유저 음성을 취득할 수 있고, 예를 들어 음성 인식을 행하는 것이 가능하게 된다. 도 79에 도시한 바와 같이, 예를 들어 스마트폰이라면 마이크와 입가의 거리가 10cm(센티미터) 정도일 것이 요구되지만, 본 구체예에 관한 정보 처리 시스템(100)은, 100cm 정도의 거리이어도 생활 잡음을 배제한 선명한 유저 음성을 취득할 수 있다.
이러한 지향성 제어를 행하기 위해서, 먼저, 검출부(121)는 조작 오브젝트를 검출한다. 검출부(121)는, 표시면에 겹치는 조작 오브젝트의 형상, 긴 변 방향, 짧은 변 방향 및 높이를 검출한다. 조작 오브젝트가 손가락인 경우, 검출부(121)는 손가락이 가리키는 방향을 검출해도 된다. 계속해서, 검출부(121)는, 검출된 조작 오브젝트에 기초하여, 조작 오브젝트를 조작하는 유저가 위치하는 방향을 추정하는 추정부로서 기능한다. 예를 들어, 검출부(121)는, 유저의 손이나 손가락을 조작 오브젝트로서 검출하고, 손이나 손가락의 위치 및 방향에 기초하여 유저가 위치하는 방향을 추정한다. 이하, 구체적인 추정 방법에 대해서 설명한다.
예를 들어, 도 80에 나타낸 예에서는, 검출부(121)는, 투영면에 투영된 아이콘의 위치와, 손가락으로 터치된 아이콘의 위치를 연결하는 직선상의, 화살표 방향에 유저가 위치한다고 추정한다. 조작하는 아이콘이 유저의 손아래에 있다는 전제가 성립하는 경우에 유효한 방법이다. 예를 들어, 유저가 아이콘을 길게 누른 후에 드래그함으로써, 자유롭게 유저의 손아래로 아이콘을 이동시킬 수 있는 경우에 이 전제는 성립된다고 생각된다. 이 방법에 의하면, 검출부(121)는, 손가락의 방향을 검출하는 것에 실패한 경우에도, 유저의 방향을 추정할 수 있다.
예를 들어, 도 81에 나타낸 예에서는, 검출부(121)는, 아이콘을 터치한 손가락 방향의 반대측인, 화살표 방향에 유저가 위치한다고 추정한다. 이 방법은, 검출부(121)가 손가락의 방향을 검출하는 것에 성공한 경우에 유효하다.
예를 들어, 도 82에 나타낸 예에서는, 검출부(121)는, 투영면으로서 기능하는 테이블(140a) 상에 놓인 손의 위치 및 방향에 기초하여, 좌우의 손의 중앙에 유저가 위치하는 것으로 해서, 화살표 방향에 유저가 위치한다고 추정한다. 구체적으로는, 검출부(121)는, 동일한 변으로부터 검출된 2개의 손의 방향의 평균 방향을, 유저가 위치하는 방향이라고 추정한다. 이 방법은, 검출부(121)가 손의 방향을 검출하는 것에 성공한 경우에 유효하다.
예를 들어, 도 83에 나타낸 예에서는, 검출부(121)는, 애플리케이션을 조작하고 있는 손가락의 방향으로부터 유저가 위치하는 방향을 추정한다. 검출부(121)는, 복수의 애플리케이션에 대해서, 구동 시부터 조작하는 손가락의 방향을 추정 및 축적해 두고, 축적된 손가락의 방향을 통합함으로써, 현재의 유저가 위치하는 방향을 추정해도 된다. 또한, 검출부(121)는, 어떤 애플리케이션을 조작하는 손가락의 방향에, 다른 애플리케이션을 조작하는 손가락의 방향을 통합·연산함으로써, 유저가 위치하는 방향을 추정해도 된다.
이와 같이 하여, 검출부(121)는, 유저가 위치하는 방향을 추정한다. 그리고, 검출부(121)는, 추정한 유저가 위치하는 방향에 지향성을 갖게 한 입력을 행하도록 입력부(110)를 제어한다. 예를 들어, 도 79 내지 도 83을 참조하여 상기 설명한 예에서는, 검출부(121)는, 추정한 유저가 위치하는 방향으로부터의 음성을 취득하기 위한 빔 포밍을 행하도록 마이크를 제어한다. 또한, 검출부(121)가 각 마이크로부터 출력된 음성에 대하여 빔 포밍 처리를 행해도 된다. 이에 의해, 검출부(121)는, 생활 잡음을 배제하여 선명한 유저 음성을 취득할 수 있다. 그 밖에도, 검출부(121)는, 추정한 유저가 위치하는 방향의 화상을 취득하기 위해서, 입력부(110)로서 기능하는 카메라의 방향을 제어해도 된다.
또한, 출력 제어부(122)는, 검출부(121)에 의해 추정된 유저가 위치하는 방향에 지향성을 갖게 한 출력을 행하도록, 출력부(130)를 제어한다. 예를 들어, 출력 제어부(122)는, 유저가 위치하는 방향으로 음성을 출력하기 위한 채널 구성을 행하도록, 출력부(130)로서 기능하는 스피커를 제어한다. 음성 이외에도, 출력 제어부(122)는, 예를 들어 추정한 유저가 위치하는 방향을 향해서, 유저에게 정면으로 대향하게 화상을 출력하도록 출력부(130)를 제어해도 된다.
도 84는, 프로젝션형의 정보 처리 시스템(100)의 본체를, 밑에서부터 본 경우의 간이한 구성예 및 본체와 유저와의 위치 관계를 나타내고 있다. 도 84에 도시한 바와 같이, 본체의 네 코너에 각각 스피커가 형성되어 있다. 또한, 도면 중 「R」은 우 채널, 「L」은 좌 채널을 나타내고 있다. 도 84는 상기 도면에 도시한 바와 같이, 정보 처리 시스템(100)을 둘러싸는 형태로 유저가 복수 있는 경우, 출력 제어부(122)는, 통상의 채널 구성으로 음성을 출력하도록 스피커를 제어한다. 한편, 도 84는 아래 도면에 도시한 바와 같이, 유저가 한 사람인 경우, 출력 제어부(122)는, 추정된 유저 위치에 특화한 채널 구성으로 음성을 출력하도록 스피커를 제어한다.
이상 설명한 바와 같이, 본 구체예에 의하면, 유저의 위치에 따라서 마이크의 지향성을 갖게 함으로써, 예를 들어 생활 잡음과 같은 잡음 환경 하에서도, 또한 마이크와 유저의 위치가 이격되어 있어도, 음성 인식이나 음성 커맨드의 성공률을 향상시키는 것이 가능하다. 또한, 본 구체예에 의하면, 유저의 위치에 따라서 스피커의 채널 구성을 변화시킴으로써, 보다 현장감이 있는 음향 공간을 실현하는 것이 가능하다. 예를 들어, 본 구체예에 관한 정보 처리 시스템(100)은, 가정용 텔레비전에서 이용되는 것을 상정해서 채널 구성이 설계된 콘텐츠를, 콘텐츠 작성자의 의도대로 재현하는 것이 가능하다. 그 밖에도, 본 구체예에 의하면, 정보 처리 시스템(100)은, 음성 인식 완료 후에, 웹 브라우저 등의 애플리케이션을 유저에게 정면으로 대향하도록 표시하는 것도 가능하다.
(사진 애플리케이션)
여기서, 도 85를 참조하여, 본 구체예에 관한 정보 처리 시스템(100)을 사용한 애플리케이션의 일례로서, 사진 애플리케이션에 대해서 설명한다. 본 애플리케이션은, 본체에서 본 테이블(140a) 및 스피커의 위치를 기지로 하고, 본체 및 테이블(140a)의 위치 정보 및 설치 방각 정보를 이용하여, 다양한 시각 효과 및 효과음을 출력한다. 또한, 위치 정보는, 예를 들어 GPS(Global Positioning System)에 의해 취득되고, 설치 방각 정보는, 예를 들어 지자기 센서에 의해 취득될 수 있다.
예를 들어, 본 애플리케이션은, 사진에 부수되는 Exif(Exchangeable image file format) 정보로부터 촬영 위치를 취득하고, 테이블(140a)에서 본 촬영 위치의 방각을 추정한다. 그리고, 본 애플리케이션은, 도 85에 도시한 바와 같이, 추정한 방각으로부터 사진이 투영면에 미끄러져 들어오는 애니메이션을 표시하거나, 대응하는 위치에 있는 스피커로부터 효과음을 울리거나 한다. 효과음에 대해서는, 대응하는 위치에 음상이 정위되어도 된다. 본 애플리케이션은, 예를 들어 회의실에 적용되어서, 원격지에 있는 복수의 회의실에 설치된 테이블(140a)에 있어서 회의 자료를 미러링해서 공유하거나, 회의실간의 대화를 실현하거나 해도 된다.
또한, 사진 애플리케이션에 의해 투영면(140a)에 표시된 사진은, 다방향으로부터 많은 사람에 의해 동시에 조작·열람될 수 있다. 예를 들어, 140a의 4변에 있는 유저가, 다방향으로부터 동시에 사진을 선택해서 방향을 바꾸면서 위치를 이동시키거나, 사진을 편집하거나, 새로운 사진을 추가하거나 하는 것이 가능하다.
[구체예 3]
본 구체예는, 투영면의 상태 및 기동 중인 애플리케이션의 상태를 관리하고, 필요에 따라 조명(전등) 제어를 행하는 형태이다. 일반적으로, 프로젝터 및 조명을 이용하는 경우, 투영된 화상이 조명의 밝기로 선명하지 않게 되어버린다. 이 때문에, 방의 조명을 끄거나, 또는 투영면 부근만 조명을 끄는 등의 행위를 인간이 행하고 있었다. 본 구체예에 관한 정보 처리 시스템(100)은, 프로젝터 및 조명을 이용하는 경우에, 프로젝터에 의해 투영된 화상이 선명하게 비추어지도록 조명을 제어함으로써, 이러한 인간의 수고를 삭감할 수 있다. 본 구체예에 관한 정보 처리 시스템(100)은 프로젝션형이며, 제어 가능한 조명부가 본체와 일체적으로 형성되어 있거나, 또는 분리되어 형성된 조명부를 원격 제어 가능한 것으로 한다. 또한, 조명부는, 조사 범위 및 조사 방향을 변경 가능한 것으로 한다. 이하, 도 86 내지 도 93을 참조하여, 본 구체예에 대해서 상세하게 설명한다. 도 86 내지 도 93은, 구체예 3에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 86에 도시한 바와 같이, 본 구체예에 관한 정보 처리 시스템(100)은, 카메라(2011), 투영부로서 기능하는 프로젝터(2012) 및 매트릭스 형상으로 배치된 복수의 조명부(2010)가 설치되어 있다. 검출부(121)는, 투영면으로 향해진 카메라(2011)의 촬상 화상에 기초하여, 투영면의 상태를 검출하고, 투영면의 상태의 검출에 의해 얻어지는 상태 정보를 취득한다. 투영면의 상태란, 예를 들어 투영면의 명도, 투영면에 투영된 화상의 콘트라스트비, 및 투영면 상에 물체가 존재하는지 여부, 투영면 상의 물체의 종류, 배치, 크기, 물체끼리의 조합 등을 의미한다. 그리고, 출력 제어부(122)는, 프로젝터(2012)에 의해 투영면에 투영되는 화상, 및 검출부(121)에 의해 검출된 상태에 기초한 광량(조명 강도)으로 투영면을 조사하도록 조명부(2010)를 제어한다.
예를 들어, 도 86과 같이, 테이블(140a)의 투영면에 프로젝터(2012)가 아무것도 투영하고 있지 않은 경우, 출력 제어부(122)는, 큰 광량으로 (밝게) 투영면을 조사하도록 조명부(2010)를 제어한다. 그러나, 프로젝터(2012)가 화상을 투영하는 경우, 출력 제어부(122)는, 작은 광량으로 (어둡게) 투영면을 조사하도록 조명부(2010)를 제어한다. 물론, 광량을 제로로 하여, 조명을 꺼도 된다. 출력 제어부(122)는, 검출부(121)에 의한 투영 화상의 콘트라스트비의 검출 결과를 참조하면서 광량을 증감시킴으로써, 투영된 화상의 콘트라스트비가 역치 이상이 되는 광량으로 투영면을 조사하도록 조명부(2010)를 제어해도 된다. 투영된 화상의 콘트라스트비를 시인 용이한 값 이상으로 함으로써, 출력 제어부(122)는 밝기와 시인성을 양립시킬 수 있다.
도 87과 같이, 테이블(140a)의 일부에 물체가 적재되어, 투영면으로서 사용되지 않는 경우도 생각할 수 있다. 이 경우, 검출부(121)는, 적재된 물체를 투영면의 상태로서 검출하여, 출력 제어부(122)는 검출된 물체의 주변은 큰 광량으로 조사하고, 그 밖의 투영면으로서 사용하는 부분은 작은 광량으로 조사하도록 조명부(2010)를 제어한다.
또한, 출력 제어부(122)는, 테이블(140a)에 적재된 물체(오브젝트)의 종별에 기초하여 조명부(2010)를 제어할 수 있다. 예를 들어, 검출부(121)에 의해 투영면 상에 위치하는 물체가 검출된 경우, 출력 제어부(122)는, 검출된 물체가 발광하는 발광체인지, 광을 반사하는(발광하지 않는) 반사체인지에 기초한 광량으로 투영면을 조사하도록 조명부(2010)를 제어해도 된다. 구체적으로는, 출력 제어부(122)는, 발광체라면 작은 광량으로, 반사체라면 큰 광량으로 투영면을 조사하도록 조명부(2010)를 제어한다. 이하, 도 88, 도 89를 참조하여, 발광체로서의 스마트폰, 반사체로서의 접시가 테이블(140a)에 적재된 경우의 조명 제어에 대해서 설명한다.
도 88의 좌측 도면에 도시한 바와 같이, 먼저, 프로젝터(2012)가 화상을 투영하는 경우, 출력 제어부(122)는, 작은 광량으로 투영면을 조사하도록 조명부(2010)를 제어한다. 그리고, 도 88의 중앙 도면에 도시한 바와 같이, 테이블(140a) 상에 물체가 적재된 경우, 검출부(121)가 물체를 검출한다. 이 경우, 출력 제어부(122)는, 검출부에 의한 물체 인식을 가능하게 하기 위해서, 물체가 발광체인 반사체인지에 상관없이 큰 광량으로 투영면을 조사하도록 조명부(2010)를 제어한다. 계속해서, 검출부(121)는, 예를 들어 투영면을 촬상한 화상을 서버에 조회함으로써, 테이블(140a)에 적재된 물체를 인식한다.
예를 들어, 물체가 스마트폰이라고 서버에 등록되어 있었을 경우, 출력 제어부(122)는, 스마트폰은 표시부가 발광하는 발광체이기 때문에, 도 88의 우측 도면에 도시하는 바와 같이 원래의 작은 광량으로 투영면을 조사하도록 조명부(2010)를 제어한다. 스마트폰이 발광하기 때문에, 검출부(121)는, 투영면이 어두워도 스마트폰을 계속적으로 검출 및 추종할 수 있다. 또한, 광량이 적기 때문에, 조명부(2010)로부터 조사된 광이 스마트폰의 표시부에 비추어지는 것(하이라이트)이 방지된다. 이에 의해, 검출부(121)는 용이하게 스마트폰을 검출할 수 있다.
한편, 물체가 접시라고 서버에 등록되어 있었을 경우, 출력 제어부(122)는, 접시는 발광부를 갖지 않는 반사체이기 때문에, 도 89의 좌측 도면에 도시하는 바와 같이 큰 광량으로 투영면을 조사하도록 조명부(2010)를 제어한다. 이에 의해, 검출부(121)는, 접시를 계속적으로 검출 및 추종할 수 있다. 출력 제어부(122)는, 도 89의 중앙 도면에 도시한 바와 같이, 접시가 위치하는 영역만을 밝게 하고, 다른 영역을 어둡게 하도록 조명부(2010)를 제어해도 된다. 이에 의해, 예를 들어 다른 영역에서, 투영 화상이 시인 가능하게 투영된다. 또한, 출력 제어부(122)는, 도 89의 우측 도면에 도시한 바와 같이, 조명부(2010)의 조명을 끈 뒤에, 물체의 형상보다도 약간 큰 스포트라이트가 비추어지도록 프로젝터(2012)를 제어해도 된다. 프로젝터에 의한 스포트라이트란, 예를 들어 백색 일색의 화상을 원하는 영역에 투영함으로써 실현될 수 있다. 이에 의해, 검출부(121)는, 접시를 용이하게 검출 가능하고, 접시가 스포트라이트의 범위 내에서 이동했다고 해도, 계속적으로 검출 및 추종할 수 있다.
또한, 검출부(121)는, 조명부(2010)에 의한 광량을 조절하면서, 카메라(2011)에 의한 촬상 화상을 참조함으로써, 물체가 발광체인지 반사체인지를 검출해도 된다. 예를 들어, 검출부(121)는, 어두운 상태에서도 검출 가능하면 발광체라고 인식하고, 밝은 상태가 되어서 비로소 검출 가능하게 된 경우에는 반사체라고 인식해도 된다. 이러한 방법에 의하면, 검출부(121)는, 서버에 조회하지 않고, 또한 서버에 등록되어 있지 않은 물체이어도, 발광체인지 반사체인지를 식별할 수 있다.
또한, 정보 처리 시스템(100)은, 조명 면적의 컨트롤에 의해 물체의 탐색 정밀도(검출 정밀도)를 향상시킬 수 있다. 예를 들어, 도 90의 좌측 도면에 도시한 바와 같이, 검출부(121)는 물체(마커)의 탐색 개시 직후에는 테이블(140a)의 전체를 조사하도록 조명부(2010)를 제어한다. 여기서, 마커는 반사체인 것으로 한다. 마커가 검출된 경우, 도 90의 우측 도면에 도시한 바와 같이, 검출부(121)는 마커가 차지하는 영역에 서서히 조사 범위를 좁히도록 조명부(2010)를 제어한다. 이에 의해, 정보 처리 시스템(100)은, 테이블(140a)에 적재된 마커가 인식되어 있는지 여부, 및 어느 정도 마커의 존재 범위가 좁혀져 있는지를 명시적으로 유저에게 피드백할 수 있다. 또한, 조사 범위의 압축 도중이라면, 유저가 대상을 이동시켰다고 해도, 마커에 조명이 닿아서 반사되기 때문에, 검출부(121)는 마커를 검출 및 추종할 수 있다. 이때, 검출부(121)는, 조사 범위를 다시 넓혔다가 다시 좁히도록 조명부(2010)를 제어해도 된다. 도 91의 좌측 도면에 도시한 바와 같이, 마커가 조사 범위로부터 벗어난 경우, 검출부(121)는, 마커의 검출에 실패할 수 있다. 이 경우, 도 91의 우측 도면에 도시한 바와 같이, 검출부(121)는 조사 범위를 다시 넓혀서 재차 마커의 탐색을 행해도 된다.
또한, 정보 처리 시스템(100)은, 광량의 컨트롤에 의해 물체의 탐색 정밀도를 향상시킬 수 있다. 구체적으로는, 검출부(121)는, 마커의 재질에 따라서 조명부(2010)의 광량을 조정한다. 예를 들어, 마커가 유리 및 플라스틱과 같은 광택이 있는 재질인 경우, 하이라이트가 발생하면 카메라(2011)에 의한 촬상 화상으로부터 마커를 검출하는 것이 곤란해질 수 있다. 이 때문에, 검출부(121)는, 마커를 검출 가능한 정도의 작은 광량으로 투영면을 조사하도록 조명부(2010)를 제어한다. 한편, 예를 들어 마커가 천, 종이 및 목재와 같은 광택이 없는(매트한) 재질인 경우, 밝은 환경 하일수록 마커의 검출은 용이하게 된다. 이 때문에, 검출부(121)는, 가능한 한 큰 광량으로 투영면을 조사하도록 조명부(2010)를 제어한다. 또한, 검출부(121)는, 마커의 재질을, 예를 들어 서버에 등록된 마커의 재질을 나타내는 정보를 참조함으로써 판정할 수 있다. 검출부(121)는, 도 92에 도시한 바와 같이, 조명의 강약을 반복해서 변화시키면서 마커를 탐색할 수 있다. 이 경우, 검출부(121)는, 다양한 재질의 마커를, 서버에 조회하지 않고, 재질에 적합한 조명 환경 하에서 검출하는 것이 가능하게 된다.
또한, 정보 처리 시스템(100)은, 도 93에 도시한 바와 같이, 조명부(2010)와 카메라(2011)를 연동시킴으로써, 물체의 탐색 정밀도를 향상시킬 수 있다. 도 93은, 어둑어둑한 환경 하에서 물체를 검출하는 예를 나타내고 있고, 시간은 좌측에서 우측으로 흐른다. 검출부(121)는, 카메라(2011)의 촬영 간격과 동기해서 발광하도록 조명부(2010)를 제어한다. 즉, 검출부(121)는, 조명부(2010)를, 일반적인 카메라에 설치되는 스트로보(일렉트로닉 플래시)로서 기능시킨다. 카메라(2011)는, 어둑어둑한 환경 하이어도, 조명부(2010)에 의한 발광의 반사광을 촬상할 수 있어, 검출부(121)에 의한 검출 정밀도가 향상된다. 예를 들어, 전원 주파수가 50Hz라면, 20밀리초 간격으로 촬영 및 발광이 이루어질 수 있다. 인간이 인식할 수 없는 간격으로 발광하므로, 순간 밝아지지만, 주위가 어둑어둑한 채 그대로도 검출부(121)에 의한 물체의 검출이 가능하게 된다.
이상 설명한 바와 같이, 본 구체예에 의하면, 정보 처리 시스템(100)은, 투영면의 상태에 따라서 조명부에 의한 조명 강도, 조명 범위를 조정함으로써, 선명한 화상을 투영면에 투영하는 것이 가능하게 된다. 또한, 정보 처리 시스템(100)은, 필요한 개소만을 조사하도록 조명 범위를 조정함으로써, 방 전체가 의도하지 않게 어두워지거나 밝아지거나 하는 주위에의 영향을 억제할 수 있다. 또한, 정보 처리 시스템(100)은, 조명부에 의한 조명 강도, 조명 범위를 조정함으로써, 테이블(140a)에 적재된 물체의 인식 정밀도를 향상시킬 수 있다.
[구체예 4]
본 구체예는, 조작 오브젝트의 인식 가능 수의 초과를 피드백하는 형태이다. 예를 들어, 손가락으로 테이블(140a)을 터치해도 아무런 피드백이 없는 경우, 터치가 인식되지 않은 것인지, 터치는 인식되었지만 UI가 반응하지 않는 것인지, 유저가 조작에 실패한 것인지를, 유저는 판별할 수 없다. 여기서, 인식 가능한 수를 초과한 경우, 정보 처리 시스템(100)은, 초과분의 터치의 검출에 실패하기 때문에, 유저에게 피드백하는 것이 곤란하였다.
따라서, 본 구체예에 관한 정보 처리 시스템(100)은, 계산량 상의 조작 오브젝트의 인식 가능 상한 수 마이너스 1을, 사양 상의 인식 가능 상한 수로서 정의한다. 계산량 상의 인식 가능 상한 수란, 검출부(121)에 의해 검출 가능한 조작 오브젝트의 상한 수를 의미한다. 즉, 1개분의 버퍼를 갖게 해서 사양 상의 인식 가능 상한 수가 정의된다. 물론, 버퍼의 수는 1 이외의 임의의 수이어도 된다. 정보 처리 시스템(100)은, 사양 상의 인식 가능 상한 수를 1 초과한 경우, 즉 계산량 상의 인식 가능 상한 수에 도달한 경우에, 유저에게 인식할 수 없는 취지를 피드백한다. 상세하게는, 검출부(121)는, 테이블(140a)에 터치된 조작 오브젝트를 검출한다. 출력 제어부(122)는, 검출부(121)에 의해 검출된 조작 오브젝트의 수가 계산량 상의 인식 가능 상한 수인 경우에, 경고를 출력하도록 출력부(130)를 제어한다. 이하, 도 94를 참조하여 구체적으로 설명한다. 도 94는, 구체예 4에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 94는 계산량 상의 조작 오브젝트의 인식 가능 수가 4인 경우의, 정보 처리 시스템(100)에 의한 피드백 예를 도시하고 있다. 이 예에서는, 사양 상의 인식 가능 상한 수는, 4 마이너스 1인 3이 된다. 이 때문에, 도 94에 도시한 바와 같이, 터치한 손가락이 1개 내지 3개인 경우, 출력 제어부(122)는, 터치의 검출에 성공한 것을 나타내는 효과음을 출력하도록 출력부(130)를 제어한다. 그리고, 도 94에 도시한 바와 같이, 터치한 손가락이 4개가 되었을 경우, 사양 상의 인식 가능 상한 수인 3을 초과했기 때문에, 출력 제어부(122)는, 터치의 검출에 실패한 것을 나타내는 효과음을 출력하도록 출력부(130)를 제어한다.
출력 제어부(122)는, 테이블(140a)에 터치된 손가락의 수가 이미 사양 상의 인식 가능 상한 수에 도달한 경우, 손가락이 터치하기 전의, 예를 들어 손가락이 카메라의 화각에 들어온 타이밍에서, 그 손가락이 인식 가능/불가능한 것을 피드백해도 된다. 또한, 출력 제어부(122)는, 예를 들어 손을 쥔 상태에서는 터치를 검출할 수 없어, 이용할 수 없는 취지를 피드백해도 된다. 출력 제어부(122)는, 검출부(121)의 인식 가능 상한 수 이외에도, 예를 들어 2인용의 게임에서 1개씩 손가락을 사용하는 것과 같은 애플리케이션에서 규정되어 있는 인식 가능 상한 수에 따라 피드백해도 된다. 또한, 예를 들어 인식 가능 상한 수가 4개이고, 터치된 손가락의 개수가 6개로, 2개를 인식할 수 없는 경우, 주사의 사정상 좌측 상단이 우선해서 피드백되고, 비어있는 경우도 좌측 상단이 우선해서 이용 가능해질 수 있다. 물론, 우선되는 위치는 좌측 상단에 한하지 않고, 제품 설계에 따른 임의의 위치이어도 된다.
본 구체예에 의하면, 조작 오브젝트의 인식 가능 상한 수를 초과한 것을, 유저에게 명시적으로 피드백하는 것이 가능해진다. 이에 의해, UI가 반응하지 않는다고 착각한 유저가 테이블(140a)을 연타함으로써, 오히려 사태가 악화되는 상태를 예방할 수 있다.
[구체예 5]
본 구체예는, 조작하지 않는 쪽의 손에 따라서 조작 모드를 전환하는 형태이다. 유저는, 손가락에 의해 테이블(140a)에 투영된 화상, 텍스트, 애플리케이션 등을 조작 가능하다. 그러나, 조작 모드를 전환하기 위해서, 일단 작업을 중단하고 메뉴를 열어서 조작 모드를 선택하는 경우, 연속적인 작업이 곤란하였다. 따라서, 본 구체예에 관한 정보 처리 시스템(100)은, 조작하고 있지 않은 쪽의 손의 인식 결과에 기초하여, 조작 모드를 전환한다.
상세하게는, 검출부(121)는, 유저의 한 쌍의 손을 검출한다. 예를 들어, 검출부(121)는, 동일한 변으로부터 검출된 2개의 손을, 한 쌍의 손으로서 검출한다. 출력 제어부(122)는, 검출부(121)에 의해 검출된 한 쌍의 손 중, 한쪽의 손을 작용점으로서 기능시킨 출력을 행하도록 출력부(130)를 제어한다. 예를 들어, 출력 제어부(122)는, 손가락으로 테이블(140a)을 터치하는 오른손을, 테이블(140a)에 투영된 애플리케이션을 조작하기 위한 작용점으로서 기능시켜서, 터치된 위치에 따라서 스크롤 등의 인터랙션을 표현한다. 또한, 출력 제어부(122)는, 다른 쪽의 손을, 손의 형상에 따라서 작용점에 의한 작용의 종별을 전환하는 전환기로서 기능시킨 출력을 행하도록 출력부(130)를 제어한다. 예를 들어, 출력 제어부(122)는, 왼쪽 손의 형상에 따라, 오른손에 의한 조작의 조작 모드를 전환한다. 물론, 오른손과 왼쪽 손의 기능은 반대이어도 된다. 이하, 도 95 내지 도 97을 참조하여 구체적으로 설명한다. 도 95 내지 도 97은, 구체예 5에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
예를 들어, 왼쪽 손이 가위 바위 보의 바위 형상인 경우, 검출부(121)는, 촬상 화상에 기초하여 왼쪽 손의 형상을 인식하고, 출력 제어부(122)는 조작 모드를 「문진 모드」로 전환한다. 출력 제어부(122)는, 「문진 모드」에서는, 도 95의 상측 도면에 도시한 바와 같이, 오른손으로 터치된 점에 글자를 그리도록 출력부(130)를 제어한다. 또한, 왼쪽 손이 가위 바위 보의 가위의 형상인 경우, 검출부(121)는, 촬상 화상에 기초하여 왼쪽 손의 형상을 인식하고, 출력 제어부(122)는, 조작 모드를 「가위 모드」로 전환한다. 출력 제어부(122)는, 「가위 모드」에서는, 도 95의 중앙 도면에 도시한 바와 같이, 오른손으로 터치된 점에서 투영 화상을 잘라낸 표현을 행하도록 출력부(130)를 제어한다. 또한, 왼쪽 손이 가위 바위 보의 보 형상인 경우, 검출부(121)는, 촬상 화상에 기초하여 왼쪽 손의 형상을 인식하고, 출력 제어부(122)는 조작 모드를 「통상 모드」로 전환한다. 출력 제어부(122)는, 「통상 모드」에서는, 도 95의 하측 도면에 도시한 바와 같이, 오른손으로 터치된 점에 따라서 탭 및 드래그 등의 통상의 조작을 행하도록 출력부(130)를 제어한다. 또한, 도 96에 도시한 바와 같이, 출력 제어부(122)는, 검출부(121)에 의해 검출된 손의 형상에 따라서 서로 다른 메뉴를 출력하도록 출력부(130)를 제어해도 된다. 또한, 도 97에 도시한 바와 같이, 출력 제어부(122)는, 검출부(121)에 의해 검출된 손의 형상에 따라서 서로 다른 미디어의 파일 일람을 출력하도록 출력부(130)를 제어해도 된다. 도 97에 나타낸 예에서는, 왼쪽 손이 가위 바위 보의 바위 형상인 경우에 음악 파일의 일람이 출력되고, 왼쪽 손이 가위 바위 보의 가위 형상인 경우에 웹 파일의 일람이 출력되고 있다.
출력 제어부(122)는, 작용점으로서 기능하는 오른손 또는 전환기로서 기능하는 왼쪽 손 중 어느 하나의 위에 현재의 조작 모드를 나타내는 표시를 투영함으로써, 유저에게 명시적으로 조작 모드를 피드백해도 된다. 예를 들어, 출력 제어부(122)는, 가위 모드라면 손톱 위나 손등에 가위의 마크를 투영하도록 출력부(130)를 제어한다. 또한, 출력 제어부(122)는, 작용점으로서 기능하는 오른손의 형상에 따라서 작용점에 의한 작용의 종별을 전환해도 된다. 예를 들어, 출력 제어부(122)는, 오른손이 1개 손가락이라면 세선을 그리고, 오른손이 2개 손가락이라면 굵은 선을 그리도록 출력부(130)를 제어해도 된다. 또한, 출력 제어부(122)는, 전환기로서 기능하는 왼쪽 손이 테이블(140a)로부터 벗어나서 검출부(121)가 인식에 실패한 경우라도, 조작 모드를 유지해도 된다. 예를 들어, 유저가 왼쪽 손을 가위로 해서, 가위 모드가 된 후에, 유저가 왼쪽 손을 치워버려도, 출력 제어부(122)는 가위 모드를 유지해도 된다.
이상 설명한 바와 같이, 본 구체예에 의하면, 유저는, 조작하고 있지 않은 쪽의 손으로, 조작 모드를 전환할 수 있다. 이 때문에, 유저는, 현재의 작업을 중단하지 않고 조작 모드를 연속적으로 전환할 수 있어, 연속된 작업이 가능하게 된다. 또한, 유저는, 직감적으로 조작 모드를 전환할 수 있기 때문에, 조작 모드 전환에 관한 학습 비용이 낮은 것으로 된다.
[구체예 6]
본 구체예는, 카메라 및 프로젝터 등의 구성 요소를 모듈 단위로 형성하고, 규격화된 인터페이스에 의해 접속 가능하게 함으로써, 필요에 따른 모듈마다의 교체를 가능하게 하는 형태이다. 정보 처리 시스템(100)이 일체형 제품으로서 형성된 경우, 기능 확장을 위해서는 정보 처리 시스템(100) 전체를 교체하는 것 이외의 수단을 취하는 것이 곤란해질 수 있다. 따라서, 본 구체예에 관한 정보 처리 시스템(100)은, 구성 요소의 모듈화 및 모듈 단위의 교체를 가능하게 한다.
구체적으로는, 정보 처리 시스템(100)을 형성하는 CPU, 카메라, 프로젝터, LED 라이트, 마이크 및 스피커 등이, 규격화된 모듈에 저장된다. 이들 구성 요소는, 개별적으로 저장되어도 되고, 복수가 조합되어서 하나의 모듈에 저장되어도 된다. 또한, 예를 들어 CPU, 프로젝터, 카메라를 저장하는 모듈을 코어 모듈로서, 다른 구성 요소를 저장하는 모듈을 서브 모듈로서 파악해도 된다. 이들 각 모듈이 공통의 인터페이스에 의해 접속됨으로써, 상호의 통신 및 급전이 가능하게 되고, 접속된 모듈 전체에서 정보 처리 시스템(100)으로서 기능하는 것이 가능하게 된다. 또한, 코어 모듈만으로, 정보 처리 시스템(100)으로서 기능하는 것도 가능하다. 인터페이스는, 무선 통신에 의해 실현되어도 되고, 유선 통신에 의해 실현되어도 되고, 단자에 의해 물리적으로 접속되는 것이어도 된다. 이하, 도 98 내지 도 99를 참조하여, 본 구체예에 대해서 상세하게 설명한다. 도 98 내지 도 99는 구체예 6에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 98에는, 본 구체예에 관한 정보 처리 시스템(100)의 본체의 간이한 구성예가 도시되어 있다. 도 98에 나타낸 구성예에서는, 원통 형상의 용기 중에, 프로젝터(Projector)가 저장된 모듈이 최하층에, CPU가 탑재된 제어 기판(MAIN PCB)이 저장된 모듈이 중층에, 스피커(Speaker)가 저장된 모듈이 최상층에, 각각 배치되어 있다. 또한, 제어 기판에 연결되어서, 원통 형상의 용기 좌우에 스테레오 카메라(Stereo Camera)가 배치되어 있다. 이들 모듈은, 예를 들어 공통의 단자에 의해 각각 접속되어 있어도 된다. 스피커가 저장된 모듈과 제어 기판이 저장된 모듈과의 사이에 간극이 형성된 경우, 음질의 향상 및 방열 효과가 기대된다. 스피커측이 천장에 연결되고, 프로젝터측이 바닥측을 향함으로써, 프로젝션형의 정보 처리 시스템(100)이 실현될 수 있다. 각 모듈은, 도 98에 도시한 바와 같이 세로 방향으로 겹쳐서 배치되어도 되고, 가로 방향으로 직선 형상으로 배열되어도 되고, 평면상에 배열되어도 되고, 각각 분리·독립해서 임의의 위치에 배치되어도 된다. 도 98에 나타낸 모듈 이외에도, 조명 및 스피커 등의 서브 모듈이 임의로 연결되어도 된다. 또한, 정보 처리 시스템(100)은, 도 99에 도시한 바와 같이, 천장으로부터 현수된 형상의 조명 장치로서 형성되어도 되고, 플로어 스탠드형의 조명 장치로서 형성되어도 되고, 데스크 스탠드형의 조명 장치로서 형성되어도 된다.
조명이 코어 모듈로부터 이격되어서 설치된 경우, 코어 모듈은, 조명을 차례로 발광시키면서 화상 인식에 의해 발광 위치를 특정함으로써, 코어 모듈과 조명과의 위치 관계를 인식해도 된다. 이에 의해, 코어 모듈은, 투영면의 상태 등에 따라서 적절한 위치에 설치된 조명을 선택적으로 발광시킬 수 있다. 그 밖에도, 코어 모듈은, 조명이 설치된 일시를 기록해 두고, 예를 들어 「머지않아 라이트가 꺼질 것 같습니다」라는 메시지를 투영함으로써, 수명의 도래를 유저에게 통지해도 된다. 또한, 넓은 레인지를 갖는 스피커가 설치된 경우, 코어 모듈은, 그 스피커를 주로 사용해서 음성 출력을 행하고, 다른 스피커를 밸런스 조정을 위해 사용해도 된다.
본 구체예에 의하면, 제품 전체가 아니라 모듈마다의 일부 교체가 가능하게 되므로, 제품의 교체 비용을 억제함과 함께, 자원이 절약된다. 또한, 본 구체예에 의하면, 모듈의 교체에 의해, 기능의 확장을 용이하게 실현할 수 있다. 또한, 예를 들어 유저는 코어 모듈을 교체함으로써, CPU 처리 능력, 카메라 해상도, 인식 정밀도 등의 퍼포먼스를 향상시킬 수 있다. 또한, 유저는, 예를 들어 서브 모듈을 교체함으로써, 풍부하게 전개된 스피커 및 조명 등의 디자인 변형을 즐길 수 있다.
[구체예 7]
본 구체예는, 동일한 애플리케이션의 화면을 복수 표시할 때, 각 화면간의 표시를 동기시키는 형태이다. 통상, 애플리케이션은, 단일 방향을 향해서 표시되는데, 테이블(140a)을 복수의 유저가 둘러싸서 하나의 애플리케이션을 사용하는 것을 상정하면, 예를 들어 역방향으로 서있는 유저에게 있어서 표시가 보기 어려운 것으로 될 수 있다. 따라서, 본 구체예에 관한 정보 처리 시스템(100)은, 동일한 애플리케이션의 화면을 복수 표시함과 함께, 필요에 따라 화면간의 동기(미러링)/비동기(미러링의 해제)를 전환한다.
상세하게는, 검출부(121)는 조작 오브젝트를 검출한다. 출력 제어부(122)는, 검출부(121)에 의해 검출된 조작 오브젝트에 따라, 적어도 2개의 화면을 표시면에 표시하도록 출력부(130)를 제어한다. 예를 들어, 출력 제어부(122)는, 검출부(121)에 의해 검출된 손가락의 방향에 기초하여, 테이블(140a)을 둘러싸는 복수의 유저에 대해 각각 정면으로 대향하도록, 동일 애플리케이션의 화면을 표시한다. 화면을 동기시키는 경우, 출력 제어부(122)는, 검출부(121)에 의해 검출된 조작 오브젝트에 의한 한쪽의 화면에의 조작을, 다른 화면에도 마찬가지로 반영시킨 표시를 행하도록 출력부(130)를 제어한다. 예를 들어, 한쪽의 유저가 손가락으로 화면을 스크롤시킨 경우에, 다른 쪽의 유저에 대하여 표시된 화면도 마찬가지로 스크롤한다. 이하, 도 100 내지 도 103을 참조하여 구체적으로 설명한다. 도 100 내지 도 103은 구체예 7에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 100은 웹 브라우저를 1개의 화면에서 표시하는 통상 상태를 나타내고 있다. 도 101은 웹 브라우저를 2개의 화면에서 동기해서 표시시킨 동기 표시 상태를 나타내고 있다. 출력 제어부(122)는, 화면을 동기시키고 있는 동안에는, 한쪽의 화면에의 조작을 다른 화면에도 반영시킨다. 예를 들어, 도 101에 도시한 바와 같이, 출력 제어부(122)는, 한쪽의 유저가 화면을 클릭해서 화면 천이시키는 경우, 다른 쪽의 화면에서도 동일 개소가 클릭된 것으로 해서 마찬가지의 화면 천이를 하도록 출력부(130)를 제어한다. 도 101에서는, 표시면을 상하 2개로 분할해서 동기 표시하는 예를 나타냈지만, 출력 제어부(122)는, 도 102에 도시한 바와 같이, 표시면을 좌우 2개로 분할해서 동기 표시하도록 출력부(130)를 제어해도 된다. 동기가 해제된 경우, 출력 제어부(122)는, 도 103에 도시한 바와 같이, 각 유저가 각 화면에 대하여 각각 스크롤 등의 조작을 행한 표시를 행하도록 출력부(130)를 제어해도 된다. 출력 제어부(122)는, 다시 동기를 행하는 경우, 마스터가 되는 어느 하나의 화면의 표시에 의해, 다른 화면(슬레이브)의 표시를 통일시킨다.
출력 제어부(122)는, 스크롤 이외에도, 예를 들어 문자 입력, 지도 애플리케이션에의 표시의 기입 등을, 동기 표시에 의해 모든 화면에서 공유시킬 수 있다. 그 밖에도, 출력 제어부(122)는, 예를 들어 어떤 웹페이지 전체를 복수의 유저가 열람하고 있는 경우에, 다른 유저가 표시시키고 있는 영역의 위치를 직사각형 표시하거나, 그 영역의 방향을 화살표로 표시하거나 해도 된다. 도 100 내지 도 103에서는, 각 화면이 접한 상태에서 표시되는 예를 나타냈지만, 각 화면은 각각 이격되어 있어도 된다.
출력 제어부(122)는, 하나의 화면을 2개로 나누거나(분류), 2개의 화면을 하나로 통합하거나(합류) 해도 된다. 출력 제어부(122)는, 분류한 복수의 화면을 동기 표시해도 되고, 비동기 표시해도 된다. 또한, 출력 제어부(122)는, 분류한 복수의 화면을 다시 합류시켜도 된다. 이 경우, 출력 제어부(122)는, 마스터가 되는 임의의 하나의 화면을, 합류 후의 화면으로서 표시한다.
합류 시의 마스터가 되는 화면의 결정 방법은, 다양하게 생각할 수 있다. 예를 들어, 출력 제어부(122)는, 합류하는 것을 먼저 선택한 화면을 마스터, 다른 화면을 슬레이브로 해도 된다. 이때, 출력 제어부(122)는 「합류합니까?」라는 다이얼로그를 다른 화면에서 표시시키고, 합류하는 것에 동의한 화면을 슬레이브로 해도 된다. 또한, 출력 제어부(122)는, 합류 후에 다시 분류하는 경우, 슬레이브가 원래 표시하고 있던 화면을, 당해 슬레이브의 화면으로서 표시해도 된다. 예를 들어, 출력 제어부(122)는, 웹페이지 「A」를 표시하고 있던 마스터, 웹페이지 「B」를 표시하고 있던 슬레이브를 동기시켜서, 하나의 웹페이지 「A」를 표시하는 예를 상정한다. 이 후, 다시 분류하는 경우, 출력 제어부(122)는, 마스터에 웹페이지 「A」를 표시시키고, 슬레이브에 웹페이지 「B」를 표시시켜도 된다.
분류 및 합류의 계기는 다양하게 생각할 수 있다. 예를 들어, 출력 제어부(122)는, 검출부(121)에 의해 검출된, 유저에 의한 메뉴 항목의 선택에 의해, 분류 또는 합류를 행하도록 출력부(130)를 제어해도 된다. 또한, 출력 제어부(122)는, 하나의 화면을 터치한 손가락을 좌우로 잡아당기듯이 움직이는 동작이 검출부(121)에 의해 검출된 경우에, 분류를 행해도 된다. 그 밖에도, 출력 제어부(122)는, 하나의 화면을 2명이 터치해서 좌우로 잡아당겨 끊는 동작이 검출부(121)에 의해 검출된 경우에, 분류를 행해도 된다. 반대로, 출력 제어부(122)는, 2개의 화면을 터치한 손가락을 겹치도록 움직이는 동작이 검출부(121)에 의해 검출된 경우에, 합류를 행해도 된다. 또한, 검출부(121)는, 손가락의 개수 등에 따라, 합류/분류를 나타내는 조작과 핀치 인 및 핀치 아웃과 같은 조작을 구별해도 된다. 출력 제어부(122)는, 합류할지 여부의 결정을, 마스터에만 허가해도 되고, 슬레이브에만 허가해도 되고, 슬레이브를 포함한 모든 화면에 허가해도 된다.
이상 설명한 바와 같이, 본 구체예에 의하면, 복수의 화면을 유저의 위치에 따른 방향으로 표시할 수 있기 때문에, 상이한 방향으로부터의 높은 시인성을 실현할 수 있다. 또한, 본 구체예에 의하면, 복수의 화면에 대해서 필요에 따라서 동기/비동기를 전환하는 것이 가능하기 때문에, 애플리케이션의 상태에 따른 임기 응변의 표시/조작을 실현할 수 있다. 또한, 본 구체예에 의하면, 화면이 동기되어 있는 경우, 다른 사람의 조작이 피드백되기 때문에, 다른 사람이 어떤 조작을 행하고, 애플리케이션이 어떻게 동작하고 있는지를, 유저는 용이하게 인식할 수 있다.
[구체예 8]
본 구체예는, 테이블(140a) 상의 피사체를 기록해 두고, 원치수대로 재현하는 형태이다. 테이블(140a) 상의 피사체란, 예를 들어 테이블(140a) 상에 적재된 그림, 사진 등의 물체, 테이블(140a)에 투영된 화상 등을 의미한다. 본 구체예에 관한 정보 처리 시스템(100)은, 어떤 시점에서의 테이블(140a) 상의 피사체를 촬상해 두고, 후에 테이블(140a)에 피사체가 원치수대로 표시되도록 촬상 화상을 프로젝터(투영부)로 투영한다. 여기서, 상태가 기록되고 나서 재현될 때까지의 동안에 투영 거리 및 투영 화각 등의 환경이 변화한 경우, 정보 처리 시스템(100)은, 원치수대로 상태를 재현하는 것이 곤란해지는 경우가 있다. 따라서, 본 구체예에 관한 정보 처리 시스템(100)은, 기록한 시점에서의 프로젝터와 테이블(140a)과의 사이의 투영 거리, 및 프로젝터의 투영 화각을 보존해 두고, 재현하는 시점에서의 투영 거리 및 투영 화각에 따라서 투영 사이즈의 변경(캘리브레이션)을 행한다.
이러한 캘리브레이션을 위한 전제 처리로서, 제어부(120)는, 카메라에 의한 촬상 사이즈와 프로젝터에 의한 투영 사이즈를 정합시키는 조정 처리를 행한다. 상세하게는, 제어부(120)는, 카메라에 의해 테이블(140a) 상의 피사체가 촬상된 화상을, 프로젝터에 의해 테이블(140a)에 투영한 경우에, 피사체의 투영 사이즈와 실제로 사이즈가 일치하도록 조정을 행하는 조정부로서 기능한다. 제어부(120)는, 이 조정 처리로서, 예를 들어 테이블(140a) 상의 4점의 위치 정렬을 행하거나, 호모그래피 변환을 행하거나 한다. 이러한 조정 처리가 이루어진 프로젝터 및 카메라, 테이블(140a)을 포함하는 환경에서는, 정보 처리 시스템(100)은, 예를 들어 테이블(140a) 상에 적재된 그림을 촬상해 두고, 후일에 동일한 크기로 투영하는 것이 가능하게 된다. 그러나, 투영 거리 또는 투영 화각과 같은 프로젝터의 설정이 변화한 경우, 프로젝터에 의해 투영되는 화상의 투영 사이즈도 변화한다. 따라서, 정보 처리 시스템(100)은, 촬상 화상과 설정 정보를 대응지어서 기억해 두고, 설정 정보의 변화에 따라서 투영 사이즈를 조정함으로써, 원치수 크기로의 피사체의 투영을 실현한다.
상세하게는, 먼저, 조정 처리 완료된 어떤 시점의 환경(제1 환경)에 있어서, 제어부(120)는, 카메라(제1 촬상부)에 의해 테이블(140a)(제1 투영면) 상의 피사체가 촬상된 촬상 화상 및 프로젝터의 설정 정보를 기억한다. 제어부(120)는, 설정 정보를 기억하는 기억부로서 기능해도 된다. 설정 정보란, 프로젝터와 투영면과의 거리인 투영 거리를 나타내는 정보를 포함하는 정보이다. 또한, 투영 거리는, 프로젝터와 피사체와의 거리를 나타내는 정보이어도 된다. 설정 정보는, 또한 프로젝터의 화각인 투영 화각을 나타내는 정보를 포함하고 있어도 된다.
투영 거리 또는 투영 화각이 변화한 경우, 먼저, 제어부(120)는 조정 처리를 행한다. 계속해서, 정보 처리 시스템(100)은, 조정 처리 완료된 환경(제2 환경)에 있어서, 변화 후의 프로젝터(제2 투영부)의 설정 정보와, 기억된 변화 전의 설정 정보를 비교한다. 그리고, 정보 처리 시스템(100)은, 이 비교 결과에 기초하여, 기억된 촬상 화상의 피사체가 실제 사이즈로 투영되도록 프로젝터를 제어한다. 이하, 도 104 내지 도 110을 참조하여 구체적으로 설명한다. 도 104 내지 도 110은 구체예 8에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 104의 상측 도면에 도시한 바와 같이, 테이블(140a) 상에 그림이 적재된 예를 상정한다. 먼저, 검출부(121)는, 적재된 그림을 촬상하도록 입력부(110)를 제어하고, 촬상 화상을 취득한다. 계속해서, 제어부(120)는, 취득된 촬상 화상과 함께, 투영 거리 100cm 및 투영 화각 60°를 설정 정보로서 기억한다. 이 시점에서는, 프로젝터가 촬상 화상을 투영하면, 그림이 실제 사이즈와 동일한 사이즈로 투영된다.
예를 들어, 테이블(140a)을 교체한 경우 등, 투영 거리가 변화한 경우, 출력 제어부(122)는, 기억된 설정 정보와 변화 후의 설정 정보를 비교하여, 확대 또는 축소 표시를 행하도록 프로젝터를 제어한다. 예를 들어, 도 104의 중앙 도면에 도시한 바와 같이, 투영 거리가 100cm에서 50cm로 변화한 경우, 출력 제어부(122)는, 통상의 2배의 사이즈로 확대해서 투영하도록 프로젝터를 제어한다. 이에 의해, 그림이 실제 치수대로 재현된다.
프로젝터를 교체한 경우 등, 투영 화각이 변화한 경우, 출력 제어부(122)는, 기억된 설정 정보와 변화 후의 설정 정보를 비교하여, 확대 또는 축소 표시를 행하도록 프로젝터를 제어한다. 예를 들어, 도 104의 하측 도면에 도시한 바와 같이, 투영 화각이 60°에서 120°로 변화한 경우, 출력 제어부(122)는, 통상의 0.5배로 축소해서 투영하도록 프로젝터를 제어한다. 이에 의해, 그림이 실제 치수대로 재현된다. 또한, 도 104에서는, 동일 가정 내(동일한 정보 처리 시스템(100))에서 프로젝터의 설정이 변화하는 예를 설명했지만, 다른 가정에 화상을 송신하는 경우라도 마찬가지로 캘리브레이션이 행하여져도 된다. 캘리브레이션에 의해, 환경의 변화를 흡수 가능하다.
이러한 캘리브레이션 기능을 발화시키는 타이밍은 다양하게 생각할 수 있다. 예를 들어, 도 105에 도시한 바와 같이, 정보 처리 시스템(100)은, 유저에 의해 탁상의 스위치가 눌려진 타이밍에서, 캘리브레이션 기능을 발화시켜도 된다. 또한, 도 106에 도시한 바와 같이, 정보 처리 시스템(100)은, 청소 및 모양 변형 등에 의해 테이블(140a)이 변한 타이밍에서, 캘리브레이션 기능을 발화시켜도 된다. 예를 들어, 정보 처리 시스템(100)은, 최대 평면까지의 거리(투영 거리)가 변화한 것이 검출부(121)에 의해 검출된 경우에, 자동으로 발화시켜도 된다. 또한, 도 107에 도시한 바와 같이, 정보 처리 시스템(100)은, 승강 기능에 의해 높이(투영 거리)가 변화한 타이밍에서, 캘리브레이션 기능을 발화시켜도 된다. 승강 기능은, 예를 들어 모터로 동작하는 승강 장치에 의해 실현된다.
또한, 정보 처리 시스템(100)은, 승강 기능을 사용해서 투영면을 가능한 한 넓게 이용하는 거리가 되도록 자동으로 높이의 조정을 행해도 된다. 상세하게는, 출력 제어부(122)는, 소정의 도안을 투영하도록 프로젝터를 제어하고, 검출부(121)는, 투영된 화상을 촬상하도록 카메라를 제어한다. 그리고, 제어부(120)는, 투영된 소정의 도안이 모두 테이블(140a)에 수용된 화상이 촬상되는 높이가 되도록, 승강 기능을 사용해서 높이를 조정한다. 예를 들어, 도 108의 상측 도면에 나타낸 예에서는, 투영된 도안이 테이블(140a)로부터 밀려나와 있으므로, 투영면까지의 거리가 멀다. 한편, 도 108의 하측 도면에 나타낸 예에서는, 투영된 도안이 테이블(140a)에 작게 비추어지고 있기 때문에, 투영면까지의 거리가 가깝다. 따라서, 제어부(120)는, 도 108의 중앙 도면에 도시한 바와 같이, 투영된 도안이 테이블(140a)의 영역 전체에 걸쳐서 비추어지는 최적 거리가 되도록, 높이의 조정을 행한다. 또한, 제어부(120)는, 심도 센서(스테레오 카메라)로부터 취득되는 투영 거리에 맞춰서, 촬상 화상에 포함되는 도안의 크기로부터 거리를 측정함으로써, 보다 확실도가 높은 조정을 실현해도 된다.
또한, 정보 처리 시스템(100)은, 승강 기능에 의한 승강 중에, 캘리브레이션을 행해도 된다. 예를 들어, 제어부(120)는, 도 109의 상측 도면에 도시한 바와 같이, 승강 중에는 투영 사이즈가 일정해지도록 프로젝터를 제어해도 된다. 또한, 제어부(120)는, 도 109의 하측 도면에 도시한 바와 같이, 승강 완료 후에는 본래의 투영 사이즈로 투영하도록 프로젝터를 제어해도 된다. 정보 처리 시스템(100)이, 승강 중의 투영 거리의 변화에 기초하여 투영 사이즈를 조정하면서 승강함으로써, 유저는, 승강 중에도 조작·열람을 행할 수 있다.
이상 설명한 바와 같이, 본 구체예에 의하면, 테이블 교체, 설치 장소 변경, 프로젝터의 변경과 같은 환경의 변화가 있는 경우에도, 원치수 크기의 표시를 유지하는 것이 가능하게 된다. 이에 의해, 예를 들어 추억의 작품을 그대로 기록/재현하는 것이 가능하게 된다.
도 1에 도시한 바와 같은 프로젝션식의 경우, 천장으로부터 스테레오 카메라, 프로젝터 등의, 정보 처리 시스템(100)을 구성하는 장치를 현수하게 된다. 정보 처리 시스템(100)을 구성하는 장치는, 유저에 의해 임의의 장소로 이동시킬 수 있지만, 여기서, 각 장치의 현수에 사용하는 재질에 따라서는, 이동에 의해 진동이 발생하고, 그 진동의 수렴까지 필요로 하는 시간이 크게 좌우된다.
여기서, 정보 처리 시스템(100)을 구성하는 장치의 현수에, 이하의 4개의 재질을 사용하여 수렴 시간을 측정하였다. 강철제의 강철 샤프트, 카본 FRP(Fiber Reinforced Plastics) 샤프트, 전원선 포함 카본 샤프트에 대해서는, 도 110에 측면 방향에서 본 외관 예를 나타냈다. 도 110의 부호 1410은, 강철 샤프트의 외관 예이며, 부호 1420은, 카본 FRP 샤프트의 외관 예이며, 부호 1430은, 전원선 포함 카본 샤프트의 외관 예이다. 전원선 포함 카본 샤프트는 2개가 한 쌍으로서 구성될 수 있다.
Figure pct00001
표 1에 나타낸 바와 같이, 정보 처리 시스템(100)을 구성하는 장치의 현수에 카본 샤프트를 사용함으로써, 실사용상 문제가 없는 수렴 시간을 확인할 수 있었다. 또한, 전원선 포함 카본 샤프트를 2개 사용함으로써, 외경이 가는 재질이라도 실사용상 문제가 없는 수렴 시간을 확인할 수 있었다. 또한, 샤프트의 재료에 사용되는 섬유에는, 예를 들어 카본 이외에도, 글라스, 아라미드, 붕소, 대나무, 마, PET(폴리에틸렌테레프탈레이트), PE(폴리에틸렌), PP(폴리프로필렌) 등이 사용될 수 있다.
[구체예 9]
본 구체예는, 애플리케이션의 기동 장소를 자동으로 선택하는 형태이다. 애플리케이션이 항상 소정의 장소에 기동되는 경우, 예를 들어 테이블(140a) 상에 적재된 물체가 장해가 되어서 애플리케이션 화면의 전부를 표시하는 것이 곤란해질 수 있다. 또한, 애플리케이션 화면을 이동시키려고 해도, 테이블(140a) 상에 적재된 물체가 장해가 되어, 이동시키는 것이 곤란해질 수 있다. 따라서, 본 구체예에 관한 정보 처리 시스템(100)은, 애플리케이션 기동 시에 테이블(140a) 상의 물체를 인식하고, 애플리케이션마다 설정된 제약 조건(표시 조건)을 만족하는 위치를 탐색해서 애플리케이션 화면을 표시한다. 또한, 물체가 이동하거나 새로운 물체가 적재되거나 해서, 테이블(140a) 상의 상태가 변화한 경우, 정보 처리 시스템(100)은, 변화 후의 물체를 자동으로 피하도록, 애플리케이션 화면을 이동시킨다.
상세하게는, 먼저, 검출부(121)는 심도 정보를 취득함으로써, 테이블(140a) 상의 물체(오브젝트)를 검출한다. 그리고, 출력 제어부(122)는, 검출부(121)에 의해 검출된 물체가 겹치는 영역 이외의 영역에 화상을 표시하도록 출력부(130)를 제어한다. 이에 의해, 물체가 존재하지 않는 영역에 애플리케이션 화면이 표시된다. 이하, 도 111 내지 도 114를 참조하여 구체적으로 설명한다. 도 111 내지 도 114는, 구체예 9에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
예를 들어, 도 111에 나타낸 예에서는, 웹 브라우저(2021)와 음악 플레이어(2022)가, 테이블(140a) 상의 물체가 겹치는 영역 이외의 영역에 표시되어 있다. 출력 제어부(122)는, 애플리케이션마다 정의되어 있는 최소 사이즈를 만족하는 평면에 각각이 표시되도록, 출력부(130)를 제어하고 있다.
또한, 검출부(121)는, 손이나 손가락의 위치 및 방향에 기초하여, 유저의 위치를 추정하는 추정부로서 기능한다. 출력 제어부(122)는, 유저와의 관계로서 설정된 표시 조건에 따라, 추정된 유저의 위치에 대응하는 위치에 화상을 표시하도록 출력부(130)를 제어한다. 예를 들어, 표시 조건으로서, 유저의 위치 가까이에 표시하는 것이 설정되어 있는 경우, 출력 제어부(122)는, 유저의 위치 가까이에 애플리케이션 화면을 표시하도록 출력부(130)를 제어한다. 또한, 표시 위치에 관한 표시 조건을, 애플리케이션 화면에 작용하는 중력의 설정으로서 파악해도 된다. 예를 들어, 도 111에 나타낸 애플리케이션의 표시 조건은, 이하와 같은 것으로 한다. 또한, 투영면의 사이즈는 1920×1080인 것으로 한다.
웹 브라우저(2021)
최소 사이즈: 800×600
중력: 유저 근처
음악 플레이어(2022)
최소 사이즈: 400×400
중력: 유저 근처
이 표시 조건에 따라, 출력 제어부(122)는, 도 111에 도시한 바와 같이, 웹 브라우저(2021) 및 음악 플레이어(2022)를, 유저에 가까운 위치이며, 최소 사이즈를 만족하는 평면에 각각 표시하고 있다.
또한, 물체가 이동한 것이 검출부(121)에 의해 검출된 경우, 출력 제어부(122)는, 이동 후의 테이블(140a) 상의 물체의 위치 관계에 따라, 또한 표시 조건에 합치하는 위치에 화상을 표시해도 된다. 예를 들어, 도 111에 나타낸 예에서, 테이블(140a) 상의 물체가 이동한 경우, 출력 제어부(122)는, 유저에게 더 가까워지는 위치를 탐색하고, 애플리케이션 화면을 이동시켜도 된다.
또한, 출력 제어부(122)는, 테이블(140a) 상의 물체와의 관계로서 설정된 표시 조건에 따른 위치에 화상을 표시하도록 출력부(130)를 제어해도 된다. 예를 들어, 테이블(140a) 상의 물체의 단부(에지)에 인접해서 표시하도록 설정된 경우, 출력 제어부(122)는, 검출부(121)에 의해 검출된 물체에 인접해서 애플리케이션 화면이 표시되도록 출력부(130)를 제어한다. 예를 들어, 도 112에 나타내는 애플리케이션의 표시 조건은, 이하와 같은 것으로 한다.
개울 애플리케이션(2023)
최소 사이즈: 100×100×연속
중력: 에지에 인접
이 표시 조건에 따라, 출력 제어부(122)는, 도 112에 도시한 바와 같이, 개울 애플리케이션(2023)을 테이블(140a) 상의 물체의 사이를 누비듯이 에지를 따라서 배열하여 표시함으로써, 강의 흐름을 표현하는 것이 가능하게 된다.
또한, 출력 제어부(122)는, 테이블(140a)(투영면)과의 관계로서 설정된 표시 조건에 따라, 화상을 표시하도록 출력부(130)를 제어해도 된다. 예를 들어, 도 113에 나타내는 애플리케이션의 표시 조건은, 이하와 같은 것으로 한다.
양초 애플리케이션(2024)
최소 사이즈: 200×200
중력: 투영면 중앙
이 표시 조건에 따라, 출력 제어부(122)는, 도 113에 도시한 바와 같이, 양초 애플리케이션(2024)을 테이블(140a)의 중앙에 표시시킨다.
적절한 투영면의 탐색에 실패한 경우의 처리는, 다양하게 생각할 수 있다. 예를 들어, 출력 제어부(122)는, 도 114의 상측 도면에 도시한 바와 같이, 물체를 피하지 않고, 디폴트의 위치에서 그대로 화상을 투영해도 된다. 또한, 출력 제어부(122)는, 도 114의 중앙 도면에 도시한 바와 같이, 디폴트의 위치에서 그대로 화상을 투영하면서, 물체가 겹치는 영역을 투과시켜도 된다. 또한, 출력 제어부(122)는, 도 114의 하측 도면에 도시한 바와 같이, 방해되는 물체를 나타내는 경고 표시를 행해도 된다. 경고 표시는, 예를 들어 물체의 이동을 촉구하는 메시지이어도 된다. 그 밖에도, 검출부(121)가, 요리가 제공되었을 때의 촬상 화상과 현재의 촬상 화상과의 비교 결과에 의해 요리를 다 먹은 것을 검출하고, 출력 제어부(122)는, 다 먹은 접시를 우선적으로 배제하도록 촉구하는 메시지를 경고 표시로서 표시해도 된다.
본 구체예에 의하면, 애플리케이션마다 표시 영역으로서 적절한 평면을 자동으로 검출해서 표시함으로써, 유저에 의한 조작을 요하지 않고, 최적의 표시를 행할 수 있다. 또한, 본 구체예에 의하면, 애플리케이션마다 정의되어 있는 최소 사이즈, 중력과 같은 표시 조건을 만족하는 표시 영역을 동적으로 탐색함으로써, 최적의 표시를 자동으로 행할 수 있다.
[구체예 10]
본 구체예는, 테이블(140a) 상에 표시된 음원으로부터 음성이 들리도록, 음성 출력의 제어를 행하는 형태이다. 프로젝션형의 정보 처리 시스템(100)에서는, 영상이 아래에 있는 투영면(테이블(140a))에 투영되고, 소리가 위에 있는 본체로부터 울리기 때문에, 본체와 테이블(140a)과의 거리가 이격될수록 영상과 소리와의 일체감이 상실될 수 있다. 따라서, 본 구체예에 관한 정보 처리 시스템(100)은, 지향성 스피커에 의해 투영면에 반사시켜서, 소리를 유저를 향해서 발한다. 특히, 정보 처리 시스템(100)은, 애플리케이션의 특성에 따라, 유저의 위치 및 조작에 맞춰서 반사시키는 위치를 변화시킴으로써, 영상과 소리의 일체감을 만들어 낸다.
검출부(121)는, 손이나 손가락의 위치 및 방향에 기초하여, 유저의 위치를 추정하는 추정부로서 기능한다. 그리고, 출력 제어부(122)는, 표시면에 표시된 화상에 대하여 출력한 음성이 반사되어, 상기 추정부에 의해 추정된 유저의 위치에 도달하도록 스피커를 제어한다. 본 구체예에 관한 정보 처리 시스템(100)에는, 복수의 지향성 스피커가 설치되어 있고, 각 스피커의 방향 및 지향 범위가 제어 가능한 것으로 한다. 출력 제어부(122)는, 유저의 위치 및 애플리케이션이 표시된 위치와의 위치 관계에 기초하여, 애플리케이션 화면을 향해서 소리를 발한 경우에 반사한 소리가 유저에게 도달할 수 있는 위치에 설치된 스피커를 선택하여, 소리를 발하도록 제어한다. 이하, 도 115 내지 도 117을 참조하여 구체적으로 설명한다. 도 115 내지 도 117은, 구체예 10에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
예를 들어, 음악 플레이어와 같이 음원인 것이 명확한 애플리케이션의 경우, 도 115에 도시한 바와 같이, 출력 제어부(122)는, 애플리케이션 화면의 중앙을 향해서 음성을 반사시켜, 유저에게 음성이 도달하도록 스피커를 제어해도 된다. 또한, 동화상 플레이어와 같이 LR(좌우)의 채널 구성을 갖는 애플리케이션의 경우, 도 116에 도시한 바와 같이, 출력 제어부(122)는, 애플리케이션 화면의 좌우에, 대응하는 채널의 음성을 반사시켜서, 각각 유저의 좌우의 귀에 도달하도록 스피커를 제어해도 된다. 또한, 웹 브라우저와 같이 음성의 발생원이 명확하지 않은 애플리케이션의 경우, 도 117에 도시한 바와 같이, 출력 제어부(122)는, 예를 들어 유저가 클릭한 위치(예를 들어 링크)에 음성을 반사시켜서, 유저에게 음성이 도달하도록 스피커를 제어해도 된다.
지향성 스피커에 의해 음성을 투영면에 반사시키는 것 이외에도, 영상과 소리와의 일체감을 만들어 내는 방법은 다양하게 생각할 수 있다. 예를 들어, 출력 제어부(122)는, 표시시키는 애플리케이션의 위치에 음상이 정위하도록 스피커를 제어해도 된다. 또한, 정보 처리 시스템(100)은, 복수의 유저에 의해 복수의 애플리케이션이 각각 사용되고 있는 경우, 각 유저에 대하여 그 유저가 사용하고 있는 애플리케이션의 음성만을 발해도 된다. 그 밖에도, 정보 처리 시스템(100)은, 복수 유저가 동일한 동화상을 감상하고 있는 경우, 각 유저에 대하여 그 유저의 모국어의 음성을 재생해도 된다. 또한, 정보 처리 시스템(100)은, 애플리케이션 화면의 전방측, 즉 조작하는 유저가 통상 위치하는 방향을 향해서 음성을 발해도 된다.
이상 설명한 바와 같이, 본 구체예에 의하면, 애플리케이션의 표시 위치에 따라서 음원 위치를 제어함으로써, 마치 애플리케이션 화면 자체로부터 소리가 울리고 있는 듯한 감각을 유저에게 부여하는 것이 가능하다. 또한, 본 구체예에 의하면, 유저의 조작에 따라서 반사시키는 위치를 제어함으로써, 웹 브라우저와 같이 음원에 관한 사전 정보가 없는 상태라도, 영상과 소리와의 일체감을 만들어 낼 수 있다. 또한, 본 구체예에 의하면, 유저 위치에 따라서 LR의 채널 구성을 제어함으로써, 가정용 텔레비전을 감상하고 있는 경우와 마찬가지의 현장감을 만들어 낼 수 있다.
[구체예 11]
본 구체예는, 테이블(140a) 상에서 특정 조건을 만족한 경우에, 미리 설정된 기능을 발화하는 형태이다. 애플리케이션의 기능을 발화시키는 조건은, 통상은 그 애플리케이션을 제공하는 벤더만이 설정 가능이다. 또한, 이용 환경에 따라서는, 애플리케이션에서 정의된 거동으로는 기능이 발화하지 않는 경우도 있었다. 따라서, 본 구체예에 관한 정보 처리 시스템(100)에서는, 발화시키는 기능과 발화의 조건을 유저에 의해 자유롭게 설정 가능하게 하였다.
유저는, 표시면 상의 상태에 관한 조건에, 출력 지시를 대응시킨 프로그램을 생성한다. 프로그램을 접수한 정보 처리 시스템(100)은, 표시면 상의 상태가 프로그램에 의해 규정된 조건을 만족한 경우에, 대응하는 출력 지시에 기초한 출력을 행한다. 표시면 상의 상태에 관한 조건이란, 예를 들어 테이블(140a) 상에 특정한 물체가 적재된 것, 테이블(140a) 상의 온도 및 심도 정보의 변화 등을 들 수 있다. 이하에서는, 표시면 상의 상태에 관한 조건을, 출력 조건이라고도 칭한다.
먼저, 검출부(121)는, 테이블(140a)에 터치된 손가락 등의 조작 오브젝트를 인식하고, 유저에 의한 프로그래밍을 검출한다. 그리고, 제어부(120)는, 검출부(121)에 의한 프로그래밍의 검출 결과에 기초하여, 출력 조건에 출력 지시를 대응시킨 프로그램을 기억한다. 제어부(120)는, 이러한 프로그램을 기억하는 기억부로서 기능해도 된다. 이하, 도 118을 참조하여 구체적으로 설명한다. 도 118은 구체예 11에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
프로그램의 예로서는 예를 들어, 테이블(140a) 상의 온도를 출력 조건으로 하는 프로그램을 생각할 수 있다. 프로그램에는, 조건 판정을 행하는 영역이 설정될 수 있다. 예를 들어, 도 118에 도시한 바와 같이, 케이크가 적재된 영역을 조건 판정 영역(2031)으로 하고, 섭씨 30℃ 이하가 되는 것을 출력 조건으로 하고, 조명을 ON으로 하는 것을 출력 지시로 하는 프로그램을 생각할 수 있다. 프로그램의 다른 예로서는 예를 들어, 테이블(140a) 상의 도안을 출력 조건으로 하는 프로그램을 생각할 수 있다. 예를 들어, 도 118에 도시한 바와 같이, 조건 판정 영역(2032)에서 조우커 카드가 위를 향해서 적재된 것을 출력 조건으로 하고, 소정의 이펙트를 표시하는 것을 출력 지시로 하는 프로그램을 생각할 수 있다. 정보 처리 시스템(100)은, 투영면의 터치 조작에 의한 프로그래밍을 접수해도 되고, 유선/무선 통신에 의해 외부 장치로부터 프로그램을 수신해도 된다.
그 후, 검출부(121)는, 테이블(140a) 상의 상태로서, 예를 들어 테이블(140a) 상의 물체, 물체의 표면의 무늬, 온도, 습도 등을 검출한다. 그리고, 검출부(121)에 의해 검출된 테이블(140a) 상의 상태가, 기억된 출력 조건을 만족시키는 경우에, 출력 제어부(122)는, 그 출력 조건에 대응지어서 기억된 출력 지시에 따른 출력을 행하도록 출력부(130)를 제어한다. 예를 들어, 도 118에 나타낸 프로그램에 대해서는, 출력 제어부(122)는, 조건 판정 영역(2031)의 온도가 섭씨 30℃ 이하로 된 것이 온도 센서에 의해 취득된 경우에, 점등하도록 조명을 제어한다. 이에 의해, 예를 들어 생일케이크에 꽂힌 초가 꺼진 경우에, 자동으로 조명이 켜진다. 또한, 도 118에 나타낸 프로그램에 대해서는, 출력 제어부(122)는 조건 판정 영역(2032)에 적재된 카드가 조우커 카드인 것이 촬상 화상에 비친 무늬로부터 검출된 경우에, 프로그램된 영상 이펙트를 표시하도록 프로젝터를 제어한다.
프로그램 예를 더 예시한다. 예를 들어, 유아의 우유 주위에 온도를 표시해 두고, 섭씨 36℃ 내지 37℃ 정도의 피부의 온도로 된 경우에, 유저에게 통지하는 프로그램을 생각할 수 있다. 또한, 생일케이크를 감시해 두어, 초가 꺼져서 온도가 급격하게 감소한 경우에, 자동으로 조명을 켜고, 사진을 촬영하는 프로그램을 생각할 수 있다. 또한, 아침 시각에 유저의 앞에 검은 마실 것(커피를 상정)이 적재된 경우에, 뉴스를 표시하는 프로그램을 생각할 수 있다. 또한, 출력 제어부(122)는, 프로그램되어 있는 영역, 즉 조건 판정 영역에, 파선에 의한 직사각형 표시 등의, 어떠한 프로그램이 되어 있는 것을 나타내는 표시를 행해도 된다. 물론, 서프라이즈 목적 등의, 프로그램의 존재를 숨기고 싶은 경우에는, 이러한 표시를 행하지 않도록 설정 가능하다.
상술한 온도 및 무늬 이외에도, 예를 들어 심도의 변화가 출력 조건으로서 설정될 수 있다. 검출부(121)는, 테이블(140a) 상에 위치하는 물체(오브젝트)를 심도 정보에 의해 검출하고, 출력 제어부(122)는, 검출된 오브젝트의 상태가 출력 조건을 만족시키는 경우에, 대응지어서 기억된 출력 지시에 따른 출력을 행하도록 출력부(130)를 제어한다. 예를 들어, 마작에 있어서 수패가 쓰러진 것은 심도 정보의 변화에 의해 검출 가능하다. 따라서, 예를 들어 마작에 있어서 수패가 쓰러진 경우에, 수패의 상태인 역을 촬상 화상에 기초하여 인식해서 자동으로 점수 계산을 행하는 프로그램을 생각할 수 있다. 또한, 케이크의 덮개가 벗겨져서 내용물인 케이크가 나타난 것도, 심도 정보의 변화에 따라 검출 가능하다. 따라서, 예를 들어 테이블(140a)의 중앙에 놓여 있던 생일 케이크의 상자의 덮개가 벗겨진 경우에, 생일축하 노래를 재생하는 프로그램을 생각할 수 있다. 또한, 보드 게임에 있어서, 실물의 말이 특정한 칸에 멈춘 것도, 심도 정보의 변화에 따라 검출 가능하다. 따라서, 예를 들어 실물의 말이 특정한 칸에 멈춘 경우에, 이펙트를 표시하는 프로그램을 생각할 수 있다.
본 구체예에 의하면, 애플리케이션을 제공하는 벤더에 의한 프로그램뿐만 아니라, 유저에 의한 자유로우면서도 또한 간단한 프로그램의 설정이 가능하게 된다. 이에 의해, 테이블(140a) 상의 상세한 사정에 입각한 기능 발화가 실현된다.
[구체예 12]
본 구체예는, 테이블(140a) 상에 적재된 물체의 소속을 판정하는 형태이다. 애플리케이션의 용도에 따라서는, 테이블(140a) 상에 적재된 물체가, 누구에게 소속되는지를 판별 가능할 것이 요구될 수 있다. 따라서, 본 구체예에서는, 테이블(140a) 상에 물체를 적재한 손을 검출하고, 검출한 손과 물체를 대응지음으로써, 물체의 소속을 판정한다. 또한, 유저는, 그 유저를 소속처로 하는 물체를 소유하고 있다고도 파악할 수 있다.
먼저, 검출부(121)는, 접촉한 상태에서 소정의 영역에 들어온 조작 오브젝트 및 오브젝트가 분리된 것을 검출한다. 예를 들어, 검출부(121)는, 심도 정보에 기초하여, 손이 물체를 들고 테이블(140a)에 들어온 것, 및 손과 물체가 분리된 것을 검출한다. 이하, 도 119 내지 도 123을 참조하여 구체적으로 설명한다. 도 119 내지 도 123은, 구체예 12에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 119에 도시한 바와 같이, 손만이 테이블(140a)에 들어온 경우, 검출부(121)는 심도 정보에 기초하여, 테이블(140a)의 변에 접하는 폐곡선을 손으로서 검출한다. 그리고, 도 119에 도시한 바와 같이, 손이 물체를 들고 테이블(140a)에 들어와서, 물체가 테이블(140a) 상에 놓여진 경우, 검출부(121)는, 손과 물체가 분리된 것을 검출한다. 상세하게는, 검출부(121)는 심도 정보에 기초하여, 테이블(140a)의 변에 접하지 않는 폐곡선이 나타난 것을 검출한다. 이때, 검출부(121)는, 테이블(140a)의 변에 접하지 않는 폐곡선을 손으로부터 분리된 물체로서 검출한다.
계속해서, 검출부(121)는, 검출된 조작 오브젝트 및 당해 조작 오브젝트로부터 분리된 물체를 대응지어서 인식하는 인식부로서 기능한다. 상세하게는, 검출부(121)는, 심도 정보에 기초하여, 테이블(140a)의 변에 접하는 폐곡선이 나타내는 손과, 이 폐곡선으로부터 분리된 테이블(140a)의 변에 접하지 않는 폐곡선이 나타내는 물체를, 대응지어서 인식한다. 또한, 검출부(121)는, 물체가 분리되었을 때, 그 물체에 가장 가까운 위치에 있는 손을 대응지어서 인식해도 된다. 검출부(121)는, 물체가 대응지어진 손을, 그 물체의 소속처로서 인식한다. 예를 들어, 도 119에 도시한 바와 같이, 검출부(121)는, 테이블(140a) 상에 놓인 물체와 그 물체를 가지고 있던 손을 페어링한다. 검출부(121)는, 물체의 소속처를, 손을 나타내는 폐곡선이 접하는 테이블(140a)의 변, 즉 손이 뻗어온 방향에 의해 인식해도 된다. 이에 의해, 도 119에 도시한 바와 같이, 테이블(140a) 상에 물체만이 검출되는 경우에도, 검출부(121)는, 그 물체의 소속을 인식할 수 있다.
본 구체예는, 예를 들어 룰렛 게임에 적용 가능하다. 검출부(121)는, 테이블(140a) 상에 놓인 칩의 가치를, 촬상 화상으로부터 인식되는 무늬, 및 심도 정보로부터 인식되는 높이에 의해 검출함과 함께, 그 칩을 어느 유저가 걸었는지를 검출한다. 그리고, 출력 제어부(122)는, 내기에 이긴 유저의 손아래에, 얻어지는 칩 액수를 표시하도록 출력부(130)를 제어한다. 이에 의해, 유저는, 표시된 칩 액수를 참조하여, 자신이 풀로부터 칩을 가지고 오는 것이 가능하게 된다. 딜러가 불필요하게 되기 때문에, 전원이 게임에 참가하는 것이 가능하게 된다.
또한, 본 구체예는, 예를 들어 보드 게임에도 적용 가능하다. 검출부(121)는, 손이 뻗어온 방향에 기초하여, 어느 유저가 테이블(140a) 상의 룰렛을 돌렸는지를 검출한다. 그리고, 출력 제어부(122)는, 룰렛의 나온 숫자에 따라, 자동으로 룰렛을 돌린 유저의 말을 진행시킨 표시를 행하도록 출력부(130)를 제어한다. 출력 제어부(122)는, 유저가 순서를 건너뛰어서 룰렛을 돌리려고 한 경우에, 경고 표시를 행해도 된다.
또한, 출력 제어부(122)는, 갖지 말아야 할 물체를 가졌을 때 경고를 행해도 된다. 예를 들어, 도 120의 상측 도면에 도시한 바와 같이, 출력 제어부(122)는, 유저가 자신에게 소속되지 않은 컵을 가지려고 한 경우에 경고 표시를 행하고, 그 유저에게 소속되는 컵에 유저를 유도하는 표시를 행해도 된다. 또한, 도 120의 하측 도면에 도시한 바와 같이, 유저가 내측의 식기를 취하려고 한 경우에, 외측에서부터 사용하도록 유도하는 표시를 행해도 된다. 그 밖에도, 예를 들어 불고기에 있어서, 검출부(121)는, 누가 둔 고기인지를 인식하고, 출력 제어부(122)는 타인이 굽고 있던 고기를 취하려고 한 유저에게 경고 표시를 행해도 된다.
검출부(121)는, 소유권(소속처)의 이행을 검출해도 된다. 이행의 규칙으로서는, 예를 들어 최초로 접촉한 사람에게 소유권을 고정하는 「선승」, 누군가가 접촉한 경우에 그대로 접촉한 사람에게 소유권을 이행하는 「후승」을 생각할 수 있다. 그 밖에도, 이행의 규칙으로서, 유저의 선택에 따라서 소유권을 이행하는 「유저 선택」을 생각할 수 있다. 예를 들어, 도 121에 도시한 바와 같이, 유저 A가 최초로 접촉해서 소유권을 갖는 물체를 유저 B가 만지려고 한 것이 검출된 경우, 출력 제어부(122)는, 소유권을 이행시킬지 여부를 선택시키는 표시를, 소유자인 유저 A의 손아래에 표시해도 된다. 또한, 이행의 규칙으로서, 물체가 직접 손으로 건네진 경우에 소유권을 이행하는 「직접 전달」을 생각할 수 있다. 예를 들어, 검출부(121)는, 도 122에 도시한 바와 같이, 유저 X가 물체를 손에 든 채 유저 Y에게 건네준 경우에, 소유권을 유저 X에서 유저 Y로 이행시켜도 된다.
또한, 검출부(121)는, 물체의 분할에 따라서 소유권을 설정해도 된다. 검출부(121)는, 1개의 폐곡선을 1개의 물체로서 검출하고, 1개의 폐곡선으로부터 2개 이상의 폐곡선이 출현한 것이 검출된 경우에, 물체의 분할을 검출한다. 예를 들어, 검출부(121)는, 복수매 적층되어서 걸려있는 코인이 무너진 경우에, 물체의 분할을 검출한다. 검출부(121)는, 예를 들어 도 123에 도시한 바와 같이, 소유자가 이미 결정되어 있는 물체가 복수로 분할된 경우, 분할 전의 소유자에게 분할 후의 물체의 소유권을 설정해도 된다.
이상 설명한 바와 같이, 본 구체예에 의하면, 테이블(140a) 상에 적재된 물체의 소속이 식별 가능하게 되어, 애플리케이션 및 게임 등에서의 속성 정보로서 취급하는 것이 가능하게 된다. 이에 의해, 예를 들어 출력 제어부(122)는, 물체의 소유권에 따라서 게임의 진행을 지원하는 출력을 행할 수 있다. 또한, 출력 제어부(122)는, 소유권을 나타내는 정보를 유저에게 제시함으로써, 실제 세계에 있어서 소속 정보를 가시화할 수 있다.
[구체예 13]
본 구체예는, 테이블(140a) 상에 투영된 윈도우를 자유롭게 조작 가능하게 하는 형태이다. 테이블(140a)을 여러 명이 둘러싸고 있는 경우, 및 유저가 위치를 이동하거나 한 경우에는, 테이블(140a) 상에 투영된 윈도우가, 유저의 의도대로 이동, 회전, 확대, 축소되거나 하는 것이 요망된다. 따라서, 본 구체예에서는, 윈도우의 이동 등의 윈도우 조작을 접수하기 위한 유저 인터페이스를 제공한다. 이하, 도 124 내지 도 127을 참조하여 보다 구체적으로 설명한다. 도 124 내지 도 127은, 구체예 13에 관한 유저 인터페이스를 설명하기 위한 설명도이다.
도 124에 나타내는 예에서는, 정보 처리 시스템(100)은, 캘린더, 동화상, 지도와 같은 복수의 서로 다른 애플리케이션 화면을 나타내는 윈도우를 테이블(140a)에 투영하고 있다. 투영되는 애플리케이션은, 유저에 의해 임의로 선택될 수 있다. 이러한 복수의 서로 다른 애플리케이션 화면이 동시에 투영됨으로써, 예를 들어 아침의 바쁜 시간대에, 유저는, 테이블(140a) 상을 자유롭게 사용해서 다양한 정보를 동시에 체크하는 것이 가능하게 된다. 여기서, 예를 들어 유저가 도 124의 좌측 도면에 나타낸 메뉴로부터 회전 버튼을 터치한 것이 검출부(121)에 의해 검출된 경우, 출력 제어부(122)는, 도 124의 우측 도면에 도시한 바와 같이, 전체 윈도우를 테이블(140a)의 대면 방향으로 회전시키도록 출력부(130)를 제어한다.
또한, 검출부(121)는, 윈도우의 외주를 윈도우 조작을 위한 핸들로서 파악하여, 핸들에 대한 유저 조작을 검출함으로써 윈도우 조작을 실현해도 된다. 예를 들어, 정보 처리 시스템(100), 핸들이 터치된 것이 검출부(121)에 의해 검출된 경우, 조작 모드를 윈도우 조작 모드로 전환한다. 윈도우 조작 모드란, 유저 조작을 윈도우 조작으로서 검출하는 조작 모드이다. 또한, 유저 조작이 스크롤 등의 애플리케이션에 대한 조작으로서 검출되는 조작 모드를 통상 모드라고도 칭한다.
윈도우 조작 모드로 전환된 경우, 출력 제어부(122)는, 도 125의 좌측 도면에 도시한 바와 같이, 윈도우 조작 모드인 것을 나타내는 표시로서, 핸들(2041)을 표시하도록 출력부(130)를 제어한다. 유저는, 이 핸들(2041)을 터치한 채 손가락을 드래그, 핀치, 또는 회전시킴으로써, 윈도우를 이동시키거나 할 수 있다. 예를 들어, 유저에 의해 핸들(2041)이 터치된 채 드래그된 것이 검출부(121)에 의해 검출된 경우, 출력 제어부(122)는, 도 125의 우측 도면에 도시한 바와 같이, 드래그된 방향으로 윈도우를 이동시킨다. 또한, 유저가 핸들로부터 손가락을 이격시킨 경우, 정보 처리 시스템(100)은, 조작 모드를 윈도우 조작 모드에서 통상 모드로 전환해도 된다.
검출부(121)는, 윈도우의 외측에서부터 내측으로 드래그된 것이 검출부(121)에 의해 검출된 경우, 조작 모드를 통상 모드에서 윈도우 조작 모드로 전환해도 된다. 예를 들어, 도 126의 좌측 도면에 도시한 바와 같이, 윈도우의 외측에서부터 내측으로 손가락이 드래그된 것이 검출부(121)에 의해 검출된 경우, 출력 제어부(122)는, 조작 모드를 윈도우 조작 모드로 전환한다. 이 때문에, 출력 제어부(122)는, 도 126의 우측 도면에 도시한 바와 같이, 드래그된 방향으로 윈도우를 이동시킨다.
검출부(121)는, 터치하는 손가락의 개수에 의해, 통상 모드에서 윈도우 조작 모드로 전환되어도 된다. 예를 들어, 검출부(121)는, 윈도우에의 2개의 손가락에 의한 터치가 검출된 경우, 윈도우 조작 모드로 전환해도 된다. 구체적으로는, 도 127에 도시한 바와 같이, 손가락 2개로 회전된 것이 검출부(121)에 의해 검출된 경우, 출력 제어부(122)는 윈도우의 표시를 회전시킨다. 또한, 손가락 2개로 드래그된 것이 검출부(121)에 의해 검출된 경우, 출력 제어부(122)는, 드래그된 방향으로 윈도우를 이동시켜도 된다. 그 밖에도, 손가락 2개가 벌어진 것이 검출부(121)에 의해 검출된 경우, 출력 제어부(122)는 윈도우의 표시를 확대시켜도 된다.
본 구체예에 의하면, 유저에 의한 자유로운 윈도우 조작이 가능하게 되어, 유용성이 향상된다.
[구체예 14]
이하, 상술한 정보 처리 시스템(100)의 제어부(120)에 의해 실행 가능한 애플리케이션의 구체예를 설명한다.
(A: 카루타 보조 애플리케이션)
카루타 보조 애플리케이션은, 테이블(140a)에 배열된 카루타 카드를 사용하는 카루타 놀이를 보조하기 위한 애플리케이션이다. 카루타 보조 애플리케이션은, 문구의 자동 판독 기능, 정답 표시 기능 및 힌트 제공 기능을 갖는다. 문구의 자동 판독 기능은, 사전에 등록된 문구를 순차적으로 출력부(130)에 음성 출력시키는 기능이다. 정답 표시 기능은, 촬상 화상으로부터 각 카루타 카드를 인식하고, 정답의 카루타 카드와 유저의 손이 겹친 경우에 이펙트 표시를 발생시키는 기능이다. 힌트 제공 기능은, 문구의 판독으로부터 소정 시간이 경과해도 정답이 나오지 않는 경우에, 도 128에 도시한 바와 같이 정답의 카루타 카드를 포함하는 힌트 범위를 나타내는 표시를 출력부(130)에 투영시키고, 또한 시간이 경과함에 따라서 상기 힌트 범위를 좁혀도 된다. 이러한 구성에 의해, 카루타 놀이에 있어서, 읽는 사람이 불필요하게 되고, 또한 원활한 진행을 보조하는 것이 가능하게 된다.
(B: 대화 보조 애플리케이션)
대화 보조 애플리케이션은, 유저의 대화 중에 분위기 고조를 보조하기 위한 애플리케이션이다. 예를 들어, 대화 보조 애플리케이션은, 유저의 대화를 음성 인식하고, 텍스트화된 대화로부터 구문 분석에 의해 키워드를 추출하여, 키워드에 대응하는 화상을 출력부(130)에 투영시킬 수 있다. 이하, 도 129를 참조하여 보다 구체적으로 설명한다.
도 129는 대화 보조 애플리케이션의 구체예를 나타낸 설명도이다. 예를 들어, 두 사람의 유저 X 및 Y가, 이하와 같은 대화를 행한 경우를 상정한다.
X: 「얼마 전에 일본 여행 갔다왔어.」
Y: 「비행기로 얼마나 걸려?」
X: 「5시간 정도. 의외로 대도시였어.」
Y: 「후지산 갔었어?」
X: 「후지산 아름다웠어. 해돋이도 보았고.」
이 경우, 대화 보조 애플리케이션은, 두 사람의 대화로부터 키워드로서 예를 들어 「일본」, 「비행기」 및 「후지산」을 추출하고, 도 129에 도시한 바와 같이, 일본 지도, 비행기 및 후지산을 출력부(130)에 투영시킨다. 이러한 구성에 의해, 유저의 현장감이 높아져서, 대화의 분위기를 고조시키는 것이 가능하다.
(C: 투영면 추종 애플리케이션)
투영면 추종 애플리케이션은, 투영면의 상태에 따라서 적절한 투영을 행하는 애플리케이션이다. 예를 들어, 투영면 추종 애플리케이션은, 투영면이 경사져 있거나, 투영면에 요철이 있는 것 같은 투영면의 상태에 따라, 유저에게 투영 화상이 정면으로 대향해서 표시되도록 투영 화상을 보정해서 투영한다. 이하, 도 130 내지 도 133을 참조하여 보다 구체적으로 설명한다.
도 130 내지 도 133은, 투영면 추종 애플리케이션의 구체예를 나타낸 설명도이다. 도 130에 도시한 바와 같이, 투영면 추종 애플리케이션은, 작업대에 비스듬히 세워진 투영면에, 요리를 하는 유저로부터 정면으로 대향해서 보이도록 레시피를 투영한다. 유저는, 예를 들어 작업대 상의 평면에 투영된 웹 브라우저로부터 레시피를 검색해 두고, 만들 때 투영면을 작업대에 비스듬히 세움으로써, 싱크대에 서서 요리를 만들면서 레시피를 볼 수 있다. 이러한 구성에 의해, 임의의 각도의 투영면에의 투영이 가능하게 되기 때문에, 유저는, 자유로운 위치에서 투영 화상을 볼 수 있다.
투영면 추종 애플리케이션은, 투영면의 상태에 따라서 유저 조작을 검출하는 것도 가능하다. 통상, 투영면 추종 애플리케이션은, 캘리브레이션 시 및 제품 기동 시 등의 특정한 타이밍에서, 최대의 평면을 투영면으로서 검출해 두고, 투영면과 손가락과의 높이의 차분에 기초하여 유저 조작을 검출한다. 예를 들어, 도 131에 도시한 바와 같이, 투영면이 평면인 경우, 투영면 추종 애플리케이션은, 유저의 손가락과 평면과의 거리에 따라, 투영면이 터치되었는지 여부를 검출함으로써 유저 조작을 검출한다. 또한, 투영면 추종 애플리케이션은, 투영면 상에 입체물이 적재된 경우, 유저의 손가락과 입체물과의 국소적인 차분을 검출함으로써, 유저 조작을 검출해도 된다. 예를 들어, 도 132에 도시한 바와 같이, 평면상에 반구 형상의 입체물이 적재된 경우, 투영면 추종 애플리케이션은, 반구상의 국소 평면과 유저의 손가락과의 거리에 기초하여 유저 조작을 검출한다. 도 130에 도시한 바와 같이 투영면이 경사진 경우, 투영면 추종 애플리케이션은, 유저의 손가락과 경사진 투영면과의 거리에 따라 유저 조작을 검출해도 된다.
또한, 투영면 추종 애플리케이션은, 미러(거울)를 사용한 개인용 표시를 실현할 수 있다. 개인용 표시에는, 도 133에 나타내는 미러 및 스크린을 갖는 주변기기가 사용된다. 통상, 평면에 투영된 화상은, 주위에 있는 사람이 보게 된다. 따라서, 투영면 추종 애플리케이션은, 투영 광을 미러에 반사시켜, 유저의 앞에 설치된 스크린에 결상시킴으로써, 스크린에 정면으로 대향하는 유저만을 대상으로 한 표시를 행할 수 있다. 투영면 추종 애플리케이션은, 게임의 손에 든 카드 및 바닥에 깐 카드 등, 개인용 표시와 전원용 표시를 동시에 실현하는 것도 가능하다. 또한, 도 133에 도시한 바와 같이, 투영면 추종 애플리케이션은, 유저 조작을, Z축 방향이 아니라, X축 Y축 방향에서 취득되는 스크린과 손가락과의 거리에 의해 검출 가능하다.
(D: 식사 보조 애플리케이션)
식사 보조 애플리케이션은, 유저의 식사의 진행을 보조하기 위한 애플리케이션이다. 예를 들어, 식사 보조 애플리케이션은, 요리가 적재되는 식기의 빈 상태를 사전에 기억해 두고, 당해 빈 식기와, 현재의 식기를 비교함으로써, 식기에 얼마나 요리가 남아있는지, 즉, 식사의 진척 상황을 인식한다. 그리고, 식사 보조 애플리케이션은, 식사의 진척 상황에 따른 도안 또는 메시지 등을 출력부(130)에 투영시킬 수 있다. 이하, 도 134 및 도 135를 참조하여 보다 구체적으로 설명한다.
도 134는, 식사 보조 애플리케이션의 구체예를 나타낸 설명도이다. 도 134의 상측 도면에 도시한 바와 같이, 식사 보조 애플리케이션은, 식사가 끝나면, 식기의 주위에서 기차가 달리는 듯한 표시를 출력부(130)에 투영시켜도 된다. 또는, 식사 보조 애플리케이션은, 도 134의 하측 도면에 도시한 바와 같이, 식사가 진행됨에 따라서 런천 매트의 디자인을 연출하는 표시를 출력부(130)에 투영시켜도 된다.
도 135는, 식사 보조 애플리케이션의 다른 구체예를 나타낸 설명도이다. 도 135에 도시한 바와 같이, 식사 보조 애플리케이션은, 식품에 덮여 있던 접시의 저면의 모양이 식사의 진척에 따라서 노출되어 가는 모습을 검출함으로써, 식사의 진척 상황을 인식한다. 이때, 식사 보조 애플리케이션은, 식사의 진척 상황에 따른 메시지를 출력부(130)에 투영시켜도 된다. 예를 들어, 식사의 진척이 20％ 미만일 때는 「손을 모아 잘 먹겠습니다!」, 20％ 이상 40％ 미만일 때는 「꼭꼭 씹어 먹읍시다」, 40％ 이상 70％ 미만일 때 「조금만 더! 힘내요」, 100％일 때는 「잘했어요! 남김없이 다 먹었습니다」라는 메시지가 출력될 수 있다.
상기한 바와 같이 식사 보조 애플리케이션은, 식사의 진척 상황에 따른 도안 또는 메시지 등을 출력부(130)에 투영시킴으로써, 유저의 식사에의 모티베이션을 높여서, 유저의 식사 진행을 보조할 수 있다.
(E: 움직임 이펙트 애플리케이션)
움직임 이펙트 애플리케이션은, 테이블(140a)에 적재된 그림에 기초하여, 당해 그림이 움직이기 시작하는 듯한 애니메이션을 출력부(130)에 투영시킬 수 있다. 예를 들어, 도 136에 도시한 바와 같이, 유저가 종이에 그림을 그려, 테이블(140a)에 두면, 움직임 이펙트 애플리케이션은, 유저에 그려진 그림이 움직이기 시작하는 듯한 애니메이션 및 소리를 출력부(130)에 투영시킨다. 또한, 움직임 이펙트 애플리케이션은, 유저가 그림을 테이블(140a)에 둘 때마다 상이한 소리를 출력부(130)에 출력시켜도 된다. 여기서, 도 137을 참조하여, 애니메이션의 생성 방법에 대해서 구체적으로 설명한다.
도 137은, 움직임 이펙트 애플리케이션의 구체예를 나타낸 설명도이다. 도 137에 도시한 바와 같이, 움직임 이펙트 애플리케이션은, 테이블(140a)에 적재된 그림의 촬상 화상으로부터 그림의 형상 및 색을 인식하고, 그림과 동일한 색의 광을 출력부(130)에 투영시킴으로써, 테이블(140a)에 적재된 그림을 시각적으로 소거한다. 그리고, 움직임 이펙트 애플리케이션은, 인식한 그림의 형상에 기초하여 애니메이션을 생성하고, 출력부(130)에 투영시킨다. 이러한 구성에 의해, 단순한 낙서와 같은 그림이 움직이기 시작하는 듯한 감각을 유저에게 부여하는 것이 가능하다.
(F: 도시락 제작 지원 애플리케이션)
도시락 제작 지원 애플리케이션은, 다양한 무늬를 유저가 식재에 의해 표현하는 것을 지원하기 위한 애플리케이션이다. 예를 들어, 도시락 제작 보조 애플리케이션은, 유저에 의해 대상 그림이 지정되면, 당해 대상 그림의 색 구성을 분석하고, 분석의 결과에 기초하여, 당해 대상 그림을 무늬로서 표현하기 위한 식재, 분량 및 배치를 특정한다. 그리고, 도시락 제작 보조 애플리케이션은, 특정한 식재, 분량 및 배치를 안내하기 위한 가이드 표시를 출력부(130)에 투영시킨다. 유저는, 가이드 표시에 따라 식재를 배치함으로써, 대상 그림을 모방한 무늬를 표현하는 도시락을 제작하는 것이 가능하게 된다. 이하, 도 138을 참조하여 보다 구체적으로 설명한다.
도 138은 도시락 제작 지원 애플리케이션의 구체예를 나타낸 설명도이다. 도 138의 좌측 도면에 도시한 바와 같이, 캐릭터 그림이 형성된 패키지를 유저가 테이블(140a)에 적재하면, 입력부(110)에 의해 당해 패키지가 촬상된다. 그리고, 유저가 대상 범위로서 캐릭터 그림이 형성된 범위를 지정하면, 도시락 제작 지원 애플리케이션은, 캐릭터 그림을 대상 그림으로서 인식하고, 캐릭터 그림을 무늬로서 표현하기 위한 식재, 분량 및 배치를 특정한다. 그리고, 도시락 제작 지원 애플리케이션은, 특정한 식재, 분량 및 배치에 기초하여, 도 138 중 2번째 도면에 도시된 바와 같은 가이드 표시를 출력부(130)에 투영시킨다. 유저는, 이러한 가이드 표시에 따라 식재를 배치함으로써, 도 138의 우측 도면에 도시한 바와 같이, 캐릭터의 무늬를 표현하는 도시락을 제작하는 것이 가능하게 된다.
또한, 상기에서는 대상 그림의 지정 방법으로서 대상 그림이 형성된 패키지를 테이블(140a)에 적재하는 예를 설명했지만, 대상 그림의 지정 방법은 이러한 예에 한정되지 않는다. 예를 들어, 유저는, 출력부(130)에 의해 테이블(140a)에 출력되는 웹 사이트에 포함되는 화상을 대상 그림으로서 지정하는 것도 가능하다. 또한, 상기에서는 대상 그림의 일례로서 캐릭터 그림을 설명했지만, 대상 그림은, 탈것, 풍경, 지도 또는 장난감 등의 화상이어도 된다.
(G: 일상 보조 애플리케이션)
일상 보조 애플리케이션은, 학습, 취미 및 작업 등 유저에 의해 일상적으로 행하여지는 행위를 보조하기 위한 애플리케이션이다. 예를 들어, 일상 보조 애플리케이션은, 실제 공간에 존재하는 물체에, 유저에게 있어서 유용한 정보 표시를 출력부(130)에 투영시킴으로써, 유저에 의한 행위를 보조할 수 있다. 이하, 도 139 내지 도 143을 참조하여, 보다 구체적으로 설명한다.
도 139 내지 도 143은, 일상 보조 애플리케이션에 의한 유저 보조의 구체예를 나타낸 설명도이다. 도 139에 도시한 바와 같이, 일상 보조 애플리케이션은, 축의금 봉투에 본이 되는 문자를 출력부(130)에 투영시킬 수 있다. 유저는, 투영된 문자를 예를 들어 붓 펜으로 덧씀으로써, 깨끗한 문자를 쓸 수 있다. 또한, 본이 되는 문자는 유저가 자유롭게 지정하는 것이 가능하다. 또한, 도 140에 도시한 바와 같이, 일상 보조 애플리케이션은, 나이프나 포크가 배열된 테이블(140a)에 나이프나 포크의 사용 방법을 나타내는 정보 표시를, 접시에 요리를 나타내는 표시를 출력부(130)에 투영시킬 수 있다. 유저는, 투영된 정보 표시에 따라 나이프나 포크를 사용함으로써, 테이블 매너를 습득할 수 있다.
또한, 도 141에 도시한 바와 같이, 일상 보조 애플리케이션은, 스케치북, 그림 물감 및 붓 등이 준비된 테이블(140a)에, 본이 되는 그림 및 묘화 방법 등을 나타내는 정보 표시를 출력부(130)에 투영시킬 수 있다. 유저는, 투영된 정보 표시를 따라 붓 및 그림 물감에 의해 그림을 그림으로써, 능숙한 그림을 완성시킬 수 있다. 또한, 도 142에 도시한 바와 같이, 일상 보조 애플리케이션은, 홀 케이크를 등분하기 위한 보조선을 출력부(130)에 투영시킬 수 있다. 유저는, 투영된 보조선을 따라 홀 케이크를 자름으로써, 동등한 크기의 케이크를 얻을 수 있다. 또한, 일상 보조 애플리케이션은, 유저에 의해 지정된 등분 수, 홀 케이크의 형상 및 크기에 기초해서 적절한 보조선을 특정해도 된다.
또한, 도 143에 도시한 바와 같이, 일상 보조 애플리케이션은, 유저에 의해 문제에 대한 답안이 기재된 프린트나 책자 등의 매체의 촬상 화상으로부터, 답안의 자동 채점을 행하고, 채점 결과를 출력부(130)에 투영시킬 수 있다. 유저는, 투영되는 채점 결과에 기초하여, 답안의 정부 및 점수 등을 확인하는 것이 가능하다. 또한, 일상 보조 애플리케이션은, 매체에 형성된 식별 정보를 인식하고, 당해 식별 정보에 관련지어서 기억되어 있는 해답과 유저의 답안을 비교함으로써, 자동 채점을 실행해도 된다.
(H: 식탁 연출 애플리케이션)
식탁 연출 애플리케이션은, 식탁을 연출에 의해 채색하기 위한 애플리케이션이다. 예를 들어, 식탁 연출 애플리케이션은, 식탁의 촬상 화상으로부터 식탁에 존재하는 물체를 인식하고, 물체에 대하여 물체에 따른 표시를 출력부(130)에 투영시킬 수 있다. 이하, 도 144를 참조하여 구체적으로 설명한다.
도 144는, 식탁 연출 애플리케이션의 구체예를 나타낸 설명도이다. 식탁 연출 애플리케이션은, 식탁의 예를 들어 거리 화상에 기초하여 식탁에 존재하는 물체를 인식하여, 도 144에 도시한 바와 같이, 예를 들어 접시에는 「Happy Birthday!」라는 표시를 출력부(130)에 투영시키고, 테이블에는 별 표시를 출력부(130)에 투영시켜도 된다. 이러한 구성에 의해 식탁의 채색을 향상시켜, 밝은 식탁을 지원하는 것이 가능하게 된다.
(I: 요리 추천 애플리케이션)
요리 추천 애플리케이션은, 유저에게 요리를 추천하기 위한 애플리케이션이다. 예를 들어, 요리 추천 애플리케이션은, 식탁의 촬상 화상으로부터 식탁 상의 요리를 인식하고, 인식 결과에 기초하여 요리의 영양 밸런스를 계산해서, 부족한 영양소를 보충하는 요리를 추천할 수 있다. 예를 들어, 도 145에 도시한 바와 같이, 식탁 상의 요리에 야채가 부족한 경우, 요리 추천 애플리케이션은, 비타민 및 식이섬유 등이 부족한 것을 인식하고, 비타민 및 식이섬유 등의 영양소를 보충할 수 있는 시저 샐러드를 추천하는 표시 및 시저 샐러드의 화상을 출력부(130)에 투영시켜도 된다. 또한, 요리 추천 애플리케이션은, 컵에 들어있는 음료의 잔량 및 요리의 잔량 등을, 심도 정보를 사용해서 인식함으로써, 식사의 진척에 따라서 추가 요리를 추천해도 된다. 이러한 구성에 의해, 유저에 의한 밸런스가 좋은 식사를 지원함과 함께, 음식점 등에서는 추가 주문에 의한 매상고의 향상이 기대된다.
(J: 무드 연출 애플리케이션)
무드 연출 애플리케이션은, 요리에 따른 연출을 출력부(130)에 투영시키기 위한 애플리케이션이다. 예를 들어, 무드 연출 애플리케이션은, 식탁의 촬상 화상으로부터 식탁 상의 요리를 인식하고, 요리와 친화성이 있는 오브젝트의 화상을 출력부(130)에 투영시킬 수 있다. 구체예로서, 식탁 상의 요리가 설 음식인 경우, 무드 연출 애플리케이션은 송죽매의 화상을 출력부(130)에 투영시켜도 된다. 또한, 식탁 상의 요리가 소면인 경우, 무드 연출 애플리케이션은 강바닥 또는 시냇물의 화상을 출력부(130)에 투영시켜도 된다. 이러한 구성에 의해, 요리에 따른 식탁의 무드를 한층 높이는 것이 가능하다.
(K: 식기 이펙트 애플리케이션)
식기 이펙트 애플리케이션은, 식탁에의 식기의 적재에 따라서 이펙트를 발생시키기 위한 애플리케이션이다. 예를 들어, 식기 이펙트 애플리케이션은, 식탁에 놓인 식기의 종별을 인식하고, 종별에 따른 표시 이펙트 및 소리를 출력부(130)에 출력시켜도 된다. 이하, 도 146을 참조하여 보다 구체적으로 설명한다.
도 146은 식기 이펙트 애플리케이션의 구체예를 나타낸 설명도이다. 도 146에 도시한 바와 같이, 유저가 식탁에 컵을 두면, 식기 이펙트 애플리케이션은, 출력부(130)에 컵으로부터 퍼져나가는 파문의 표시를 출력부(130)에 투영시키고, 출력부(130)에 컵에 따른 소리를 출력시켜도 된다. 상술한 바와 같이 식기에 따라서 출력되는 소리는 상이한데, 식기 이펙트 애플리케이션, 도 146에 도시한 바와 같이 복수의 식기가 근접되면, 출력부(130)에 출력시키는 소리를 변화시켜도 된다. 또한, 식기 이펙트 애플리케이션은, 헤엄치는 물고기의 표시를 출력부(130)에 투영시키고 있어, 유저가 물고기의 표시를 잡는 액션을 행하면, 출력부(130)에 소정의 소리를 출력시켜도 된다.
상기한 바와 같이 식기 이펙트 애플리케이션은, 식탁에의 식기의 적재에 따라서 이펙트를 발생시킴으로써, 식탁에 새로운 즐거움을 가져오는 것이 가능하다.
(L: 방간 제휴 애플리케이션)
방간 제휴 애플리케이션은, 복수의 방에 정보 처리 시스템(100)이 설치되어 있는 경우에, 유저가 사용하고 있던 애플리케이션을 방간에서 공유 및 제휴하는 애플리케이션이다. 예를 들어, 유저의 자기 방에 설치된 정보 처리 시스템(100)은, 유저가 거실에서 사용하고 있던 애플리케이션의 정보를 취득하여, 유저가 자기 방으로 이동한 후, 거실에서의 사용에 이어서 애플리케이션을 사용 가능하게 한다. 이하, 도 147을 참조하여 보다 구체적으로 설명한다.
도 147은 방간 제휴 애플리케이션의 구체예를 나타낸 설명도이다. 도 147에 도시한 바와 같이, 방간 제휴 애플리케이션은, 각 애플리케이션의 사용 시각 및 사용 장소(투영 장소)의 이력 정보를 기억해 두고, 기억한 이력 정보를 유저에게 제시한다. 도 147에 나타낸 「All Apps」에서는, 화면을 투영하는 정보 처리 시스템(100)에 인스톨되어 있는 모든 애플리케이션이 열거되어 있다. 「Your Apps」에서는, 현 시각에 있어서, 해당 투영면에서 유저가 사용하는 빈도가 높은 애플리케이션이 열거되어 있다. 「Recent Apps」에서는, 다른 방에 설치된 정보 처리 시스템(100)도 포함하여, 최근 유저에 의해 사용된 애플리케이션이 열거되어 있다. 유저는, 도 147에 나타낸 화면으로부터 아이콘을 선택함으로써, 원하는 애플리케이션을 기동할 수 있다. 방간 제휴 애플리케이션은, 이러한 화면을 투영함으로써, 유저에 의한 애플리케이션의 선택을 지원할 수 있다.
또한, 방간 제휴 애플리케이션은, 방간에서 유저의 이력 정보를 공유하는 것이 가능하다. 방간 제휴 애플리케이션은, 다른 방에서 기억된 이력 정보를 참조하여, 다른 방에서 사용되고 있던 애플리케이션을, 유저가 방을 이동한 후에도 계속해서 제공한다. 예를 들어, 유저가 거실에 설치된 정보 처리 시스템(100)에서 요리 레시피를 선택한 경우, 유저가 부엌으로 이동하면, 부엌에 설치된 정보 처리 시스템(100)에 의해, 선택된 요리 레시피가 투영된다. 이에 의해, 유저는, 방 이동 후에도 동일 애플리케이션을 계속해서 사용할 수 있다.
[예 1]
여기에서는, 투영면이나 애플리케이션의 상태에 따른 조명 제어 처리의 예를 설명한다.
프로젝터를 사용해서 책상이나 스크린 등의 투영면에 영상을 투영할 때 조명이나 외부 광의 밝기와 같은 환경적인 요인에 의해, 프로젝터의 영상이 불선명해지는 경우가 있다. 프로젝터의 영상이 불선명해진 경우, 영상을 선명하게 하기 위해서는, 방 전체를 어둡게 하거나, 투영면 부근의 조명만을 끄거나 하는 등의 작업을 유저에게 강요하게 되어, 유저의 편리성이 손상된다.
따라서, 이하에서는, 투영면이나 애플리케이션의 상태를 취득하여, 투영면의 상황에 따라서 자동으로 조명을 제어함으로써, 유저에게 조명을 조정하는 작업을 행하게 하지 않고, 프로젝터의 영상을 투영면에 선명하게 표시시키는 조명 제어 처리에 대해서 설명한다.
도 148은 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 동작 예를 나타내는 흐름도이다. 이하, 도 148을 사용해서 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 동작 예에 대해서 설명한다. 또한, 이하의 설명에서는, 정보 처리 시스템(100a)이 도 1에 도시한 바와 같은 프로젝션형인 경우이며, 또한 출력부(130a)에 조명 기기가 포함되어 있는 경우에 대해서 나타낸다. 또한 이하의 예에서는, 조명 기기는, 정보의 표시를 수반하는 프로젝터와는 달리, 정보의 표시를 수반하지 않고 단순하게 조명으로서의 기능을 갖는 기기인 것으로서 설명한다.
우선, 도 148에 나타낸 흐름도에서의 용어의 정의에 대해 설명한다. 조명 맵이란, 조명 기기의 조명 제어 가능 단위를 맵으로 한 것이며, 조명 기기의 형태, 예를 들어 조명의 수에 따라서 셀 수가 결정된다. 각 셀의 수치는 조명 강도로, 0이 조명 출력 없음, 100이 조명 출력의 최댓값이다.
도 149는 조명 맵의 예를 나타내는 설명도이다. 도 149에는, 3개의 패턴이 도시되어 있다. 도 149에 나타내고 있는 것은, 조명 기기(3010)에 조명이 1개만 설치되어 있는 경우, 조명이 정사각 형상으로 4개 설치되어 있는 경우, 조명이 직사각 형상으로 8개 배열해서 설치되어 있는 경우의, 조명 맵(3011)의 예이다.
도 149의 예에서는, 조명 기기(3010)에 조명이 1개만 설치되어 있는 경우에는, 조명 맵의 셀 수는 1개이다. 또한 조명 기기(3010)에 조명이 정사각 형상으로 4개 설치되어 있는 경우에는, 조명 맵의 셀 수는 4개이다. 또한 조명 기기(3010)에 조명이 직사각 형상으로 8개 배열해서 설치되어 있는 경우에는, 조명 맵의 셀 수는 8개이다. 물론 조명 기기(3010)의 조명 배치 패턴이나, 조명 맵에 있어서의 셀의 패턴은 이러한 예에 한정되는 것은 아니다.
환경 맵이란, 환경 광의 취득 가능 단위를 맵으로 한 것이며, 환경 광의 취득 단위에 따라서 셀 수가 결정된다. 환경 맵의 셀 수를 규정하는 환경 광의 취득 단위는, 예를 들어 조도 센서의 배치 장소나, 투영면을 촬상하는 촬상 장치의 화소값 등이 있다.
환경 맵의 각 셀의 수치는 조명 맵의 각 셀의 수치로 정규화된다. 환경 맵의 각 셀의 수치가 조명 맵의 각 셀의 수치로 정규화됨으로써, 환경 광의 조도와, 조명의 밝기가 대응지어진다.
정보 처리 시스템(100)은, 환경 광의 조도 취득 방법에 대해서 다양한 방법을 채용할 수 있다. 예를 들어, 입력부(110)의 카메라로 투영면을 촬상해서 얻어지는 화상의 화소값으로부터 환경 광의 조도를 산출해도 되고, 입력부(110)에 조도 센서를 설치하여, 조도 센서의 값으로부터 환경 광의 조도를 얻도록 해도 된다.
도 150은 환경 맵의 예를 나타내는 설명도이다. 도 150에는, 3개의 패턴이 도시되어 있다. 도 150에 도시되어 있는 것은, 환경 광을 취득하는 조도 센서(3020)에 센서가 1개만 설치되어 있는 경우, 조도 센서(3020)에 센서가 정사각 형상으로 4개 설치되어 있는 경우, 조도 센서(3020)에 센서가 동일한 방향으로 3개 배열해서 설치되어 있는 경우의, 환경 맵(3021)의 예이다.
도 150의 예에서는, 조도 센서(3020)에 센서가 1개만 설치되어 있는 경우, 환경 맵의 셀 수는 1개이다. 또한, 조도 센서(3020)에 센서가 정사각 형상으로 4개 설치되어 있는 경우, 환경 맵의 셀 수는 4개이다. 또한 조도 센서(3020)에 센서가 동일한 방향으로 3개 배열해서 설치되어 있는 경우, 환경 맵의 셀 수는 3개이다. 물론 조도 센서(3020)의 센서 배치 패턴이나, 환경 맵에 있어서의 셀의 패턴은 이러한 예에 한정되는 것은 아니다.
조명 맵과 환경 맵의 대응짓기에 대해서 설명한다. 도 151은 조명 맵과 환경 맵과의 대응짓기의 예를 나타내는 설명도이다.
도 151에는, 조명이 직사각 형상으로 8개 배열해서 설치되어 있는 조명 기기(3010)와, 센서가 동일한 방향으로 3개 배열해서 설치되어 있는 조도 센서(3020)와의 구성에 있어서의, 조명 맵과 환경 맵과의 대응짓기의 예가 도시되어 있다.
조도 센서(3020)에 센서가 동일한 방향으로 3개 배열해서 설치되어 있는 경우의, 환경 맵(3021)의 셀 수는 3개이며, 각 셀을 A00, A01, A02라 규정한다. 본 실시 형태에서는, 이 환경 맵의 셀 수를, 조명 맵의 셀 수에 맞춤으로써, 조명 맵과 환경 맵과의 대응짓기를 행한다. 변환 후의 환경 맵(3021')에서는, 셀이 3개에서 8개로 변환된다. 변환 후의 각 셀을 B00 내지 B03은 및 B10 내지 B13이라 규정한다. 이 변환 시의 변환 식은, 예를 들어 이하와 같이 규정될 수 있다.
B00=B10=A00
B01=B11=0.5×A00+0.5×A01
B02=B12=0.5×A01+0.5×A02
B03=B13=A02
본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 이렇게 환경 맵의 셀 수를 조명 맵의 셀 수에 맞춤으로써, 변환 후의 환경 맵의 각 셀의 값에 기초한 조명 기기(3010)의 제어가 가능해진다.
계속해서 도 148에 나타낸 흐름도의 상세한 설명을 행한다. 먼저 정보 처리 시스템(100)은, 조명 맵의 각 셀에, 시스템 설정의 값을 설정한다(스텝 S3001). 스텝 S3001의 처리는 예를 들어 제어부(120)가 실행할 수 있다. 스텝 S3001에서는, 예를 들어 도 148에 나타낸 처리의 개시 시점에서 정보 처리 시스템(100)의 유저에 의해 설정된 조명 기기(3010)의 조명 밝기가, 0 내지 100의 범위에서 조명 맵의 각 셀에 설정된다.
상기 스텝 S3001에서 조명 맵의 각 셀에 시스템 설정의 값을 설정하면, 계속해서 정보 처리 시스템(100)은 관리하고 있는 애플리케이션의 실행 상태를 취득하여, 처리하지 않은 애플리케이션이 존재하는지를 판정한다(스텝 S3002). 스텝 S3002의 판정은 예를 들어 제어부(120)가 실행할 수 있다.
상기 스텝 S3002의 판정 결과, 처리하지 않은 애플리케이션이 존재하는 경우에는(스텝 S3002, "예"), 계속해서 정보 처리 시스템(100)은 미처리 애플리케이션 중, 가장 안쪽에 묘화되어 있는 것을 취득한다(스텝 S3003). 가장 안쪽의 것부터 처리를 행함으로써, 정보 처리 시스템(100)은, 보다 앞쪽의 애플리케이션 값을 조명 맵에 반영하는 것이 가능하게 된다.
상기 스텝 S3003의 처리가 끝나면, 계속해서 정보 처리 시스템(100)은, 애플리케이션 조명 대응 표로부터, 해당 애플리케이션이 정의되어 있는지를 확인한다(스텝 S3004). 스텝 S3004의 처리는 예를 들어 제어부(120)가 실행할 수 있다.
애플리케이션 조명 대응 표는, 정보 처리 시스템(100)이 실행하는 애플리케이션과, 그 애플리케이션을 실행할 때의 밝기(조명 기기(3010)의 조명 광과, 환경광을 합쳐서 실현하는 밝기)가 대응지어진 표이다. 애플리케이션 조명 대응 표에 애플리케이션이 정의되어 있지 않은 경우에는, 그 애플리케이션이 특별한 조명 제어를 필요로 하지 않아, 시스템 설정이나 다른 애플리케이션의 조명 설정 하에서도 이용 가능한 것을 의미하고 있다.
도 152는 애플리케이션 조명 대응 표의 예를 나타내는 설명도이다. 정보 처리 시스템(100)은, 도 152에 나타낸 애플리케이션 조명 대응 표를 참조함으로써, 처리 대상의 애플리케이션을 실행할 때의 조명 기기(3010)의 밝기를 알 수 있다. 예를 들어, 「시네마 동화상 플레이어」는, 영화의 몰입감을 연출하기 위해서 밝기를 0으로 하는 것을, 도 152에 나타낸 애플리케이션 조명 대응 표로부터 알 수 있다.
또한 애플리케이션 조명 대응 표는, 각 애플리케이션이, 조명 기기(3010)의 밝기를 제어할 때 유저에게 통지할지 여부의 정보를 갖고 있어도 된다. 예를 들어 「시네마 동화상 플레이어」는, 조명 기기(3010)의 밝기를 제어할 때 유저에의 통지는 불필요하지만, 「자녀 동화상 플레이어」는, 조명 기기(3010)의 밝기를 제어할 때 유저에의 통지가 필요한 것을, 도 152에 나타낸 애플리케이션 조명 대응 표로부터 알 수 있다.
상기 스텝 S3004의 판단 결과, 해당 애플리케이션이 애플리케이션 조명 대응 표에 정의되어 있지 않은 경우에는(스텝 S3004, "아니오"), 정보 처리 시스템(100)은, 당해 애플리케이션을 처리 완료로 하고, 상기 스텝 S3002의 처리로 복귀한다. 한편, 상기 스텝 S3004의 판단 결과, 해당 애플리케이션이 애플리케이션 조명 대응 표에 정의되어 있었던 경우에는(스텝 S3004, "예"), 정보 처리 시스템(100)은, 애플리케이션 조명 대응 표로부터 당해 애플리케이션의 밝기의 값을 취득한다(스텝 S3005). 스텝 S3005의 처리는 예를 들어 제어부(120)가 실행할 수 있다.
상기 스텝 S3005의 처리가 끝나면, 계속해서 정보 처리 시스템(100)은, 프로젝터에 의한 표시 영역에서의 애플리케이션의 표시 에리어를 취득한다(스텝 S3006). 스텝 S3006의 처리는 예를 들어 제어부(120)가 실행할 수 있다. 여기서, 애플리케이션이 존재는 하지만 아이콘화되어 있는 경우 등, 표시 에리어가 존재하지 않는 경우에는, 정보 처리 시스템(100)은, 그 애플리케이션을 처리 대상으로 하지 않도록 해도 된다.
상기 스텝 S3006의 처리가 끝나면, 계속해서 정보 처리 시스템(100)은, 조명 맵 중, 상기 스텝 S3006에서 취득한 표시 에리어에 해당하는 셀에, 애플리케이션 대응 표에서 취득된 값을 설정한다(스텝 S3007). 스텝 S3007의 처리는 예를 들어 제어부(120)가 실행할 수 있다. 상기 스텝 S3007의 처리가 끝나면, 당해 애플리케이션을 처리 완료로 해서, 상기 스텝 S3002의 처리로 복귀한다.
상기 스텝 S3002의 판정 결과, 처리하지 않은 애플리케이션이 존재하지 않는 경우에는(스텝 S3002, "아니오"), 계속해서 정보 처리 시스템(100)은 환경 광을 취득하여, 환경 맵에 값을 설정한다(스텝 S3008). 스텝 S3008의 처리는 예를 들어 제어부(120)가 실행할 수 있다.
정보 처리 시스템(100)은, 스텝 S3008의 환경 맵에의 값의 설정 처리 시에, 환경 광(또는 조명 기기(3010)의 조도)의 값을, 조명 출력(밝기)의 값으로 정규화한다. 조명 기기(3010)의 어느 조명을 어느 정도(0 내지 100％)로 출력하면, 그 조명 하가 어느 정도의 조도가 되는지는, 미리 공장 출하 시에 대응지어져 있어도 된다.
상기 스텝 S3008의 처리가 끝나면, 계속해서 정보 처리 시스템(100)은, 조명 맵의 범위에 대하여 환경 맵이 어느 정도의 영향을 미치고 있는지의 대응짓기를 행한다(스텝 S3009). 스텝 S3009의 처리는 예를 들어 제어부(120)가 실행할 수 있다. 이 조명 맵과 환경 맵의 대응짓기는, 상술한 바와 같이 조명 맵의 셀의 수와 환경 맵의 셀의 수를 일치시킴으로써 행하여진다. 또한, 조명 맵과 환경 맵의 대응짓기는, 미리 공장 출하 시에 행하여져 있어도 된다.
상기 스텝 S3009의 처리가 끝나면, 계속해서 정보 처리 시스템(100)은 조명 맵의 미처리 셀이 존재하는지를 판정한다(스텝 S3010). 스텝 S3010의 처리는 예를 들어 제어부(120)가 실행할 수 있다. 조명 맵의 처리 순서는, 예를 들어 조명 맵의 셀에 할당된 번호가 작은 순이어도 된다.
상기 스텝 S3010의 판정 결과, 미처리 셀이 존재하고 있으면(스텝 S3010, "예"), 정보 처리 시스템(100)은, 조명 맵의 처리 대상의 셀 값과, 당해 셀에 대응하는 환경 광의 값(환경 맵의 셀의 값)을 비교한다. 그리고, 정보 처리 시스템(100)은, 조명 맵의 처리 대상의 셀에 대응하는 환경 광의 값이 조명 맵의 처리 대상의 셀의 값 이하인지 여부를 판정한다(스텝 S3011). 스텝 S3010의 처리는 예를 들어 제어부(120)가 실행할 수 있다.
상기 스텝 S3011의 판정 결과, 조명 맵의 처리 대상의 셀에 대응하는 환경 광의 값이 조명 맵의 처리 대상의 셀의 값 이하라면(스텝 S3011, "예"), 환경 광만으로는 애플리케이션이 필요한 밝기에 달하지 못한 것을 의미하므로, 정보 처리 시스템(100)은, 조명 맵의 처리 대상의 셀 값에서 환경 광의 값을 뺀 것을, 당해 셀의 새로운 조명 값으로서 설정한다(스텝 S3012). 스텝 S3010의 처리는 예를 들어 출력 제어부(122)가 실행할 수 있다.
한편, 상기 스텝 S3011의 판정 결과, 조명 맵의 처리 대상의 셀에 대응하는 환경 광의 값이 조명 맵의 처리 대상의 셀의 값보다 크면(스텝 S3011, "아니오"), 환경 광만으로 애플리케이션이 필요한 밝기를 초과해버리고 있는 것을 의미하므로, 정보 처리 시스템(100)은, 조명 맵의 처리 대상의 셀의 값을 0으로서 설정한다(스텝 S3013). 스텝 S3013의 처리는 예를 들어 출력 제어부(122)가 실행할 수 있다.
상기 스텝 S3013의 처리가 끝나면, 계속해서 정보 처리 시스템(100)은, 환경 광만으로 애플리케이션이 필요한 밝기를 초과해버리고 있는 경우에 통지가 필요한 애플리케이션에 대하여만 통지를 행하기 때문에, 애플리케이션 조명 대응 표에, 처리 대상의 애플리케이션에 대해서 통지 설정이 이루어져 있는지 여부의 판정을 행한다(스텝 S3014). 스텝 S3014의 처리는 예를 들어 출력 제어부(122)가 실행할 수 있다.
상기 스텝 S3014의 판정 결과, 애플리케이션 조명 대응 표에, 처리 대상의 애플리케이션에 대해서 통지 설정이 이루어져 있었던 경우에는(스텝 S3014, "예"), 계속해서 정보 처리 시스템(100)은, 처리 대상의 애플리케이션에 대하여 애플리케이션에 대해 통지를 행한다(스텝 S3015). 스텝 S3015의 처리는 예를 들어 출력 제어부(122)가 실행할 수 있다.
상기 스텝 S3015에서 통지를 수취한 애플리케이션은, 예를 들어 「주위가 너무 밝습니다. 환경을 어둡게 해주세요」, 「상정보다 밝기 때문에 인식 정밀도가 떨어질 가능성이 있습니다」 등의 메시지를 표시하거나 음성을 출력하거나 하는 등의 통지 처리를 행한다.
한편, 상기 스텝 S3014의 판정 결과, 애플리케이션 조명 대응 표에, 처리 대상의 애플리케이션에 대해서 통지 설정이 이루어지지 않은 경우에는(스텝 S3014, "아니오"), 정보 처리 시스템(100)은, 조명 맵의 처리 대상의 셀을 처리 완료로 해서, 상기 스텝 S3010의 처리로 복귀한다.
상기 스텝 S3010의 판정 결과, 미처리 셀이 존재하지 않게 되면(스텝 S3010, "아니오"), 계속해서 정보 처리 시스템(100)은, 상술한 일련의 처리에 의해 설정된 조명 맵의 값을 출력부(130)에 설정한다(스텝 S3016). 스텝 S3016의 처리는 예를 들어 출력 제어부(122)가 실행할 수 있다. 출력부(130)는, 조명 맵의 값에 기초하여, 조명 기기(3010)의 각 조명의 밝기를 제어한다.
본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 상술한 일련의 동작을 실행함으로써, 실행되는 애플리케이션이나 환경 광의 밝기와 같은 투영면의 상황에 따른 조명 제어를 행할 수 있다. 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 투영면의 상황에 따른 조명 제어를 행함으로써, 유저의 목적에 따라서 조명을 최적화할 수 있다.
도 148에 나타낸 흐름도에 있어서의, 스텝 S3008의 환경 광의 취득 처리는, 정보 처리 시스템(100)에서의 애플리케이션의 기동 시에 한번 실행되어도 되고, 정보 처리 시스템(100)의 기동 중에 정기적으로 실행되도록 해도 된다.
이하에서는, 구체적인 애플리케이션을 예시하고, 실행되는 애플리케이션이나 환경 광의 밝기와 같은 투영면의 상황에 따른 조명 제어에 대해서 설명한다.
(예 1) 시네마 동화상 플레이어
시네마 동화상 플레이어는, 영화의 몰입감을 연출하기 위해서, 콘텐츠의 출력 시에 어두워지는 애플리케이션이다. 도 153은, 정보 처리 시스템(100)이 시네마 동화상 플레이어를 실행할 때의 조명 맵(3011) 및 환경 맵(3021')의 값의 예를 나타내는 설명도이다. 시네마 동화상 플레이어를 실행하자고 할 때의 조명 맵(3011) 및 환경 맵(3021')의 각 셀의 값이 도 153의 (1)에서 나타낸 바와 같이 취득되었다고 하자.
도 152에서 나타낸 애플리케이션 조명 대응 표를 참조하면, 시네마 동화상 플레이어의 밝기는 0으로 규정되어 있다. 따라서, 정보 처리 시스템(100)은, 조명 기기(3010)의 조명을 소등시킴으로써, 애플리케이션 조명 대응 표에서 규정되어 있는 시네마 동화상 플레이어의 밝기를 실현한다. 조명 기기(3010)의 조명을 소등시켰을 때의 조명 맵(3011) 및 환경 맵(3021')의 각 셀의 값은, 예를 들어 도 153의 (2)에서 나타낸 바와 같이 된다.
(예 2) 자녀 동화상 플레이어
자녀 동화상 플레이어는, 애니메이션 등을 자녀에게 어두운 곳에서 보게 하지 않기 위해서, 콘텐츠의 출력 시에 밝아지는 애플리케이션이다. 도 154는, 정보 처리 시스템(100)이 자녀 동화상 플레이어를 실행할 때의 조명 맵(3011) 및 환경 맵(3021')의 예를 나타내는 설명도이다. 자녀 동화상 플레이어를 실행하고자 할 때의 조명 맵(3011) 및 환경 맵(3021')의 각 셀의 값이 도 154의 (1)에서 나타낸 바와 같이 취득되었다고 하자.
도 152에서 나타낸 애플리케이션 조명 대응 표를 참조하면, 자녀 동화상 플레이어의 밝기는 80으로 규정되어 있다. 따라서, 정보 처리 시스템(100)은, 조명 기기(3010)의 조명을 점등시킴으로써, 애플리케이션 조명 대응 표에서 규정되어 있는 자녀 동화상 플레이어의 밝기를 실현한다. 조명 기기(3010)의 조명을 점등시켰을 때의 조명 맵(3011) 및 환경 맵(3021')의 각 셀의 값은, 예를 들어 도 154의 (2)에서 나타낸 바와 같이 된다.
조명 기기(3010)의 조명을 점등시켜서 밝기가 애플리케이션 조명 대응 표에서 규정된 밝기로 되면, 정보 처리 시스템(100)은, 밝기가 애플리케이션 조명 대응 표에서 규정된 밝기로 된 것을 자녀 동화상 플레이어에게 통지한다. 통지를 받은 자녀 동화상 플레이어는, 자녀가 콘텐츠를 볼 때 안전한 환경이 된 준비가 되었다고 판단하고, 콘텐츠의 재생을 개시한다.
또한, 도 152에서 나타낸 애플리케이션 조명 대응 표를 참조하면, 자녀 동화상 플레이어는 통지가 「필요」로 규정되어 있다. 따라서, 조명 기기(3010)를 제어해도 밝기가 부족한 경우에는, 정보 처리 시스템(100)은, 예를 들어 자녀 동화상 플레이어에 대하여 밝기가 부족한 것을 통지하고, 통지를 받은 자녀 동화상 플레이어는, 「주위를 밝게 합시다」 등으로 표시함으로써, 방의 불을 켜도록 유저에게 촉구한다.
또한, 창으로부터 들어오는 외광이 존재하는 경우에는, 정보 처리 시스템(100)은, 그 외광을 환경 맵(3021')에 반영시킨다. 도 155는, 외광을 환경 맵(3021')에 반영시킨 경우의 예를 나타내는 설명도이다. 도 155에서는, 환경 맵(3021')의 좌측 상단 부분이 외광에 영향을 받아서 값이 크게 되어 있는 예가 도시되어 있다.
(예 3) 양초 애플리케이션
양초 애플리케이션은, 테이블 등의 투영면 상에 양초의 영상을 투영하는 애플리케이션이다. 도 156은, 정보 처리 시스템(100)이 양초 애플리케이션을 실행할 때의 조명 맵(3011) 및 환경 맵(3021')의 예를 나타내는 설명도이다. 양초 애플리케이션을 실행하고자 할 때의 조명 맵(3011) 및 환경 맵(3021')의 각 셀의 값이 도 156의 (1)에서 나타낸 바와 같이 취득되었다고 하자.
도 152에서 나타낸 애플리케이션 조명 대응 표를 참조하면, 양초 애플리케이션의 밝기는 20으로 규정되어 있다. 따라서, 정보 처리 시스템(100)은, 조명 기기(3010)의 조명을 소등시킴으로써, 애플리케이션 조명 대응 표에서 규정되어 있는 양초 애플리케이션의 밝기를 실현한다. 조명 기기(3010)의 조명을 점등시켰을 때의 조명 맵(3011) 및 환경 맵(3021')의 각 셀의 값은, 예를 들어 도 154의 (2)에서 나타낸 바와 같이 된다.
그러나 도 156에서 나타낸 예에서는, 조명 기기(3010)의 조명을 소등시켜도, 환경 맵(3021')의 각 셀의 값이 50으로 되어, 애플리케이션 조명 대응 표에서 규정되어 있는 양초 애플리케이션의 밝기를 실현할 수 없다. 도 152에서 나타낸 애플리케이션 조명 대응 표를 참조하면, 양초 애플리케이션은 통지가 「필요」로 규정되어 있다.
따라서, 조명 기기(3010)를 제어해도 밝기가 오버되어 있는 경우에는, 정보 처리 시스템(100)은, 예를 들어 양초 애플리케이션에 대하여 밝기가 오버되어 있는 것을 통지한다. 정보 처리 시스템(100)으로부터의 통지를 받은 양초 애플리케이션은, 「주위가 너무 밝습니다. 환경을 어둡게 해주세요」 등으로 표시함으로써, 커튼을 닫거나 해서 환경 광을 어둡게 하도록 유저에게 촉구한다.
(예 4) 프로젝션 맵핑 애플리케이션
프로젝션 맵핑 애플리케이션은, 방의 벽면이나 물체에 화상을 투영하는 것을 목적으로 한 애플리케이션이다. 프로젝션 맵핑 애플리케이션을 실행할 때는, 유저는 투영면 상에 예를 들어 미러 형상의 반구체를 설치하고, 출력부(130)의 프로젝터로부터 출력되는 화상을 그 반구체에 반사시킨다. 출력부(130)의 프로젝터로부터 출력되는 화상을 미러 형상의 반구체에 반사시킴으로써, 방의 벽면이나 물체에 화상을 투영할 수 있다.
도 152에서 나타낸 애플리케이션 조명 대응 표를 참조하면, 프로젝션 맵핑 애플리케이션의 밝기는 0으로 규정되어 있다. 따라서, 정보 처리 시스템(100)은, 조명 기기(3010)의 조명을 소등시킴으로써, 애플리케이션 조명 대응 표에서 규정되어 있는 프로젝션 맵핑 애플리케이션의 밝기를 실현한다.
프로젝션 맵핑 애플리케이션으로서는, 예를 들어 방의 벽면에 밤하늘의 화상을 투영하는 플라네타륨 애플리케이션, 투영면 상에 설치한 일본 종이에 영상을 투영함으로써 주마등을 실현하는 주마등 애플리케이션 등이 있다. 이하에서는 프로젝션 맵핑 애플리케이션으로서, 이 플라네타륨 애플리케이션 및 주마등 애플리케이션을 예로 들어 설명한다.
도 157은, 애플리케이션의 구체예를 도시하는 설명도이며, 플라네타륨 애플리케이션에 대해서 설명하는 설명도이다. 도 157의 (a)는, 출력부(130)의 프로젝터로부터 출력되는 화상의 일례를 나타내고 있다. 도 157의 (b) 및 (c)는, 출력부(130)의 프로젝터로부터 출력되는 화상이, 투영면 상에 설치된, 표면이 미러 형상인 반구체(3110)에 반사되는 모습을 나타내고 있다. 도 157의 (d)는, 출력부(130)의 프로젝터로부터 출력되는 화상이 반구체(3110)에서 반사되어, 방의 벽면에 투영되어 있는 상태의 일례를 나타내고 있다.
도 158은 애플리케이션의 구체예를 도시하는 설명도이며, 주마등 애플리케이션에 대해서 설명하는 설명도이다. 도 158의 (a)는, 출력부(130)의 프로젝터로부터 출력되는 화상의 일례를 나타내고 있다. 도 157의 (b), (c), (d)는, 출력부(130)의 프로젝터로부터 출력되는 화상이, 투영면 상에 설치된, 표면이 미러 형상인 반구체(3110)에 반사되어, 일본 종이(3120)에 투영되는 모습을 나타내고 있다.
(예 5) 지구본 애플리케이션
지구본 애플리케이션은, 투영면에 설치된 반구체에 화상을 투영함으로써 지구본을 표현하는 것을 목적으로 한 애플리케이션이다. 지구본 애플리케이션을 실행할 때는, 유저는, 투영면 상에 예를 들어 매트 형상의 반구체를 설치하고, 출력부(130)의 프로젝터로부터 출력되는 화상을 그 반구체에 투영시킨다. 출력부(130)의 프로젝터로부터 출력되는 화상을 매트 형상의 반구체에 투영시킴으로써, 그 반구체로 지구본을 표현할 수 있다.
도 159는, 애플리케이션의 구체예를 도시하는 설명도이며, 지구본 애플리케이션에 대해서 설명하는 설명도이다. 도 159의 (a)는, 출력부(130)의 프로젝터로부터 출력되는 화상의 일례를 나타내고 있다. 도 159의 (b)는, 출력부(130)의 프로젝터로부터 출력되는 화상이, 투영면 상에 설치된, 표면이 매트 형상인 반구체(3120)에 반사되는 모습을 나타내고 있다. 도 159의 (c)는, 출력부(130)의 프로젝터로부터 출력되는 화상이 매트 형상의 반구체(3120)에 투영되어서, 매트 형상의 반구체(3120)가 지구본으로서 표현되어 있음과 함께, 지구본과 관련지어서 다양한 정보가 투영면에 투영되어 있는 상태의 일례를 나타내고 있다.
(예 6) 모바일 단말기의 화면 인식 애플리케이션
모바일 단말기의 화면 인식 애플리케이션은, 투영면에 설치된 모바일 단말기의 화면을 입력부(110)의 카메라로 인식하고, 인식한 화면에 따른 처리를 실행하기 위한 애플리케이션이다. 모바일 단말기의 화면을 인식할 때는, 조명 기기(3010)의 조명을 소등해서 완전히 어둡게 하면, 입력부(110)의 카메라에서 화면을 인식하기 쉬워진다.
그러나, 조명 기기(3010)의 조명을 소등해서 완전히 어둡게 해버리면, 입력부(110)의 카메라의 다이내믹 레인지에 따라서는, 화면이 하얗게 되어버린다.
따라서 본 실시 형태에서는, 발광하고 있는 화면을 인식하기 쉽게 하기 위해서, 조명 기기(3010)의 조명을 소등하는 것이 아니라, 도 152의 애플리케이션 조명 대응 표에서 나타낸 바와 같이, 하이라이트 저감을 목적으로 하여, 조명 기기(3010)의 조명을 어둡게 설정하고 있다.
도 160은 애플리케이션의 구체예를 도시하는 설명도이며, 모바일 단말기의 화면 인식 애플리케이션에 대해서 설명하는 설명도이다. 도 160에서는, 모바일 단말기(3130)의 화면을 입력부(110)의 카메라에서 인식하고, 그 모바일 단말기(3130)의 화면에 따른 정보를 출력부(130)의 프로젝터가 투영하고 있는 모습이 도시되어 있다.
(예 7) 식품 패키지 인식 애플리케이션
식품 패키지 인식 애플리케이션은, 투영면에 설치된 식품 패키지의 표면을 입력부(110)의 카메라에서 인식하고, 인식한 식품 패키지에 따른 처리를 실행하기 위한 애플리케이션이다. 식품 패키지를 인식할 때는, 조명 기기(3010)의 조명을 점등해서 밝게 하면, 입력부(110)의 카메라에서 반사물인 식품 패키지를 인식하기 쉬워진다.
도 161은 애플리케이션의 구체예를 도시하는 설명도이며, 식품 패키지 인식 애플리케이션에 대해서 설명하는 설명도이다. 도 161에서는, 식품 패키지(3140, 3150)의 표면을 입력부(110)의 카메라에서 인식하고, 그 식품 패키지(3140, 3150)의 화면에 따른 정보를 출력부(130)의 프로젝터가 투영하고 있는 모습이 도시되어 있다.
(예 8) 일반 물체 인식 애플리케이션
일반 물체 인식 애플리케이션은, 투영면에 설치된 물체의 표면을 입력부(110)의 카메라에서 인식하고, 인식한 물체에 따른 처리를 실행하기 위한 애플리케이션이다. 물체를 인식할 때는, 투영면에 어떤 물체가 놓일지 사전에 알 수 없으므로, 조명 기기(3010)의 조명을 절반 정도 밝게 한다. 조명 기기(3010)의 조명을 절반 정도 밝게 함으로써, 입력부(110)의 카메라에서 물체의 표면을 인식하기 쉬워진다.
도 162는, 애플리케이션의 구체예를 도시하는 설명도이며, 일반 물체 인식 애플리케이션에 대해서 설명하는 설명도이다. 도 162에서는, 일반 물체(3160, 3170)의 표면을 입력부(110)의 카메라에서 인식하고, 그 일반 물체(3160, 3170)의 화면에 따른 정보를 출력부(130)의 프로젝터가 투영하고 있는 모습이 도시되어 있다.
본 실시 형태에 따른 정보 처리 시스템(100)은, 투영면의 이용 상황에 따라서 조명 제어를 행함으로써, 유저의 목적마다 조명을 최적화하는 것이 가능해진다. 본 실시 형태에 따른 정보 처리 시스템(100)은, 셀로서 분할된 환경 맵 및 조명 맵을 사용해서 조명 제어를 행함으로써, 투영면이 필요한 개소만 조명을 조정할 수 있다. 투영면이 필요한 개소만 조명을 조정함으로써, 복수의 유저가, 출력부(130)의 프로젝터가 투영면에 투영하는 콘텐츠에 대하여 각각 스트레스 없이 서로 다른 작업을 행하는 것이 가능해진다.
본 실시 형태에 따른 정보 처리 시스템(100)은, 투영면에서 애플리케이션을 실행하고 있는 부분을 검출해서 조명을 조정함으로써, 영상을 선명화시키는 것이 가능해진다. 예를 들어, 투영면에 있어서 식사를 하고 있는 부분을 입력부(110)에서 검출하여, 조명 기기(3010)의 조명 밝기를 조정함으로써, 식사를 하고 있는 주변의 밝기가 어두워지는 것을 방지할 수 있다.
본 실시 형태에 따른 정보 처리 시스템(100)은, 일반 물체 인식 애플리케이션을 실행할 때 조명 제어를 행하여, 인식 정밀도를 향상시킬 수 있다. 본 실시 형태에 따른 정보 처리 시스템(100)은, 인식 대상의 물체에 따라서 조명 기기(3010)의 제어 방법을 변화시킴으로써, 투영면에 놓인 물체의 인식 정밀도를 향상시키는 것이 가능하게 된다.
본 실시 형태에 따른 정보 처리 시스템(100)은, 출력부(130)로부터 출력하는 콘텐츠의 속성 정보나 메타 정보에 기초하여 밝기를 제어해도 된다. 예를 들어, 출력하는 콘텐츠의 속성 정보가 자녀용 애니메이션이라고 설정되어 있으면, 정보 처리 시스템(100)은, 밝게 하도록 조명 기기(3010)를 제어하고, 어른에 적합한 영화라고 설정되어 있으면, 정보 처리 시스템(100)은, 어둡게 하도록 조명 기기(3010)의 조명의 밝기를 제어해도 된다.
정보 처리 시스템(100)은, 이렇게 출력하는 콘텐츠의 속성 정보나 메타 정보에 기초하여 밝기를 제어함으로써, 동일한 애플리케이션이라도 콘텐츠마다 밝기를 변화시키는 것이 가능해진다.
정보 처리 시스템(100)은, 조명 기기(3010)의 조명의 밝기를 제어할 때 갑자기 목표하는 밝기로 되는 제어를 행해도 되지만, 그 밖에도, 서서히 밝게, 또는 어둡게 하도록 하여, 최종적으로 목표하는 밝기에 도달하도록 제어를 행해도 된다.
[예 2]
여기에서는, 투영면에 있어서 특정 조건을 만족한 경우에, 미리 설정된 기능을 발화하는 처리의 예를 설명한다. 애플리케이션의 기능을 발화시키는 조건은, 통상은 그 애플리케이션을 제공하는 벤더만이 설정 가능하였다. 또한, 이용 환경에 따라서는, 애플리케이션에서 정의된 거동으로는 기능이 발화하지 않는 경우도 있었다. 또한, 이용 환경에 따라서는, 애플리케이션에서 정의된 거동으로는 기능하지 않는 경우도 있었다.
따라서, 본 실시 형태에 따른 정보 처리 시스템(100)에서는, 발화시키는 기능과 발화의 조건을 유저에 의해 자유롭게 설정 가능하게 하였다. 본 실시 형태에 따른 정보 처리 시스템(100)은, 발화시키는 기능과 발화의 조건을 유저에 의해 자유롭게 설정 가능하게 함으로써, 다양한 연출의 표현이 가능해진다.
테이블(140a)에는 유저마다 다양한 물체가 놓여, 다양한 인터랙션이 테이블(140a) 상에서 매일 행하여지고 있다. 본 실시 형태에 따른 정보 처리 시스템(100)은, 그 인터랙션을 기능 발화의 계기로서 유저에게 이용시킨다. 그리고, 본 실시 형태에 따른 정보 처리 시스템(100)은, 기능 발화 시에 사용되는 데이터를, 인터랙션의 발생에 따라, 기능 발화 시에 실행되는 처리(Action)에 전달한다.
본 실시 형태에 따른 정보 처리 시스템(100)이 기능 발화의 조건(트리거)으로서 사용하는 인터랙션은, 예를 들어 이하와 같은 것이 있다. 물론, 인터랙션은 이하에서 나타낸 것에 한정되는 것은 아니다.
·테이블면의 소리를 인식한다.
·유저가 작성한 AR 마커를 인식한다.
·딥스 정보를 인식한다.
·테이블면의 밝기를 검지한다.
·테이블면의 손의 상태를 인식한다.
·테이블면에 놓인 기기를 인식한다.
·소정 시각에 달한다.
·온도를 검지한다.
·이산화탄소 농도를 검지한다.
·냄새를 검지한다.
·수증기를 검지한다.
·습도를 검지한다.
테이블면의 소리를 인식하는 경우의 트리거의 예로서는 다음과 같은 것이 있다.
·소리의 패턴의 검지(예를 들어, 유저가 「똑똑똑」하고 3회 주먹으로 테이블(140a)의 면을 두드린 소리를 녹음함)
·음량의 변화의 검지(예를 들어, 소정의 역치 이상의 소리를 정보 처리 시스템(100)이 수음함)
·소리의 울림 시간의 검지(예를 들어, 무음 시간이 소정 시간 계속된 것을 정보 처리 시스템(100)이 검지함)
·소리의 울림 방향의 검지
소리의 패턴을 검지하는 경우에 Action에 전달하는 데이터로서는, 예를 들어 검지한 패턴을 식별하기 위한 ID 정보가 있다. 음량의 변화, 소리의 울림 시간, 소리의 울림 방향을 검지하는 경우에 Action에 전달하는 데이터로서는, 예를 들어 음량, 울림 시간, 울림 방향 등이 있다.
유저가 작성한 AR 마커를 인식하는 경우의 트리거 예로서는 다음과 같은 것이 있다.
·AR 마커의 발견(예를 들어, 유저가 등록한 마커를, 테이블면 전체 중 어느 한곳, 또는 미리 등록한 영역에서 정보 처리 시스템(100)이 발견함)
·AR 마커의 로스트(예를 들어, 유저가 등록한 마커를 정보 처리 시스템(100)이 놓침)
AR 마커의 발견의 경우에 Action에 전달하는 데이터로서는, 예를 들어 발견한 마커의 ID 정보, 발견한 좌표, 발견한 자세, 발견한 크기, 발견한 시각 등이 있다. 발견한 AR 마커의 로스트의 경우에 Action에 전달하는 데이터로서는, 예를 들어 놓친 마커의 ID 정보, 마커를 마지막으로 발견한 좌표, 마지막으로 발견한 자세, 마지막으로 발견한 크기, 놓친 시각 등이 있다.
딥스 정보를 인식하는 경우의 트리거의 예로서는 다음과 같은 것이 있다.
·덩어리의 인식(예를 들어, 테이블면 전체 중 어느 한곳 또는 미리 등록한 영역에서 소정량의 덩어리가 증가한, 또는 줄어든 것을 검출함)
·테이블면 상의 물체의 배치의 인식(예를 들어, 사전에 등록한 딥스 맵과 일치한 상태가 되면 또는 일치한 상태로 되지 않게 되면, 딥스 맵은 RGB 화상과 조합되어도 됨)
·표준 평면으로부터의 변화의 검지(예를 들어, 소정 시간 이상 아무것도 놓이지 않은 상태로 되어 있지 않으면)
·움직임의 검출(예를 들어, 테이블면 전체 중 어느 한곳 또는 미리 등록한 영역에서 활발하게 움직이고 있는 물체를 검출함)
덩어리의 인식의 경우에 Action에 전달하는 데이터로서는, 예를 들어 발견한 덩어리의 장소, 덩어리의 면적, 덩어리의 체적, 인식한 시각 등이 있다. 테이블면 상의 물체의 배치의 인식의 경우에 Action에 전달하는 데이터로서는, 예를 들어 배치에 변화가 있었던 장소, 변화가 있었던 시각, 변화량(면적 또는 체적) 등이 있다. 표준 평면으로부터의 변화의 검지의 경우에 Action에 전달하는 데이터로서는, 예를 들어 표준 상태로부터 변화한 물체의 외형, 위치, 면적, 체적, 그 물체가 처음에 놓인 일시 등이 있다. 움직임의 검출의 경우에 Action에 전달하는 데이터로서는, 예를 들어 움직임의 활발함, 주로 움직임이 있었던 영역의 좌표나 면적, 움직임이 있었던 일시 등이 있다. 또한 움직임의 활발함은, 예를 들어 움직임이 있었던 면적과, 움직임의 속도를 곱해서 구해지는 지표이다.
테이블면의 밝기를 검지하는 경우의 트리거의 예로서는 다음과 같은 것이 있다.
·밝기의 변화의 검출(예를 들어, 미리 설정된 역치 이상으로 밝고, 또는 어두워진 것을 검출함)
밝기의 변화의 검출의 경우에 Action에 전달하는 데이터로서는, 예를 들어 밝기의 정보가 있다.
테이블면의 손의 상태를 인식하는 경우의 트리거의 예로서는 다음과 같은 것이 있다.
·손의 개수(예를 들어, 손의 개수가 소정 시간 이상, 소정 개수를 초과하고 있는 것을 검출함)
·손이 테이블면 상에 들어와 있는 시간
·손의 위치(예를 들어, 손이 미리 등록한 영역에 들어와 있는 것을 검출함)
손의 개수의 인식의 경우에 Action에 전달하는 데이터로서는, 예를 들어 인식한 손의 개수, 손의 펼친 개수, 인식한 손의 위치 등이 있다.
테이블면에 놓인 기기를 인식하는 경우의 트리거의 예로서는 다음과 같은 것이 있다.
·기기의 접속(예를 들어, 정보 처리 시스템(100)과 기기가 접속된 것, 또는 정보 처리 시스템(100)과 기기와의 접속이 해제된 것을 검출함)
기기의 접속의 인식의 경우에 Action에 전달하는 데이터로서는, 예를 들어 인식한 기기의 ID 정보, 기기의 위치, 기기의 자세, 기기의 크기 등이 있다.
소정 시각에 달하는 것을 인식하는 경우의 트리거의 예로서는 다음과 같은 것이 있다.
·지정 시각에 달한다.
·소정 시간이 경과한다.
지정 시각에 달한 것을 인식하는 경우에 Action에 전달하는 데이터로서는, 예를 들어 시각 정보 등이 있다. 소정 시간이 경과한 것을 인식하는 경우에 Action에 전달하는 데이터로서는, 예를 들어 개시 시각, 경과 시간, 현재 시각 등이 있다.
온도를 검지하는 것을 인식하는 경우의 트리거의 예로서는 다음과 같은 것이 있다.
·온도의 변화(예를 들어, 시간당 온도 변화가 소정량 이상이었던 것을 검출함)
온도의 변화를 검지하는 경우에 Action에 전달하는 데이터로서는, 예를 들어 온도 변화량, 변화가 있었던 면적, 절대 온도, 검지한 일시 등이 있다.
이산화탄소 농도를 검지하는 것을 인식하는 경우의 트리거의 예로서는 다음과 같은 것이 있다.
·이산화탄소 농도의 변화(예를 들어, 시간당 이산화탄소 농도 변화가 소정량 이상이었던 것을 검출함)
이산화탄소 농도의 변화를 검지하는 경우에 Action에 전달하는 데이터로서는, 예를 들어 이산화탄소 농도의 변화량, 절대 농도, 검지한 일시 등이 있다.
냄새를 검지하는 것을 인식하는 경우의 트리거의 예로서는 다음과 같은 것이 있다.
·소정의 냄새(화학 물질)를 검지한다.
냄새를 검지하는 경우에 Action에 전달하는 데이터로서는, 예를 들어 검지량, 검지한 일시 등이 있다.
본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이, 상술한 바와 같은 인터랙션에 따라서 실행하는 기능으로서는, 예를 들어 이하의 같은 것이 있다.
·영상이나 화상의 투영
·음악의 재생
·기타 애플리케이션의 실행
·사진의 촬상
·조명의 조정
·투영 화상의 밝기 조정
·음량의 조정
·경고의 표시
영상이나 화상의 투영을 실행할 때의 Action으로서는, 예를 들어 투영면 상으로의 시각 효과(비주얼 이펙트)의 투영이 있다. 투영면 상에 투영되는 것으로서는, 예를 들어 미리 등록된 비주얼 이펙트(폭발의 이펙트나, 반짝반짝 빛나는 듯한 이펙트 등)의 표시, 유저에 의해 작성된 비주얼 이펙트의 표시 등이 있다. 또한, 비주얼 이펙트의 예로서는, 미리 테이블면 상에서 녹화한 것이어도 되고, 테이블면 상에서 유저가 손이나 손가락을 움직이게 한 궤적에 기초해서 묘화한 것이어도 되고, 페인트 애플리케이션에서 그린 일러스트나 유저가 인터넷에서 검색해서 발견한 화상을 사용한 것이어도 된다.
투영면 상으로의 시각 효과(비주얼 이펙트)의 투영의 Action의 실행 시에 트리거로부터 전달받는 데이터의 사용 방법으로서는, 예를 들어 테이블면을 두드린 소리의 크기에 비례해서 비주얼 이펙트의 양이 변화하는 것 등이 있다.
음악의 재생을 실행할 때의 Action으로서는, 예를 들어 소리나 음악의 재생이 있고, 구체적으로는, 예를 들어 미리 등록된 음성 효과(음성 이펙트)의 출력이나, 유저가 등록한 즐겨찾기의 음악의 출력 등이 있다. 소리나 음악의 재생의 Action의 실행 시에 트리거로부터 전달받는 데이터의 사용 방법으로서는, 예를 들어 부여되는 데이터의 증감을 소리의 화려함에 반영시키는 것 등이 있다.
애플리케이션을 기동할 때의 Action으로서는, 예를 들어 일반적인 애플리케이션의 기동, 인수를 지정한 애플리케이션의 기동, 복수의 애플리케이션의 기동 등이 있고, 일반적인 애플리케이션의 구체예로서는, 텔레비전을 조작하는 애플리케이션이나 시계를 표시하는 애플리케이션 등이 있고, 인수를 지정한 애플리케이션의 기동으로서는 URL을 지정한 브라우저의 기동 등이 있고, 복수의 애플리케이션의 기동의 구체예로서는, 기억하고 있던 복수의 애플리케이션의 위치나 윈도우 사이즈, 기울기를 재현하는 것 등이 있다.
사진을 촬상할 때의 Action으로서는, 예를 들어 투영면 전체를 촬상하거나, 투영면의 일부분을 촬상하는 것 등이 있다. 사진을 촬상하는 Action의 실행 시에 트리거로부터 전달받는 데이터의 사용 방법으로서는, 예를 들어 인식한 손을 중심으로 한 소정의 범위를 촬상하는 것 등이 있다.
조명을 조정할 때나, 투영 화상의 밝기를 조정할 때의 Action으로서는, 예를 들어 밝기를 조정하거나, 소등하는 것 등이 있다. 밝기의 조정의 구체예로서는, 조명을 밝게 하거나, 또는 어둡게 하거나, 시점 및 종점을 지정해서 그 사이를 임의의 시간에서 이동하는 것 등이 있다. 조명을 조정하는 Action의 실행 시에 트리거로부터 전달받는 데이터의 사용 방법으로서는, 예를 들어 전달받은 값을 밝기에 반영시키거나, 환경 광에 따라서 밝기를 조정하는 것 등이 있다.
음량을 조정할 때의 Action으로서는, 예를 들어 음량을 조정하거나, 소음하는 것 등이 있다. 음량의 조정의 구체예로서는, 소리를 크게 하거나, 또는 작게 하거나, 시점 및 종점을 지정해서 그 사이를 임의의 시간에서 이동하는 것 등이 있다. 음량을 조정하는 Action의 실행 시에 트리거로부터 전달받는 데이터의 사용 방법으로서는, 예를 들어 전달받은 값을 음량에 반영시키거나, 주위의 음량에 따라서 음량을 조정하는 것 등이 있다.
경고를 표시할 때의 Action으로서는, 예를 들어 경고 메시지를 표시(투영)하는 것 등이 있다. 경고를 표시하는 Action의 실행 시에 트리거로부터 전달받는 데이터의 사용 방법으로서는, 예를 들어 인식한 손의 개수가 역치를 초과하면, 새롭게 인식한 손의 주위에 「그 손은 조작할 수 없습니다」 등의 경고 메시지를 출력하는 것 등이 있다.
이와 같이, 발화시키는 기능과 발화의 조건과의 관계는 다방면에 걸쳐 있어, 발화시키는 기능과 발화의 조건을 유저에게 간단하게 설정할 수 있도록 하는 것이 요구된다. 이하에서는, 발화시키는 기능과 발화의 조건을 유저에게 설정시킬 때, 정보 처리 시스템(100)이 투영면에 출력하는 GUI의 예를 설명한다.
도 163 내지 도 171은 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 투영면에 출력하는 GUI의 예를 나타내는 설명도이다. 도 163 내지 도 171은 발화의 조건을 유저에게 설정시킬 때의 GUI의 예이며, 음악의 패턴을 발화의 조건으로서 등록하는 경우의 GUI(3200)의 예이다.
본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 발화의 조건을 유저에게 설정시킬 때, 먼저 도 163에 도시한 바와 같이, 어느 채널을 발화의 조건으로서 사용할지를 유저에게 선택시키는 GUI(3200)를 출력한다. 도 163에 나타낸 GUI(3200)에는, 채널로서 소리, 마커, 책상면(테이블(140a)의 면)의 물체가 도시되어 있다. 물론 발화의 조건을 유저에게 설정시킬 때, 채널로서 사용되는 것은 이러한 예에 한정되는 것은 아니다.
여기서 유저가 채널로서 소리를 선택하면, 계속해서 정보 처리 시스템(100)은, 도 164에 도시한 바와 같이, 유저에게 트리거를 선택시키는 GUI(3200)를 출력한다. 도 164에는, 트리거로서 소리의 패턴, 소리의 볼륨, 소리의 울림 시간이 도시되어 있다. 물론 트리거로서 사용되는 것은 이러한 예에 한정되는 것은 아니다.
여기서 유저가 트리거로서 소리의 패턴을 선택하면, 계속해서 정보 처리 시스템(100)은, 소리의 패턴을 유저에게 녹음시키는 GUI(3200)를 출력한다. 유저는, 녹음 준비가 갖추어지면, 도 165에 도시한 녹음 버튼을 만진다. 정보 처리 시스템(100)은, 유저의 녹음 버튼의 조작에 따라서 녹음을 개시한다. 그리고, 녹음하고 있는 동안에, 정보 처리 시스템(100)은, 도 166에 도시된 바와 같은 GUI(3200)를 출력한다.
소리의 녹음이 완료되면, 계속해서 정보 처리 시스템(100)은, 도 167에 도시된 바와 같은 GUI(3200)를 출력한다. 도 167에 나타낸 GUI(3200)는, 녹음이 완료된 것 및 녹음한 소리를 트리거로서 사용할지 여부를 유저에게 결정시키기 위한 GUI이다. 녹음한 소리를 트리거로서 사용하는 것을 유저가 선택하면, 정보 처리 시스템(100)은, 도 168에 도시된 바와 같은 GUI(3200)를 출력한다. 도 168에 나타낸 GUI(3200)는, 녹음한 소리를 유저에게 재현시키기 위한 GUI를 출력한다.
유저가 녹음한 소리를 재현하고, 정보 처리 시스템(100)이 그 유저가 재현한 소리를 소리의 패턴으로서 인식하면, 정보 처리 시스템(100)은, 도 169에 도시된 바와 같은 GUI(3200)를 출력한다. 도 169에 나타낸 GUI(3200)는, 정보 처리 시스템(100)이 소리의 패턴을 인식할 수 있었던 것을 나타내는 GUI이다. 한편, 유저가 재현한 소리를 소리의 패턴으로서 인식할 수 없었던 경우에는, 정보 처리 시스템(100)은, 도 170에 도시된 바와 같은 GUI(3200)를 출력한다. 도 170에 나타낸 GUI(3200)는, 유저가 재현한 소리의 패턴을 정보 처리 시스템(100)이 인식할 수 없었던 것을 나타내는 GUI이다.
소리의 패턴을 인식할 수 있으면, 정보 처리 시스템(100)은, 도 171에 도시된 바와 같은 GUI(3200)를 출력한다. 도 171에 나타낸 GUI(3200)는, 유저가 등록한 소리의 패턴을, 정보 처리 시스템(100)이 트리거로서 등록한 것을 나타내는 GUI이다.
본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 도 163 내지 도 171에 나타낸 GUI를 출력함으로써, 발화시키는 기능과 발화의 조건을 유저에게 간단하게 설정시키는 것이 가능해진다.
여기까지는, 유저가 발한 소리를 트리거로서 등록할 때의, 정보 처리 시스템(100)이 출력하는 GUI(3200)의 예를 나타냈다. 계속해서, 유저가 투영면에 둔 마커를 트리거로서 등록할 때의, 정보 처리 시스템(100)이 출력하는 GUI의 예를 나타낸다.
도 172 내지 도 179는, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 투영면에 출력하는 GUI의 예를 나타내는 설명도이다. 도 172 내지 도 179는, 발화의 조건을 유저에게 설정시킬 때의 GUI의 예이며, 테이블면에 물체가 놓인 것을 발화의 조건으로서 등록하는 경우의 GUI(3200)의 예이다.
본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 발화의 조건을 유저에게 설정시킬 때, 먼저 도 172에 도시한 바와 같이, 어느 채널을 발화의 조건으로서 사용할지를 유저에게 선택시키는 GUI(3200)를 출력한다. 도 172에 나타낸 GUI(3200)에는, 채널로서 소리, 마커, 책상면(테이블(140a)의 면)의 물체가 도시되어 있다. 물론 채널로서 사용되는 것은 이러한 예에 한정되는 것은 아니다.
여기서 유저가 채널로서 마커를 선택하면, 계속해서 정보 처리 시스템(100)은, 도 173에 도시한 바와 같이, 유저에게 트리거를 선택시키는 GUI(3200)를 출력한다. 도 173에는, 트리거로서 덩어리 인식, 물체의 배치, 평면 인식이 도시되어 있다. 물론 트리거로서 사용되는 것은 이러한 예에 한정되는 것은 아니다.
여기서 유저가 트리거로서 덩어리 인식을 선택하면, 계속해서 정보 처리 시스템(100)은, 도 174에 나타낸 바와 같은, 인식을 행하는 에리어를 유저에게 지정시키는 GUI(3200)를 출력한다. 인식을 행하는 에리어를 유저가 지정하면, 계속해서 정보 처리 시스템(100)은, 도 175에 나타낸 바와 같은, 기능 발화의 조건을 유저에게 지정시키는 GUI(3200)를 출력한다. 도 175에서는, 물체가 책상면에 놓여진 경우에 기능을 발화시킬지, 물체가 책상면으로부터 멀어진 경우에 기능을 발화시킬지를 유저에게 지정시키는 GUI(3200)가 도시되어 있다.
도 176은 인식을 행하는 에리어를 유저에게 지정시키는 GUI(3200)의 예를 나타내는 설명도이다. 정보 처리 시스템(100)은, 도 176에 도시된 바와 같은 GUI(3200)를 출력함으로써, 기능 발화의 트리거가 되는 물체를 인식하는 에리어를 유저에게 설정시킬 수 있다. 이 물체를 인식하는 에리어는, 유저의 조작에 의해 이동, 확대, 축소, 회전, 변형이 가능하다.
기능 발화의 트리거가 되는 물체를 인식하는 에리어를 유저가 설정하면, 계속해서 정보 처리 시스템(100)은, 도 177에 도시한 바와 같은, 유저가 설정한 에리어에 물체를 실제로 놓게 해서 물체를 인식시키기 위한 GUI(3200)를 출력한다. 유저는, 물체를 인식하는 에리어에 임의의 물체를 두면, 정보 처리 시스템(100)은, 그 에리어에 놓인 물체를 입력부(110)의 카메라에서 인식한다. 정보 처리 시스템(100)은, 물체를 인식하는 에리어에 놓인 물체를 인식하면, 도 178에 도시된 바와 같은, 물체의 인식을 했다는 것을 나타내는 GUI(3200)를 출력한다.
그리고, 물체를 인식하는 에리어에 놓인 물체를 인식하면, 정보 처리 시스템(100)은, 도 179에 도시된 바와 같은, 유저가 책상면에 둔 물체를 트리거로서 등록한 것을 나타내는 GUI(3200)를 출력한다.
도 180 내지 도 184는, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이 투영면에 출력하는 GUI의 예를 나타내는 설명도이다. 도 180 내지 도 184는, 발화시키는 기능을 유저에게 설정시킬 때의 GUI의 예이며, 발화시키는 기능으로서 영상의 재생을 등록하는 경우의 GUI(3200)의 예이다.
본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 발화시키는 기능을 유저에게 설정시킬 때, 먼저 도 180에 도시한 바와 같이, 어느 채널을 발화시키는 기능으로서 사용할지를 유저에게 선택시키는 GUI(3200)를 출력한다. 도 180에 나타낸 GUI(3200)에는, 채널로서 그림·영상, 소리·음악, 애플리케이션의 3종류가 도시되어 있다. 물론 채널로서 사용되는 것은 이러한 예에 한정되는 것은 아니다.
여기서 유저가 채널로서 그림·영상을 선택하면, 계속해서 정보 처리 시스템(100)은, 도 181 및 도 182에 도시한 바와 같이, 유저에게 액션(발화시키는 기능)을 선택시키는 GUI(3200)를 출력한다.
도 182에는, 재생시키는 그림이나 영상으로서, 이펙트 라이브러리로부터의 이펙트의 선택, 책상면의 녹화, 책상면을 이용한 페인트 기능에 의해 묘화한 그림 중 어느 하나를 유저에게 선택시키기 위한 GUI(3200)가 도시되어 있다. 또한 재생되는 그림이나 영상으로 이용되는 것은, 상술한 것의 조합이어도 된다. 정보 처리 시스템(100)은, 예를 들어 재생 시간을 10초로 한 경우, 이펙트가 5초간, 페인트 기능에 의해 묘화한 그림의 재생이 5초간, 각각 재생되도록 유저에게 설정시켜도 된다.
액션을 유저가 설정하면, 계속해서 정보 처리 시스템(100)은, 도 183에 도시한 바와 같은, 유저가 설정한 액션을 유저에게 확인시키기 위한 GUI(3200)를 출력한다. 유저는, 설정한 액션을 확인하고, 문제가 없으면 정보 처리 시스템(100)에 그 취지를 지시한다. 정보 처리 시스템(100)은, 유저가 설정한 액션에 대해서 유저가 확인하면, 도 184에 도시된 바와 같은, 액션의 등록이 완료된 것을 나타내는 GUI(3200)를 출력한다.
유저가 상술한 바와 같이 발화시키는 기능과 발화의 조건을 등록한 경우, 그 발화시키는 기능의 효과나 의미에 따라, 발화시키는 기능의 가시성이 컨트롤되는 것이 바람직하다. 예를 들어, 써프라이즈로서 투입한 기능은, 다른 사람이 알아차리지 못하도록 숨겨 두는 것이 바람직하다.
도 185는, 정보 처리 시스템(100)이 발화시키는 기능의 가시성의 예를 나타내는 설명도이다. 도 185의 (1)은, 기능마다 아이콘이 놓여 있는 모습을 나타낸 것이다. 도 185의 (2)는, 등록한 기능이 통합되어 배치되는 모습을 나타낸 것이다. 도 185의 (3)은, 트리거가 발생하는 에리어만을 표시하고 있는 모습을 나타낸 것이다. 도 185의 (4)는, 발화시키는 기능을 완전히 숨기고 있는 모습을 나타낸 것이다.
상술한 바와 같이, 정보 처리 시스템(100)은, 유저에 의해 다양한 기능 발화의 조건을 등록시킬 수 있다. 그러나, 유저는, 동일한 조건을 다른 기능에 할당해버리려는 것을 생각할 수 있다. 따라서, 정보 처리 시스템(100)은, 유저가 등록하려고 한 발화의 조건이, 이미 등록되어 있는 조건과 매우 흡사하면, 그 등록을 기각하도록 해도 된다.
예를 들어, 유저가 책상을 두드리는 트리거를 등록할 때, 리듬이 약간 다르지만 두드리는 횟수는 동일해서 등록하고자 한 경우나, 책상에 물체를 두는 트리거를 등록할 때, 반응하는 에리어가 이전 등록한 에리어와 중복되어 있는 경우에, 등록되어 있는 조건과 매우 흡사하거나, 유사도가 높은 데이터로 되어버린다. 이 밖에도, 예를 들어 유저가, 모양이나 형상, 색채가 약간 다른 물체의 인식을 다른 기능에 할당해버리려는 것을 생각할 수 있다. 이와 같이, 유사도가 높은 조건으로 될 수 있는 패턴은 존재한다.
따라서 정보 처리 시스템(100)은, 유사도가 충분히 높은 것으로 판명된 시점에서, 유사도가 높은 것을 알리는 인디케이션을 표시하거나, 등록의 재시도 또는 캔슬을 촉구하거나 하는 GUI를 출력해도 된다.
도 186은 정보 처리 시스템(100)이 출력하는 GUI의 예를 나타내는 설명도이며, 유저가 등록하려고 한 발화의 조건이, 이미 등록되어 있는 조건과 매우 흡사하면, 그 등록을 기각할 때 출력하는 GUI의 예를 나타낸 것이다.
정보 처리 시스템(100)은, 유저에 등록된 트리거를 복수 조합해서 새로운 트리거를 생성해도 된다. 도 187은 트리거의 조합의 예를 나타내는 설명도이다. 도 187에는 「아침 7시가 되면」이라는 트리거와, 「지정 에리어 내에서 유저의 팔이 흔들리면」이라는 트리거를 조합하는 모습이 도시되어 있다.
도 188은, 트리거를 복수 조합해서 새로운 트리거를 유저에게 생성시킬 때의, 정보 처리 시스템(100)이 출력하는 GUI의 예를 나타내는 설명도이다. 각 트리거가 원으로 묘화되어 있고, 유저는, 트리거끼리 겹치게 하는 조작(예를 들어 드래그 앤드 드롭 조작)을 행한다. 정보 처리 시스템(100)은, 유저에 의해 트리거끼리 겹치게 하는 조작이 행하여지면, 그 2개의 트리거를 조합해서 새로운 트리거를 생성한다.
유저가 상술한 바와 같이 발화시키는 기능과 발화의 조건을 등록한 경우, 유저가 설정한 발화시키는 기능과 발화의 조건을 관련지을 때의 GUI의 예를 나타낸다. 도 189는, 정보 처리 시스템(100)이 출력하는 GUI의 예를 나타내는 설명도이며, 유저가 설정한 발화시키는 기능과 발화의 조건을 관련지을 때의 GUI의 예를 나타낸 것이다.
도 189에서는, 발화시키는 기능(액션)과 발화의 조건(트리거)이 원으로 묘화되어 있고, 유저는, 트리거와 액션을 겹치게 하는 조작(예를 들어 드래그 앤드 드롭 조작)을 행한다. 정보 처리 시스템(100)은, 유저에 의해 트리거와 액션을 겹치게 하는 조작이 행하여지면, 그 트리거와 액션을 관련짓고, 관련지은 내용을 유지한다.
본 실시 형태에 따른 정보 처리 시스템(100)은, 발화시키는 기능과 발화의 조건을 유저에 의해 자유롭게 설정 가능하게 함으로써, 애플리케이션을 제공하는 벤더에 의한 프로그램뿐만 아니라, 유저에 의한 자유로우면서 또한 간단한 프로그램의 설정이 가능하게 된다. 이에 의해, 테이블(140a) 상의 자세한 사정에 입각한 기능 발화가 실현된다.
테이블(140a)에는 유저마다 다양한 물체가 놓이고, 다양한 인터랙션이 매일 행하여지고 있다. 본 실시 형태에 따른 정보 처리 시스템(100)은, 발화시키는 기능과 발화의 조건을 유저에 의해 자유롭게 설정 가능하게 함으로써, 일상적으로 행하여질 수 있는 인터랙션을 기능 발화의 계기로서 유저에게 이용시킬 수 있어, 유저의 일상 생활에 융화된 체험을 만들어 내는 것이 가능하게 된다.
[예 3]
여기에서는, 정보 처리 시스템(100)이 표시하는 윈도우의 모드 및 조작 방법의 예를 설명한다.
정보 처리 시스템(100)이 표시하는 윈도우의 내부에는, 화상, 텍스트 기타 콘텐츠가 표시될 수 있다. 윈도우의 내부에 표시되는 콘텐츠에는 다양한 것이 있어, 윈도우의 영역에서 모두 표시할 수 없는 것 같은 콘텐츠도 존재할 수 있다. 그러한 경우, 유저는, 콘텐츠에 대한 스크롤, 이동, 확대·축소 조작을 행함으로써 콘텐츠의 열람을 행하게 되는데, 정보 처리 시스템(100)은, 콘텐츠에 대한 이들 조작과, 콘텐츠를 표시하고 있는 윈도우에 대한 조작을 정확하게 구별할 수 있어야 한다. 콘텐츠에 대한 조작과, 윈도우에 대한 조작을 정확하게 구별할 수 없으면, 유저는 콘텐츠에 대한 조작을 행하고 있음에도 불구하고, 콘텐츠가 아니라 윈도우에 대한 조작이 행하여져버리는 경우가 발생할 수 있기 때문이다.
도 190은 정보 처리 시스템(100)이 표시하는 윈도우(3300)의 모드 및 조작 방법의 예를 나타내는 설명도이다. 윈도우(3300) 중에 화상이나 텍스트 기타 콘텐츠가 표시되어 있는 상태에서, 유저가 간단히 콘텐츠에 대한 조작을 행하면, 정보 처리 시스템(100)은, 그 윈도우에 대해서는 콘텐츠 조작 모드로서 동작한다. 또한 유저가 윈도우(3300) 중의 소정의 영역을 길게 누르면, 정보 처리 시스템(100)은 그 윈도우에 대해서는 윈도우 조작 모드로서 동작한다.
도 191은, 정보 처리 시스템(100)이 표시하는 윈도우(3300)의 모드 및 조작 방법의 예를 나타내는 설명도이다. 정보 처리 시스템(100)은, 콘텐츠 조작 모드에서는 윈도우(3300) 중에서의 콘텐츠의 스크롤이나 회전, 확대 축소(신축)를 유저에게 행하게 할 수 있다. 한편, 정보 처리 시스템(100)은, 윈도우 조작 모드에서는 윈도우(3300)에 대한 이동, 회전, 신축을 유저에게 행하게 할 수 있다.
또한 콘텐츠 조작 모드에서 윈도우 조작 모드로 동작을 전환할 때, 정보 처리 시스템(100)은, 윈도우(3300)가 윈도우 조작 모드로 되어 있는 것을 나타내는 표시(예를 들어, 윈도우(3300) 전체의 색을 바꾸는 등)를 행해도 된다.
이렇게 윈도우(3300) 중의 소정의 영역을 길게 누름으로써 콘텐츠 조작 모드로에서 윈도우 조작 모드로 동작을 전환하는 것은, 유저에게 있어서 오조작이 적어진다는 장점이 있는 한편, 유저에게 윈도우(3300) 중의 소정의 영역을 길게 누르게 하는 조작을 행하게 할 필요가 있다.
도 192, 도 193은, 정보 처리 시스템(100)이 표시하는 윈도우(3300)의 모드 및 조작 방법의 예를 나타내는 설명도이다. 정보 처리 시스템(100)은, 예를 들어 윈도우(3300)의 주위에 외측 프레임을 설치한다. 도 193에 도시한 바와 같이, 윈도우(3300)의 내부에 표시되어 있는 콘텐츠를 유저가 조작한 경우에는 그 콘텐츠에 대한 처리를 실행하고, 윈도우(3300)의 외측 프레임을 유저가 조작한 경우에는 윈도우(3300)에 대한 동작을 실행하도록 해도 된다.
이렇게 윈도우(3300)의 주위에 외측 프레임을 설치함으로써 콘텐츠에 대한 조작과 윈도우(3300)에 대한 조작을 구별하는 방법은, 유저에게 길게 누르는 조작을 강요하지 않으므로, 하나의 조작만으로 구별할 수 있는 장점이 있는 한편, 외측 프레임을 설치함으로 인한 조작 에리어의 간섭 등에 의한 오조작이 발생할 수 있다.
따라서, 이하의 설명에서는, 정보 처리 시스템(100)이 표시하는 윈도우(3300)를 유저에게 조작시킬 때, 복잡한 조작을 강요하지 않고, 또한 오조작의 발생 가능성을 저감시키는 기술의 예를 나타낸다.
먼저, 콘텐츠의 스크롤이 발생할 수 있는 윈도우와, 콘텐츠의 스크롤이 발생하지 않는 윈도우의 이동 개념에 대해서 나타낸다. 도 194는, 윈도우의 조작예를 도시하는 설명도이며, 콘텐츠의 스크롤이 발생할 수 있는 윈도우와, 콘텐츠의 스크롤이 발생하지 않는 윈도우의 이동 개념을 도시하는 설명도이다.
도 194의 (1)은 콘텐츠의 스크롤이 발생하지 않는 윈도우이며, 유저에 의한 콘텐츠에 대한 조작(예를 들어 탭 조작, 콘텐츠에 대한 신축 조작 등) 이외의 조작은 윈도우에 대한 조작인 것으로 한다.
도 194의 (2)는 콘텐츠의 스크롤이 발생하는 윈도우이며, 예를 들어 유저에 의한 한손으로의 조작은 콘텐츠에 대한 조작으로 하고, 양손으로의 조작은 콘텐츠에 대한 조작으로 한다. 또한, 콘텐츠에 대한 조작 시에 소정 시간만큼 윈도우의 주위에 외측 프레임을 표시시키고, 그 외측 프레임에 대한 조작은 콘텐츠에 대한 조작으로 한다.
도 195는 유저의 조작에 대해서 도시하는 설명도이다. 도 195에는, 유저에게 하나 또는 2개의 손으로 콘텐츠나 윈도우를 이동시키는 이동 조작, 유저에게 하나 또는 2개의 손으로 콘텐츠나 윈도우를 회전시키는 회전 조작, 유저에게 하나 또는 2개의 손으로 콘텐츠나 윈도우를 확장 수축시키는 신축 조작의 예가 도시되어 있다.
도 196은 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 동작 예를 나타내는 흐름도이다. 도 196에 나타낸 것은, 정보 처리 시스템(100)이 출력하는, 콘텐츠가 표시된 윈도우에 대한 조작이 행하여질 때의, 정보 처리 시스템(100)의 동작 예이다. 이하, 도 196을 사용해서 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 동작 예에 대해서 설명한다.
먼저 유저에 의한 윈도우에의 터치 조작이 행하여진 것을 검출하면(스텝 S3301), 정보 처리 시스템(100)은, 계속해서 그 조작이 이동 조작인지 여부를 판단한다(스텝 S3302). 유저에 의한 윈도우에의 터치 조작이 이동 조작인 경우에는(스텝 S3302, "예"), 계속해서 정보 처리 시스템(100)은, 계속해서 유저에 의한 윈도우에의 터치 조작이 윈도우 내의 조작인지 여부를 판단한다(스텝 S3303).
유저에 의한 윈도우에의 터치 조작이 윈도우 내의 조작인 경우에는(스텝 S3303, "예"), 계속해서 정보 처리 시스템(100)은, 그 유저 조작이 2개의 손에 의한 조작인지, 또는 윈도우에 표시되어 있는 것이 스크롤되지 않는 콘텐츠인지 여부를 판단한다(스텝 S3304).
유저 조작이 2개의 손에 의한 조작이거나 또는 윈도우에 표시되어 있는 것이 스크롤되지 않는 콘텐츠인 경우에는(스텝 S3304, "예"), 계속해서 정보 처리 시스템(100)은, 조작 대상의 윈도우를 이동시키는 처리를 실행한다(스텝 S3305). 한편 유저 조작이 하나의 손에 의한 조작이거나 또는 윈도우에 표시되어 있는 것이 스크롤되는 콘텐츠인 경우에는(스텝 S3304, "아니오"), 계속해서 정보 처리 시스템(100)은, 조작 대상의 윈도우 중에 표시되어 있는 콘텐츠를 스크롤시키는 처리를 실행한다(스텝 S3306).
또한, 유저에 의한 윈도우에의 터치 조작이 윈도우 내의 조작이 아닌 경우에는(스텝 S3303, "아니오"), 계속해서 정보 처리 시스템(100)은, 조작 대상의 윈도우를 이동시키는 처리를 실행한다(스텝 S3305).
상기 스텝 S3302에서, 유저에 의한 윈도우에의 터치 조작이 이동 조작이 아닌 경우에는(스텝 S3302, "아니오"), 계속해서 정보 처리 시스템(100)은, 계속해서 유저에 의한 윈도우에의 터치 조작이 회전 조작인지 여부를 판단한다(스텝 S3307).
유저에 의한 윈도우에의 터치 조작이 회전 조작인 경우에는(스텝 S3307, "예"), 계속해서 정보 처리 시스템(100)은, 계속해서 유저에 의한 윈도우에의 터치 조작이 윈도우 내의 조작인지 여부를 판단한다(스텝 S3308).
유저에 의한 윈도우에의 터치 조작이 윈도우 내의 조작인 경우에는(스텝 S3308, "예"), 계속해서 정보 처리 시스템(100)은, 그 유저 조작이 2개의 손에 의한 조작인지 또는 윈도우에 표시되어 있는 것이 윈도우 내에서 회전하지 않는 콘텐츠인지 여부를 판단한다(스텝 S3309).
유저 조작이 2개의 손에 의한 조작이거나 또는 윈도우에 표시되어 있는 것이 윈도우 내에서 회전하지 않는 콘텐츠인 경우에는(스텝 S3309, "예"), 계속해서 정보 처리 시스템(100)은, 조작 대상의 윈도우를 회전시키는 처리를 실행한다(스텝 S3310). 한편 유저 조작이 하나의 손에 의한 조작이거나 또는 윈도우에 표시되어 있는 것이 윈도우 내에서 회전하는 콘텐츠인 경우에는(스텝 S3309, "아니오"), 계속해서 정보 처리 시스템(100)은, 조작 대상의 윈도우 중에 표시되어 있는 콘텐츠를 회전시키는 처리를 실행한다(스텝 S3311).
또한 유저에 의한 윈도우에의 터치 조작이 윈도우 내의 조작이 아닌 경우에는(스텝 S3308, "아니오"), 계속해서 정보 처리 시스템(100)은, 조작 대상의 윈도우를 회전시키는 처리를 실행한다(스텝 S3310).
상기 스텝 S3307에서, 유저에 의한 윈도우에의 터치 조작이 회전 조작이 아닌 경우에는(스텝 S3307, "아니오"), 계속해서 정보 처리 시스템(100)은, 계속해서 유저에 의한 윈도우에의 터치 조작이 신축 조작인지 여부를 판단한다(스텝 S3307).
유저에 의한 윈도우에의 터치 조작이 신축 조작인 경우에는(스텝 S3312, "예"), 계속해서 정보 처리 시스템(100)은, 계속해서 유저에 의한 윈도우에의 터치 조작이 윈도우 내의 조작인지 여부를 판단한다(스텝 S3313).
유저에 의한 윈도우에의 터치 조작이 윈도우 내의 조작인 경우에는(스텝 S3313, "예"), 계속해서 정보 처리 시스템(100)은, 그 유저 조작이 2개의 손에 의한 조작인지 또는 윈도우에 표시되어 있는 것이 윈도우 내에서 확장 수축하지 않는 콘텐츠인지 여부를 판단한다(스텝 S3314).
유저 조작이 2개의 손에 의한 조작이거나 또는 윈도우에 표시되어 있는 것이 윈도우 내에서 확장 수축하지 않는 콘텐츠인 경우에는(스텝 S3314, "예"), 계속해서 정보 처리 시스템(100)은, 조작 대상의 윈도우를 확장 수축시키는 처리를 실행한다(스텝 S3315). 한편 유저 조작이 하나의 손에 의한 조작이거나 또는 윈도우에 표시되어 있는 것이 윈도우 내에서 확장 수축하는 콘텐츠인 경우에는(스텝 S3315, "아니오"), 계속해서 정보 처리 시스템(100)은, 조작 대상의 윈도우 중에 표시되어 있는 콘텐츠를 확장 수축시키는 처리를 실행한다(스텝 S3316).
또한 유저에 의한 윈도우에의 터치 조작이 윈도우 내의 조작이 아닌 경우에는(스텝 S3313, "아니오"), 계속해서 정보 처리 시스템(100)은, 조작 대상의 윈도우를 확장 수축시키는 처리를 실행한다(스텝 S3315).
상기 스텝 S3312에서, 유저에 의한 윈도우에의 터치 조작이 신축 조작이 아닌 경우에는(스텝 S3312, "아니오"), 계속해서 정보 처리 시스템(100)은, 유저 조작에 대하여 실행 중인 애플리케이션에 따라서 대응한다(스텝 S3317). 유저에 의한 윈도우에의 터치 조작이, 이동, 회전, 신축이 아닌 경우의 예로서는, 예를 들어 유저에 의한 탭 조작 등이 있다. 유저에 의한 탭 조작이 행하여지면, 정보 처리 시스템(100)은, 탭 조작의 대상이 된 콘텐츠에 대한 처리(화상의 표시, 영상의 재생, 별도의 애플리케이션의 기동 등)를 실행해도 된다.
또한, 유저에 의한 이동 조작, 회전 조작, 신축 조작은, 동시에 행하여질 수 있다. 그 경우, 정보 처리 시스템(100)은, 예를 들어 유저에 의해 행하여지고 있는 조작이, 이동 조작, 회전 조작, 신축 조작 중 어느 것에 가장 가까운지를 판단해도 된다.
이상, 도 196을 사용해서 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 동작 예에 대해 설명하였다. 계속해서, 유저에 의한 윈도우에 대한 조작의 구체예를 들면서 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 동작 예에 대해 더욱 상세하게 설명한다.
도 197은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이며, 윈도우 내에 스크롤되지 않는 콘텐츠가 표시되어 있는 경우의 조작예이다. 윈도우(3300)에 스크롤되지 않는 콘텐츠가 표시되어 있는 경우, 유저가 이동 조작을 행하면, 정보 처리 시스템(100)은, 그 윈도우(3300) 전체를 이동시키도록 표시 제어를 행한다.
도 198은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이며, 윈도우 내에 스크롤되지 않는 콘텐츠가 표시되어 있는 경우의 조작예이다. 윈도우(3300)에 스크롤되지 않는 콘텐츠가 표시되어 있는 경우, 유저가 도 198의 (1)이나 (2)와 같이 회전 조작을 행하면, 정보 처리 시스템(100)은, 그 윈도우(3300) 전체를 회전 시키도록 표시 제어를 행한다. 또한, 윈도우(3300)에 스크롤되지 않는 콘텐츠가 표시되어 있는 경우, 유저가 도 198의 (3)이나 (4)와 같이 신축 조작을 행하면, 정보 처리 시스템(100)은, 그 윈도우(3300) 전체를 신축시키도록 표시 제어를 행한다.
도 199는 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이며, 윈도우 내에 스크롤되는 콘텐츠가 표시되어 있는 경우의 조작예이다. 윈도우(3300)에 스크롤되는 콘텐츠가 표시되어 있는 경우, 유저가 도 199의 (1)이나 (2)와 같이 윈도우(3300)의 외측 프레임에 대하여 회전 조작을 행하면, 정보 처리 시스템(100)은, 그 윈도우(3300) 전체를 회전시키도록 표시 제어를 행한다. 또한, 윈도우(3300)에 스크롤되는 콘텐츠가 표시되어 있는 경우, 유저가 도 199의 (3)과 같이 신축 조작을 행하면, 정보 처리 시스템(100)은, 그 윈도우(3300) 전체를 신축시키도록 표시 제어를 행한다.
정보 처리 시스템(100)은, 2개의 손가락이 동일한 손인지 다른 손인지를 검출함으로써, 동일한 회전이나 신축 조작이어도 윈도우에 대한 표시 제어인지, 콘텐츠에 대한 표시 제어인지를 구별해도 된다.
도 200은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이며, 윈도우 내에 스크롤되는 콘텐츠가 표시되어 있는 경우의 조작예를 도시한 도면이다. 윈도우(3300)에 스크롤되는 콘텐츠가 표시되어 있는 경우, 유저가 도 200의 (1)에 도시한 바와 같이, 하나의 손으로 회전 조작을 행하면, 정보 처리 시스템(100)은, 그 콘텐츠를 회전시키도록 표시 제어를 행한다. 한편, 유저가 도 200의 (2)에 도시한 바와 같이, 2개의 손으로 회전 조작을 행하면, 정보 처리 시스템(100)은, 그 윈도우(3300) 전체를 회전시키도록 표시 제어를 행한다.
마찬가지로, 유저가 도 200의 (1)에 도시한 바와 같이, 하나의 손으로 신축조작을 행하면, 정보 처리 시스템(100)은, 그 콘텐츠를 신축시키도록 표시 제어를 행한다. 한편, 유저가 도 200의 (4)에 도시한 바와 같이, 2개의 손으로 신축 조작을 행하면, 정보 처리 시스템(100)은, 그 윈도우(3300) 전체를 신축시키도록 표시 제어를 행한다.
윈도우 내에 스크롤되지 않는 콘텐츠가 표시되어 있는 경우, 그 콘텐츠를 회전 또는 신축시킴으로써, 그 콘텐츠가 윈도우 내에서 스크롤되게 되는 경우가 있다. 그러한 윈도우를 표시할 수 있는 애플리케이션으로서는, 예를 들어 일러스트를 묘화시키는 애플리케이션이나 지도를 표시시키는 애플리케이션 등이 있다.
그러한 윈도우의 경우, 정보 처리 시스템(100)은, 회전이나 신축 후의 윈도우에 대하여, 콘텐츠가 스크롤되는 윈도우의 처리로 이행해도 된다.
도 201은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다. 도 201의 (1)은, 윈도우 내에 스크롤되지 않는 콘텐츠가 표시되어 있는 경우의 조작예이며, 유저에 의해 콘텐츠의 확대 조작이 행하여지는 모습을 나타낸 것이다. 윈도우 내에 스크롤되지 않는 콘텐츠가 표시되어 있는 경우에, 유저에 의해 콘텐츠의 확대 조작이 행하여지면, 도 201의 (2)에 도시한 바와 같이, 스크롤의 마진이 발생한다. 따라서 정보 처리 시스템(100)은, 윈도우 내에 스크롤되지 않는 콘텐츠가 표시되어 있는 경우에, 유저에 의해 콘텐츠의 확대 조작이 행하여지면, 그 윈도우는, 스크롤되는 콘텐츠가 표시되어 있는 것으로 해서 표시 제어를 행한다.
윈도우 내에 스크롤되지 않는 콘텐츠가 표시되어 있는 경우에, 유저에 의해 콘텐츠의 회전 조작이 행하여지면, 도 201의 (3)에 도시한 바와 같이, 스크롤의 마진이 발생한다. 따라서, 정보 처리 시스템(100)은, 윈도우 내에 스크롤되지 않는 콘텐츠가 표시되어 있는 경우에, 유저에 의해 콘텐츠의 회전 조작이 행하여지면, 그 윈도우는 스크롤되는 콘텐츠가 표시되어 있는 것으로 해서 표시 제어를 행한다.
윈도우의 회전 조작의 변형예를 설명한다. 도 202는 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다. 도 202의 (1)은, 윈도우의 소정의 위치를 유저가 터치하여, 그대로 이동시키는 조작을 행한 경우의, 정보 처리 시스템(100)에 의한 윈도우의 표시 제어 예이다. 이 경우, 정보 처리 시스템(100)은, 윈도우에 대한 터치 위치는 일정해서, 유저가 윈도우를 잡아당기는 방향과, 윈도우의 중심으로부터 유저의 터치 위치의 방향과의 외적이 0으로 될 때까지 윈도우를 회전시키도록 윈도우를 이동시키는 표시 제어를 행해도 된다.
정보 처리 시스템(100)이 이러한 표시 제어를 행할 때, 유저가 윈도우를 180도 회전시키는 경우를 설명한다. 도 202의 (2)에 도시한 바와 같이, 먼저 유저는 윈도우의 우측(또는 좌측)을 우측 하방(또는 좌측 하방향)으로 잡아당겨 소정량 회전시키고, 회전 후의 윈도우의 상측을 우측 상방(또는 좌측 상방향)으로 잡아당겨 소정량 회전시키고, 다시 윈도우의 우측(또는 좌측)을 우측 하방(또는 좌측 하방향)으로 잡아당겨 소정량 회전시킴으로써, 윈도우를 180도 회전시킬 수 있다.
다음으로 스크롤되는 콘텐츠가 표시되어 있는 윈도우에 대한 유저 조작에 따른 표시 제어 예를 나타낸다. 도 203은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다. 도 203의 (1)은 윈도우(3300)에 스크롤되는 콘텐츠가 표시되어 있는 상태가 도시되어 있다.
이 상태에서, 유저가 윈도우의 내측에 대하여 조작을 행하면, 정보 처리 시스템(100)은, 도 203의 (2)에 도시한 바와 같이, 그 조작을 윈도우에 표시되어 있는 콘텐츠에 대하여 작용시킨다. 예를 들어 유저가 드래그 조작을 행하면, 정보 처리 시스템(100)은, 콘텐츠가 윈도우(3300)의 내측에서 스크롤되는 표시 제어를 행하고, 유저가 핀치 조작을 행하면, 정보 처리 시스템(100)은, 콘텐츠가 윈도우(3300)의 내측에서 확장 수축하는 표시 제어를 행하고, 유저가 회전 조작을 행하면, 정보 처리 시스템(100)은, 콘텐츠가 윈도우(3300)의 내측에서 회전하는 표시 제어를 행한다.
한편, 유저가 윈도우의 테두리에 대하여 조작을 행하면, 정보 처리 시스템(100)은, 도 203의 (3)에 도시한 바와 같이, 윈도우(3300)를 조작시키는 윈도우 핸들을 윈도우(3300)의 주위에 표시시킨다. 그리고, 윈도우 핸들에 대한 유저의 이동 조작을 검출하면, 정보 처리 시스템(100)은, 유저의 이동 조작에 따라서 윈도우(3300)를 이동시키는 표시 제어를 행한다.
도 204는 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이며, 윈도우 내에 스크롤되는 콘텐츠가 표시되어 있는 경우의 조작예를 도시한 도면이다. 도 204의 (1)은, 윈도우에 스크롤되는 콘텐츠가 표시되어 있는 상태에서, 유저가 콘텐츠에 대하여 회전 조작을 실행한 경우의, 정보 처리 시스템(100)에 의한 표시 제어 예이다. 즉, 유저가 한손으로 회전 조작을 실행한 경우, 정보 처리 시스템(100)은, 유저의 회전 조작에 따라서 윈도우의 내부의 콘텐츠를 회전시키는 표시 제어를 행한다.
도 204의 (2)는, 윈도우에 스크롤되는 콘텐츠가 표시되어 있는 상태에서, 유저가 윈도우에 대하여 회전 조작을 실행한 경우의, 정보 처리 시스템(100)에 의한 표시 제어 예이다. 즉, 유저가 양손으로 회전 조작을 실행한 경우, 정보 처리 시스템(100)은, 유저의 회전 조작에 따라서 윈도우 전체를 회전시키는 표시 제어를 행한다.
도 204의 (3)은, 윈도우에 스크롤되는 콘텐츠가 표시되어 있는 상태에서, 유저가 콘텐츠에 대하여 신축 조작을 실행한 경우의, 정보 처리 시스템(100)에 의한 표시 제어 예이다. 즉, 유저가 한손으로 신축 조작을 실행한 경우, 정보 처리 시스템(100)은, 유저의 신축 조작에 따라서 윈도우의 내부 콘텐츠를 확장 수축시키는 표시 제어를 행한다.
도 204의 (4)는, 윈도우에 스크롤되는 콘텐츠가 표시되어 있는 상태에서, 유저가 윈도우에 대하여 신축 조작을 실행한 경우의, 정보 처리 시스템(100)에 의한 표시 제어 예이다. 즉, 유저가 양손으로 신축 조작을 실행한 경우, 정보 처리 시스템(100)은, 유저의 신축 조작에 따라서 윈도우 전체를 확장 수축시키는 표시 제어를 행한다.
다음으로 유저 조작에 따라서 윈도우가 회전하는 표시 제어 예를 나타낸다. 도 205는, 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다. 유저가 윈도우를 터치하여, 그 윈도우를 잡아당기는 이동 조작을 행하면, 정보 처리 시스템(100)은, 유저에 의해 잡아당겨지고 있는 방향으로 회전시킨 후에, 윈도우를 이동시키는 표시 제어를 행해도 된다. 윈도우의 회전 방향은, 예를 들어 손가락의 입사 방향이어도 되고, 윈도우의 이동 방향이어도 된다.
정보 처리 시스템(100)은, 윈도우의 주위에 외측 프레임을 설치하고, 그 외측 프레임에 대한 유저의 이동 조작에 따라서 윈도우를 회전시키면서 이동시키는 표시 제어를 행해도 된다. 도 206은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다. 유저가 윈도우의 외측 프레임을 터치하여, 그 윈도우를 잡아당기는 이동 조작을 행하면, 정보 처리 시스템(100)은, 유저에 의해 잡아당겨지고 있는 방향으로 회전시킨 후에, 윈도우를 이동시키는 표시 제어를 행해도 된다.
정보 처리 시스템(100)은, 유저가 특수한 제스처에 의해 윈도우를 회전시키면서 이동시키는 표시 제어를 행해도 된다. 예를 들어, 정보 처리 시스템(100)은, 콘텐츠에 대한 탭 조작 이외의 조작은 윈도우에 대한 조작인 것으로 해서, 윈도우에 대한 표시 제어를 행해도 된다.
정보 처리 시스템(100)은, 콘텐츠가 스크롤되는 윈도우에 대하여, 상술한 바와 같이 한손으로의 조작은 콘텐츠에 대한 조작으로서, 양손으로의 조작은 윈도우에 대한 조작으로서 윈도우에 대한 표시 제어를 행해도 되고, 조작 시에 소정 시간만큼 윈도우의 주위에 외측 프레임을 표시시키고, 그 외측 프레임에 대한 조작은 윈도우에 대한 조작으로서 윈도우에 대한 표시 제어를 행해도 된다.
이어서, 화면 밖에 윈도우가 존재하는 경우의 처리 예에 대해서 설명한다. 도 207은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다. 유저가, 예를 들어 도 207의 (1)과 같이, 윈도우(3300)에 대하여 이동 조작을 행하고, 그 윈도우(3300)를 화면(표시 영역)의 외측으로 이동시키는 이동 조작을 행하면, 정보 처리 시스템(100)은, 도 207의 (2)와 같이, 화면(표시 영역)의 밖으로 나온 양에 따른 반력으로 화면(표시 영역)의 내측으로 되돌아 오는 표시 제어를 행해도 된다.
도 208은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다. 상술한 반력보다도 강한 기세로, 유저가 윈도우(3300)를 화면(표시 영역)의 외측으로 이동시키는 이동 조작을 행하여, 윈도우(3300)가 화면(표시 영역)의 외측으로 소정량 이상 나온 후에 유저가 손가락을 윈도우(3300)로부터 떼면, 정보 처리 시스템(100)은, 도 208과 같이, 윈도우(3300)를 닫거나, 윈도우(3300)를 최소화시키거나 하는 표시 제어를 행해도 된다.
또한, 상술한 반력보다도 강한 기세로, 유저가 윈도우(3300)를 누르고 있는 손가락을 화면(표시 영역)의 소정의 영역으로 이동시키는 이동 조작을 행한 후에 유저가 손가락을 윈도우(3300)로부터 떼면, 정보 처리 시스템(100)은, 도 208과 같이, 윈도우(3300)를 닫거나, 윈도우(3300)를 최소화시키거나 하는 표시 제어를 행해도 된다.
도 209는 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다. 정보 처리 시스템(100)은, 상술한 바와 같은 유저 조작에 따라서 최소화시킨 윈도우(3300)는, 그 윈도우(3300)를 화면의 내측으로 이동시키는 유저 조작에 따라서 원래의 크기로 되돌리는 표시 제어를 행해도 된다.
정보 처리 시스템(100)은, 윈도우의 표시 제어 시에 관성의 법칙을 이용한 표시 제어를 행해도 된다. 도 210은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다. 유저가, 윈도우(3300)에 대하여 손가락으로 힘있게 날려버리는 듯한 조작을 행하면, 정보 처리 시스템(100)은, 그 유저 조작을 검출해서 윈도우(3300)를 이동시키는 표시 제어를 행해도 된다. 그리고, 윈도우(3300)가 유저에 의해 튕겨져 화면의 밖으로 나온 경우, 나온 양이 소정 값 이하인 경우에는, 반력으로 화면 내로 복귀되는 표시 제어를, 나온 양이 소정 값을 초과한 경우에는 윈도우를 최소화 또는 소거하는 표시 제어를 행해도 된다.
도 211은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다. 유저가, 윈도우(3300)에 대하여 손가락으로 힘있게 화면의 밖으로 날려버리는 조작을 행하면, 정보 처리 시스템(100)은, 유저 조작에 따라, 윈도우(3300)가 화면의 변을 따르도록 회전하는 표시 제어를 행해도 된다
계속해서 윈도우끼리 간섭하는 경우의 표시 제어 예를 나타낸다. 도 212는 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이며, 복수의 윈도우가 간섭하는(겹치는) 경우의 예를 나타낸 것이다.
2개의 윈도우가 겹쳐 있는 영역이 소정량 이하, 또는 영역의 비율이 소정량인 경우에는, 정보 처리 시스템(100)은, 도 212의 (1)에 도시한 바와 같이, 특별한 제어를 행하지 않고 간단히 윈도우끼리를 겹치게 하는 표시 제어를 행해도 된다. 한편, 2개의 윈도우가 겹쳐 있는 영역이, 도 212의 (2)에 도시한 바와 같이 소정량을 초과한 경우, 또는 영역의 비율이 소정량을 초과한 경우에는, 정보 처리 시스템(100)은 특별한 표시 제어를 행해도 된다.
정보 처리 시스템(100)은, 예를 들어 도 212의 (3) 및 (4)에 도시한 바와 같이, 각 윈도우의 중심끼리 척력이 작용하고, 그 척력에 기초하여 윈도우가 자동으로 애니메이션 이동하는 듯한 표시 제어를 행해도 된다.
도 213은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이며, 복수의 윈도우가 간섭하는(겹치는) 경우의 예를 나타낸 것이다. 유저가 윈도우를 이동시켜서 별도의 윈도우에 겹치게 한 경우, 정보 처리 시스템(100)은, 도 213의 (1)에 도시한 바와 같이, 실시간으로 그 별도의 윈도우가 달아나듯이 애니메이션 이동하는 표시 제어를 행해도 되고, 도 213의 (2) 및 (3)에 도시한 바와 같이, 유저가 손가락을 뗀 시점에서, 그 별도의 윈도우가 달아나듯이 애니메이션 이동하는 표시 제어를 행해도 된다.
도 214는 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이며, 복수의 윈도우가 간섭하는(겹치는) 경우의 예를 나타낸 것이다. 유저가 윈도우를 이동시켜서 별도의 윈도우에 겹치게 한 경우, 정보 처리 시스템(100)은, 도 214에 도시하는 바와 같이 탭을 표시시켜, 탭에 대한 조작에 따라서 전방면에 표시시키는 윈도우를 전환할 수 있는 표시 제어를 행해도 된다.
유저가 윈도우를 이동시켜 별도의 윈도우에 겹치게 한 경우에 실시간으로 그 별도의 윈도우가 달아나듯이 애니메이션 이동하는 표시 제어를 행하는 경우, 그 별도의 윈도우가 화면(표시 영역)의 단부로 이동되면, 정보 처리 시스템(100)은, 그 별도의 윈도우의 크기를 작게 하는 표시 제어를 행해도 된다.
도 215는, 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이며, 복수의 윈도우가 간섭하는(겹치는) 경우의 예를 나타낸 것이다. 유저가 이동 조작하고 있는 윈도우로부터 달아나듯이 이동하는 윈도우가 화면(표시 영역)의 단부로 이동되면, 정보 처리 시스템(100)은, 도 215에 도시한 바와 같이, 그 별도의 윈도우의 크기를 작게 하는 표시 제어를 행하고, 유저가 이동 조작하고 있는 윈도우에 더 내몰리면, 그 별도의 윈도우를 최소화하거나, 소거하거나 하는 표시 제어를 행해도 된다.
또한 이렇게 유저가 이동 조작하고 있는 윈도우로부터 달아나듯이 이동하는 다른 윈도우가 화면(표시 영역)의 단부로 이동된 경우, 정보 처리 시스템(100)은, 유저가 손가락을 뗀 시점에서 당해 다른 윈도우를 최소화하거나, 소거하거나 하는 표시 제어를 행해도 된다. 또한 이렇게 이동하는 다른 윈도우가 화면(표시 영역)의 단부로 이동되는 경우, 정보 처리 시스템(100)은, 당해 다른 윈도우 회전시키는 표시 제어를 행해도 된다.
도 216은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다. 유저가 윈도우를 조작하는 경우, 정보 처리 시스템(100)은, 도 216에 도시한 바와 같이, 화면(표시 영역)의 각 변을 따르도록 자동으로 회전하는 표시 제어를 행해도 된다.
또한, 유저의 위치를 정보 처리 시스템(100)에서 검출할 수 있는 경우, 정보 처리 시스템(100)은, 그 유저 위치에 따라서 윈도우의 움직임을 제어하도록 해도 된다. 도 217은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다. 유저가 화면(표시 영역)에 접근한 경우, 정보 처리 시스템(100)은, 도 217에 도시한 바와 같이, 그 유저의 위치를 검출하고, 유저가 보았을 때 정면이 되도록 자동으로 회전하는 표시 제어를 행해도 된다. 또한, 이렇게 표시 제어를 행하는 경우, 2명째 이후의 유저가 화면(표시 영역)에 접근해도, 정보 처리 시스템(100)은, 그 새로운 유저쪽으로는 향하지 않는 표시 제어를 행해도 된다.
도 218은 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다. 유저가 화면(표시 영역)에 접근한 경우, 정보 처리 시스템(100)은, 도 218에 도시한 바와 같이, 그 유저의 위치를 검출하여, 유저가 보았을 때 정면이 되도록 자동으로 회전한 뒤에, 그 유저에게 가까워지는 표시 제어를 행해도 된다.
이때 정보 처리 시스템(100)은, 화면(표시 영역)에 근접한 유저에게 관련지어져 있는 윈도우만을, 유저가 보았을 때 정면이 되도록 자동으로 회전한 뒤에, 그 유저에게 가까워지는 표시 제어를 행해도 된다. 정보 처리 시스템(100)은, 윈도우와 유저가 관련지어져 있는지 여부를, 예를 들어 원래 유저와 윈도우가 관련지어져 있는 설정으로 되어 있는지 여부로 판단해도 되고, 마지막으로 그 윈도우를 만진 유저인지 여부를 판단해도 된다.
또한, 유저의 위치를 정보 처리 시스템(100)에서 검출할 수 있는 경우, 정보 처리 시스템(100)은, 그 유저 위치에 따라서 윈도우 중에 표시되는 콘텐츠의 입도를 제어하도록 해도 된다. 도 219는, 유저에 의한 윈도우에 대한 조작예를 도시하는 설명도이다. 유저가 화면(표시 영역)에 접근한 경우, 정보 처리 시스템(100)은, 도 219에 도시한 바와 같이, 그 유저의 위치를 검출하고, 그 유저 위치에 따라서 윈도우 중에 표시되는 콘텐츠의 입도를 제어하도록 해도 된다.
정보 처리 시스템(100)은, 윈도우 중에 표시되는 콘텐츠의 입도로서, 예를 들어 화상 사이즈, 문자의 폰트 사이크 등을 제어해도 된다. 즉, 정보 처리 시스템(100)은, 유저로부터 가까운 위치에 있는 윈도우에서는 화상 사이즈나 폰트 사이즈를 작게 하고, 유저로부터 먼 위치에 있는 윈도우에서는 화상 사이즈나 폰트 사이즈를 크게 하도록 해도 된다.
계속해서 윈도우가 투영면에 놓여 있는 실제의 물체에 간섭하는 경우의 표시 제어 예를 설명한다. 도 220은 윈도우가 투영면에 놓여 있는 실제의 물체에 간섭하는 경우의 표시 제어 예를 도시하는 설명도이다. 도 220의 (1)에 도시한 바와 같이, 윈도우(3300)가 투영면에 놓여 있는 실제의 물체(3310)에 간섭하는 경우, 정보 처리 시스템(100)은, 도 220의 (2)에 도시한 바와 같이, 윈도우(3300)의 위치가, 물체(3310)에 간섭하지 않는 위치로 자동으로 이동하는 표시 제어를 행해도 된다.
윈도우(3300)의 위치가, 물체(3310)에 간섭하지 않는 위치로 자동으로 이동하는 표시 제어를 행하는 경우, 정보 처리 시스템(100)은, 도 220의 (3), (4)에 도시한 바와 같이, 윈도우(3300)의 중심 위치와 물체(3310)의 중심 위치와의 사이에서 척력이 작용하도록 윈도우(3300)의 위치가 이동하는 표시 제어를 행해도 된다.
[예 4]
여기에서는, 정보 처리 시스템(100)과 다른 기기와의 사이의 제휴, 및 그 제휴 시에 정보 처리 시스템(100)이 출력하는 GUI의 예를 설명한다.
상술한 바와 같이, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)이, 예를 들어 도 1에 도시한 바와 같은, 테이블에 정보를 투영하고, 그 정보에 대하여 유저에게 조작시키는 형태를 채용하는 경우, 정보 처리 시스템(100)은, 테이블 상에 스마트폰 등의 휴대 단말기와의 제휴가 가능해진다. 예를 들어, 유저가 테이블 상에 스마트폰 등의 휴대 단말기를 두고, 그 휴대 단말기를 입력부(110)에 인식시킴으로써, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 그 휴대 단말기를 식별하고, 식별한 휴대 단말기와의 제휴를 가능하게 한다.
그러나, 복수의 유저가 완전히 동일한 휴대 단말기를 소유하고 있고, 그 동일한 휴대 단말기를 동시에, 또한 따로따로 테이블 위에 두고, 정보 처리 시스템(100)에 인식시키려고 하면, 정보 처리 시스템(100)은, 어느 휴대 단말기에 제휴하면 되는지 판단할 수 없게 된다.
또한, 물체 인식을 이용하지 않고 기기와의 제휴를 행하는 경우, 정보 처리 시스템(100)과, 제휴하는 기기와의 위치 관계의 정보를 이용할 수 없다. 따라서, 물체 인식을 이용하지 않고 기기와의 제휴를 행하는 경우, 어떤 장소로부터 정보 처리 시스템(100)과 제휴를 개시했다고 해도, 그 기기는 동일하게 취급되게 된다. 예를 들어, 전방위로부터 복수의 유저가 동시에 정보를 이용할 수 있는 경우, 공유되는 정보를 모두 동일한 방향이나 동일 위치에서 표시하면, 정보의 방향과, 유저의 방향이 정반대가 되는 경우가 발생하여, 유저는 정보의 취급이 곤란해져버린다.
도 221은 정보의 표시예를 도시하는 설명도이며, 전방위로부터 복수의 유저가 동시에 정보를 이용할 수 있는 경우, 공유되는 정보를 모두 동일한 방향이나 동일 위치에서 표시한 경우의 예를 나타내는 설명도이다. 공유되는 정보 1, 2, 3을 모두 동일한 방향에서 출력한 경우, 도 221에 도시한 바와 같이, 정보의 방향과, 유저의 방향이 정반대가 되는 경우가 발생할 수 있다.
따라서 상술한 바와 같이, 복수의 유저가 완전히 동일한 휴대 단말기를 소유하고 있고, 동일한 휴대 단말기가 동시에, 또한 따로따로 테이블 위에 놓인 경우에도, 제휴하는 휴대 단말기를 용이하게 특정 가능한 정보 처리 시스템(100)에 대해서 설명하였다. 또한, 전방위로부터 조작하는 유저 각각이 사용하기 쉬운 위치나 방향으로 공유하는 콘텐츠를 표시 가능한 정보 처리 시스템(100)에 대해서 설명하였다.
본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 예를 들어 도 32, 도 33에 도시된 바와 같은 동작을 실행함으로써, 테이블 상에 놓인 스마트폰 등의 휴대 단말기와의 제휴가 가능해진다. 예를 들어, 유저가 테이블 상에 스마트폰 등의 휴대 단말기를 두고, 그 휴대 단말기를 입력부(110)에 인식시킴으로써, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 그 휴대 단말기를 식별하고, 식별한 휴대 단말기와의 제휴를 가능하게 한다.
또한 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)은, 예를 들어 도 32, 도 33에 도시된 바와 같은 동작을 실행함으로써, 화면에 접속 마크를 표시하고, 유저에게 그 접속 마크로부터 콘텐츠를 취출시킴으로써, 전방위로부터 조작하는 유저 각각이 상용하기 쉬운 위치나 방향으로 공유하는 콘텐츠를 표시 가능하게 한다.
이하에서는, 정보 처리 시스템(100)과, 스마트폰 등의 휴대 단말기와의 제휴 시에 정보 처리 시스템(100)이 출력하는 GUI의 예를 설명한다.
도 222는 정보 처리 시스템(100)이 출력하는 GUI(3400)의 예를 나타내는 설명도이다. 예를 들어 도 32의 스텝 S1111의 처리에서 인식 모드로 이행하면, 정보 처리 시스템(100)은, 도 222의 (1)에 도시한 바와 같이, 화면(표시 영역)의 네 코너로부터 파문이 나타나는 GUI(3400)를 출력해도 된다. 이 도 222의 (1)에 나타내는 GUI(3400)는, 화면(표시 영역)의 어디든 인식 대상 영역인 것을 나타내고 있다.
또한 인식 모드로 이행하면, 정보 처리 시스템(100)은, 도 222의 (2)에 도시한 바와 같이, 화면(표시 영역)의 일부분만 파문이 나타나는 GUI(3400)를 출력해도 된다. 이 도 222의 (2)에 나타내는 GUI(3400)는, 화면(표시 영역)의 파문이 나타난 영역이 인식 대상 영역인 것을 나타내고 있다.
또한 인식 모드로 이행하면, 정보 처리 시스템(100)은, 도 222의 (3)에 도시한 바와 같이, 단말기를 든 손이, 그 단말기를 두는 영상을 출력하거나, 모식화된 일러스트 애니메이션을 재생하거나 하는 GUI(3400)를 출력해도 된다. 이 도 222의 (3)에 나타내는 GUI(3400)는, 유저에 대하여 어떤 동작을 행하면 기기의 인식이 가능해지는가를 제시하기 위한 GUI이다.
도 223은 정보 처리 시스템(100)이 출력하는 GUI(3400)의 예를 나타내는 설명도이다. 예를 들어 도 32의 스텝 S1111의 처리에서 인식 모드로 이행하면, 정보 처리 시스템(100)은, 도 222에서 나타낸 GUI 외에, 도 223에 도시한 바와 같이, 소정의 문언을 덧붙여서 출력해도 된다. 그리고, 정보 처리 시스템(100)은, 물체의 인식에 성공하면, 물체를 인식할 수 있었음을 나타내는 GUI(예를 들어, 도 34에서 나타낸 바와 같은, 인식한 물체의 주위에 파문을 표시시키는 GUI)를 출력해도 된다.
정보 처리 시스템(100)은, 물체를 인식한 후에 그 물체가 멀어지면, 그 물체와의 접속을 나타내기 위한 GUI를 표시한다. 도 36에는, 정보 처리 시스템(100)이 접속 마크를 표시면에 표시하고 있는 상태의 예를 나타냈지만, 그 밖의 표시예를 나타낸다. 도 224는 정보 처리 시스템(100)이 출력하는 GUI(3400)의 예를 나타내는 설명도이다.
도 224의 (1)은, 인식한 물체가 멀어진 후에, 그 물체가 놓여 있던 장소와 동일한 장소에, 인식을 위한 마커와 같은 화상을 표시하는 GUI(3400)의 예이다. 도 224의 (2)는, 인식한 물체가 멀어진 후에, 그 물체가 놓여 있던 장소와 동일한 장소에, 인식을 위한 마커가 아이콘화된 GUI(3400)의 예이다. 도 224의 (2)는, 인식한 물체가 멀어진 후에, 그 물체가 놓여 있던 장소와 동일한 장소에, 인식을 위한 마커와는 상이한 화상이 표시된 GUI(3400)의 예이다.
정보 처리 시스템(100)은, 물체를 인식한 후에 그 물체가 멀어지면, 그 물체와 제휴한 처리를 유저에게 실행시키기 위한 GUI를 표시한다. 도 37에는, 정보 처리 시스템(100)이 제휴한 기기가 보존하고 있는 콘텐츠를 표시하는 GUI의 예를 나타냈지만, 그 밖의 표시예를 나타낸다. 도 225, 도 226은 다른 기기와 제휴한 후에 정보 처리 시스템(100)이 출력하는 GUI(3400)의 예를 나타내는 설명도이다.
도 225의 (1)은, 인식을 위한 마커와 동일한 화상의 주위에 아이콘을 표시시키고 있는 GUI(3400)의 예이다. 도 225의 (2)는, 인식을 위한 마커와 동일한 화상의 주위에, 정보 처리 시스템(100)이 제휴한 기기가 보존되어 있는 콘텐츠의 섬네일을 표시시키고 있는 GUI(3400)의 예이다. 도 225의 (3)은 인식을 위한 마커와 동일한 화상에, 임의의 윈도우를 표시시키고 있는 GUI(3400)의 예이다.
도 226의 (1)은, 인식을 위한 마커와 동일한 화상에 인접하여, 제휴한 기기에 있어서 공유하는 콘텐츠를 선택하도록 유저에게 촉구하는 메시지를 표시하는 GUI(3400)의 예이다. 도 226의 (2)는, 아이콘화된 인식을 위한 마커와, 제휴한 기기가 보존하고 있는 콘텐츠의 섬네일을 조합해서 표시시키고 있는 GUI(3400)의 예이다.
물론 정보 처리 시스템(100)은, 도 225, 226에 나타낸 GUI(3400) 이외에도, 다양한 GUI를 출력 가능함은 물론이다.
계속해서, 제휴한 기기가 보존하고 있는 콘텐츠의 조작성이나 시인성을 향상시키기 위한 GUI의 예를 나타낸다. 도 227은, 다른 기기와 제휴한 후에 정보 처리 시스템(100)이 출력하는 GUI(3400)의 예를 나타내는 설명도이다.
예를 들어, 이미 테이블 상에 책, 잡지, 식기 기타 물체가 놓여 있는 경우, 정보 처리 시스템(100)은, 그 놓여 있는 물체를 인식하고, 그 물체를 피해서 아이콘이나 섬네일 등을 출력해도 된다. 도 227의 (1)은, 테이블 상에 놓여 있는 물체를 피하여, 제휴한 기기가 유지하고 있는 아이콘이나 섬네일 등을 출력하는 GUI(3400)의 예이다.
정보 처리 시스템(100)은, 다른 기기와 제휴한 후에 그 기기가 갖고 있는 콘텐츠를 조작하기 위한 GUI를 출력하는 경우, 기기가 놓인 장소에 따라서 제휴한 기기가 유지하고 있는 아이콘이나 섬네일 등을 출력하는 GUI를 변화시켜도 된다. 도 227의 (2)는, 기기가 놓인 장소에 따라서 제휴한 기기가 유지하고 있는 아이콘이나 섬네일 등을 출력하는 GUI(3400)를 변화시킨 예이다.
정보 처리 시스템(100)은, 예를 들어 통상은 인식을 위한 마커와 동일한 화상의 우측에, 콘텐츠를 표시하는 임의의 윈도우를 표시시키지만, 기기가 표시 영역의 우측 단부에 놓여진 경우에는, 인식을 위한 마커와 동일한 화상의 좌측에, 콘텐츠를 표시하는 임의의 윈도우를 표시시킨다. 정보 처리 시스템(100)은, 이렇게 기기가 놓인 장소에 따라서 GUI를 변화시킴으로써, 유저의 조작성을 향상시킬 수 있다.
계속해서, 물체 인식의 종료 타이밍에 관한 GUI의 예를 나타낸다. 도 228은, 다른 기기를 인식한 후에 정보 처리 시스템(100)이 출력하는 GUI(3400)의 예를 나타내는 설명도이다.
테이블 등의 위에 놓인 물체를 인식한 정보 처리 시스템(100)은, 인식 직후부터 윈도우와 같은 GUI를 출력해도 된다. 도 228의 (1)은, 테이블 등의 위에 놓인 물체를 인식한 정보 처리 시스템(100)이, 인식 직후부터 윈도우를 출력하는 GUI(3400)의 예이다. 정보 처리 시스템(100)은, 도 228의 (1)과 같이 인식 직후부터 윈도우를 출력하는 경우, 유저가 물체의 위치를 이동시키면, 그 이동에 추종해서 출력하는 윈도우의 위치를 변화시켜도 된다.
테이블 등의 위에 놓인 물체를 인식한 정보 처리 시스템(100)은, 그 물체가 테이블 상에 놓여 있는 동안에는 인식 처리를 계속해도 된다. 도 228의 (2)는, 테이블 등의 위에 놓인 물체를 인식한 정보 처리 시스템(100)이, 그 물체가 테이블 상에 놓여 있는 동안에, 인식 처리를 계속해서 하고 있는 경우의 GUI(3400)의 예이다. 정보 처리 시스템(100)은, 물체가 테이블 위에 놓여 있는 동안에는 인식 처리를 계속하고, 물체가 테이블로부터 멀어지면, 인식 처리를 정지하고, 인식한 물체에 따른 윈도우 등을 출력해도 된다.
기기로부터 취출해서 공유하는 콘텐츠 그 자체의 조작 시에는, 물체를 인식하는 처리는 불필요하므로, 물체를 인식하는 처리의 계산 비용의 저감을 위해서, 정보 처리 시스템(100)은, 물체가 테이블로부터 멀어지면, 인식 처리를 정지해도 된다.
테이블 등의 위에 놓인 물체를 인식한 정보 처리 시스템(100)은, 물체를 인식한 시점에서 인식 처리를 정지하고, 인식한 물체에 따른 윈도우 등을 출력해도 된다. 도 228의 (3)은, 테이블 등의 위에 놓인 물체를 인식한 정보 처리 시스템(100)이, 몸을 인식한 시점에서 인식 처리를 정지하고, 인식한 물체에 따른 윈도우 등을 출력하는 경우의 GUI(3400)의 예이다.
테이블 등의 위에 놓인 물체를 인식한 정보 처리 시스템(100)이, 몸을 인식한 시점에서 인식 처리를 정지함으로써, 물체를 인식하는 처리의 계산 비용을 크게 저감시키는 것이 가능해진다.
계속해서 제휴한 기기와의 접속을 해제하기 위한 GUI의 예를 나타낸다. 도 229는, 다른 기기를 인식한 후에, 제휴한 기기와의 접속을 해제하기 위해서 정보 처리 시스템(100)이 출력하는 GUI(3400)의 예를 나타내는 설명도이다.
도 229의 (1)은, 제휴한 기기와의 접속을 유저에게 해제시키기 위해서, 인식을 위한 마커와 동일한 화상(접속 마크)에 중첩해서, 또는 접속 마크의 주변에, 제휴한 기기와의 접속을 해제하기 위한 버튼을 표시한 GUI(3400)의 예이다. 유저는, 접속을 해제하기 위한 버튼에 접촉함으로써, 정보 처리 시스템(100)과 기기와의 접속을 정보 처리 시스템(100)에 해제시킬 수 있다.
도 229의 (2)는, 제휴한 기기와의 접속을 유저에게 해제시키기 위해서, 인식을 위한 마커와 동일한 화상(접속 마크)을 화면(표시 영역)의 밖으로 유저에게 이동시키는 GUI(3400)의 예이다. 유저는, 접속 마크를 화면 밖으로 이동시킴으로써, 정보 처리 시스템(100)과 기기와의 접속을 정보 처리 시스템(100)에 해제시킬 수 있다.
도 229의 (3)은, 제휴한 기기와의 접속을 유저에게 해제시키기 위해서, 제휴한 기기로부터 접속을 해제하는 경우의 GUI(3400)의 예이다. 유저는, 제휴한 기기로부터 접속을 해제하기 위한 소정의 조작을 실행함으로써, 정보 처리 시스템(100)과 기기와의 접속을 정보 처리 시스템(100)에 해제시킬 수 있다.
도 229에 나타낸 어느 GUI(3400)에 있어서든, 정보 처리 시스템(100)과 기기와의 접속이 해제되면, 정보 처리 시스템(100)은, 표시하고 있던 접속 마크를 소거한다. 정보 처리 시스템(100)은, 표시하고 있던 접속 마크를 소거함으로써, 정보 처리 시스템(100)과 기기와의 접속이 해제된 것을 유저에게 이해하기 쉽게 제시하는 것이 가능해진다.
물론, 정보 처리 시스템(100)과 휴대 단말기와의 제휴 시에 정보 처리 시스템(100)이 출력하는 GUI는, 상술해 온 것에 한정되는 것은 아니다.
[예 5]
본 예는, 상기 설명한 구체예 2에 관한 실시예이다. 보다 구체적으로는, 본 예에서는 특히 음성에 착안하여, 음성 입출력을 유저에게 최적화하기 위한 표시를 행한다. 이하에서는, 프로젝션형의 정보 처리 시스템(100a)을 상정해서 설명하는데, 도 1 내지 도 4를 참조하여 설명한 어느 타입에서도, 이하에 설명하는 예에 관한 UI를 실현 가능하다. 도 230 내지 도 265를 참조하여, 본 예에 대해서 설명한다.
(개요)
도 230 및 도 231은, 본 예에 관한 유저 인터페이스의 개요를 설명하기 위한 설명도이다. 도 230에 도시한 바와 같이, 테이블(140a)(표시면)에는, 복수의 애플리케이션 윈도우(4101)(표시 오브젝트)와, 마이크 아이콘(4102)이 표시되어 있다. 애플리케이션 윈도우(4101)는 애플리케이션의 윈도우이다. 마이크 아이콘(4102)은, 정보 처리 시스템(100)에 의해 음성 입력이 접수되어 있는 것을 나타내는 표시이다. 마이크 아이콘(4102) 그 자체, 또는 그 주위에는, 정보 처리 시스템(100)에 의해 접수된 음성 입력에 관한 정보가 반영된 표시가 이루어질 수 있다. 도 230에 나타낸 예에서는, 정보 처리 시스템(100)의 주위에, 음성을 발하는 디스플레이 장치(4103), 및 대화하는 사람들(4104)이 존재하고 있다. 이 때문에, 유저(4105)가 발한 「ABC」라는 음성은, 주위의 잡음에 묻혀버려, 정보 처리 시스템(100)에 인식되지 않는다. 따라서, 정보 처리 시스템(100)은, 마이크 아이콘(4102)으로부터 「알아들을 수 없습니다」라는 표시를 행하고 있다.
따라서, 도 231에 도시한 바와 같이, 본 예에 관한 정보 처리 시스템(100)은, 빔 포밍을 행해서 마이크에 지향성을 갖게 한다. 상세하게는, 정보 처리 시스템(100)은, 마이크 어레이에 입력된 음성에, 유저 방향의 소리를 강조해서 취출하는 음성 처리를 행함으로써, 음성 인식의 정밀도를 향상시킨다. 여기서, 마이크 아이콘(4102)의 바로 위 또는 그 부근에 마이크가 설치되어 있다고 하면, 부호 4106은, 마이크가 빔 포밍을 행해서 형성하는 지향성의 범위를 나타내고 있다. 즉, 부호 4106으로 나타낸 범위 내에서 유저(4105)가 발화한 경우, 정보 처리 시스템(100)은, 고정밀도로 음성 인식을 행하는 것이 가능하게 된다. 도 231에 나타낸 예에서는, 정보 처리 시스템(100)은, 부호 4106으로 나타낸 범위 내에서 유저(4105)가 발화한 「ABC」라는 음성을 인식하고, 마이크 아이콘(4102)에 「ABC」라는 표시를 행하고 있다. 부호 4106으로 나타낸 범위를, 이하에서는 빔 포밍 범위라고도 칭한다.
또한, 마이크 아이콘(4102)은, 마이크의 바로 아래 또는 그 부근에 표시되어도 되고, 화면 또는 테이블(140a)의 중앙, 그 부근, 또는 임의의 위치에 표시되어도 된다. 또한, 이하에서는 마이크 아이콘(4102)을 중심점으로 해서 빔 포밍 범위나 음량 등의 각종 표시를 행하는 예를 설명하지만, 본 예는 이러한 예에 한정되지 않는다. 예를 들어, 마이크 아이콘(4102) 이외의 표시가 중심점으로 되어도 되고, 중심점으로서의 의미를 갖는 오브젝트가 전혀 표시되어 있지 않아도 된다. 예를 들어, 단순히 테이블(140a)의 임의의 위치를 중심으로 해서 각종 표시가 이루어져도 되고, 마이크의 바로 아래 또는 그 부근의 위치를 중심으로 해서 각종 표시가 이루어져도 된다.
또한, 본 예에 관한 정보 처리 시스템(100)은, 이 빔 포밍 범위를 나타내는 정보를 표시한다. 이에 의해, 유저는, 음성 입력에 관한 빔 포밍이 행하여지고 있는 것을 알 수 있다. 예를 들어, 빔 포밍 범위에 유저가 위치하고 있는 경우, 유저는, 주위의 잡음에 묻히지 않도록 큰소리를 지르는 등의 필요가 없음을 알 수 있다. 이에 의해, 유저의 심리적 부하가 경감되고, 또한 실제로 큰소리를 지르지 않아도 되므로 육체적 부하가 경감된다. 또한, 빔 포밍 범위에 유저가 위치하고 있지 않은 경우, 유저는, 왜 자신의 발화가 음성 인식되지 않는지를 알 수 있으므로, 유저의 심리적 부하가 경감된다. 또한, 유저는, 빔 포밍 범위 내로 이동할 수 있다. 이 경우, 정보 처리 시스템(100)에 의한 음성 인식 정밀도가 향상된다.
또한, 본 절에서는 음성 입력에 대해서 상세하게 설명하는데, 음성 출력 등의 다른 임의의 출력에 대해서도, 마찬가지의 응용이 이루어져도 된다. 예를 들어, 정보 처리 시스템(100)은, 스피커가 빔 포밍을 행해서 음성 출력하는 범위를 나타내는 정보를 표시해도 된다. 이 경우, 유저는, 음성 출력에 관한 빔 포밍이 행하여지고 있는 것을 알 수 있어, 적절한 음량 조절이나, 빔 포밍 범위로 이동할 수 있다. 또한, 음성 입력 이외의 다른 임의의 입력에 대해서도, 마찬가지의 응용이 이루어져도 된다.
이상, 본 예에 관한 정보 처리 시스템(100)의 개요를 설명하였다. 계속해서, 본 예에 관한 정보 처리 시스템(100)에 특징적인 구성을 설명한다.
(구성예)
(1) 입력부(110)
본 예에 관한 입력부(110)는, 음성 입력부로서의 기능을 갖는다. 예를 들어, 입력부(110)의 음성 입력부로서의 기능은, 마이크(마이크로폰)에 의해 실현된다. 특히, 본 예에서는, 빔 포밍이 가능한 마이크로서, 예를 들어 복수의 마이크를 조합한 마이크 어레이로서 실현된다. 입력부(110)는, 마이크로폰에서 얻어진 음성 신호를 증폭 처리하는 마이크 증폭기 회로나 A/D 변환기, 음성 데이터에 대하여 노이즈 제거, 음원 분리 등의 처리를 행하는 신호 처리 회로를 갖고 있어도 된다. 입력부(110)는, 처리한 음성 데이터를 제어부(120)에 출력한다.
(2) 검출부(121)
본 예에 관한 검출부(121)는, 음성 입력부로서 기능하는 마이크의 지향성을 제어하는, 입력 제어부로서의 기능을 갖는다. 예를 들어, 검출부(121)는, 도 77 및 도 78을 참조하여 상기 설명한 바와 같이, 복수의 마이크를 조합한 마이크 어레이를 사용하여 지향성을 제어한다.
또한, 검출부(121)는, 음성 입력을 행하는 유저의 위치를 추정하는, 유저 위치 추정 기능을 갖는다. 검출부(121)는, 다양한 수단으로 유저의 위치를 추정할 수 있다. 이하에서는, 도 232 내지 도 237을 참조하여, 유저 위치 추정 기능의 일례를 설명한다.
도 232는, 본 예에 관한 유저 위치 추정 기능의 일례를 설명하기 위한 설명도이다. 도 232에 도시한 바와 같이, 입력부(110)는, 테이블(140a)보다도 넓은 촬상 영역(4107)을, 감시 대상으로서 촬상하고 있다. 테이블(140a)에는, 음성 입력 개시를 지시하기 위한 음성 입력 개시 오브젝트(4108)가 표시되어 있다. 먼저, 검출부(121)는, 촬상 영역(4107)의 촬상 화상에 기초하여, 음성 입력 개시 오브젝트(4108)를 터치한 유저(4105)를 특정한다. 그리고, 검출부(121)는, 특정한 유저의 위치(4109)를 추정한다.
도 233은, 본 예에 관한 유저 위치 추정 기능의 일례를 설명하기 위한 설명도이다. 도 233의 좌측 도면에 도시한 바와 같이, 입력부(110)는, 음성 입력 개시 오브젝트(4108)를 터치한 유저의 팔의, 팔꿈치로부터 손끝의 부분을 포함하는 영역을 촬상 영역(4107)으로 하고 있다. 먼저, 검출부(121)는, 음성 입력 개시 오브젝트(4108)에의 터치를 검출한 시점에서의 촬상 영역(4107)의 촬상 화상으로부터, 터치한 손가락 또는 팔의 방향(4110)을 검출한다. 그리고, 도 233의 우측 도면에 도시한 바와 같이, 검출부(121)는, 터치한 손가락 또는 팔의 방향(4110)의 연장선상이며, 소정 거리(4111) 이격된 위치로서, 유저 위치(4109)를 추정한다. 본 처리는, 예를 들어 촬상 영역(4107)이 테이블(140a) 상에 한정되는 경우에 사용될 수 있다.
도 234는, 본 예에 관한 유저 위치 추정 기능의 일례를 설명하기 위한 설명도이다. 도 234의 좌측 도면에 도시한 바와 같이, 입력부(110)는, 음성 입력 개시 오브젝트(4108)를 터치한 유저의 팔을 포함하는 영역이며, 테이블(140a) 상의 영역을 촬상 영역(4107)으로 하고 있다. 먼저, 검출부(121)는, 음성 입력 개시 오브젝트(4108)에의 터치를 검출한 시점에서의 촬상 영역(4107)의 촬상 화상으로부터, 터치한 팔의 형상을 검출한다. 그리고, 검출부(121)는, 검출한 팔의 형상을, 팔의 방향과 얼굴의 위치와의 관계를 나타내는 모델(4112)에 대조함으로써, 얼굴의 위치를 추정한다. 이와 같이 하여, 도 234의 우측 도면에 도시한 바와 같이, 검출부(121)는, 유저의 얼굴의 위치를 유저 위치(4109)로서 추정한다. 본 처리는, 예를 들어 촬상 영역(4107)이 테이블(140a) 상에 한정되는 경우에 사용될 수 있다.
도 235는, 본 예에 관한 유저 위치 추정 기능의 일례를 설명하기 위한 설명도이다. 도 235의 좌측 도면에 도시한 바와 같이, 검출부(121)는, 음성 입력 개시 오브젝트(4108)에의 터치를 검출하고, 마이크 아이콘(4102)으로부터 터치 점으로의 방향(4113)을 검출한다. 그리고, 도 235의 우측 도면에 도시한 바와 같이, 검출부(121)는, 마이크 아이콘(4102)으로부터 터치 점으로의 방향(4113)의 연장선상에 유저가 위치한다고 추정한다. 본 처리는, 예를 들어 촬상 영역(4107)이 없거나, 또는 촬상 영역(4107)에서 유저가 검출되지 않는 경우에 사용될 수 있다.
상기에서는, 검출부(121)는, 음성 입력 개시 오브젝트(4108)에의 터치를 계기로 해서 유저 위치를 추정했지만, 본 기능은 이러한 예에 한정되지 않는다. 이하에서는, 도 236 내지 도 237을 참조하여, 유저 위치 추정 기능의 다른 일례를 설명한다.
도 236은, 본 예에 관한 유저 위치 추정 기능의 일례를 설명하기 위한 설명도이다. 도 236에 도시한 바와 같이, 검출부(121)는, 음성 입력 개시를 지시하는 유저의 제스처를 검출한다. 제스처로서는, 예를 들어 원을 그리거나, 손가락을 펴거나 하는 등을 생각할 수 있다. 그리고, 검출부(121)는, 도 235를 참조하여 상기 설명한 기술과 마찬가지로, 마이크 아이콘(4102)으로부터 유저의 제스처가 검출된 위치로의 방향(4114)의 연장선상에 유저가 위치한다고 추정한다. 그 밖에도, 검출부(121)는, 유저의 제스처를 계기로 해서, 도 232 내지 도 234를 참조하여 상기 설명한 기술과 마찬가지로 해서 유저 위치를 추정해도 된다.
도 237은, 본 예에 관한 유저 위치 추정 기능의 일례를 설명하기 위한 설명도이다. 도 237에 도시한 바와 같이, 검출부(121)는, 음성 입력 개시를 지시하는 유저의 음성을 검출한다. 검출부(121)는, 예를 들어 미리 정해진 키워드를, 음성 입력 개시를 지시하는 음성으로서 검출할 수 있다. 그리고, 검출부(121)는, 도 235를 참조하여 상기 설명한 기술과 마찬가지로, 마이크 아이콘(4102)으로부터 유저의 음성이 검출된 방향(4115)의 연장선상에 유저가 위치한다고 추정한다. 그 밖에도, 검출부(121)는, 유저 음성의 검출을 계기로 해서, 도 232 내지 도 234를 참조하여 상기 설명한 기술과 마찬가지로 해서 유저 위치를 추정해도 된다.
그 밖에도, 예를 들어 검출부(121)는, 유저가 음성 입력 개시 오브젝트(4108)를 손아래로 끌어당긴 것을 계기로 해서 유저 위치를 추정해도 된다. 이 경우, 검출부(121)는, 가까이 끌어당겨진 위치의 부근, 또는 마이크 아이콘(4102)으로부터 음성 입력 개시 오브젝트(4108)로의 방향의 연장선상에 유저가 위치한다고 추정할 수 있다.
이상, 유저 위치 추정 기능의 일례를 설명하였다.
검출부(121)는, 추정한 유저 위치를 빔 포밍 범위에 포함하도록, 음성 입력부를 제어해서 지향성을 형성한다. 검출부(121)는, 복수의 빔 포밍 범위를 형성하도록 음성 입력부를 제어해도 된다. 예를 들어, 복수의 유저마다 빔 포밍 범위가 형성되는 경우, 각 유저로부터의 음성 입력에 관한 음성 인식 정밀도를 향상시킬 수 있다.
검출부(121)는, 유저의 위치 추정 결과의 갱신에 따라, 형성하는 지향성의 범위를 갱신해도 된다. 예를 들어, 검출부(121)는, 유저가 이동한 경우에 빔 포밍 범위를 유저에게 추종시킨다. 그 밖에도, 검출부(121)는, 유저의 위치 추정 결과가 안정되는 경우, 유저가 동일한 위치에 머물고 있고 또한 추정 결과가 올바르다고 예측되므로, 빔 포밍 범위를 좁혀도 된다. 이러한 경우, 음성 인식 정밀도가 향상될 수 있다. 또한, 검출부(121)는, 유저 입력에 기초하여 음성 입력부의 지향성의 범위를 변경해도 된다. 예를 들어, 검출부(121)는, 유저 입력에 따라, 음성 입력부가 형성하는 지향성의 범위를 상하 좌우로 이동시키거나, 확장하거나, 좁히거나 한다.
(3) 출력 제어부(122)
본 예에 관한 출력 제어부(122)는, 음성 입력부가 빔 포밍을 행해서 형성하는 지향성의 범위(빔 포밍 범위)를 나타내는 표시를 제어하는 표시 제어부로서의 기능을 갖는다. 구체적으로는, 출력 제어부(122)는, 음성 입력부의 빔 포밍 범위를 나타내는 정보를 표시하도록, 출력부(130)를 제어한다. 이 표시는, 검출부(121)에 의해 형성되는 지향성의 범위와 동일해도 되고, 상이해도 된다. 예를 들어, 출력 제어부(122)는, 검출부(121)에 의해 형성되는 지향성의 범위를, 과장, 간략화, 또는 신축하거나 해서 변형된 범위를 나타내는 표시를 행해도 된다. 또한, 출력 제어부(122)는, 음성 출력부 또는 다른 임의의 입력부 또는 출력부의 빔 포밍 범위를 나타내는 표시를 제어해도 된다. 또한, 출력 제어부(122)는, 표시 이외에도, 빔 포밍 범위를 나타내는 다른 임의의 출력을 제어해도 된다. 이하, 도 238을 참조하여, 빔 포밍 범위를 나타내는 표시의 구체예에 대해서 설명한다.
도 238은, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 238에 도시한 바와 같이, 출력 제어부(122)는, 빔 포밍 범위를 나타내는 표시(4120)를 표시한다. 이 표시에 의해, 유저는, 음성 입력에 관한 빔 포밍이 행하여지고 있는 것을 알 수 있고, 상술한 바와 같이 유저의 심리적 부하 및 육체적 부하가 경감된다. 또한, 빔 포밍 범위를 나타내는 표시(4120)는, 마이크 아이콘(4102)을 중심으로 하는 부채형이다. 유저측에서 이 부채형을 보면, 마이크 아이콘(4102)을 향해서 빔 포밍 범위가 수렴되어 있다. 이 때문에, 자연히 유저는 마이크 아이콘(4102)을 향해서 발화하도록 재촉되고, 마이크가 마이크 아이콘(4102)의 바로 위 또는 그 부근에 설치되는 경우에는, 음성 인식의 정밀도가 향상된다. 여기서, 빔 포밍 범위를 나타내는 표시(4120)는, 마이크 아이콘(4102)을 중심으로 한 360도 방향의 임의의 범위에 표시된다. 이에 의해, 유저가 테이블(140a)의 주위의 어느 위치에 있다고 해도, 마이크 아이콘(4102)을 향해서 발화하게 된다. 마이크가 마이크 아이콘(4102)의 바로 위 또는 그 부근에 설치되는 경우, 유저는, 테이블(140a)의 주위의 어느 위치에 있다고 해도 마이크를 향해서 발화하게 되어, 음성 인식의 정밀도가 향상된다.
출력 제어부(122)는, 검출부(121)에 의해 추정된 유저의 위치를, 빔 포밍 범위를 나타내는 표시의 위치 또는 형상 중 적어도 어느 하나에 반영시켜도 된다. 예를 들어, 출력 제어부(122)는, 추정된 유저 위치의 부근에 빔 포밍 범위를 나타내는 표시를 행해도 되고, 추정된 유저 위치를 향해서 넓어지거나 또는 좁아지는 형상으로 빔 포밍 범위를 나타내는 표시를 행해도 된다. 이하, 도 239 내지 도 240을 참조하여, 본 예에 관한 유저 위치에 따른 유저 인터페이스의 일례를 설명한다.
도 239는, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 239의 좌측 도면에 도시한 바와 같이, 유저가 음성 입력 개시 오브젝트(4108)를 터치하면, 검출부(121)는, 상술한 어느 하나의 처리를 사용해서 유저 위치(4109)를 검출한다. 그리고, 도 239의 우측 도면에 도시한 바와 같이, 출력 제어부(122)는, 마이크 아이콘(4102)과 추정한 유저 위치(4109)를 연결하는 선의 좌우로 넓어지는, 부채 형상의 빔 포밍 범위를 나타내는 표시(4120)를 표시한다. 이러한, 유저 위치가 반영된 빔 포밍 범위를 나타내는 표시에 의해, 유저는, 자신을 대상으로 한 빔 포밍이 행하여지고 있는 것을 알 수 있다. 예를 들어, 빔 포밍 범위가 자신의 위치에 적합한 경우, 상술한 바와 같이 유저의 심리적 부하 및 육체적 부하가 경감된다.
도 240은, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 부호 4105A는, 음성 입력이 개시된 당초의 유저 위치를 나타내고, 부호 4105B는, 이동 후의 유저 위치를 나타내고 있다. 도 240에 도시한 바와 같이, 음성 입력이 개시된 당초의 위치(4105A)가, 빔 포밍 범위를 나타내는 표시(4120)로부터 어긋나 있는 경우, 유저는, 자연히 어긋남을 해소하는 위치(4105B)로 이동하도록 재촉된다. 이에 의해, 유저가, 마이크가 형성하는 지향성의 범위 내로 이동하면, 정보 처리 시스템(100)에 의한 음성 인식 정밀도가 향상된다.
빔 포밍 범위를 나타내는 UI는 다양하게 생각할 수 있다. UI의 변형에 대해서는 상세히 후술한다.
출력 제어부(122)는, 음성 입력부에 의해 얻어진 음성의 음량을 나타내는 표시를 제어해도 된다. 이에 의해, 유저는, 음성 입력되어 있는 자신의 음량을 알 수 있을 뿐 아니라, 주위의 잡음의 음량과의 비교를 행할 수 있다. 이하, 도 241을 참조하여, 본 예에 관한 음량을 나타내는 유저 인터페이스의 일례를 설명한다.
도 241은, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 241을 나타낸 예에서는, 정보 처리 시스템(100)은, 마이크 아이콘(4102)의 주위에 원호 형상으로 퍼지는 음량 레벨에 의해, 음량을 나타내는 표시(4130)를 표시하고 있다. 이 표시에 의해, 유저는, 각 방향으로부터의 음량을 알 수 있다.
출력 제어부(122)는, 지향성의 범위를 나타내는 정보 및 음량을 나타내는 정보를 동시에 표시시켜도 된다. 예를 들어, 출력 제어부(122)는, 빔 포밍 범위를 나타내는 표시와 음량을 나타내는 표시를, 동일 표시면 상에서 동시에 표시시켜도 된다. 이하, 도 242를 참조하여, 빔 포밍 범위를 나타내는 표시 및 음량을 나타내는 표시가 동시에 표시되는 경우의 유저 인터페이스의 일례를 설명한다.
도 242는, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 242에 나타낸 예에서는, 정보 처리 시스템(100)은, 빔 포밍 범위를 나타내는 표시(4120)와 음량을 나타내는 표시(4130)를 동시에 행하고 있다. 또한, 본 예에서는, 음량을 나타내는 표시(4130)는, 음량 레벨에 따라서 표시 색이 변화한다.
출력 제어부(122)는, 지향성의 범위 내에서 얻어진 음성의 음량을 나타내는 정보와 지향성의 범위 밖에서 얻어진 음성의 음량을 나타내는 정보를, 표시 방법을 구별해서 표시시켜도 된다. 예를 들어, 출력 제어부(122)는, 음량을 나타내는 표시에, 빔 포밍 범위 내/범위 밖을 나타내는 정보를 반영시켜도 된다. 구체적으로는, 출력 제어부(122)는, 빔 포밍 범위 내로부터 얻어진 음성의 음량인지 범위 밖에서 얻어진 음성의 음량인지로, 색조, 농담, 입체 표시했을 때의 고저, 또는 파선인지 실선인지와 같은 표시 방법을 나누어서 음량을 나타내는 표시를 행한다. 역의 관점에서 말하면, 출력 제어부(122)는, 빔 포밍 범위를 나타내는 표시에, 음량을 나타내는 정보를 반영시켜도 된다. 이와 같이, 출력 제어부(122)는, 빔 포밍 범위라는 위치 범위를 나타내는 2차원의 표시에, 음량이라는 축을 추가한 3차원적인 표시를 행할 수 있다. 이 경우, 하나의 표시로, 빔 포밍 범위 및 음량의 2개의 의미를 표현하는 것이 가능하게 되므로, 표시면 상의 표시 영역이 절약됨과 함께, 유저의 이해가 보다 용이해진다.
빔 포밍 범위를 나타내는 표시와 음량을 나타내는 표시를 동시에 행하는 UI는 다양하게 생각할 수 있다. UI의 변형에 대해서는, 상세히 후술한다.
출력 제어부(122)는, 음성 입력부에 의해 취득된 음성에 기초하는 음성 인식 결과를 나타내는 정보를 표시시켜도 된다. 예를 들어, 출력 제어부(122)는, 음성 입력부에 의해 취득된 음성에 기초하여, 브라우저 등의 애플리케이션을 기동해도 되고, 검색어의 입력 등의 애플리케이션에의 음성 입력을 행해도 된다. 이하, 도 243을 참조하여, 음성 인식 결과를 나타내는 표시에 관한 유저 인터페이스의 일례를 설명한다.
도 243은, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 243에 나타낸 예에서는, 출력 제어부(122)는, 유저에 의한 음성 입력에 따른 애플리케이션 윈도우(4101)를 기동하고 있다. 그 밖에도, 도 230 또는 도 231에 도시한 바와 같이, 출력 제어부(122)는, 음성 입력의 성공/실패를 나타내는 정보, 또는 음성 입력된 문언을 텍스트 표시해도 된다.
출력 제어부(122)는, 빔 포밍 범위를 나타내는 표시를 복수 표시해도 되고, 빔 포밍 범위를 나타내는 표시를 동적으로 변경해도 된다. 예를 들어, 출력 제어부(122)는, 검출부(121)에 의해 복수의 빔 포밍 범위가 형성된 경우, 그에 따라 빔 포밍 범위를 나타내는 표시를 복수 표시한다. 또한, 출력 제어부(122)는, 검출부(121)에 의해 동적으로 빔 포밍 범위가 변경된 경우, 그에 따라 빔 포밍 범위를 변경할 수 있다. UI의 변형에 대해서는, 상세히 후술한다.
(4) 출력부(130)
본 예에 관한 출력부(130)는, 화상을 표시하는 표시부로서의 기능을 갖는다. 예를 들어, 출력부(130)는, 도 1 내지 도 4에 도시한 바와 같이, 테이블(140a)의 상부 또는 하부로부터 테이블(140a)을 향해서 투영하는 프로젝터, 터치 패널식 또는 플랫 패널식의 디스플레이에 의해 실현된다. 그 밖에도, 출력부(130)는, 스피커 등의 음성 출력부로서의 기능을 갖고 있어도 된다.
이상, 본 예에 특징적인 정보 처리 시스템(100)의 구성예에 대해서 설명하였다.
(UI의 변형)
·빔 포밍 범위를 나타내는 표시
이하에서는, 본 예에 관한 UI의 변형에 대해서 설명한다. 먼저, 도 244 내지 도 248을 참조하여, 빔 포밍 범위를 나타내는 표시에 관한 유저 인터페이스의 변형에 대해서 설명한다.
도 244는, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 244에서는, 빔 포밍 범위를 나타내는 표시(4120)가, 부채 형상으로 표시되어 있다.
도 245는, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 245에서는, 빔 포밍 범위를 나타내는 표시(4120)가, 화살표로 표시되어 있다. 이 표시에서는, 음성 입력부가 형성하는 지향성의 방향이, 화살표의 방향으로 표현되어 있다.
도 246은, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 246에서는, 빔 포밍 범위를 나타내는 표시(4120)가, 색조에서 표현되어 있다. 보다 상세하게는, 마이크 아이콘의 주위에 표시된 환상의 오브젝트가 표시되어 있고, 이 환상의 오브젝트 중 빔 포밍 범위에 대응하는 개소(4120)가, 다른 것과는 상이한 색으로 표시되어 있다.
도 247은, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 247에서는, 마이크 아이콘과 함께, 음성 인식 결과를 나타내는 말풍선이 표시되어 있다. 이 예에서는, 마이크 아이콘 및 말풍선이, 빔 포밍 범위를 나타내는 표시(4120)로서 기능한다. 예를 들어, 마이크 아이콘 및 말풍선을 나타내는 표시(4120)가, 마이크의 지향성이 향하는 방향으로 이동한다. 따라서, 마이크 아이콘 및 말풍선을 나타내는 표시(4120)의 표시 위치에 의해, 빔 포밍 범위가 표현된다. 출력 제어부(122)는, 유저 위치와 마이크 아이콘 및 말풍선을 나타내는 표시(4120)를 연결하는 선의 연장선상에 마이크가 위치하도록 표시 위치를 제어함으로써, 음성 인식 정밀도를 향상시킬 수 있다.
도 248은, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 248에 나타낸 예는, 도 247에 나타낸 예에서, 마이크 아이콘의 표시를 생략한 예이다.
이상, 빔 포밍 범위를 나타내는 표시에 관한 유저 인터페이스의 변형에 대해서 설명하였다.
·빔 포밍 범위 및 음량을 나타내는 표시
계속해서, 도 249 내지 도 253을 참조하여, 빔 포밍 범위를 나타내는 표시 및 음량을 나타내는 표시의 동시 표시에 관한 유저 인터페이스의 변형에 대해서 설명한다.
도 249는, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 249에 나타낸 예에서는, 마이크 아이콘(4102)의 주위에 원호 형상으로 퍼지는 음량 레벨에 의해, 음량을 나타내는 표시가 이루어져 있다. 또한, 도 249에 나타낸 예에서는, 음성 인식 가능한 크기에 달한 음량 레벨의 색조에 의해, 빔 포밍 범위가 표현되어 있다. 예를 들어, 부호 4140A는, 빔 포밍 범위로부터 취득된, 즉 음성 인식 대상의 유저로부터 취득된 음량을 나타내고 있다. 또한, 부호 4140B는, 빔 포밍 범위 이외에서 취득된, 즉 음성 인식 대상 외의 다른 유저 등으로부터 취득된 잡음의 음량을 나타내고 있다. 이와 같이, 정보 처리 시스템(100)은, 빔 포밍 범위를 나타내는 표시 및 음량을 나타내는 표시를, 동시에 표시시킬 수 있다.
도 250은, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 250에서는, 도 249에 나타낸 예에, 또한 빔 포밍 범위를 나타내는 표시(4120)가 중첩적으로 표시되어 있다. 이 예에 의하면, 유저는, 빔 포밍 범위를 보다 간이하게 알 수 있다.
도 251은, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 251에 나타낸 예에서는, 표시면의 단부의 내측에, 빔 포밍 범위 및 음량을 나타내는 표시(4140)(4140A 및 4140B)가 표시되어 있다. 이 표시(4140)에서는, 단부로부터의 높이에 의해 음량이 표현되어 있다. 또한, 이 표시(4140)에서는, 색조에 의해 빔 포밍 범위가 표현되어 있다. 예를 들어, 부호 4140A는, 빔 포밍 범위로부터 취득된, 즉 음성 인식 대상의 유저로부터 취득된 음량을 나타내고 있다. 또한, 부호 4140B는, 빔 포밍 범위 이외에서 취득된, 즉 음성 인식 대상 외의 다른 유저 등으로부터 취득된 잡음의 음량을 나타내고 있다.
도 252는, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 252에 나타낸 예는, 도 248에 나타낸 말풍선을 나타내는 표시(4120) 중에서, 도 251에 나타낸 표시를 행하는 형태이다.
도 253은, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 253에 나타낸 예에서는, 마이크 아이콘의 주위에, 도 251에 나타낸 예와 마찬가지의 빔 포밍 범위 및 음량을 나타내는 표시(4140)가 표시되어 있다. 이 표시(4140)에서는, 마이크 아이콘으로부터의 높이에 의해 음량이 표현되어 있다. 또한, 이 표시(4140)에서는, 색조에 의해 빔 포밍 범위가 표현되어 있다.
이상, 빔 포밍 범위를 나타내는 표시 및 음량을 나타내는 표시의 동시 표시에 관한 유저 인터페이스의 변형에 대해서 설명하였다.
·복수의 빔 포밍 범위를 나타내는 표시
계속해서, 도 254 내지 도 261을 참조하여, 빔 포밍 범위를 나타내는 표시의 복수 표시에 관한 유저 인터페이스의 변형에 대해서 설명한다.
도 254는, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 254에 도시한 바와 같이, 음성 입력을 행하는 유저가 테이블(140a)의 주변에 복수 존재할 수 있다. 이 경우, 검출부(121)는, 각 유저를 각각 빔 포밍 범위에 포함하도록, 음성 입력부를 제어해서 복수의 지향성을 형성한다. 출력 제어부(122)는, 빔 포밍이 복수 이루어지는 경우에, 지향성의 범위를 나타내는 표시를 복수 표시해도 된다. 예를 들어, 출력 제어부(122)는, 복수 형성된 지향성의 범위에 각각 대응하는, 빔 포밍 범위를 나타내는 표시를 복수 표시한다. 도 254에 나타낸 예에서는, 유저(4105A)에의 빔 포밍 범위를 나타내는 표시(4120A) 및 유저(4105B)에의 빔 포밍 범위를 나타내는 표시(4120B)가 표시되어 있다. 또한, 도 254에 나타낸 예에서는, 음성 입력을 접수하는 애플리케이션이 복수 있고, 각각 상이한 빔 포밍 범위로부터 유저의 음성 입력을 접수하고 있다. 상세하게는, 유저(4105A)의 음성 인식 결과는, 애플리케이션 윈도우(4101A)에의 입력이 되고, 유저(4105B)의 음성 인식 결과는, 애플리케이션 윈도우(4101B)에의 입력이 된다.
도 255는, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 255에 도시한 바와 같이, 출력 제어부(122)는, 유저(4105A)에의 빔 포밍 범위를 나타내는 표시(4120A) 및 유저(4105B)에의 빔 포밍 범위를 나타내는 표시(4120B)를 표시하고 있다. 도 255에 나타낸 예에서는, 하나의 애플리케이션이 복수의 빔 포밍 범위로부터 취득된 음성 입력을 접수하고 있다. 상세하게는, 유저(4105A 및 4105B) 음성 인식 결과는, 애플리케이션 윈도우(4101)에의 입력이 된다.
도 256은, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 256에 도시한 바와 같이, 복수의 빔 포밍 범위를 나타내는 표시는 중복할 수 있다. 이 경우, 복수의 유저 음성이 섞여서 정보 처리 시스템(100)에 입력될 수 있으므로, 오동작이 발생할 가능성이 있다. 이 때문에, 출력 제어부(122)는, 복수 표시되는 지향성의 범위를 나타내는 표시가 중복되는 경우에 경고 표시를 행해도 된다. 도 256에 나타낸 예에서는, 빔 포밍 범위를 나타내는 표시(4120A 및 4120B)가 중복되는 부분에, 경고 표시(4150)가 표시되어 있다. 유저는, 이 경고 표시(4150)에 따라, 유저끼리 서로 이격되도록 이동하거나, 빔 포밍 범위를 이동 또는 좁히거나 하는 조작을 행함으로써, 오동작을 방지할 수 있다.
여기서, 도 254에 나타낸 예와 같이, 음성 입력을 접수하는 애플리케이션이 복수인 경우, 빔 포밍 범위와 음성 입력처의 애플리케이션과의 관련이 명시되는 것이 바람직하다. 이 때문에, 출력 제어부(122)는, 빔 포밍 범위를 나타내는 표시와, 당해 빔 포밍 범위를 형성하는 음성 입력부에 의해 입력되는 음성을 접수하는 표시 오브젝트를 관련짓는 표시를 행해도 된다. 이하, 도 257 내지 도 259를 참조하여, 관련 지음의 표시에 관한 유저 인터페이스의 변형에 대해서 설명한다.
도 257은, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 257에 나타낸 예에서는, 빔 포밍 범위를 나타내는 표시(4120)와, 당해 빔 포밍 범위로부터 취득된 음성의 입력처인 애플리케이션 윈도우(4101)의 단부(4151)가, 동일한 색조에 의해 관련 지음이 표현되어 있다.
도 258은, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 258에 나타낸 예에서는, 빔 포밍 범위를 나타내는 표시(4120)와, 당해 빔 포밍 범위로부터 취득된 음성의 입력처인 애플리케이션 윈도우(4101)가, 선(4152)으로 연결됨으로써 관련 지음이 표현되어 있다.
도 259는, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 259에 나타낸 예에서는, 한쪽의 빔 포밍 범위로부터 취득된 음성의 음량 레벨을 나타내는 표시(4140A)와, 당해 빔 포밍 범위로부터 취득된 음성의 입력처인 애플리케이션 윈도우(4101A)의 단부(4151A)가, 동일한 색조에 의해 관련 지음이 표현되어 있다. 마찬가지로, 다른 쪽의 빔 포밍 범위로부터 취득된 음성의 음량 레벨을 나타내는 표시(4140B)와, 당해 빔 포밍 범위로부터 취득된 음성의 입력처인 애플리케이션 윈도우(4101B)의 단부(4151B)가, 동일한 색조에 의해 관련 지음이 표현되어 있다.
여기서, 음성 입력을 접수하는 애플리케이션이 복수인 경우, 마이크 아이콘이 복수 표시되어도 된다. 이하, 도 260 및 도 261을 참조하여, 마이크 아이콘의 복수 표시에 관한 유저 인터페이스의 변형에 대해서 설명한다.
도 260 및 261은, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 260에 나타내는 예에서는, 음성 입력을 접수하는 애플리케이션 윈도우(4101A, 4101B, 4101C)마다, 마이크 아이콘(4102A, 4102B, 4102C)이 표시되어 있다. 그리고, 각 마이크 아이콘(4102A, 4102B, 4102C)으로부터, 빔 포밍 범위를 나타내는 표시(4120A, 4120B, 4120C)가 표시되어 있다.
단, 도 261에 도시한 바와 같이, 예를 들어 테이블(140a)의 중심(부호 4153)의 바로 위에 마이크가 설치되어 있는 경우에는, 마이크 아이콘(4102A, 4102B, 4102C)의 바로 위에 마이크가 설치되지 않게 된다. 이 때문에, 도 261에 도시한 바와 같이, 유저가 마이크 아이콘(4102)을 향해서 발화하면, 마이크가 설치된 위치와는 상이한 방향을 향해서 발화하게 되어, 음성 인식의 정밀도가 향상된다고는 말하기 어렵다. 그러나, 발화된 음성은 퍼져나가므로, 음성 인식 정밀도에의 영향은 경미하다고 생각할 수 있다.
이상, 복수의 빔 포밍 범위를 나타내는 표시에 관한 유저 인터페이스의 변형에 대해서 설명하였다.
·빔 포밍 범위를 나타내는 표시의 동적 변화
계속해서, 도 262 내지 도 265를 참조하여, 빔 포밍 범위를 나타내는 표시의 동적 변화에 관한 유저 인터페이스의 변형에 대해서 설명한다.
도 262는, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 예를 들어, 검출부(121)가 유저 위치를 잘못 추정해버려, 그 결과 잘못된 방향(4160A)으로 빔 포밍 범위를 형성하는 경우가 있다. 이 경우, 도 262의 좌측 도면에 도시한 바와 같이, 출력 제어부(122)는, 유저(4105A)의 위치로부터 어긋난, 초기의 빔 포밍 범위를 나타내는 표시(4120A)를 표시한다. 그러나, 검출부(121)는, 유저의 위치의 추정 결과의 갱신에 따라, 형성하는 지향성의 범위를 갱신할 수 있다. 출력 제어부(122)도 마찬가지로, 유저의 위치의 추정 결과의 갱신에 따라, 빔 포밍 범위를 나타내는 표시를 갱신해도 된다. 도 262의 우측 도면에 도시한 바와 같이, 검출부(121)는, 유저 위치를 다시 추정하면, 다시 추정한 유저의 방향(4160B)으로 빔 포밍 범위를 형성한다. 이 경우, 출력 제어부(122)는, 유저(4105A)의 위치를 향해서, 갱신한 빔 포밍 범위를 나타내는 표시(4120B)를 표시한다. 이에 의해, 유저는, 자신의 음성이 정확하게 인식되어 있는 것을 알고, 안심감을 느낄 수 있다. 또한, 검출부(121)는, 초기의 빔 포밍 범위 내 또는 그 주변에서 유저가 발화를 계속하는 경우에, 그 유저를 향해서 빔 포밍 범위를 갱신해도 된다. 이 경우, 도 262의 우측 도면에 도시한 바와 같이, 빔 포밍 범위를 나타내는 표시(4120B)는, 당초의 빔 포밍 범위를 나타내는 표시(4120A)의 부근에 위치하고 있던 유저(4105A)를 향하게 되고, 상이한 방향에 위치하는 유저(4105B)를 향할 수 없다.
도 263은 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 263의 좌측 도면에 도시한 바와 같이, 출력 제어부(122)는, 처음에는 폭이 넓은 빔 포밍 범위를 나타내는 표시(4120)를 표시한다. 그리고, 그 범위 내에서 유저가 발화를 계속하는 경우에, 출력 제어부(122)는, 유저의 방향을 중심으로 해서 빔 포밍 범위를 나타내는 표시(4120)를 좁힌다. 이에 의해, 유저는, 자신의 음성이 정확하게 인식되어 있는 것을 알고, 안심감을 느낄 수 있다.
상기에서는, 정보 처리 시스템(100)측에서 빔 포밍 범위를 나타내는 표시를 변경하는 예를 설명했지만, 본 기술은 이러한 예에 한정되지 않는다. 예를 들어, 유저는, 빔 포밍 범위를 나타내는 표시를 변경시킬 수 있다. 예를 들어, 유저는, 도 256에 도시된 바와 같은 복수의 빔 포밍 범위를 나타내는 표시가 중복되는 경우에, 빔 포밍 범위의 중복을 해소하는 조작을 행할 수 있다. 이하, 도 264 및 도 265를 참조하여, 유저 조작에 따른 빔 포밍 범위를 나타내는 표시의 동적 변화에 관한 유저 인터페이스의 변형에 대해서 설명한다.
도 264는, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 264의 좌측 도면에 도시한 바와 같이, 빔 포밍 범위를 나타내는 표시(4120A 및 4120B)가 중복되어, 경고 표시(4150)가 표시되어 있다. 도 264의 좌측 도면에 도시한 바와 같이, 유저가, 빔 포밍 범위를 나타내는 표시(4120A)에 대하여, 우측에서 좌측으로 슬라이드시키는 조작을 행한 경우를 상정한다. 본 조작에 따라서 음성 입력부의 빔 포밍 범위가 우측에서 좌측으로 이동하고, 이에 수반하여, 도 264의 우측 도면에 도시한 바와 같이, 빔 포밍 범위를 나타내는 표시(4120A)가 우측에서 좌측으로 이동한다. 이에 의해, 빔 포밍 범위의 중복이 해소되므로, 오작동이 방지된다. 또한, 도 264의 좌측 도면에 나타낸 빔 포밍 범위를 나타내는 표시(4120A)는, 예를 들어 음성 입력 개시 오브젝트(4108)에 터치했을 때 일시적으로 표시되는 프리뷰 표시이어도 된다. 이 경우, 유저는, 프리뷰 표시된 영역을 이동시키고 나서 음성 인식을 개시시킬 수 있다.
도 265는, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 265의 좌측 도면에 도시한 바와 같이, 빔 포밍 범위를 나타내는 표시(4120A 및 4120B)가 중복되어, 경고 표시(4150)가 표시되어 있다. 도 265의 좌측 도면에 도시한 바와 같이, 유저가, 빔 포밍 범위를 나타내는 표시(4120A)에 대하여, 표시 영역을 좌우로부터 좁히는 조작을 행한 경우를 상정한다. 본 조작에 따라서 음성 입력부의 빔 포밍 범위가 좁아지고, 이에 수반하여, 도 265의 우측 도면에 도시한 바와 같이, 빔 포밍 범위를 나타내는 표시(4120A)가 좁아진다. 이에 의해, 빔 포밍 범위의 중복이 해소되므로, 오작동이 방지된다.
또한, 도 264 및 도 265에 나타낸 예에서는, 빔 포밍 범위를 변경하는 유저 입력이, 빔 포밍 범위를 나타내는 표시에 대한 유저 조작인 것으로 해서 설명했지만, 본 기술은 이러한 예에 한정되지 않는다. 예를 들어, 키보드 또는 리모트 컨트롤러 등의 하드웨어를 통한 입력이어도 되고, 음성 입력 등이어도 된다.
이상, 본 예에 관한 UI의 변형에 대해서 설명하였다. 계속해서, 도 266을 참조하여, 본 예에 관한 정보 처리 시스템(100)에서 실행되는 동작 처리에 대해서 설명한다.
(동작 처리)
도 266은, 본 예에 관한 정보 처리 시스템(100)에서 실행되는 표시 제어 처리의 흐름의 일례를 나타내는 흐름도이다.
도 266에 도시한 바와 같이, 스텝 S4102에서, 검출부(121)는 유저 위치를 추정한다. 예를 들어, 검출부(121)는, 도 232 내지 도 237을 참조하여 상기 설명한 유저 위치 추정 기능을 사용해서, 음성 인식의 대상이 되는 유저의 위치를 추정한다.
계속해서, 스텝 S4104에서, 검출부(121)는 빔 포밍을 행한다. 예를 들어, 검출부(121)는, 추정한 유저 위치를 빔 포밍 범위에 포함하도록, 음성 입력부를 제어해서 지향성을 형성한다.
이어서, 스텝 S4106에서, 출력 제어부(122)는, 빔 포밍 범위를 나타내는 표시를 출력한다. 예를 들어, 출력 제어부(122)는, 도 238 내지 도 261을 참조하여 상기 설명한 바와 같이, 검출부(121)에 의해 형성된 음성 입력부의 빔 포밍 범위를 나타내는 표시를 행하도록 출력부(130)를 제어한다.
계속해서, 스텝 S4108에서, 출력 제어부(122)는, 빔 포밍 범위를 나타내는 표시를 갱신한다. 예를 들어, 출력 제어부(122)는, 도 262 내지 도 265를 참조하여 상기 설명한 바와 같이, 검출부(121)에 의해 동적으로 빔 포밍 범위가 변경된 경우, 그에 따라 빔 포밍 범위를 변경한다.
이어서, 스텝 S4110에서, 출력 제어부(122)는, 빔 포밍 범위를 나타내는 표시를 종료할지 여부를 판정한다. 예를 들어, 출력 제어부(122)는, 빔 포밍 범위를 나타내는 표시 또는 애플리케이션 자체의 종료를 지시하는 유저 조작의 유무에 의해, 빔 포밍 범위를 나타내는 표시를 종료할지 여부를 판정한다.
종료하지 않는다고 판정된 경우(S4110/"아니오"), 처리는 다시 스텝 S4108로 진행한다. 종료한다고 판정된 경우(S4110/"예"), 처리는 종료된다.
이상, 본 예에 관한 정보 처리 시스템(100)에서 실행되는 동작 처리에 대해서 설명하였다.
[예 6]
본 예는, 상기 설명한 구체예 9에 관한 실시예이다. 본 예에서는, 도 267 내지 도 290을 참조하여, 구체예 9에 관한 내부 처리에 대해 상세하게 설명한다. 이하에서는, 프로젝션형의 정보 처리 시스템(100a)을 상정해서 설명하는데, 도 1 내지 도 4를 참조하여 설명한 어느 타입에서든, 이하에 설명하는 예에 관한 UI를 실현 가능하다.
(개요)
도 267은 본 예에 관한 유저 인터페이스의 개요를 설명하기 위한 설명도이다. 본 예에 관한 정보 처리 시스템(100)은, 실제 오브젝트, 기존의 표시 오브젝트 및 유저와의 관계에서, 기동하는 애플리케이션의 표시 영역(위치, 크기 및 기울기)을 자동으로 선택한다. 여기서, 실제 오브젝트란, 서적이나 접시 등의 실제로 존재하는 실물체를 가리킨다. 표시 오브젝트란, 아이콘 또는 애플리케이션 윈도우 등의, 테이블(140a) 상에 표시되는 표시 화상을 가리킨다. 유저란, 기동하는 애플리케이션의 대상을 가리킨다. 또한, 기존의 표시 오브젝트를, 이하에서는 기존 윈도우라고도 칭한다. 또한, 본 예에서는, 표시면과 테이블(140a)이 일치하고 있는 것으로 해서 설명한다.
도 267의 부호 4211에서는, 실물체(4222) 및 기존 윈도우(4223)가 혼재하는 테이블(140a) 상에서, 유저가 애플리케이션을 기동시키기 위한 기동 지시 오브젝트(4224)를 터치한 모습을 나타내고 있다. 정보 처리 시스템(100)은, 기동 지시 오브젝트(4224)에의 터치를 계기로 해서, 표시 영역 결정 처리를 개시한다. 구체적으로는, 정보 처리 시스템(100)은, 기존 윈도우(4223)의 표시 영역(부호 4212), 실물체(4222)가 존재하는 존재 영역(부호 4213), 및 유저의 위치 및 방향(부호 4214)을 검출한다. 그리고, 정보 처리 시스템(100)은, 기존 윈도우(4223)와의 관계, 실물체(4222)와의 관계 및 유저와의 관계에서, 기동 지시에 대응하는 애플리케이션의 표시 오브젝트(4221)(이하, 기동 윈도우라고도 칭함)의 표시 영역을 결정한다. 예를 들어, 정보 처리 시스템(100)은, 부호 4215로 도시한 바와 같이, 기존 윈도우의 표시 영역 및 실물체의 존재 영역에 중복되지 않으면서 또한 유저에게 가까운 장소에, 유저의 얼굴의 방향에 따라서 유저에게 정면으로 대향하도록 각도 θ 기울여서, 기동 윈도우(4221)의 표시 영역을 결정한다.
프로젝션형의 정보 처리 시스템(100a)에서는, 테이블(140a) 상에 실물체가 적재되거나, 기존 윈도우가 표시되거나 하는 경우가 있고, 또한 유저 위치도 유동적이다. 이 때문에, 적절한 표시 영역이 결정되지 않는 경우, 기동 윈도우가 유저로부터 멀어서 닿지 않거나, 기동 윈도우를 보기 쉽게 조정하는 수고가 발생해버리거나, 또는 기존 윈도우가 기동 윈도우에 가려져버리는 등의 사태가 발생할 수 있다.
따라서, 본 예에 관한 정보 처리 시스템(100)은, 기동 윈도우의 표시 영역을, 실제 오브젝트, 표시 오브젝트, 및 유저와의 관계에 기초하여 적절하게 결정한다. 이에 의해, 기동 윈도우가 유저로부터 조작하기 쉬운 장소에 표시되므로, 유저는, 기동 후 바로 기동 윈도우에 대한 조작을 행할 수 있다. 또한, 기동 윈도우가 유저에게 정면으로 대향하도록 표시되는 경우, 유저는, 아무런 조정을 하지 않고도 기동 윈도우의 정보를 확인할 수 있다. 또한, 기동 윈도우가 기존 윈도우를 가리지 않도록 표시되는 경우, 기동 윈도우가 기존 윈도우에의 조작을 방해하는 것이 방지된다. 본 예에서는, 이와 같이 하여 유저의 편리성이 향상된다.
(구성예)
도 268은, 본 예에 관한 정보 처리 시스템(100)의 논리적인 구성의 일례를 나타내는 블록도이다. 도 268에 도시한 바와 같이, 본 예에 관한 정보 처리 시스템(100)은, 입력부(110), 제어부(120) 및 출력부(130)를 갖는다.
(1) 입력부(110)
본 예에 관한 입력부(110)는, 예를 들어 화상(정지 화상 또는 동화상)을 취득하는 카메라, 및 심도 정보를 취득하는 스테레오 카메라에 의해 실현된다. 예를 들어, 입력부(110)는, 촬상한 촬상 화상 및 취득한 심도 정보를, 제어부(120)에 출력한다. 또한, 입력부(110)는, 테이블(140a)에 설치된 터치 센서나, 리모트 컨트롤러 등의 임의의 입력 장치에 의해 실현되어도 되고, 음성 입력이나 터치 조작 등의 유저 조작을 취득하여, 제어부(120)에 출력할 수 있다.
(2) 출력부(130)
본 예에 관한 출력부(130)는, 화상을 표시하는 표시부로서의 기능을 갖는다. 예를 들어, 출력부(130)는, 도 1 내지 도 4에 도시한 바와 같이, 테이블(140a)의 상부 또는 하부로부터 테이블(140a)을 향해서 투영하는 프로젝터, 터치 패널식 또는 플랫 패널식의 디스플레이에 의해 실현된다. 그 밖에도, 출력부(130)는, 스피커 등의 음성 출력부로서의 기능을 갖고 있어도 된다.
(3) 제어부(120)
본 예에 관한 제어부(120)는, 실제 오브젝트, 기존의 표시 오브젝트 및 유저와의 관계에서, 애플리케이션의 표시 영역을 결정하기 위한 각종 처리를 행한다. 도 268에 도시한 바와 같이, 제어부(120)는, 실제 오브젝트 인식부(4201), 표시 오브젝트 인식부(4202) 및 유저 인식부(4203)로서의 기능을 갖는 검출부(121), 및 출력 제어부(122)를 갖는다.
(3-1) 실제 오브젝트 인식부(4201)
실제 오브젝트 인식부(4201)는, 테이블(140a)(표시면) 상의 실제 오브젝트를 인식하는 기능을 갖는다. 예를 들어, 실제 오브젝트 인식부(4201)는, 입력부(110)로부터 출력된 심도 정보로부터, 테이블(140a) 상의 실제 오브젝트의 존재 영역을 인식한다. 이하, 도 269를 참조하여, 실제 오브젝트 인식부(4201)에 의한 실제 오브젝트의 인식 기능의 일례를 설명한다.
도 269는, 본 예에 관한 실제 오브젝트 인식 기능의 일례를 설명하기 위한 설명도이다. 도 269에서는, 입력부(110)로부터 출력되는 심도 정보의 일례이며, 심도가 농담으로 표현되어 있다. 부호 4231은, 테이블(140a) 중 위에 아무것도 실물체가 없는 영역의 심도를 나타내고 있다. 부호 4232는, 실물체가 존재하는 영역의 심도를 나타내고 있고, 부호 4233은, 유저의 손이 존재하는 영역의 심도를 나타내고 있다. 실제 오브젝트 인식부(4201)는, 부호 4232 및 4233으로 나타낸 바와 같이, 테이블(140a) 중 부호 4231로 나타낸 영역보다도 심도가 작은(본체까지의 거리가 가까운) 영역을, 실물체의 존재 영역으로서 인식한다. 단, 실제 오브젝트 인식부(4201)는, 빈번히 움직이는 영역(부호 4233)에 대해서는, 실물체의 존재 영역으로서 인식하지 않고, 움직이지 않거나 또는 움직임이 적은 영역(부호 4232)만을, 실물체의 존재 영역으로서 인식해도 된다. 팔 등은, 기동 윈도우의 장해물에는 상당하지 않기 때문이다. 실제 오브젝트 인식부(4201)는, 심도 정보 이외에, 예를 들어 적외선 센싱 결과에 기초하여, 실물체의 존재 영역을 인식해도 된다.
또한, 실제 오브젝트 인식부(4201)는, 실물체의 내용을 인식해도 된다. 예를 들어, 실제 오브젝트 인식부(4201)는, 테이블(140a) 상의 상태를 촬상한 촬상 화상 중 실물체의 존재 영역에 상당하는 부분을 화상 인식함으로써, 테이블(140a) 상의 실물체가 무엇인지를 인식할 수 있다.
(3-2) 표시 오브젝트 인식부(4202)
표시 오브젝트 인식부(4202)는, 테이블(140a) 상에 이미 표시되어 있는, 기존의 표시 오브젝트를 인식하는 기능을 갖는다. 예를 들어, 표시 오브젝트 인식부(4202)는, 출력 제어부(122)에 의한 표시 제어 처리를 감시하여, 기존의 표시 오브젝트의 표시 영역 및 내용(무슨 애플리케이션인지)을 인식한다.
(3-3) 유저 인식부(4203)
유저 인식부(4203)는, 애플리케이션의 기동 대상인 유저를 인식하는 기능을 갖는다. 예를 들어, 유저 인식부(4203)는, 입력부(110)로부터 출력된 촬상 화상에 기초하여, 기동 지시 오브젝트(4224)를 터치한 유저의 위치 및 방향을 인식한다. 유저 인식부(4203)에 의한 인식 처리는 다양하게 생각할 수 있다. 유저 인식 처리에 대해서는, 후에 도 275 내지 도 279를 참조하여 상세하게 설명하기 때문에, 여기에서의 설명은 생략한다.
(3-4) 출력 제어부(122)
출력 제어부(122)는, 기동 윈도우의 표시 영역을 결정하고, 결정한 표시 영역에 기동 윈도우를 표시하도록 출력부(130)를 제어하는, 표시 제어부로서 기능한다. 출력 제어부(122)에 의한 표시 영역 결정 처리는 다양하게 생각할 수 있다. 본 명세서에서는, 표시 영역 결정 처리의 일례를 2개 들어서 설명한다.
(1) 제1 처리 예
예를 들어, 출력 제어부(122)는, 실제 오브젝트와의 관계, 기존의 표시 오브젝트와의 관계, 또는 유저와의 관계 중 적어도 어느 하나에 기초하여, 기동하는 애플리케이션의 표시 오브젝트(기동 윈도우)의 표시 영역을 결정한다. 예를 들어, 출력 제어부(122)는, 위치, 크기, 또는 각도 중 적어도 어느 하나에 의해 기동 윈도우의 표시 영역을 결정한다. 예를 들어, 출력 제어부(122)는, 기존의 표시 오브젝트 및 실제 오브젝트와 겹치지 않는 영역을, 윈도우 기동 가능 에리어로서 결정한다. 또한, 윈도우 기동 가능 에리어란, 내부에 기동 윈도우의 표시 영역을 결정가능한 에리어이다. 그리고, 출력 제어부(122)는, 윈도우 기동 가능 에리어 내이며, 유저에게 가까운 위치, 기존의 표시 오브젝트 및 실제 오브젝트와 겹치지 않는 크기, 및 유저에게 정면으로 대향하는 각도를, 기동 윈도우의 표시 영역으로서 결정한다.
·실제 오브젝트와의 관계
출력 제어부(122)는, 표시면 상의 실제 오브젝트의 정보에 따라, 표시면에 표시되는 기동 윈도우의 표시 영역을 결정한다. 예를 들어, 출력 제어부(122)는, 실제 오브젝트에 겹치지 않도록 기동 윈도우의 표시 영역을 결정한다. 그 밖에도, 출력 제어부(122)는, 실제 오브젝트에 겹치도록 기동 윈도우의 표시 영역을 결정해도 된다.
실제 오브젝트의 정보란, 실제 오브젝트의 존재 영역을 나타내는 정보 외에, 예를 들어 실제 오브젝트의 속성 정보를 포함하는 정보이다. 속성 정보는, 다양한 정보를 포함할 수 있다. 예를 들어, 속성 정보는, 실제 오브젝트를 이동시키는 곤란함에 관한 정보를 포함해도 된다. 이동시키는 곤란함은, 예를 들어 실제 오브젝트의 이동 이력, 무게, 크기 등으로부터 산출될 수 있다. 예를 들어, 이동시키는 곤란함이 큰 경우, 출력 제어부(122)는, 실제 오브젝트에 겹치지 않도록 기동 윈도우의 표시 영역을 결정한다. 한편, 이동시키는 곤란함이 작은 경우, 출력 제어부(122)는, 실제 오브젝트에 겹치도록 기동 윈도우의 표시 영역을 결정하고, 유저에게 실제 오브젝트의 이동을 재촉한다. 또한, 속성 정보는, 예를 들어 기동 윈도우와의 관계성에 관한 정보를 포함해도 된다. 예를 들어, 테이블(140a) 상의 요리를 설명하는 정보의 표시 등의, 실제 오브젝트에 관련하는 기동 윈도우인 경우, 출력 제어부(122)는, 실제 오브젝트의 부근에, 또는 실제 오브젝트에 겹치도록 표시 영역을 결정한다. 이에 의해, 유저의 편리성이 향상될 수 있다.
이하, 도 270 및 도 271을 참조하여, 실제 오브젝트와의 관계로 결정되는 표시 영역에 대해 설명한다.
도 270 및 도 271은, 본 예에 관한 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다. 도 270 및 도 271에서는, 유저에 의한 기동 지시 오브젝트(4224)에의 터치를 계기로 해서, 기동 윈도우(4221)가 표시되는 예를 나타내고 있다. 도 270에서는, 실제 오브젝트에 겹치지 않도록 표시 영역이 결정되는 예를 나타내고 있다. 도 270에 도시한 바와 같이, 윈도우 기동 가능 에리어(4234)는, 테이블(140a) 상의 실물체(4222)가 존재하는 영역 이외의 영역으로 되어 있고, 그 내부에 기동 윈도우(4221)의 표시 영역이 결정되어 있다. 도 271에서는, 실제 오브젝트에 겹치도록 표시 영역이 결정되는 예를 나타내고 있다. 도 271에 도시한 바와 같이, 윈도우 기동 가능 에리어(4234)는, 테이블(140a) 상의 실물체(4222)가 존재하는 영역 내의 영역으로 되어 있고, 그 내부에 기동 윈도우(4221)의 표시 영역이 결정되어 있다.
·기존의 표시 오브젝트와의 관계
출력 제어부(122)는, 표시면에 이미 표시되어 있는 다른 표시 오브젝트(기존의 표시 오브젝트)의 정보에 더 따라서, 기동 윈도우의 표시 영역을 결정해도 된다.
예를 들어, 출력 제어부(122)는, 기존의 표시 오브젝트보다도 전방면에 기동 윈도우의 표시 영역을 결정해도 된다. 이에 의해, 유저는, 기동 윈도우를 기동 직후부터 열람해서 조작할 수 있다. 또한, 출력 제어부(122)는, 기존의 표시 오브젝트의 표시 영역에 겹치지 않도록 기동 윈도우의 표시 영역을 결정해도 된다. 이에 의해, 유저는, 기동 윈도우를 기동 직후부터 열람해서 조작할 수 있을 뿐 아니라, 기존 윈도우에의 조작도 계속할 수 있다. 또한, 출력 제어부(122)는, 기동 윈도우의 표시 영역에 겹치지 않도록 기존 윈도우의 표시 영역을 변경해도 된다. 이에 의해, 예를 들어 기존의 표시 오브젝트가 기동 윈도우를 위해서 장소를 비우도록 이동하므로, 출력 제어부(122)는, 유저에게 있어서 보다 조작하기 쉬운 영역에 기동 윈도우를 표시시킬 수 있다.
기존의 표시 오브젝트의 정보란, 기존의 표시 오브젝트의 표시 영역을 나타내는 정보 외에, 예를 들어 기동 윈도우와의 관계성에 관한 정보를 포함하는 정보이다. 예를 들어, 기존의 표시 오브젝트에 관련하는 정보가 기동 윈도우에 포함되는 경우, 출력 제어부(122)는, 기존의 표시 오브젝트의 부근에 기동 윈도우의 표시 영역을 결정한다. 이에 의해, 유저의 편리성이 향상될 수 있다.
이하, 도 272 내지 도 274를 참조하여, 기존의 표시 오브젝트와의 관계에서 결정되는 표시 영역에 대해서 설명한다.
도 272는, 본 예에 관한 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다. 도 272에서는, 기존의 표시 오브젝트와의 관계에서의 윈도우 기동 가능 에리어의 일례를 나타내고 있다. 도 272의 상측 도면에 도시한 바와 같이, 출력 제어부(122)는, 기존 윈도우(4223)의 표시 영역을 포함하는 전체면을 윈도우 기동 가능 에리어(4234)로 해도 된다. 또한, 도 272의 중앙 도면에 도시한 바와 같이, 출력 제어부(122)는, 기존 윈도우(4223)의 표시 영역을 제외한 영역을 윈도우 기동 가능 에리어(4234)로 해도 된다. 또한, 도 272의 하측 도면에 도시한 바와 같이, 출력 제어부(122)는, 기존 윈도우(4223)의 표시 영역의 중심 부분을 제외한 단부를 포함하는 영역을 윈도우 기동 가능 에리어(4234)로 해도 된다.
도 273 및 도 274는, 본 예에 관한 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다. 도 273 및 도 274에서는, 유저에 의한 기동 지시 오브젝트(4224)에의 터치를 계기로 해서, 기동 윈도우(4221)가 표시되는 예를 나타내고 있다.
도 273에서는, 기존의 표시 오브젝트에 겹치는 것을 허용해서 표시 영역이 결정되는 예를 나타내고 있다. 도 273에 도시한 바와 같이, 윈도우 기동 가능 에리어(4234)는, 기존 윈도우(4223)의 표시 영역을 포함하는 전체 영역으로 되어 있다. 도 273의 좌측 도면에서는, 기존 윈도우(4223)에 겹치도록 기동 윈도우(4221)의 표시 영역이 결정되어 있다. 한편, 도 273의 우측 도면에서는, 기존 윈도우(4223)에 겹치도록 기동 윈도우(4221)의 표시 영역이 결정됨과 함께, 기동 윈도우(4221)의 표시 영역에 겹치지 않도록 기존 윈도우(4223)의 표시 영역이 변경되어 있다.
도 274에서는, 기존의 표시 오브젝트에 겹치지 않도록 표시 영역이 결정되는 예를 나타내고 있다. 도 274에 도시한 바와 같이, 윈도우 기동 가능 에리어(4234)는, 기존 윈도우(4223)의 존재 영역 이외의 영역으로 되어 있다. 도 274의 좌측 도면에서는, 기존 윈도우(4223)에 겹치지 않도록, 디폴트의 크기로 기동 윈도우(4221)의 표시 영역이 결정되어 있다. 한편, 도 274의 우측 도면에서는, 기존 윈도우(4223)에 겹치지 않도록, 또한 크기를 축소해서 기동 윈도우(4221)의 표시 영역이 결정되어 있다. 이러한 축소 표시는, 유저의 위치에 가까운 장소에 빈 공간이 적은 경우에 효과적이다.
·유저와의 관계
출력 제어부(122)는, 기동 윈도우의 표시 대상인 유저의 정보에 더 따라서, 기동 윈도우의 표시 영역을 결정해도 된다. 유저의 정보란, 예를 들어 유저의 위치 또는 방향 중 적어도 어느 하나를 나타내는 정보를 포함한다. 예를 들어, 출력 제어부(122)는, 윈도우 기동 가능 에리어 내의 유저에게 가까운 위치에, 유저의 방향에 따라서 유저에게 정면으로 대향하는 기울기로, 기동 윈도우의 표시 영역을 결정할 수 있다.
이하, 도 275 내지 도 282를 참조하여, 유저와의 관계로 결정되는 표시 영역에 대해서 설명한다. 또한, 이하에서는 유저 인식부(4203)에 의한 인식 처리의 구체예도 함께 설명한다.
도 275는, 본 예에 관한 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다. 도 275의 좌측 도면은, 유저 인식부(4203)에 의한 인식 처리의 일례를 나타내고, 도 275의 우측 도면은, 출력 제어부(122)에 의한 표시 영역 결정 처리의 일례를 나타내고 있다. 도 275의 좌측 도면에 도시한 바와 같이, 입력부(110)는, 테이블(140a)보다도 넓은 촬상 영역(4241)을, 감시 대상으로서 촬상하고 있다. 먼저, 유저 인식부(4203)는, 촬상 영역(4241)의 촬상 화상에 기초하여, 기동 지시 오브젝트(4224)를 터치한 유저(4242)를 특정한다. 그리고, 유저 인식부(4203)는, 특정한 유저의 위치(4243)를 추정한다. 또한, 유저 인식부(4203)는, 촬상 영역(4241)에 포함되는 유저(4242)의 얼굴에 기초하여, 유저(4242)의 얼굴 각도 θ를 추정한다. 이에 의해, 출력 제어부(122)는, 도 275의 우측 도면에 도시한 바와 같이, 유저에게 가까운 장소에, 유저(4242)에게 정면으로 대향하도록 각도 θ 기울여서, 기동 윈도우(4221)의 표시 영역을 결정한다.
도 276은, 본 예에 관한 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다. 도 276의 좌측 도면은, 유저 인식부(4203)에 의한 인식 처리의 일례를 나타내고, 도 276의 우측 도면은, 출력 제어부(122)에 의한 표시 영역 결정 처리의 일례를 나타내고 있다. 도 276의 좌측 도면에 도시한 바와 같이, 테이블(140a)에는, 마이크 아이콘(4244)이 표시되어 있고, 유저는, 이 마이크 아이콘(4244)을 향해서 발화하고 있다. 예를 들어, 마이크 아이콘(4244)의 바로 위 또는 그 부근에 마이크가 설치되어 있는 것으로 한다. 유저 인식부(4203)는, 애플리케이션의 기동을 지시하는 유저의 음성을 인식한다. 유저 인식부(4203)는, 예를 들어 미리 정해진 키워드를, 애플리케이션의 기동을 지시하는 음성으로서 인식할 수 있다. 그리고, 유저 인식부(4203)는, 마이크 아이콘(4244)으로부터 유저의 음성이 검출된 방향(4245)의 연장선상에 유저(4242)가 위치하고, 당해 연장선상의 마이크 아이콘(4244)을 향하는 방향으로 유저(4242)가 향하고 있다고 추정한다. 이에 의해, 출력 제어부(122)는, 도 276의 우측 도면에 도시한 바와 같이, 유저(4242)에게 가까운 장소에, 유저(4242)에게 정면으로 대향하도록 방향(4245)을 향해서, 기동 윈도우(4221)의 표시 영역을 결정한다.
도 277은, 본 예에 관한 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다. 도 277의 좌측 도면은, 유저 인식부(4203)에 의한 인식 처리의 일례를 나타내고, 도 277의 우측 도면은, 출력 제어부(122)에 의한 표시 영역 결정 처리의 일례를 나타내고 있다. 도 277의 좌측 도면에 도시한 바와 같이, 유저 인식부(4203)는, 예를 들어 촬상 화상에 기초하여, 기동 지시 오브젝트(4224)를 터치한 유저(4242)의 손가락 또는 팔의 방향(4246)을 인식한다. 그리고, 유저 인식부(4203)는, 손가락 또는 팔의 방향(4246)의 연장선상에 유저(4242)가 위치하고, 당해 연장선상의 기동 지시 오브젝트(4224)를 향하는 방향으로 유저(4242)가 향하고 있다고 추정한다. 이에 의해, 출력 제어부(122)는, 도 277의 우측 도면에 도시한 바와 같이, 유저에게 가까운 장소에, 유저에게 정면으로 대향하도록 방향(4246)을 향해서, 기동 윈도우(4221)의 표시 영역을 결정한다.
도 278은, 본 예에 관한 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다. 도 278의 좌측 도면은, 유저 인식부(4203)에 의한 인식 처리의 일례를 나타내고, 도 278의 우측 도면은, 출력 제어부(122)에 의한 표시 영역 결정 처리의 일례를 나타내고 있다. 도 278의 좌측 도면에 도시한 바와 같이, 입력부(110)는, 기동 지시 오브젝트(4224)를 터치한 유저(4242)의 팔을 포함하는 영역이며, 테이블(140a) 상의 영역을 촬상 영역(4241)으로 하고 있다. 먼저, 유저 인식부(4203)는, 기동 지시 오브젝트(4224)에의 터치를 검출한 시점에서의 촬상 영역(4241)의 촬상 화상으로부터, 터치한 팔의 형상을 인식한다. 그리고, 유저 인식부(4203)는, 검출한 팔의 형상을, 팔의 방향과 얼굴의 위치와의 관계를 나타내는 모델(4247)에 대조함으로써, 얼굴의 위치를 추정한다. 또한, 유저 인식부(4203)는, 유저(4242)는, 테이블(140a)의 테두리에 정면으로 대향하는 방향(4248)을 향하고 있다고 추정한다. 이에 의해, 출력 제어부(122)는, 도 278의 우측 도면에 도시한 바와 같이, 유저에게 가까운 장소에, 테이블(140a)의 테두리에 정면으로 대향하는 방향(4248)을 향해서, 기동 윈도우(4221)의 표시 영역을 결정한다. 본 처리는, 예를 들어 촬상 영역(4241)이 테이블(140a) 상에 한정되는 경우이며, 찍힌 손이 좌우 어느 쪽 손인지의 인식에 성공한 경우에 사용될 수 있다.
도 279는, 본 예에 관한 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다. 도 279의 좌측 도면은, 유저 인식부(4203)에 의한 인식 처리의 일례를 나타내고, 도 279의 우측 도면은, 출력 제어부(122)에 의한 표시 영역 결정 처리의 일례를 나타내고 있다. 도 279의 좌측 도면에 도시한 바와 같이, 유저 인식부(4203)는, 유저에 의한 기동 지시 오브젝트(4224)에의 터치를 인식한다. 그리고, 유저 인식부(4203)는, 화면 또는 테이블(140a)의 중심점(4249)으로부터 기동 지시 오브젝트(4224)를 향하는 방향(4250)의 연장선상에 유저(4242)가 위치하고, 당해 연장선상의 기동 지시 오브젝트(4224)를 향하는 방향으로 유저(4242)가 향하고 있다고 추정한다. 이에 의해, 출력 제어부(122)는, 도 279의 우측 도면에 도시한 바와 같이, 중심점(4249)으로부터 기동 지시 오브젝트(4224)를 향하는 방향(4250)의 연장선상에, 유저에게 정면으로 대향하도록 방향(4250)을 향해서, 기동 윈도우(4221)의 표시 영역을 결정한다.
도 280은, 본 예에 관한 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다. 도 280에 도시한 바와 같이, 출력 제어부(122)는, 테이블(140a) 중 유저(4242)가 존재하는 측의 영역을 윈도우 기동 가능 에리어(4234)로 한다. 이에 의해, 출력 제어부(122)는, 윈도우 기동 가능 에리어(4234) 내의 가장 넓은 영역(4251)에, 기동 윈도우(4221)의 표시 영역을 결정한다.
도 281은, 본 예에 관한 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다. 도 281에 도시한 바와 같이, 입력부(110)는, 테이블(140a)보다도 넓은 촬상 영역(4241)을, 감시 대상으로서 촬상하고 있다. 여기서, 유저 인식부(4203)가, 촬상 영역(4241)의 촬상 화상에 기초하여, 기동 지시 오브젝트(4224)를 터치한 유저(4242)의 위치(4243)의 추정에 성공했지만, 유저(4242) 방향의 추정에 실패한 경우를 상정한다. 이 경우, 유저 인식부(4203)는, 테이블(140a)의 주위의 영역(4261, 4262, 4263, 4264) 중 어디에 유저(4242)가 위치하는지, 즉 유저 변을 인식한다. 또한, 유저 변이란, 유저가 손을 집어넣은 화면 또는 테이블(140a)의 변을 가리킨다. 그리고, 출력 제어부(122)는, 유저에게 가장 가까워지는 장소에, 유저 변에 대응하는 방향으로, 기동 윈도우(4221)의 표시 영역을 결정한다. 도 281에 나타낸 예에서는, 출력 제어부(122)는, 유저에게 가장 가까워지는 장소에, 유저가 영역(4263) 중의 화살표 방향을 향하고 있다고 가정한 방향으로, 기동 윈도우(4221)의 표시 영역을 결정한다.
도 282는, 본 예에 관한 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다. 도 282에 나타낸 예에서는, 유저 인식부(4203)가, 유저(4242)의 위치(4243)의 추정에 성공한 것으로 한다. 또한, 유저 인식부(4203)는, 유저(4242)의 방향의 추정에 실패한 것으로 한다. 이 경우, 출력 제어부(122)는, 도 282의 상기 도면에 도시한 바와 같이, 화면 또는 테이블(140a)의 중심점(4249)으로부터 유저 위치(4243)를 연결한 선 상에서, 표시면에 내접하는 원에 접하는 가장 유저에게 가까운 위치에, 기동 윈도우(4221)의 표시 영역을 결정해도 된다. 또한, 출력 제어부(122)는, 도 282의 하측 도면에 도시한 바와 같이, 중심점(4249)으로부터 유저 위치(4243)를 연결한 선 상에서, 표시면의 애스펙트비에 대한 타원에 접하는 가장 유저에게 가까운 위치에, 기동 윈도우(4221)의 표시 영역을 결정해도 된다.
·조합
출력 제어부(122)는, 상술한 실제 오브젝트와의 관계, 기존의 표시 오브젝트와의 관계, 또는 유저와의 관계 중 적어도 어느 하나를 조합하여, 기동 윈도우(4221)의 표시 영역을 결정해도 된다. 이하, 도 283 내지 도 285를 참조하여, 실제 오브젝트와의 관계, 기존의 표시 오브젝트와의 관계 및 유저와의 관계의 조합에 의해 결정되는 표시 영역에 대해서 설명한다.
도 283은, 본 예에 관한 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다. 도 283에 나타낸 예에서는, 출력 제어부(122)는, 실제 오브젝트와의 관계에서, 실물체(4222)에 겹치지 않도록 기동 윈도우(4221)의 표시 영역을 결정하고 있다. 또한, 출력 제어부(122)는, 기존의 표시 오브젝트와의 관계에서, 기존 윈도우(4223)보다도 전방면에 겹치는 것을 허용해서 기동 윈도우(4221)의 표시 영역을 결정하고 있다. 또한, 출력 제어부(122)는, 유저와의 관계에서, 유저(4242)에게 가까운 장소에, 유저(4242)의 방향에 따른 기울기가 되도록 기동 윈도우(4221)의 표시 영역을 결정하고 있다.
도 284는, 본 예에 관한 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다. 도 284에 나타낸 예에서는, 출력 제어부(122)는, 실제 오브젝트와의 관계에서, 실물체(4222)에 겹치지 않도록 기동 윈도우(4221)의 표시 영역을 결정하고 있다. 또한, 출력 제어부(122)는, 기존의 표시 오브젝트와의 관계에서, 기존 윈도우(4223)에 겹치지 않도록 기동 윈도우(4221)의 표시 영역을 결정하고 있다. 또한, 출력 제어부(122)는, 유저와의 관계에서, 유저(4242)에게 가까운 장소에, 유저(4242)의 방향에 따른 기울기가 되도록 기동 윈도우(4221)의 표시 영역을 결정하고 있다.
도 285는, 본 예에 관한 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다. 도 285에 나타낸 예에서는, 출력 제어부(122)는, 실제 오브젝트와의 관계에서, 실물체(4222)에 겹치지 않도록 기동 윈도우(4221)의 표시 영역을 결정하고 있다. 또한, 출력 제어부(122)는, 기존의 표시 오브젝트와의 관계에서, 기존 윈도우(4223)에 겹치는 것을 허용해서 기동 윈도우(4221)의 표시 영역을 결정하면서, 기동 윈도우(4221)의 표시 영역에 겹치지 않도록 기존 윈도우(4223)의 표시 영역이 변경되어 있다. 또한, 출력 제어부(122)는 유저와의 관계에서, 유저(4242)에게 가까운 장소에, 유저(4242)의 방향에 따른 기울기가 되도록 기동 윈도우(4221)의 표시 영역을 결정하고 있다.
이상, 출력 제어부(122)에 의한 기동 윈도우의 표시 영역 결정 처리의 일례를 설명하였다.
(2) 제2 처리 예
예를 들어, 출력 제어부(122)는, 기동 윈도우의 표시 영역의 후보를 평가하는 평가 함수를 사용해서 표시 영역을 결정해도 된다. 이 평가 함수는, 실제 오브젝트와의 관계, 기존의 표시 오브젝트와의 관계, 및 유저와의 관계에 대해서 상기 설명한 내용이 반영되도록 설계될 수 있다. 보다 구체적으로는, 평가 함수의 요소로서 예를 들어 이하를 생각할 수 있다.
·기존 윈도우와의 중복 평가값
·실물체와의 중복 평가값
·유저 위치로부터의 거리 평가값
·유저 변으로부터의 거리 평가값
·터치 위치와의 거리 평가값
·손가락 방향과의 일치도 평가값
기존 윈도우와의 중복 평가값이란, 기동 윈도우와 기존 윈도우의 중복에 관한 평가값이다. 또한, 기존 윈도우가 복수 표시되어 있는 경우, 기존 윈도우와의 중복 평가값은, 기존 윈도우마다 산출된 평가값의 총합 또는 평균 등의 통계량으로서 산출될 수 있다. 또한, 출력 제어부(122)는, 기존 윈도우와의 중복 평가값의 산출에 있어서, 중복 평가값×(1/index)로서, 오래된 기존 윈도우일수록 평가에 영향을 주는 정도를 낮추어도 된다. 여기서, index는, 기존 윈도우에 할당되는 인덱스(순서)이며, 가장 새로운 윈도우에 1이 부여되고, 오래될수록 큰 값이 부여된다. 또한, 출력 제어부(122)는, 평가값의 산출에 있어서, 애플리케이션끼리의 상성을 고려해도 된다.
실물체와의 중복 평가값이란, 기동 윈도우와 실물체와의 중복에 관한 평가값이다. 또한, 실물체가 복수 존재하는 경우, 실물체와의 중복 평가값은, 실물체마다 산출된 평가값의 총합 또는 평균 등의 통계량으로서 산출될 수 있다. 또한, 출력 제어부(122)는, 평가값의 산출에 있어서, 실물체의 높이 및 면적 등의 형상을 고려해도 되고, 과거의 이동 이력을 고려해도 된다.
유저 위치로부터의 거리 평가값이란, 기동 윈도우와 유저 위치와의 거리에 관한 평가값이며, 거리가 가까울수록 좋은 평가값이 산출된다.
유저 변으로부터의 거리 평가값이란, 기동 윈도우와 유저 변과의 거리에 관한 평가값이며, 거리가 가까울수록 좋은 평가값이 산출된다.
터치 위치와의 거리 평가값이란, 기동 윈도우와 터치 위치와의 거리에 관한 평가값이며, 거리가 가까울수록 좋은 평가값이 산출된다.
손가락 방향과의 일치도 평가값이란, 기동 윈도우의 방향과 터치한 손가락의 방향과의 일치도에 관한 평가값이며, 일치할수록 좋은 평가값이 산출된다. 예를 들어, 일치하면 1, 일치하지 않으면 0이 산출될 수 있다.
이상, 평가 함수의 요소의 일례를 설명하였다. 출력 제어부(122)는, 각 요소에 가중치 부여를 행함으로써, 다음 식과 같이 평가 함수를 설계할 수 있다.
평가값=기존 윈도우와의 중복 평가값×30+
실물체와의 중복 평가값×200+
유저 위치로부터의 거리 평가값×1+
유저 변으로부터의 거리 평가값×1+
터치 위치와의 거리 평가값×1+
손가락 방향과의 일치도 평가값×10
가중치 부여의 파라미터는 임의로 설정될 수 있다. 또한, 각 요소 내의 함수 설계(파라미터 설계)도 임의이다. 출력 제어부(122)는, 평가 함수 내의 각종 파라미터를 학습해도 된다. 또한, 출력 제어부(122)는, 유저 조작에 따라서 평가 함수의 파라미터를 설정해도 된다. 이에 의해, 유저는, 자신이 좋아하는 표시 영역에 기동 윈도우가 표시되도록, 파라미터를 설정할 수 있다. 예를 들어, 유저는, 인접시켜서 사용하는 경우가 많은 애플리케이션끼리에 대해서 좋은 상성을 설정함으로써, 당해 애플리케이션끼리를 이웃시켜서 기동시키는 것이 가능하게 된다.
출력 제어부(122)는, 표시 영역의 후보 중, 평가 함수에 의해 산출되는 평가값이 가장 좋은 후보를, 기동 윈도우의 표시 영역으로서 결정한다. 예를 들어, 출력 제어부(122)는, 등산법, 유전적 알고리즘 등의 임의의 방법을 채용하여, 평가값이 가장 좋은 표시 영역을 탐색할 수 있다. 또한, 본 명세서에서는, 평가값이 높을수록 좋은 것으로 해서 설명하지만, 평가값이 낮을수록 좋은 것으로 해도 된다. 즉, 출력 제어부(122)에 의한 표시 영역의 탐색은, 최소화 문제이어도 되고, 최대화 문제이어도 된다.
이하, 평가 함수의 구체적인 설계에 대해서 설명한다. 예를 들어, 출력 제어부(122)는, 다음의 수학식 1을 평가 함수로서 사용할 수 있다.
[수학식 1]
Figure pct00002
상기 수학식 중, appm은, m개째의 애플리케이션 윈도우를 의미하고, 기동 윈도우를 가리킨다. appn은, n개째의 애플리케이션 윈도우를 의미하고, 기존 윈도우를 가리킨다. objn은, n개째의 실제 오브젝트를 의미한다. p는, 기동 윈도우의 표시 영역을 의미한다. 상기 수학식 1에서는, 기동 윈도우의 표시 영역을 p로 한 경우의 평가값이 산출된다.
상기 수학식 1의 제1항은, 기존 윈도우와의 관계에 관한 평가 항이다. wapp는, 가중치 부여 파라미터이다. Napp는, 기존 윈도우의 수를 나타낸다. 총합 계산의 대상은, 기동 윈도우 appm과 기존 윈도우 appn과의 상성 및 거리에 관한 평가 함수이며, 예를 들어 다음 식에 의해 정의된다.
[수학식 2]
Figure pct00003
Napp-(n-1)/Napp는, 표시순에 관한 평가값이며, 표시순이 오래될수록 낮은 값이 되는 것을 나타내고 있다. 또한, 기존 윈도우에는, 표시가 새로운 순서대로 낮은 인덱스 n이 부여되는 것으로 한다.
c(appm, appn)은 기동 윈도우 appm과 기존 윈도우 appn과의 상성에 관한 평가값이며, 예를 들어 상성이 좋을수록 높은 값이 된다. 상성으로서는, 예를 들어 사진 파일과 사진 편집 애플리케이션과의 상성이 좋은 것, 음악 파일과 음악 플레이어와의 상성이 좋은 것 등을 생각할 수 있다. 상성에 관한 평가값은, 예를 들어 다음의 표에 일례를 나타내는 상성 테이블에 의해 정해질 수 있다.
Figure pct00004
표 2는, 상성에 관한 평가값을 정하는 상성 테이블의 일례이다. 상성에 관한 평가값은, 정적으로 정해지는 부분과 동적으로 변화하는 부분을 포함한다. 정적으로 정해지는 부분은, 예를 들어 인스톨 시에 미리 정해져 있는 애플리케이션끼리의 상성, 또는 동일한 미디어(파일)를 취급할 수 있는지 여부 등에 의해 정해진다. 동적으로 변화하는 부분은, 예를 들어 동일한 유저(동일한 손 또는 동일한 방향으로부터 온 손)가 기동한 애플리케이션인지 여부, 과거의 조작 이력이 나타내는 상성 등에 의해 변화한다. 그 밖에도, 동적으로 변화하는 부분의 일례로서, 한쪽의 애플리케이션이 기동된 후 소정 시간 이내에 다른 쪽의 애플리케이션이 기동되거나, 또는 한쪽이 기동된 후 소정 시간 이내에 다른 쪽에 접근된 경우, 평가값이 높아질 수 있다. 반대로, 한쪽이 기동된 후 소정 시간 이내에 다른 쪽으로부터 멀어진 경우, 평가값이 낮아질 수 있다.
표 2에 나타낸 예에서는, 정지 화상 편집 애플리케이션과 사진 애플리케이션과의 상성에 관한 평가값은, 정적인 「2」에 동적으로 「1」이 가해져서 「3」으로 되어 있다. 또한, 동화상 편집 애플리케이션과 사진 애플리케이션과의 상성에 관한 평가값은, 정적인 「1」에 동적으로 「1」이 가해져서 「2」로 되어 있다. 또한, 동화상 편집 애플리케이션과 정지 화상 편집 애플리케이션과의 상성에 관한 평가값은, 정적인 「0」에 동적으로 「1」이 가해져서 「1」 줄어, 「0」으로 되어 있다.
이상, 상성 테이블에 대해서 설명하였다. 다시, 상기 수학식 2의 설명으로 돌아간다. {d-(r1+r2)}는, 기동 윈도우 appm과 기존 윈도우 appn과의 중복에 관한 평가값이다. r1, r2 및 d와의 관계의 일례를, 도 286에 나타내었다.
도 286은 본 예에 관한 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다. r1은, 기동 윈도우(4221)의 크기를 나타내는 파라미터이며, 도 286에 나타낸 예에서는 기동 윈도우(4221)의 중심점에서부터 단부까지의 거리이다. r2는, 기존 윈도우(4223)의 크기를 나타내는 파라미터이며, 도 286에 나타낸 예에서는 기존 윈도우(4223)의 중심점에서부터 단부까지의 거리이다. d는, 기동 윈도우(4221)와 기존 윈도우(4223)와의 거리를 나타내는 파라미터이며, 도 286에 나타낸 예에서는 중심점간의 거리이다. 도 286에 도시한 바와 같이, {d-(r1+r2)}는, 거리가 이격되어 있을수록 높은 값이 되고, 중복되는 영역이 많아질수록 낮은 값이 된다. 또한, 출력 제어부(122)는, {d-(r1+r2)}가 마이너스의 값이 된 경우, {d-(r1+r2)}를 0으로서 취급해도 된다.
이상, 상기 수학식 1의 제1항에 대해서 설명하였다. 계속해서, 상기 수학식 1의 제2항에 대해서 설명한다.
상기 수학식 1의 제2항은, 실물체와의 관계에 관한 평가 항이다. wobj는, 가중치 부여 파라미터이다. Nobj는, 실물체의 수를 나타낸다. 총합 계산의 대상은, 기동 윈도우 appm과 실물체 objn과의 상성 및 거리에 관한 평가 함수이며, 예를 들어 다음 식에 의해 정의된다.
[수학식 3]
Figure pct00005
c(appm, objn)는, 기동 윈도우 appm과 실물체 objn과의 상성에 관한 평가값이며, 예를 들어 상성이 좋을수록 높은 값이 된다. 상성으로서는, 예를 들어 정규의 애플리케이션과 실물체는 상성이 좋은 것, 장해물을 이용한 게임 애플리케이션은 장해물이 될 수 있는 실물체와의 상성이 좋은 것, 라면 타이머의 애플리케이션은 소정의 크기의 둥근 실물체와의 상성이 좋은 것 등을 생각할 수 있다. 상성에 관한 평가값은, 예를 들어 상술한 표 2와 마찬가지의 상성 테이블에 의해 정해질 수 있다.
{d-(r1+r2)}는, 기동 윈도우 appm과 실물체 objn과의 중복에 관한 평가값이다. r1, r2 및 d와의 관계의 일례를, 도 287에 나타내었다.
도 287은 본 예에 관한 표시 영역 결정 처리의 일례를 설명하기 위한 설명도이다. r1은, 기동 윈도우(4221)의 크기를 나타내는 파라미터이며, 도 287에 나타낸 예에서는 기동 윈도우(4221)의 중심점에서부터 단부까지의 거리이다. r2는, 실물체(4222)의 크기를 나타내는 파라미터이며, 도 287에 나타낸 예에서는 실물체(4222)의 중심점에서부터 단부까지의 거리이다. d는, 기동 윈도우(4221)와 실물체(4222)와의 거리를 나타내는 파라미터이며, 도 287에 나타낸 예에서는 중심점간의 거리이다. 도 287에 도시한 바와 같이, {d-(r1+r2)}는, 거리가 이격되어 있을수록 높은 값이 되고, 중복되는 영역이 많아질수록 낮은 값이 된다. 또한, 출력 제어부(122)는, {d-(r1+r2)}가 마이너스의 값이 된 경우, {d-(r1+r2)}를 0으로서 취급해도 된다.
a/Vobj는, 물체의 볼록 껍질 체적에 관한 평가값이다. 본 평가값은, 예를 들어 실물체 objn이 작거나 또는 얇은 경우에는 낮은 값이 된다. 이에 의해, 작거나 또는 얇은 실물체에 의한 평가 함수에의 영향이 작아진다.
b/∫vdt는, 바로 근처의 이동 거리에 관한 평가값이다. 본 평가값은, 예를 들어 바로 근처의 이동 거리가 많을수록 낮은 값이 된다. 이에 의해, 바로 근처의 이동 거리가 많은 실물체에 의한 평가 함수에의 영향이 작아진다. 이것은, 이동 거리가 많은 물체는, 이동 가능한 물체이거나 또는 최근 새롭게 놓인 물체이기 때문에, 유저가 치우는 것이 가능하다고 생각되기 때문이다.
c/F는, 물체의 형상에 관한 평가값이다. 본 평가값은, 예를 들어 투영되는 화상에의 영향이 적은 형상일수록 낮은 값이 된다. 예를 들어, 뿔체에는 낮은 값이 부여될 수 있다. 이에 의해, 투영되는 화상에의 영향이 적은 형상인 실물체에 의한 평가 함수에의 영향이 작아진다.
이상, 상기 수학식 1의 제2항에 대해서 설명하였다. 계속해서, 상기 수학식 1의 제3항 이후에 대해서 설명한다.
상기 수학식 1의 제3항 이후의 항은, 유저와의 관계에 관한 평가 항이다. wup는, 가중치 부여 파라미터이다. fup(p)는 유저 위치와 기동 윈도우와의 거리에 관한 평가 함수이다. wus는, 가중치 부여 파라미터이다. fus(p)는 유저 변과 기동 윈도우와의 거리에 관한 평가 함수이다. wtp는, 가중치 부여 파라미터이다. ftp(p)는 터치 위치와 기동 윈도우와의 거리에 관한 평가함수이다. wfd는, 가중치 부여 파라미터이다. ffd(p)는 유저의 손가락 방향과 기동 윈도우가 향하는 방향과의 일치도에 관한 평가 함수이다.
이상, 평가 함수의 구체예에 대해서 설명하였다.
이상, 정보 처리 시스템(100)의 구성예에 대해서 설명하였다. 계속해서, 도 288 내지 도 290을 참조하여, 본 예에 관한 정보 처리 시스템(100)에 있어서 실행되는 동작 처리 예를 설명한다.
(동작 처리)
도 288은, 본 예에 관한 정보 처리 시스템(100)에 있어서 실행되는 표시 제어 처리의 흐름의 일례를 나타내는 흐름도이다.
도 288에 도시한 바와 같이, 스텝 S4201에서, 입력부(110)는, 애플리케이션 기동 지시를 접수한다. 예를 들어, 입력부(110)는, 기동 지시 오브젝트에 터치된 것을 나타내는 입력 정보를, 제어부(120)에 출력한다.
계속해서, 스텝 S4202에서, 검출부(121)는, 실제 오브젝트, 기존의 표시 오브젝트 및 유저를 인식한다. 예를 들어, 실제 오브젝트 인식부(4201)는, 입력부(110)로부터 출력된 심도 정보로부터, 테이블(140a) 상의 실물체의 존재 영역을 인식한다. 예를 들어, 표시 오브젝트 인식부(4202)는, 출력 제어부(122)에 의한 표시 제어 처리를 감시하여, 기존 윈도우의 표시 영역을 인식한다. 예를 들어, 유저 인식부(4203)는, 입력부(110)로부터 출력된 촬상 화상에 기초하여, 기동 지시 오브젝트를 터치한 유저의 위치 및 방향을 인식한다.
이어서, 스텝 S4203에서, 출력 제어부(122)는, 기동 윈도우의 표시 영역 결정 처리를 행한다. 표시 영역 결정 처리의 구체적인 내용에 대해서는 상세히 후술하기 때문에, 여기에서의 상세한 설명은 생략한다.
그리고, 스텝 S4204에서, 출력 제어부(122)는 표시 처리를 행한다. 예를 들어, 출력 제어부(122)는, 상기 스텝 S4203에서 결정한 표시 영역에 기동 윈도우를 표시하도록 출력부(130)를 제어한다.
이상, 정보 처리 시스템(100)에 있어서 실행되는 표시 제어 처리의 흐름에 대해서 설명하였다. 계속해서, 도 289 및 도 290을 참조하여, 상기 스텝 S4203에서의 표시 영역 결정 처리의 흐름에 대해서 설명한다.
도 289는, 본 예에 관한 정보 처리 시스템(100)에 있어서 실행되는 표시 영역 결정 처리의 흐름의 일례를 나타내는 흐름도이다. 본 흐름도는, 상기 설명한 제1 처리 예에 관한 것이다.
도 289에 도시한 바와 같이, 먼저, S4221에서, 출력 제어부(122)는, 실물체 및 기존 윈도우의 정보에 기초하여, 윈도우 기동 가능 에리어를 결정한다. 예를 들어, 출력 제어부(122)는, 실물체의 존재 영역 및 기존 윈도우의 표시 영역에 겹치지 않는 영역을, 윈도우 기동 가능 에리어로서 결정한다.
계속해서, 스텝 S4222에서, 출력 제어부(122)는, 유저의 위치의 추정에 성공했는지 여부를 판정한다. 예를 들어, 출력 제어부(122)는, 유저 인식부(4203)에 의한 인식 결과를 참조함으로써, 본 판정을 행한다.
유저의 위치의 추정에 성공했다고 판정된 경우(S4222/"예"), 스텝 S4223에서, 출력 제어부(122)는, 유저의 방향의 추정에 성공했는지 여부를 판정한다. 예를 들어, 출력 제어부(122)는, 유저 인식부(4203)에 의한 인식 결과를 참조함으로써, 본 판정을 행한다.
유저의 방향의 추정에 성공했다고 판정된 경우(S4223/"예"), 스텝 S4224에서, 출력 제어부(122)는, 유저의 위치 및 방향에 기초하여, 기동 윈도우의 표시 영역을 결정한다. 예를 들어, 출력 제어부(122)는, 상기 스텝 S4221에서 결정한 윈도우 기동 가능 에리어 중에서 유저에게 가까운 위치에, 유저의 방향에 따라서 유저에게 정면으로 대향하는 기울기가 되도록, 기동 윈도우의 표시 영역을 결정한다.
한편, 유저의 위치의 추정에는 성공했지만 방향의 추정에는 실패했다고 판정된 경우(S4223/"아니오"), 스텝 S4225에서, 출력 제어부(122)는, 유저의 위치에 기초하여 기동 윈도우의 표시 영역을 결정한다. 예를 들어, 출력 제어부(122)는, 상기 스텝 S4221에서 결정한 윈도우 기동 가능 에리어 중에서, 유저에게 가까운 위치에, 유저 변에 대응하는 방향으로, 기동 윈도우의 표시 영역을 결정한다.
또한, 유저의 위치의 추정에 실패했다고 판정된 경우(S4222/"아니오"), 스텝 S4226에서, 출력 제어부(122)는, 실물체 및 기존 윈도우의 정보에 기초하여, 기동 윈도우의 표시 영역을 결정한다. 예를 들어, 출력 제어부(122)는, 상기 스텝 S4221에서 결정한 윈도우 기동 가능 에리어 중에서, 임의의 영역을 기동 윈도우의 표시 영역으로서 결정한다.
이상, 표시 영역 결정 처리의 흐름의 일례를 설명하였다. 계속해서, 도 290을 참조하여, 표시 영역 결정 처리의 흐름의 다른 일례를 설명한다.
도 290은 본 예에 관한 정보 처리 시스템(100)에 있어서 실행되는 표시 영역 결정 처리의 흐름의 일례를 나타내는 흐름도이다. 본 흐름도는, 상기 설명한 제2 처리 예에 관한 것이다. 구체적으로는, 출력 제어부(122)는, 등산법을 사용해서 평가 함수의 준 최적 해를 산출한다.
도 290에 도시한 바와 같이, 먼저, 스텝 S4231에서, 출력 제어부(122)는, 평가 대상의 좌표로서, 화면 내의 N개의 좌표를 랜덤하게 선택한다. 예를 들어, 출력 제어부(122)는, 표시면 내의 N개의 좌표를, 실물체의 존재 영역과 겹쳐져 있는지 여부, 또는 기존 윈도우와 겹쳐져 있는지 여부 등을 고려하지 않고, 랜덤하게 선택한다.
계속해서, 스텝 S4232에서, 출력 제어부(122)는 근방의 좌표를 평가한다. 예를 들어, 출력 제어부(122)는, 상기 스텝 S4231에서 선택한 좌표를 1 픽셀씩 전후 좌우로 비켜놓은 8점에 대해서, 각각 평가 함수의 평가값을 산출한다. 이때, 출력 제어부(122)는, 표시 영역의 크기 및 기울기에 대해서도 변화시키면서, 평가값을 산출해도 된다.
이어서, 스텝 S4233에서, 출력 제어부(122)는, 평가값이 가장 좋았던 좌표를 평가 대상의 좌표로 변경한다. 이때, 평가값이 좋아지는 좌표가 근방의 8점 중에 있는 경우(S4234/"아니오"), 처리는 다시 스텝 S4232로 돌아가서, 평가(S4232) 및 평가 대상의 좌표 갱신(S4233)이 반복된다.
평가값이 좋아지는 좌표가 근방의 8점에 없어진 경우(S4234/"예"), 스텝 S4235에서, 출력 제어부(122)는, N개의 좌표에 대해서 평가(S4232 내지 S4234)가 완료되었는지 여부를 판정한다.
완료되지 않았다고 판정된 경우(S4235/"아니오"), 처리는 다시 스텝 S4232로 복귀된다. 이에 의해, 출력 제어부(122)는, 미평가의 좌표에 대해서, 상기 스텝 S4232 내지 S4234에 관한 처리를 행한다.
완료되었다고 판정된 경우(S4235/"예"), 스텝 S4236에서, 출력 제어부(122)는 평가값이 가장 좋은 표시 영역으로 결정한다.
이상, 표시 영역 결정 처리의 흐름의 일례를 설명하였다.
[예 7]
본 예는, 상기 설명한 구체예 8에 관한 실시예이다. 본 예에서는, 도 291 내지 도 298을 참조하여, 구체예 8에 관한 내부 처리에 대해서 상세하게 설명한다. 또한, 이하에서는, 프로젝션형의 정보 처리 시스템(100a)을 상정해서 설명하는데, 도 1 내지 도 4를 참조하여 설명한 어느 타입에서도, 이하에 설명하는 예에 관한 UI를 실현 가능하다.
(구성예)
도 291은, 본 예에 관한 정보 처리 시스템(100)의 논리적인 구성의 일례를 나타내는 블록도이다. 도 291에 도시한 바와 같이, 본 예에 관한 정보 처리 시스템(100)은, 입력부(110), 제어부(120), 출력부(130)를 갖는다.
(1) 입력부(110)
본 예에 관한 입력부(110)는, 예를 들어 화상(정지 화상 또는 동화상)을 취득하는 카메라 및 심도 정보를 취득하는 스테레오 카메라에 의해 실현된다. 예를 들어, 입력부(110)는, 촬상한 촬상 화상 및 취득한 심도 정보를, 제어부(120)에 출력한다. 입력부(110)는, 촬상 시 외에도, 출력부(130)에 의한 촬상 화상의 투영 시에도, 심도 정보를 취득해서 제어부(120)에 출력한다. 또한, 입력부(110)는, 테이블(140a)에 설치된 터치 센서나, 리모트 컨트롤러 등의 임의의 입력 장치에 의해 실현되어도 되고, 음성 입력이나 터치 조작 등의 유저 조작을 취득하여, 제어부(120)에 출력할 수 있다.
(2) 출력부(130)
본 예에 관한 출력부(130)는, 화상을 표시하는 표시부로서의 기능을 갖는다. 예를 들어, 출력부(130)는, 도 1 내지 도 4에 도시한 바와 같이, 테이블(140a)의 상부 또는 하부로부터 테이블(140a)을 향해서 투영하는 프로젝터, 터치 패널식 또는 플랫 패널식의 디스플레이에 의해 실현된다. 그 밖에도, 출력부(130)는, 스피커 등의 음성 출력부로서의 기능을 갖고 있어도 된다.
(3) 제어부(120)
본 예에 관한 제어부(120)는, 테이블(140a) 상의 피사체를 촬상한 촬상 화상을, 원치수대로 재현하기 위한 각종 처리를 행한다. 도 291에 도시한 바와 같이, 제어부(120)는, 환경 정보 취득부(4301) 및 환경 정보 축적부(4303)로서의 기능을 갖는 검출부(121), 및 설정 정보 생성부(4305)로서의 기능을 갖는 출력 제어부(122)를 갖는다.
(3-1) 환경 정보 취득부(4301)
환경 정보 취득부(4301)는, 환경 정보를 취득하는 기능을 갖는다. 환경 정보란, 정보 처리 시스템(100)에의 입력 또는 정보 처리 시스템(100)으로부터의 출력에 영향을 주는, 정보 처리 시스템(100)의 환경에 관한 정보이다. 예를 들어, 촬상 시의 환경 정보는, 촬상 화상에 찍히는 피사체의 크기에 영향을 줄 수 있는 정보이다. 촬상 시의 환경 정보의 일례로서는, 촬상 시의 카메라로부터 테이블(140a)까지의 거리(심도 정보), 촬상 시의 카메라의 화각, 촬상 시의 카메라의 화소수 등을 들 수 있다. 또한, 투영시의 환경 정보는, 투영되는 촬상 화상에 찍히는 피사체의 크기에 영향을 줄 수 있는 정보이다. 투영 시의 환경 정보의 일례로서는, 투영 시의 프로젝터로부터 테이블(140a)까지의 거리, 투영 시의 프로젝터의 화각, 투영 시의 프로젝터의 화소수 등을 들 수 있다.
(3-2) 환경 정보 축적부(4303)
환경 정보 축적부(4303)는, 환경 정보 취득부(4301)에 의해 취득된 환경 정보를 축적하는 기능을 갖는다. 예를 들어, 환경 정보 축적부(4303)는, 카메라에 의해 촬상된 촬상 화상에, 당해 촬상 화상의 촬상 시에 취득된 환경 정보를 대응지어서 기억한다. 예를 들어, 환경 정보는, 촬상 화상의 메타데이터로서 기억되어도 된다.
(3-3) 설정 정보 생성부(4305)
설정 정보 생성부(4305)는, 출력부(130)에 의한 촬상 화상의 투영을 위한 설정 정보를 생성하는 기능을 갖는다. 특히, 설정 정보 생성부(4305)는, 촬상 시의 환경 정보 및 투영시 환경 정보에 기초하여, 피사체의 촬상 시의 모습을 그대로 재현하기 위한 설정 정보를 생성한다. 예를 들어, 설정 정보 생성부(4305)는, 피사체를 원치수대로 재현하기 위한 투영 배율을 산출하여, 설정 정보로서 생성할 수 있다. 이하에서는, 도 292를 참조하여, 설정 정보 생성부(4305)에 의한, 피사체를 원치수대로 재현하기 위한 투영 배율의 산출예에 대해서 설명한다.
도 292는, 본 예에 관한 투영 배율의 산출 처리에 대해서 설명하기 위한 설명도이다. 도 292의 좌측 도면은, 테이블(140a)을 카메라 또는 프로젝터에서 본 정면도이다. 도 292의 우측 도면은, 테이블(140a)을 카메라(입력부(110)) 또는 프로젝터(출력부(130))의 측면에서 본 측면도이다. Y는, 카메라 또는 프로젝터의 수직 방향의 화소수를 나타낸다. L은, 카메라 또는 프로젝터로부터 테이블(140a)까지의 거리를 나타낸다. θ는, 카메라 또는 프로젝터의 수직 방향의 화각을 나타낸다. 설정 정보 생성부(4305)는, 피사체를 원치수대로 재현하기 위한 투영 배율을, 예를 들어 다음 식에 의해 산출한다.
[수학식 4]
Figure pct00006
또한, Y1은 촬상 시의 카메라의 수직 방향의 화소수를 나타내고, L1은 촬상 시의 카메라로부터 테이블(140a)까지의 거리를 나타내고, θ1은 촬상 시의 카메라의 수직 방향의 화각을 나타낸다. 또한, Y2는 투영 시의 프로젝터의 수직 방향의 화소수를 나타내고, L2는 투영 시의 프로젝터로부터 테이블(140a)까지의 거리를 나타내고, θ2는 투영 시의 프로젝터의 수직 방향의 화각을 나타낸다.
또한, 도 292에서는, 수직 방향의 화소수 Y를 사용해서 투영 배율이 산출되는 예를 설명했지만, 수평 방향의 화소수를 사용해서 산출되어도 된다.
설정 정보 생성부(4305)가 생성하는 설정 정보는, 투영 배율 이외에도 다양하게 생각할 수 있다. 예를 들어, 설정 정보 생성부(4305)는, 피사체의 색조나 외광이 닿는 상태를 재현하기 위한 휘도 또는 콘트라스트 등을 산출하여, 설정 정보로서 생성해도 된다.
출력 제어부(122)는, 설정 정보 생성부(4305)에 의해 생성된 설정 정보에 기초하여, 촬상 화상을 투영하도록 출력부(130)를 제어한다. 구체적으로는, 출력 제어부(122)는, 설정 정보 생성부(4305)에 의해 산출된 투영 배율을 사용해서 촬상 화상을 확대 또는 축소해서 투영하도록, 프로젝터를 제어한다.
또한, 출력 제어부(122)는, 피사체의 촬상 시의 모습을 그대로 재현하기 위한, 유저에의 통지를 출력하도록 출력부(130)를 제어해도 된다. 예를 들어, 촬상 화상을 확대해서 투영할 때, 확대된 촬상 화상이 테이블(140a)에 수용되지 않는 경우를 생각할 수 있다. 이 때문에, 출력 제어부(122)는, 확대된 촬상 화상이 테이블(140a)에 수용되도록, 테이블(140a)에 관한 조정을 행하도록 의뢰하는 통지를, 유저에게 출력시켜도 된다.
이상, 본 예에 관한 정보 처리 시스템(100)의 구성예를 설명하였다. 계속해서, 도 293 내지 도 297을 참조하여, 본 예에 관한 유저 인터페이스의 구체예를 설명한다. 도 293 내지 도 297은, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다.
(UI예)
먼저, 도 293 내지 도 295를 참조하여, 촬상 시부터 투영 시까지의 환경 변화에 따라서 투영 배율이 변화하는 경우의 유저 인터페이스의 구체예에 대해서 설명한다. 도 293 내지 도 295의 좌측 도면은, 촬상 시의 피사체 및 환경 정보를 나타내고 있다. 설정 정보 생성부(4305)는, 도 293 내지 도 295의 좌측 도면에 나타낸 촬상 시의 환경 정보와, 도 293 내지 도 295의 우측 도면에 나타낸 투영 시의 환경 정보와의 차이에 따라, 상기 수학식 4를 사용해서 투영 배율을 산출한다. 그리고, 도 293 내지 도 295의 우측 도면에 도시한 바와 같이, 출력부(130)는, 산출된 투영 배율을 사용해서 촬상 화상을 투영한다. 일례로서, 촬상 시의 화각(θ1)은 45°이며, 거리(L1)는 1미터이며, 화소수(Y1)는 1080은 픽셀인 것으로 한다.
도 293에서는, 테이블(140a)까지의 거리가 변화한 예를 나타내고 있다. 구체적으로는, 카메라(입력부(110))로부터 테이블(140a)까지의 거리(L1)가 1미터이었던 것에 반해, 프로젝터(출력부(130))로부터 테이블(140a)까지의 거리(L2)가 2미터로 되어 있다. 이 때문에, 도 293의 우측 도면에 도시한 바와 같이, 투영 배율이 0.5배로 되어 있다. 거리가 길어진 분만큼 축소해서 투영됨으로써, 촬상 화상에 비치는 피사체가 원치수대로 투영된다. 한편, 거리가 짧아진 경우에는 확대해서 투영됨으로써, 촬상 화상에 찍히는 피사체가 원치수대로 투영된다.
도 294에서는, 화각이 변화한 예를 나타내고 있다. 구체적으로는, 입력부(110)의 화각(θ1)이 45°이었던 것에 반해, 출력부(130)의 화각(θ2)이 60°로 되어 있다. 이 때문에, 도 294의 우측 도면에 도시한 바와 같이, 투영 배율이 0.72배로 되어 있다. 화각이 퍼진 분만큼 축소해서 투영됨으로써, 촬상 화상에 비치는 피사체가 원치수대로 투영된다. 한편, 화각이 좁아진 경우에는 확대해서 투영됨으로써, 촬상 화상에 찍히는 피사체가 원치수대로 투영된다.
도 295에서는, 화소수가 변화한 예를 나타내고 있다. 구체적으로는, 입력부(110)의 화소수(Y1)가 1080은 픽셀이었던 것에 반해, 출력부(130)의 화소수(Y2)가 720 픽셀로 되어 있다. 이 때문에, 도 295의 우측 도면에 도시한 바와 같이, 투영 배율이 1.5배로 되어 있다. 화소수가 감소한 분만큼 확대해서 투영됨으로써, 촬상 화상에 비치는 피사체가 원치수대로 투영된다. 한편, 화소수가 증대된 경우에는 축소해서 투영됨으로써, 촬상 화상에 찍히는 피사체가 원치수대로 투영된다.
이상, 촬상 시부터 투영 시까지의 환경 변화에 따라서 투영 배율이 변화하는 경우의 유저 인터페이스 구체예에 대해서 설명하였다. 계속해서, 도 296 내지 도 297을 참조하여, 피사체의 촬상 시의 모습을 그대로 재현하기 위한 조정을 의뢰하는, 유저에의 통지의 구체예에 대해서 설명한다.
도 296에서는, 출력 제어부(122)가 본체(출력부(130))를 스크린(테이블(140a))으로부터 30센티미터 멀리 떨어지게 하도록 의뢰하는 통지를 출력하는 예를 나타내고 있다. 유저는, 본체를 멀리 떨어지게 해도 되고, 테이블(140a)을 낮은 것으로 바꾸어도 된다. 어쨌든, 출력부(130)로부터 테이블(140a)까지의 거리가 길어짐으로써, 촬상 화상은 축소해서 투영되게 되어, 테이블(140a)에 수용되게 된다. 그 밖에도, 출력 제어부(122)는, 테이블(140a)을 보다 면적이 넓은 것으로 바꾸도록 의뢰하는 통지를 출력해도 된다.
도 297에서는, 출력 제어부(122)가 테이블(140a)에 다 수용되지 않는 부분을 생략한 뒤에, 촬상 화상을 원치수대로 투영하면서, 스크롤하도록 의뢰하는 통지를 출력하는 예를 나타내고 있다. 유저는, 투영 화상을 스크롤시킴으로써, 생략된 부분을 비켜서 투영시킬 수 있다. 이 경우, 유저는, 본체를 멀리 떨어지게 하거나, 테이블(140a)을 바꾸는 등의, 출력부(130)로부터 테이블(140a)까지의 거리를 길게 하는 수고를 줄일 수 있다. 또한, 유저는, 도 296에 도시한 바와 같이 본체를 멀리 떨어지게 할지, 도 297에 도시한 바와 같이 다 수용되지 않는 부분을 생략시킬지를 선택해도 된다. 선택은, 투영 시에 이루어져도 되고, 미리 설정되어 있어도 되고, 정보 처리 시스템(100)에 의해 자동으로 이루어져도 된다.
이상, 본 예에 관한 유저 인터페이스의 구체예를 설명하였다. 계속해서, 도 298을 참조하여, 본 예에 관한 정보 처리 시스템(100)에 의한 동작 처리의 일례를 설명한다.
(동작 처리)
도 298은, 본 예에 관한 정보 처리 시스템(100)에 있어서 실행되는 표시 제어 처리의 흐름의 일례를 나타내는 흐름도이다.
도 298에 도시한 바와 같이, 먼저, 스텝 S4302에서, 설정 정보 생성부(4305)는, 환경 정보 취득부(4305)로부터 촬상 화상에 대응지어서 기억된 환경 정보를 참조한다. 이 환경 정보에는, 예를 들어 촬상 시의 카메라로부터 테이블(140a)까지의 거리, 촬상 시의 카메라의 화각 및 촬상 시의 카메라의 화소수를 나타내는 정보가 포함된다.
계속해서, 스텝 S4304에서, 환경 정보 취득부(4301)는, 현재의 환경 정보를 취득한다. 이 환경 정보에는, 예를 들어 프로젝터로부터 테이블(140a)까지의 거리, 프로젝터의 화각 및 프로젝터의 화소수를 나타내는 정보가 포함된다.
이어서, 스텝 S4306에서, 설정 정보 생성부(4305)는, 투영 배율을 산출한다. 구체적으로는, 설정 정보 생성부(4305)는, 상기 스텝 S4302에서 참조한 환경 정보 및 상기 스텝 S4304에서 취득한 환경 정보를, 상기 수학식 4에 적용함으로써, 투영 배율을 산출한다.
그리고, 스텝 S4308에서, 출력 제어부(122)는, 촬상 화상을 투영하도록 프로젝터를 제어한다. 구체적으로는, 출력 제어부(122)는, 상기 스텝 S4306에서 산출된 투영 배율을 사용해서 촬상 화상을 확대 또는 축소해서 투영하도록, 프로젝터를 제어한다.
이상, 본 예에 관한 정보 처리 시스템(100)에 의한 동작 처리의 일례를 설명하였다.
(정리)
이상 설명한 바와 같이, 본 예에 의하면, 촬상 화상을 보존 시에 환경 정보를 대응지어서 보존해 두고, 투영 시의 환경 정보와의 차이에 따라서 투영 배율을 변화시킴으로써, 피사체를 원치수대로 재현할 수 있다. 그 밖에, 담배 상자 또는 동전 등의 비교 대상물과 함께 피사체를 촬상하는 기술도 생각할 수 있지만, 당해 기술에서는, 투영 시의 환경이 촬상 시와 상이한 경우, 원치수대로 투영하는 것이 곤란해진다. 따라서, 예를 들어 유저가, 실물의 비교 대상물과 투영된 비교 대상물을 비교해서 투영 배율을 조정하는 등의 조작을 필요로 하고 있었다. 이에 반해, 본 예에 의하면, 투영 시의 환경이 촬상 시와 상이한 경우에도, 피사체를 원치수대로 재현할 수 있다.
[예 8]
본 예는, 상기 설명한 구체예 4에 관한 실시예이다. 본 예에서는, 도 299 내지 도 317을 참조하여, 구체예 4에 관한 내부 처리에 대해서 상세하게 설명한다. 이하에서는, 프로젝션형의 정보 처리 시스템(100a)을 상정해서 설명하지만, 도 1 내지 도 4를 참조하여 설명한 어느 타입에서도, 이하에 설명하는 예에 관한 UI를 실현 가능하다.
(구성예)
먼저, 본 예에 관한 정보 처리 시스템(100)에 특징적인 구성을 설명한다.
(1) 입력부
본 예에 관한 입력부(110)는, 테이블(140a) 상의 물체를 검지하는 기능을 갖는다. 입력부(110)는, 예를 들어 테이블(140a) 상의 화상(정지 화상 또는 동화상)을 취득하는 카메라, 심도 정보를 취득하는 스테레오 카메라, 테이블(140a)에 설치되는 터치 센서 등에 의해 실현될 수 있다. 예를 들어, 입력부(110)는, 테이블(140a)에의 손가락에 의한 터치, 또는 손가락을 뗀 상태에서 테이블(140a) 상에 떠있는 손을 검지한다. 그리고, 입력부(110)는, 검지한 입력 정보를 제어부(120)에 출력한다.
(2) 출력부(130)
본 예에 관한 출력부(130)는, 화상을 표시하는 표시부로서의 기능을 갖는다. 예를 들어, 출력부(130)는, 도 1 내지 도 4에 도시한 바와 같이, 테이블(140a)의 상부 또는 하부로부터 테이블(140a)을 향해서 투영하는 프로젝터, 터치 패널식 또는 플랫 패널식의 디스플레이에 의해 실현된다. 그 밖에도, 출력부(130)는, 스피커 등의 음성 출력부로서의 기능을 갖고 있어도 된다.
(3) 검출부
·손가락 검출 기능
본 예에 관한 검출부(121)는, 입력부(110)로부터 출력된 입력 정보에 기초하여, 유저의 손가락을 검출하는 기능을 갖는다. 검출부(121)는, 조작 가능 개수 결정 기능 및 손가락 검출 기능을 갖는다.
·조작 가능 개수 결정 기능
검출부(121)는, 조작 가능 개수를 결정하는 기능을 갖는다. 이하, 검출부(121)에 의한 조작 가능 개수의 결정 처리에 대해서 상세하게 설명한다.
먼저, 검출부(121)는, 시스템 인식 한계 개수 N개를 결정한다. 시스템 인식 한계 개수란, 정보 처리 시스템(100)이 인식 가능한 상한의 개수를 의미하고, 상술한 계산량 상의 인식 가능 상한수에 상당한다. 예를 들어, 검출부(121)는, 시스템 인식 한계 개수 N개를, 이용 중인 애플리케이션의 처리 부하로부터 동적으로 산출해도 되고, 시스템의 하드웨어 요건으로부터 고정값으로서 결정해도 된다.
계속해서, 검출부(121)는, 애플리케이션마다의 조작 한계 개수 M개를 결정한다. 여기서, M≤N으로 한다. 검출부(121)는, 애플리케이션의 내용에 따라 M개를 결정해도 된다. 예를 들어, 검출부(121)는, 하키 게임이라면 M=2개로 하고, 마작이라면 M=4개로 한다. 또한, 검출부(121)는 M=N으로 해도 된다.
이어서, 검출부(121)는, 잉여 개수 P개를 결정한다. 통상, 검출부(121)는 P=1개로 한다. 그 밖에도, 검출부(121)는, N>P>=N-M을 만족하는 임의의 수로 해도 된다.
그리고, 검출부(121)는, 조작 가능 개수를 (M-P)개로서 결정한다. 또한, 조작 가능 개수는, 상술한 사양 상의 인식 가능 상한수에 상당한다. 잉여 개수에 의해, 조작 가능 개수가 적어도 시스템 인식 한계 개수보다도 적어지므로, 정보 처리 시스템(100)은, 조작 가능 개수를 초과한 손가락에 대하여 인식할 수 없는 취지를 피드백하는 것이 가능하게 된다.
·손가락 검출 기능
검출부(121)는, 유저의 손가락을, 조작권을 갖는 손가락과 갖지 않는 손가락의 2종류로 나누어서 검출한다. 검출부(121)는, 조작 가능 개수에 도달할 때까지의 동안에 검출된 손가락을, 조작권을 갖는 손가락으로서 검출한다. 그리고, 검출부(121)는, 조작 가능 개수에 달한 후에 검출된 손가락을, 조작권을 갖지 않는 손가락으로서 검출한다.
조작권을 갖는 손가락이 테이블(140a)에의 터치를 계속하는 경우, 검출부(121)는, 조작권을 계속해서 당해 손가락에 부여한다. 한편, 조작권을 갖는 손가락이 테이블(140a)에의 터치를 정지해서 조작을 그만둔 경우, 조작권은 상실되고, 예를 들어 다른 손가락에 조작권이 이행된다. 단, 검출부(121)는, 조작권을 갖는 손가락이 테이블(140a)에의 터치를 정지해서 조작을 그만둔 경우에도, 다시 조작이 예상되는 경우에는, 계속해서 당해 손가락에 조작권을 부여한다. 이하, 도 299 내지 도 300) 참조하여, 다시 조작이 예상되는 예에 대해서 구체적으로 설명한다.
도 299는, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 299에 나타낸 예에서는, 유저가 조작권을 갖는 손가락을 터치 점(4401)으로부터 멀리 이격한 상태를 나타내고 있다. 예를 들어, 검출부(121)는, 조작권을 갖는 손가락이 터치를 중단하고 나서 소정 시간 이내인 경우, 조작이 있었던 터치 점(4401)을 기점으로 한 임의의 넓이의 근방 에리어(4402)에, 계속해서 손가락이 존재하고 있는 것으로 간주한다. 검출부(121)는, 소정 시간 경과할 때까지 조작권을 유보해 두고, 근방 에리어(4402) 내를 터치한 손가락에 유보해 둔 조작권을 부여한다. 한편, 검출부(121)는, 소정 시간 경과 후에는 조작권을 개방하여, 예를 들어 다른 손가락에 조작권을 부여한다. 또한, 검출부(121)는, 소정 시간 경과 전이라도, 근방 에리어(4402) 밖을 터치한 손가락에는, 유보해 둔 조작권을 부여하지 않는다. 이렇게 조작권이 유보됨으로써, 예를 들어 유저가 조작을 중단하고 테이블(140a) 밑에 떨어진 물체을 줍고, 또한 동일한 장소로부터 조작을 재개하는 것이 가능하게 된다.
도 300은, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 300에 나타낸 예에서는, 유저가 조작권을 갖는 손가락을 터치 점(4403)으로부터 뗐지만 테이블(140a) 상에 손이 머물고 있는 상태를 나타내고 있다. 예를 들어, 검출부(121)는, 조작권을 갖는 손가락이 터치를 중단해도, 계속해서 손의 형상(4404)이 심도 정보 등에 의해 검출되는 경우에는, 그 손이 조작권을 갖는 것이라 간주한다. 이에 의해, 예를 들어 유저가 임의의 조작 후에 손을 내민 채로 화면 내의 동화상 등을 보고 있는 경우에, 그 손으로 조작을 재개하는 것이 가능하게 된다.
또한, 조작권은, 터치해서 조작을 개시한 손가락 이외에도, 조작의 개시가 예상되는 손가락에도 부여될 수 있다. 이하, 도 301을 참조하여, 조작의 개시가 예상되는 예에 대해서 구체적으로 설명한다.
도 301은, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 도 301에 나타낸 예에서는, 조작을 하고 있지는 않지만, 테이블(140a) 상에 손가락을 내밀고 있는 상태를 나타내고 있다. 예를 들어, 검출부(121)는, 터치는 검출되지 않았지만, 심도 정보 등에 의해 손가락이 검출되어 있는 경우, 그 손가락에 조작권을 부여한다. 이에 의해, 예를 들어 유저가 손가락을 내밀고 있지만, 머뭇거리고 순간적으로 조작을 하지 않는 경우에도, 그 손가락에 의한 조작이 가능하게 된다.
(4) 출력 제어부(122)
본 예에 관한 출력 제어부(122)는, 유저에게 조작 가부를 피드백하도록 출력부(130)를 제어하는 기능을 갖는다. 예를 들어, 출력 제어부(122)는, 조작권을 갖는 손가락에 의한 조작이 검출된 경우에, 조작 가능한 취지의 피드백을 행한다. 한편, 출력 제어부(122)는, 조작권을 갖지 않는 손가락에 의한 조작이 검출된 경우, 예를 들어 조작 가능 개수를 초과하는 손가락이 새롭게 검출된 경우에, 조작 불가능한 취지의 피드백을 행한다. 출력 제어부(122)는, 조작 가능 개수 (M-P)개를 초과하는 수의 손가락이라도, 시스템 인식 한계 개수 N개까지 검출 가능하다. 이 때문에, 출력 제어부(122)는, N개에 도달할 때까지의 손가락에 대하여 조작 불가능한 취지의 경고를 피드백할 수 있다.
출력 제어부(122)가 경고를 피드백하는 조건은 다양하게 생각할 수 있다. 예를 들어, 출력 제어부(122)는, 소정 횟수 이상, 조작권을 갖지 않는 손가락을 검출한 경우, 또는 소정 기간 이상 조작권을 갖지 않는 손가락을 계속해서 검출한 경우에, 경고를 피드백해도 된다. 또한, 출력 제어부(122)는, 복수의 피드백을 조합해도 되고, 각 피드백에 서로 다른 조건을 설정해도 된다.
예를 들어, 출력 제어부(122)는, 드래그 개시를 의미하는 포인터의 색이 바뀌는 피드백을, 처음으로 손가락이 검출된 순간부터 행하고, 비프 음을 내는 피드백을, 당해 순간의 5초 후부터 개시해도 된다.
이하, 도 302 내지 도 315를 참조하여, 출력 제어부(122)에 의한 피드백의 변형에 대해서 설명한다. 도 302 내지 도 315는, 본 예에 관한 유저 인터페이스의 일례를 설명하기 위한 설명도이다. 또한, 도 302 내지 도 312에서는, 조작 가능한 취지의 피드백 A와 조작 불가능한 취지의 피드백 B를 각각 나타내고 있다.
도 302에 나타낸 예에서는, 입력 개소(손끝 또는 터치 점)에, 조작 가능한 경우와 불가능한 경우에 서로 다른 색조의 마크가 표시된다.
도 303 내지 도 305에 나타낸 예에서는, 입력 개소에, 조작 가능한 경우와 불가능한 경우에 서로 다른 형상의 마크가 표시된다. 예를 들어, 도 303에 나타낸 예에서는, 조작 불가능한 경우에, 조작 불가능한 취지를 표현한 ×표의 마크가 표시된다. 또한, 도 304에 나타낸 예에서는, 조작 불가능한 경우에, 조작 불가능한 취지를 표현한 ×표를 손으로 만든 캐릭터가 표시된다. 또한, 도 305에 나타낸 예에서는, 조작 불가능한 경우에, 둘러싼 범위 밖으로 손을 움직여도 조작할 수 없는 것을 표현한, 손을 둘러싼 마크가 표시된다.
도 306 내지 도 307에 나타낸 예에서는, 조작 가능한 경우와 불가능한 경우에 서로 다른 장소에 마크가 표시된다. 예를 들어, 도 306에 나타낸 예에서는, 조작 가능한 경우에는 입력 개소에 마크가 표시되고, 조작 불가능한 경우에는 손등에 마크가 표시된다. 또한, 도 307에 나타낸 예에서는, 조작 불가능한 경우에, 손가락을 자르는 듯한 마크가 표시된다.
도 308 내지 도 310에 나타낸 예에서는, 조작 가능한 경우에는 정적인 마크가 표시되고, 조작 불가능한 경우에는 동적으로 변화하는 마크가 표시된다. 예를 들어, 도 308에 나타낸 예에서는, 조작 불가능한 경우에, 조작 가능한 경우와 마찬가지의 마크가 일단은 표시되지만, 그 마크가 흩어지는 이펙트가 표시된다. 이에 의해, 유저는, 자신이 조작권을 갖고 있지 않은 것을 알 수 있다. 또한, 도 309에 나타낸 예에서는, 조작 불가능한 경우에, 마크가 손끝에서부터 서서히 손가락을 거슬러 올라가 이동하는 이펙트가 표시된다. 또한, 도 310에 나타낸 예에서는, 조작 불가능한 경우에, 손가락을 밀쳐내는 듯한 이펙트가 표시된다. 도 309 및 도 310에 나타낸 예에 의하면, 유저는, 자발적으로 손가락을 거두도록 재촉된다.
도 311에 나타낸 예에서는, 조작 가능한 경우와 불가능한 경우에, 표시 오브젝트에의 조작의 반응이 상이하게 표시된다. 표시 오브젝트란, 예를 들어 애플리케이션 윈도우, 메뉴 아이콘 또는 기동 아이콘 등의, 조작 가능한 오브젝트를 가리킨다. 예를 들어, 조작 가능한 경우, 터치된 표시 오브젝트는 색조를 바꾸지 않는다. 한편, 조작 불가능한 경우, 터치된 표시 오브젝트의 색조가 희박화하여, 조작 불가능한 것이 표현된다.
도 312에 나타낸 예에서는, 조작 불가능한 경우에, 조작 불가능한 취지를 나타내는 메시지가 표시된다. 이 예에서는, 메시지의 일례로서, 「조작할 수 있는 최대 인원을 초과하였습니다」가 표시된다.
도 313에 나타낸 예에서는, 게임에 있어서, 조작 가능한 경우와 조작 불가능한 경우에 서로 다른 조작 오브젝트가 표시된다. 예를 들어, 조작권을 갖는 손가락의 손끝에는 전투기 아이콘이 표시되어, 유저는 전투기를 조작해서 게임에 참가할 수 있다. 한편, 조작권을 갖지 않는 손가락의 손끝에는 깃발 아이콘이 표시되어, 유저는 깃발을 흔들어서 응원할 수 있을 뿐이다.
도 314에 나타낸 예에서는, 테이블(140a) 상에 조작권의 소비수 및 잔수가 표시되어 있다. 예를 들어, 도 314A에 나타낸 예에서는, 조작권을 갖는 손가락은 2개이므로, 조작권의 소비수가 2이고 잔수가 1인 취지가 표시되어 있다. 또한, 도 314B에 나타낸 예에서는, 조작권을 갖는 손가락은 3개이므로, 조작권의 소비수가 3이며 잔수가 0인 취지가 표시되어 있다. 또한, 도 314C에 나타낸 예에서는, 조작권을 갖는 손가락은 3개이며, 조작권을 갖지 않는 손가락은 2개이다. 이 때문에, 도 314C에 나타낸 예에서는, 조작권의 소비수가 3이며 잔수가 0인 취지가 표시됨과 함께, 조작권을 갖는 손가락과 갖지 않는 손가락에 서로 다른 색조의 마크가 표시된다.
도 315에 나타낸 예에서는, 조작 가능한 경우와 불가능한 경우에, 서로 다른 음성이 출력된다. 예를 들어, 조작 가능한 경우에는 음성이 출력되지 않고, 조작 불가능한 경우에는 음성이 출력되어도 된다. 이 경우, 예를 들어 네가티브한 비프 소리, 또는 「인원수 오버입니다」라는 말이 출력될 수 있다. 또한, 출력 제어부(122)는, 조작 불가능하게 된 유저에게 가까운 장소에 설치된 스피커로부터, 이러한 음성을 출력시켜도 된다.
이상, 본 예에 관한 정보 처리 시스템(100)에 특징적인 구성예에 대해서 설명하였다. 계속해서, 도 316 및 도 317을 참조하여, 본 예에 관한 정보 처리 시스템(100)의 동작 처리에 대해서 설명한다.
(동작 처리)
도 316은, 본 예에 관한 정보 처리 시스템(100)에 있어서 실행되는 표시 제어 처리의 흐름의 일례를 나타내는 흐름도이다. 도 316에서는, 조작 가능 개수를 결정하기 위한 사전 처리의 흐름의 일례를 나타내고 있다.
도 316에 도시한 바와 같이, 먼저, 스텝 S4402에서, 검출부(121)는, 시스템 인식 한계 개수 N개를 결정한다.
계속해서, 스텝 S4404에서, 검출부(121)는, 조작 한계 개수 M개를 결정한다.
이어서, 스텝 S4406에서, 검출부(121)는 잉여 개수 P개를 결정한다.
그리고, 스텝 S4408에서, 검출부(121)는, 조작 가능 개수를 (M-P)개로서 결정한다.
이상, 조작 가능 개수를 결정하기 위한 전처리에 대해서 설명하였다.
도 317은, 본 예에 관한 정보 처리 시스템(100)에 있어서 실행되는 표시 제어 처리의 흐름의 일례를 나타내는 흐름도이다. 도 317에서는, 정보 처리 시스템(100)이 유저 조작을 검출할 때의, 프레임마다의 손가락의 검출 처리의 흐름의 일례를 나타내고 있다. 도 317에 나타낸 처리는, 프레임이 전환되고, 새로운 손가락 인식 처리 대상의 데이터가 얻어질때마다 반복된다.
도 317에 도시한 바와 같이, 먼저, 스텝 S4412에서, 검출부(121)는, 손가락 인식 처리의 대상 데이터를 취득한다. 예를 들어, 검출부(121)는, 입력부(110)로부터 출력된 입력 정보를 취득한다.
계속해서, 스텝 S4414에서, 검출부(121)는, 전 프레임에서 조작권을 갖고 있었던 손가락을 대상으로 한 손가락 인식 처리를 행한다. 이때, 검출부(121)는, 터치 조작이 검출된 손가락뿐만 아니라, 도 299 내지 도 301을 참조하여 상기 설명한 터치 조작이 검출되지 않는 손가락도 포함하여, 조작권을 갖고 있었던 손가락을 검출한다. 또한, 검출부(121)는, 도 299 내지 도 301을 참조하여 상기 설명한 검출 기술을 조합해서 사용해도 된다. 이와 같이, 검출부(121)는, 전 프레임에서 조작권을 갖고 있었던 손가락을 먼저 처음에 손가락 인식 대상으로 함으로써, 전 프레임에서 조작권을 갖고 있었던 손가락에 우선적으로 조작권을 부여한다.
이어서, 스텝 S4416에서, 검출부(121)는, 인식한 손가락의 개수는 시스템의 인식 한계 개수 N개에 도달했는지 여부를 판정한다.
도달했다고 판정된 경우(S4416/"예"), 처리는 종료된다.
한편, 도달하지 않았다고 판정된 경우(S4416/"아니오"), 스텝 S4418에서, 검출부(121)는, 전 프레임에서 조작권을 갖고 있지 않았던 손가락을 대상으로 한 손가락 인식 처리를 행한다. 이에 의해, 검출부(121)는, 지금 프레임부터 새롭게 등장한 손가락을 인식한다.
새로운 손가락이 인식되지 않은 경우(S4420/"아니오"), 처리는 종료된다.
한편, 새로운 손가락이 인식된 경우(S4420/"예"), 스텝 S4422에서, 검출부(121)는, 새롭게 인식된 손가락이 조작 가능 개수에 수용되는지 여부를 판정한다.
수용되지 않는다고 판정된 경우(S4422/"아니오"), 스텝 S4424에서, 출력 제어부(122)는 조작 불가능한 취지의 피드백을 행한다. 출력 제어부(122)는, 도 302 내지 도 315에 나타낸 피드백 예를 조합해도 되고, 다른 임의의 피드백을 행해도 된다.
한편, 수용된다고 판정된 경우(S4422/"예"), 스텝 S4426에서, 검출부(121)는, 인식된 손가락에 의한 조작이 유효한 조작인지 여부를 판정한다.
유효한 조작이라고 판정된 경우(S4426/"예"), 스텝 S4428에서, 검출부(121)는 조작 이벤트를 발행한다. 이때, 예를 들어 검출부(121)는, 새롭게 인식된 손가락에 조작권을 부여한다. 유효한 조작이 아니라고 판정된 경우(S4426/"아니오"), 조작 이벤트는 발행되지 않는다. 검출부(121)는, 조작 이벤트가 발행되지 않는 경우에도, 새롭게 인식된 손가락에 조작권을 부여해도 된다.
계속해서, 스텝 S4430에서, 검출부(121)는, 대상 데이터의 마지막까지 손가락 인식 처리를 행했는지 여부를 판정한다. 예를 들어, 검출부(121)는, 스텝 S4418에서의 손가락 인식 처리에 있어서 아직 미 주사의 영역이 있는지 여부에 의해, 본 판정을 행한다.
대상 데이터의 마지막까지 손가락 인식 처리를 행하지 않았다고 판정된 경우(S4430/"아니오"), 처리는 다시 스텝 S4416으로 돌아간다. 한편, 대상 데이터의 마지막까지 손가락 인식 처리를 행했다고 판정된 경우(S4430/"예"), 지금 프레임의 처리는 종료된다.
이상, 본 예에 관한 정보 처리 시스템(100)의 동작 처리에 대해서 설명하였다.
<3. 하드웨어 구성예>
이어서, 도 318을 참조하여, 본 개시의 일 실시 형태에 따른 정보 처리 시스템(100)의 하드웨어 구성에 대해서 설명한다. 도 318은, 본 개시의 실시 형태에 따른 정보 처리 시스템(100)의 하드웨어 구성예를 도시하는 블록도이다.
도 318에 도시한 바와 같이, 정보 처리 시스템(100)은, CPU(Central Processing unit)(901), ROM(Read Only Memory)(903) 및 RAM(Random Access Memory)(905)을 포함한다. 또한, 정보 처리 시스템(100)은, 호스트 버스(907), 브리지(909), 외부 버스(911), 인터페이스(913), 입력 장치(915), 출력 장치(917), 스토리지 장치(919), 드라이브(921), 접속 포트(923), 통신 장치(925)를 포함해도 된다. 또한, 정보 처리 시스템(100)은, 필요에 따라, 촬상 장치(933) 및 센서(935)를 포함해도 된다. 정보 처리 시스템(100)은, CPU(901) 대신에 또는 이와 함께, DSP(Digital Signal Processor) 또는 ASIC(Application Specific Integrated Circuit)라고 불리는 처리 회로를 가져도 된다.
CPU(901)는, 연산 처리 장치 및 제어 장치로서 기능하고, ROM(903), RAM(905), 스토리지 장치(919) 또는 리무버블 기록 매체(927)에 기록된 각종 프로그램에 따라, 정보 처리 시스템(100) 내의 동작 전반 또는 그 일부를 제어한다. ROM(903)은, CPU(901)가 사용하는 프로그램이나 연산 파라미터 등을 기억한다. RAM(905)은, CPU(901)의 실행에 있어서 사용하는 프로그램이나, 그 실행에 있어서 적절히 변화하는 파라미터 등을 1차 기억한다. CPU(901), ROM(903) 및 RAM(905)은, CPU 버스 등의 내부 버스에 의해 구성되는 호스트 버스(907)에 의해 서로 접속되어 있다. 또한, 호스트 버스(907)는, 브리지(909)를 통해서, PCI(Peripheral Component Interconnect/Interface) 버스 등의 외부 버스(911)에 접속되어 있다.
입력 장치(915)는, 예를 들어 마우스, 키보드, 터치 패널, 버튼, 스위치 및 레버 등, 유저에 의해 조작되는 장치이다. 입력 장치(915)는, 유저의 음성을 검출하는 마이크를 포함해도 된다. 입력 장치(915)는, 예를 들어 적외선이나 기타 전파를 이용한 리모트 컨트롤 장치이어도 되고, 정보 처리 시스템(100)의 조작에 대응한 휴대 전화 등의 외부 접속 기기(929)이어도 된다. 입력 장치(915)는, 유저가 입력한 정보에 기초하여 입력 신호를 생성해서 CPU(901)에 출력하는 입력 제어 회로를 포함한다. 유저는, 이 입력 장치(915)를 조작함으로써, 정보 처리 시스템(100)에 대하여 각종 데이터를 입력하거나 처리 동작을 지시하거나 한다. 또한, 후술하는 촬상 장치(933)도, 유저의 손의 움직임 등을 촬상함으로써, 입력 장치로서 기능할 수 있다.
출력 장치(917)는, 취득한 정보를 유저에 대하여 시각적 또는 청각적으로 통지하는 것이 가능한 장치로 구성된다. 출력 장치(917)는, 예를 들어 LCD(Liquid Crystal Display), PDP(Plasma Display Panel), 유기 EL(Electro-Luminescence) 디스플레이, 프로젝터 등의 표시 장치, 홀로그램의 표시 장치, 스피커 및 헤드폰 등의 음성 출력 장치, 및 프린터 장치 등일 수 있다. 출력 장치(917)는, 정보 처리 시스템(100)의 처리에 의해 얻어진 결과를, 텍스트 또는 화상 등의 영상으로서 출력하거나, 음성 또는 음향 등의 음성으로서 출력하거나 한다. 또한, 출력 장치(917)는, 주위를 밝게 하기 위해서 라이트 등을 포함해도 된다.
스토리지 장치(919)는, 정보 처리 시스템(100)의 기억부의 일례로서 구성된 데이터 저장용의 장치이다. 스토리지 장치(919)는, 예를 들어 HDD(Hard Disk Drive) 등의 자기 기억부 디바이스, 반도체 기억 디바이스, 광 기억 디바이스 또는 광자기 기억 디바이스 등에 의해 구성된다. 이 스토리지 장치(919)는, CPU(901)가 실행하는 프로그램이나 각종 데이터 및 외부로부터 취득한 각종 데이터 등을 저장한다.
드라이브(921)는, 자기 디스크, 광 디스크, 광자기 디스크 또는 반도체 메모리 등의 리무버블 기록 매체(927)를 위한 리더 라이터이며, 정보 처리 시스템(100)에 내장, 또는 외장된다. 드라이브(921)는, 장착되어 있는 리무버블 기록 매체(927)에 기록되어 있는 정보를 판독하고, RAM(905)에 출력한다. 또한, 드라이브(921)는, 장착되어 있는 리무버블 기록 매체(927)에 기록을 기입한다.
접속 포트(923)는, 기기를 정보 처리 시스템(100)에 직접 접속하기 위한 포트이다. 접속 포트(923)는, 예를 들어 USB(Universal Serial Bus) 포트, IEEE 1394 포트, SCSI(Small Computer System Interface) 포트 등일 수 있다. 또한, 접속 포트(923)는, RS-232C 포트, 광 오디오 단자, HDMI(등록 상표)(High-Definition Multimedia Interface) 포트 등이어도 된다. 접속 포트(923)에 외부 접속 기기(929)를 접속함으로써, 정보 처리 시스템(100)과 외부 접속 기기(929)와의 사이에서 각종 데이터가 교환될 수 있다.
통신 장치(925)는, 예를 들어 통신 네트워크(931)에 접속하기 위한 통신 디바이스 등으로 구성된 통신 인터페이스이다. 통신 장치(925)는, 예를 들어 유선 또는 무선 LAN(Local Area Network), Bluetooth(등록 상표) 또는 WUSB(Wireless USB)용의 통신 카드 등일 수 있다. 또한, 통신 장치(925)는, 광통신용의 라우터, ADSL(Asymmetric Digital Subscriber Line)용의 라우터, 또는, 각종 통신용의 모뎀 등이어도 된다. 통신 장치(925)는, 예를 들어 인터넷이나 다른 통신기기와의 사이에서, TCP/IP 등의 소정의 프로토콜을 사용해서 신호 등을 송수신한다. 또한, 통신 장치(925)에 접속되는 통신 네트워크(931)는, 유선 또는 무선에 의해 접속된 네트워크이며, 예를 들어 인터넷, 가정내 LAN, 적외선 통신, 라디오파 통신 또는 위성 통신 등이다.
촬상 장치(933)는, 예를 들어 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등의 촬상 소자 및 촬상 소자에의 피사체상의 결상을 제어하기 위한 렌즈 등의 각종 부재를 사용해서 실공간을 촬상하여, 촬상 화상을 생성하는 장치이다. 촬상 장치(933)는, 정지 화상을 촬상하는 것이어도 되고, 또한 동화상을 촬상하는 것이어도 된다.
센서(935)는, 예를 들어 가속도 센서, 자이로 센서, 지자기 센서, 광 센서, 소리 센서 등의 각종의 센서이다. 센서(935)는, 예를 들어 정보 처리 시스템(100)의 하우징의 자세 등, 정보 처리 시스템(100) 자체의 상태에 관한 정보나, 정보 처리 시스템(100)의 주변의 밝기나 소음 등, 정보 처리 시스템(100)의 주변 환경에 관한 정보를 취득한다. 또한, 센서(935)는, GPS(Global Positioning System) 신호를 수신해서 장치의 위도, 경도 및 고도를 측정하는 GPS 센서를 포함해도 된다.
이상, 정보 처리 시스템(100)의 하드웨어 구성의 일례를 나타냈다. 상기 각 구성 요소는, 범용적인 부재를 사용해서 구성되어 있어도 되고, 각 구성 요소의 기능에 특화된 하드웨어에 의해 구성되어 있어도 된다. 이러한 구성은, 실시하는 그때그때의 기술 레벨에 따라서 적절히 변경될 수 있다.
<4. 정리>
이상 설명한 바와 같이 본 개시의 일 실시 형태에 의하면, 정보를 표시하려고 하는 환경이나, 표시되어 있는 정보의 상황에 따라, 보다 적절하면서 또한 효율적인 정보를 표시하는 것이 가능한 정보 처리 시스템(100)이 제공된다.
본 명세서의 각 장치가 실행하는 처리에 있어서의 각 스텝은, 반드시 시퀀스도 또는 흐름도로서 기재된 순서를 따라 시계열로 처리할 필요는 없다. 예를 들어, 각 장치가 실행하는 처리에 있어서의 각 스텝은, 흐름도로서 기재한 순서와 상이한 순서로 처리되어도, 병렬적으로 처리되어도 된다.
또한, 각 장치에 내장되는 CPU, ROM 및 RAM 등의 하드웨어를, 상술한 각 장치의 구성과 동등한 기능을 발휘시키기 위한 컴퓨터 프로그램도 제작 가능하다. 또한, 해당 컴퓨터 프로그램을 기억시킨 기억 매체도 제공되는 것이 가능하다. 또한, 기능 블록도에서 나타낸 각각의 기능 블록을 하드웨어로 구성함으로써, 일련의 처리를 하드웨어로 실현할 수도 있다.
이상, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대해 상세하게 설명했지만, 본 개시의 기술적 범위는 이러한 예에 한정되지 않는다. 본 개시의 기술분야에 있어서의 통상의 지식을 갖는 사람이라면, 청구범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있음이 명확하며, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것이라고 이해된다.
또한, 상기 실시 형태에서 나타낸 유저 인터페이스나 애플리케이션을 실현하는 소프트웨어는, 인터넷 등의 네트워크를 통해서 사용하는 웹 애플리케이션으로서 실현되어도 된다. 웹 애플리케이션은, 예를 들어 HTML(HyperText Markup Language), SGML(Standard Generalized Markup Language), XML(Extensible Markup Language) 등의 마크업 언어에 의해 실현되어도 된다.
또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것이며 한정적이지 않다. 즉, 본 개시에 관한 기술은, 상기 효과와 함께 또는 상기 효과 대신에, 본 명세서의 기재로부터 당업자에게는 명확한 다른 효과를 발휘할 수 있다.
또한, 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.
(1) 표시면 상의 실제 오브젝트의 정보에 따라서 상기 표시면에 표시되는 표시 오브젝트의 표시 영역을 결정하는 표시 제어부를 구비하는, 표시 제어 장치.
(2) 상기 실제 오브젝트의 정보는, 상기 실제 오브젝트의 속성 정보를 포함하는, 상기 (1)에 기재된 표시 제어 장치.
(3) 상기 속성 정보는, 상기 실제 오브젝트를 이동시키는 곤란함에 관한 정보를 포함하는, 상기 (2)에 기재된 표시 제어 장치.
(4) 상기 속성 정보는, 상기 표시 오브젝트와의 관계성에 관한 정보를 포함하는, 상기 (2) 또는 (3)에 기재된 표시 제어 장치.
(5) 상기 표시 제어부는, 위치, 크기, 또는 각도 중 적어도 어느 하나에 의해 상기 표시 오브젝트의 표시 영역을 결정하는, 상기 (1) 내지 (4) 중 어느 한 항에 기재된 표시 제어 장치.
(6) 상기 표시 제어부는, 상기 실제 오브젝트에 겹치지 않도록 상기 표시 오브젝트의 표시 영역을 결정하는, 상기 (1) 내지 (5) 중 어느 한 항에 기재된 표시 제어 장치.
(7) 상기 표시 제어부는, 상기 표시 오브젝트의 표시 영역의 후보를 평가하는 평가 함수를 사용해서 상기 표시 영역을 결정하는, 상기 (1) 내지 (6) 중 어느 한 항에 기재된 표시 제어 장치.
(8) 상기 표시 제어부는, 유저 조작에 따라서 상기 평가 함수의 파라미터를 설정하는, 상기 (7)에 기재된 표시 제어 장치.
(9) 상기 표시 제어부는, 상기 표시면에 이미 표시되어 있는 다른 표시 오브젝트의 정보에 더 따라, 표시 오브젝트의 표시 영역을 결정하는, 상기 (1) 내지 (8) 중 어느 한 항에 기재된 표시 제어 장치.
(10) 상기 표시 제어부는, 상기 다른 표시 오브젝트보다도 전방면에 상기 표시 오브젝트의 표시 영역을 결정하는, 상기 (9)에 기재된 표시 제어 장치.
(11) 상기 표시 제어부는, 상기 다른 표시 오브젝트의 표시 영역에 겹치지 않도록 상기 표시 오브젝트의 표시 영역을 결정하는, 상기 (9) 또는 (10)에 기재된 표시 제어 장치.
(12) 상기 표시 제어부는, 상기 표시 오브젝트의 표시 영역에 겹치지 않도록 상기 다른 표 오브젝트의 표시 영역을 변경하는, 상기 (9) 내지 (11) 중 어느 한 항에 기재된 표시 제어 장치.
(13) 상기 다른 표시 오브젝트의 정보는, 상기 표시 오브젝트와의 관계성에 관한 정보를 포함하는, 상기 (9) 내지 (12) 중 어느 한 항에 기재된 표시 제어 장치.
(14) 상기 표시 제어부는, 상기 표시 오브젝트의 표시 대상인 유저의 정보에 더 따라, 상기 표시 오브젝트의 표시 영역을 결정하는, 상기 (1) 내지 (13) 중 어느 한 항에 기재된 표시 제어 장치.
(15) 상기 유저의 정보는, 상기 유저의 위치 또는 방향 중 적어도 어느 하나를 나타내는 정보를 포함하는, 상기 (14)에 기재된 표시 제어 장치.
(16) 표시면 상의 실제 오브젝트의 정보에 따라서 상기 표시면에 표시되는 표시 오브젝트의 표시 영역을 프로세서에 의해 결정하는 것을 포함하는, 표시 제어 방법.
(17) 컴퓨터를,
표시면 상의 실제 오브젝트의 정보에 따라서 상기 표시면에 표시되는 표시 오브젝트의 표시 영역을 결정하는 표시 제어부로서 기능시키기 위한 프로그램.
100 : 정보 처리 시스템 110 : 입력부
120 : 제어부 130 : 출력부

Claims (17)

  1. 표시면 상의 실제 오브젝트의 정보에 따라서 상기 표시면에 표시되는 표시 오브젝트의 표시 영역을 결정하는 표시 제어부를 구비하는, 표시 제어 장치.
  2. 제1항에 있어서,
    상기 실제 오브젝트의 정보는, 상기 실제 오브젝트의 속성 정보를 포함하는, 표시 제어 장치.
  3. 제2항에 있어서,
    상기 속성 정보는, 상기 실제 오브젝트를 이동시키는 곤란함에 관한 정보를 포함하는, 표시 제어 장치.
  4. 제2항에 있어서,
    상기 속성 정보는, 상기 표시 오브젝트와의 관계성에 관한 정보를 포함하는, 표시 제어 장치.
  5. 제1항에 있어서,
    상기 표시 제어부는, 위치, 크기, 또는 각도 중 적어도 어느 하나에 의해 상기 표시 오브젝트의 표시 영역을 결정하는, 표시 제어 장치.
  6. 제1항에 있어서,
    상기 표시 제어부는, 상기 실제 오브젝트에 겹치지 않도록 상기 표시 오브젝트의 표시 영역을 결정하는, 표시 제어 장치.
  7. 제1항에 있어서,
    상기 표시 제어부는, 상기 표시 오브젝트의 표시 영역의 후보를 평가하는 평가 함수를 사용해서 상기 표시 영역을 결정하는, 표시 제어 장치.
  8. 제7항에 있어서,
    상기 표시 제어부는, 유저 조작에 따라서 상기 평가 함수의 파라미터를 설정하는, 표시 제어 장치.
  9. 제1항에 있어서,
    상기 표시 제어부는, 상기 표시면에 이미 표시되어 있는 다른 표시 오브젝트의 정보에 더 따라, 표시 오브젝트의 표시 영역을 결정하는, 표시 제어 장치.
  10. 제9항에 있어서,
    상기 표시 제어부는, 상기 다른 표시 오브젝트보다도 전방면에 상기 표시 오브젝트의 표시 영역을 결정하는, 표시 제어 장치.
  11. 제9항에 있어서,
    상기 표시 제어부는, 상기 다른 표시 오브젝트의 표시 영역에 겹치지 않도록 상기 표시 오브젝트의 표시 영역을 결정하는, 표시 제어 장치.
  12. 제9항에 있어서,
    상기 표시 제어부는, 상기 표시 오브젝트의 표시 영역에 겹치지 않도록 상기 다른 표시 오브젝트의 표시 영역을 변경하는, 표시 제어 장치.
  13. 제9항에 있어서,
    상기 다른 표시 오브젝트의 정보는, 상기 표시 오브젝트와의 관계성에 관한 정보를 포함하는, 표시 제어 장치.
  14. 제1항에 있어서,
    상기 표시 제어부는, 상기 표시 오브젝트의 표시 대상인 유저의 정보에 더 따라, 상기 표시 오브젝트의 표시 영역을 결정하는, 표시 제어 장치.
  15. 제14항에 있어서,
    상기 유저의 정보는, 상기 유저의 위치 또는 방향 중 적어도 어느 하나를 나타내는 정보를 포함하는, 표시 제어 장치.
  16. 표시면 상의 실제 오브젝트의 정보에 따라서 상기 표시면에 표시되는 표시 오브젝트의 표시 영역을 프로세서에 의해 결정하는 것을 포함하는, 표시 제어 방법.
  17. 컴퓨터를,
    표시면 상의 실제 오브젝트의 정보에 따라서 상기 표시면에 표시되는 표시 오브젝트의 표시 영역을 결정하는 표시 제어부로서 기능시키기 위한 프로그램.
KR1020167015813A 2013-12-27 2014-09-02 표시 제어 장치, 표시 제어 방법 및 프로그램 KR20160102179A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013273369 2013-12-27
JPJP-P-2013-273369 2013-12-27
PCT/JP2014/073106 WO2015098189A1 (ja) 2013-12-27 2014-09-02 表示制御装置、表示制御方法及びプログラム

Publications (1)

Publication Number Publication Date
KR20160102179A true KR20160102179A (ko) 2016-08-29

Family

ID=53478073

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020167015817A KR20160102412A (ko) 2013-12-27 2014-09-02 제어 장치, 제어 방법 및 컴퓨터 프로그램
KR1020167015816A KR20160102411A (ko) 2013-12-27 2014-09-02 표시 제어 장치, 표시 제어 방법 및 프로그램
KR1020167015813A KR20160102179A (ko) 2013-12-27 2014-09-02 표시 제어 장치, 표시 제어 방법 및 프로그램
KR1020167015814A KR20160102180A (ko) 2013-12-27 2014-09-02 제어 장치, 제어 방법 및 컴퓨터 프로그램

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020167015817A KR20160102412A (ko) 2013-12-27 2014-09-02 제어 장치, 제어 방법 및 컴퓨터 프로그램
KR1020167015816A KR20160102411A (ko) 2013-12-27 2014-09-02 표시 제어 장치, 표시 제어 방법 및 프로그램

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020167015814A KR20160102180A (ko) 2013-12-27 2014-09-02 제어 장치, 제어 방법 및 컴퓨터 프로그램

Country Status (9)

Country Link
US (4) US20170038892A1 (ko)
EP (4) EP3089011A4 (ko)
JP (5) JPWO2015098190A1 (ko)
KR (4) KR20160102412A (ko)
CN (4) CN106134190A (ko)
BR (2) BR112016014515A2 (ko)
RU (4) RU2016124467A (ko)
TW (4) TW201528112A (ko)
WO (4) WO2015098190A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10802700B2 (en) 2016-11-25 2020-10-13 Sony Corporation Information processing apparatus and information processing method

Families Citing this family (125)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5942840B2 (ja) * 2012-12-21 2016-06-29 ソニー株式会社 表示制御システム及び記録媒体
USD852828S1 (en) * 2013-04-05 2019-07-02 Thales Avionics, Inc. Display screen or portion thereof with graphical user interface
USD738889S1 (en) * 2013-06-09 2015-09-15 Apple Inc. Display screen or portion thereof with animated graphical user interface
KR102271853B1 (ko) * 2014-03-21 2021-07-01 삼성전자주식회사 전자 장치, 영상 처리 방법, 및 컴퓨터 판독가능 기록매체
CN113188080B (zh) * 2014-12-26 2023-11-14 麦克赛尔株式会社 照明装置
US11106314B2 (en) * 2015-04-21 2021-08-31 Dell Products L.P. Continuous calibration of an information handling system projected user interface
KR20160125783A (ko) * 2015-04-22 2016-11-01 삼성전자주식회사 컨텐츠를 표시하기 위한 방법 및 전자 장치
USD795917S1 (en) 2015-05-17 2017-08-29 Google Inc. Display screen with an animated graphical user interface
JP6213613B2 (ja) * 2015-05-25 2017-10-18 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
WO2017006426A1 (ja) * 2015-07-07 2017-01-12 日立マクセル株式会社 表示システム、ウェアラブルデバイス、および映像表示装置
US10572073B2 (en) * 2015-08-24 2020-02-25 Sony Corporation Information processing device, information processing method, and program
WO2017047182A1 (ja) * 2015-09-18 2017-03-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2017056147A1 (ja) * 2015-09-28 2017-04-06 日立マクセル株式会社 照明装置
JP6650612B2 (ja) * 2015-10-06 2020-02-19 パナソニックＩｐマネジメント株式会社 照明制御装置及び照明システム
US10645309B2 (en) * 2015-11-06 2020-05-05 Intel Corporation Systems, methods, and apparatuses for implementing maximum likelihood image binarization in a coded light range camera
CN112911197B (zh) * 2015-11-24 2024-06-11 麦克赛尔株式会社 影像信息处理***、移动通信终端和影像信息处理方法
JP2017102290A (ja) * 2015-12-02 2017-06-08 株式会社 オルタステクノロジー 投影表示装置
JP6645151B2 (ja) * 2015-12-07 2020-02-12 富士通株式会社 投影装置、投影方法及び投影用コンピュータプログラム
US20170185364A1 (en) * 2015-12-28 2017-06-29 Lunatech, Llc Methods and Systems For a Dual Function Multimedia Device
USD793440S1 (en) * 2016-01-26 2017-08-01 Google Inc. Display screen with transitional graphical user interface
CN105509663B (zh) * 2016-02-17 2019-12-27 京东方光科技有限公司 一种背光源平整度检测***及检测方法
US10129510B2 (en) * 2016-02-18 2018-11-13 Samsung Electronics Co., Ltd. Initiating human-machine interaction based on visual attention
JP2017146927A (ja) * 2016-02-19 2017-08-24 ソニーモバイルコミュニケーションズ株式会社 制御装置、制御方法及びプログラム
KR101773772B1 (ko) * 2016-03-17 2017-09-04 주식회사 아보네 그림자 출력장치를 이용한 주문 관리 시스템
SG11201809960YA (en) * 2016-05-16 2018-12-28 Sensen Networks Group Pty Ltd System and method for automated table game activity recognition
US10481863B2 (en) 2016-07-06 2019-11-19 Baidu Usa Llc Systems and methods for improved user interface
USD812635S1 (en) 2016-07-07 2018-03-13 Baidu Usa Llc. Display screen or portion thereof with graphical user interface
US10558288B2 (en) 2016-07-07 2020-02-11 Samsung Display Co., Ltd. Multi-touch display panel and method of controlling the same
USD817337S1 (en) * 2016-07-07 2018-05-08 Baidu Usa Llc Display screen or portion thereof with graphical user interface
USD815110S1 (en) * 2016-07-07 2018-04-10 Baidu Usa Llc Display screen or portion thereof with graphical user interface
KR20180017796A (ko) 2016-08-11 2018-02-21 주식회사 엘지화학 황-탄소 복합체, 이의 제조방법 및 이를 포함하는 리튬-황 전지
JP6980990B2 (ja) * 2016-08-31 2021-12-15 ソニーグループ株式会社 情報処理システム、情報処理方法、およびプログラム
JP6556680B2 (ja) * 2016-09-23 2019-08-07 日本電信電話株式会社 映像生成装置、映像生成方法、およびプログラム
CN106730827B (zh) 2016-12-06 2018-10-19 腾讯科技（深圳）有限公司 一种对象显示的方法以及终端设备
JP2018106535A (ja) * 2016-12-27 2018-07-05 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
WO2018123475A1 (ja) * 2016-12-27 2018-07-05 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
DE112017006606T8 (de) * 2016-12-27 2019-10-17 Sony Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und computerprogramm
US10809870B2 (en) 2017-02-09 2020-10-20 Sony Corporation Information processing apparatus and information processing method
JP2018128979A (ja) * 2017-02-10 2018-08-16 パナソニックＩｐマネジメント株式会社 厨房支援システム
WO2018150756A1 (ja) * 2017-02-15 2018-08-23 ソニー株式会社 情報処理装置、情報処理方法及び記憶媒体
JP6903935B2 (ja) * 2017-02-17 2021-07-14 ソニーグループ株式会社 情報処理システム、情報処理方法、およびプログラム
JP6769346B2 (ja) * 2017-03-02 2020-10-14 富士通株式会社 制御プログラム、制御方法、および情報処理端末
CN108570820B (zh) * 2017-03-07 2021-12-14 青岛胶南海尔洗衣机有限公司 一种应用于家用电器的显示装置及洗衣机
CN108570823B (zh) * 2017-03-07 2021-09-17 青岛胶南海尔洗衣机有限公司 一种应用于家用电器的显示装置及洗衣机
US20180260105A1 (en) 2017-03-08 2018-09-13 Nanning Fugui Precision Industrial Co., Ltd. Method for displaying sub-screen and device using the same
USD834611S1 (en) * 2017-03-14 2018-11-27 Facebook, Inc. Display panel of a programmed computer system with a graphical user interface
USD854560S1 (en) * 2017-03-17 2019-07-23 Health Management Systems, Inc. Display screen with animated graphical user interface
US10511818B2 (en) * 2017-03-29 2019-12-17 Intel Corporation Context aware projection
DE112017007284B4 (de) * 2017-04-24 2020-08-13 Mitsubishi Electric Corporation Mitteilungssteuereinrichtung und Verfahren für Steuern von Mitteilung
JP6463527B2 (ja) * 2017-05-12 2019-02-06 キヤノン株式会社 情報処理装置およびその制御方法、並びにプログラム
US10466889B2 (en) 2017-05-16 2019-11-05 Apple Inc. Devices, methods, and graphical user interfaces for accessing notifications
JP2018205478A (ja) * 2017-06-02 2018-12-27 セイコーエプソン株式会社 表示装置および表示装置の制御方法
US11082669B2 (en) * 2017-06-19 2021-08-03 Sony Corporation Image projection apparatus, image processing apparatus, image projection method, image processing method, and image projection system
CN107469351B (zh) * 2017-06-20 2021-02-09 网易（杭州）网络有限公司 游戏画面显示方法及装置、存储介质、电子设备
CN107277476B (zh) * 2017-07-20 2023-05-12 苏州名雅科技有限责任公司 一种适合在旅游景点供儿童互动体验的多媒体设备
CN107231516A (zh) * 2017-07-27 2017-10-03 重庆万建电子工程有限责任公司重庆第分公司 带刮灰结构的半球型摄像机
US11417135B2 (en) * 2017-08-23 2022-08-16 Sony Corporation Information processing apparatus, information processing method, and program
USD857710S1 (en) * 2017-08-30 2019-08-27 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD859429S1 (en) * 2017-08-30 2019-09-10 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
JPWO2019044104A1 (ja) * 2017-08-31 2020-08-13 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2019058521A1 (ja) * 2017-09-22 2019-03-28 ｐｏｐＩｎ株式会社 プロジェクタおよびプロジェクタシステム
USD857722S1 (en) * 2017-10-24 2019-08-27 Atlas Biomed Group Limited Display screen with graphical user interface
KR101972134B1 (ko) * 2017-10-31 2019-05-03 화남전자 주식회사 건설장비의 자동 캘리브레이션을 위한 변형 방지 삼각형 마커
US11144153B2 (en) * 2017-12-07 2021-10-12 Elliptic Laboratories As User interface with acoustic proximity and position sensing arrangements
USD841047S1 (en) * 2017-12-11 2019-02-19 Citrix Systems, Inc. Display screen or portion thereof with transitional graphical user interface
CN109920320B (zh) * 2017-12-12 2020-12-25 成都金都超星天文设备有限公司 一种操控天象仪进行天象演示的方法及控制***
KR102007661B1 (ko) * 2017-12-15 2019-08-06 원광대학교산학협력단 원격주문 제어시스템 및 그의 제어방법
JP6693495B2 (ja) 2017-12-15 2020-05-13 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
USD868800S1 (en) * 2018-01-05 2019-12-03 Google Llc Display screen or portion thereof with graphical user interface
JP7124336B2 (ja) * 2018-02-23 2022-08-24 京セラドキュメントソリューションズ株式会社 表示制御装置
JP7067608B2 (ja) * 2018-03-02 2022-05-16 日本電気株式会社 情報処理システム
FR3079049B1 (fr) * 2018-03-13 2021-10-15 Immersion Procede de manipulation de contenant et contenu d'une information numerique
US11089372B2 (en) * 2018-03-28 2021-08-10 Rovi Guides, Inc. Systems and methods to provide media asset recommendations based on positioning of internet connected objects on an network-connected surface
CN108525285A (zh) * 2018-03-31 2018-09-14 千本樱科技成都有限公司 一种麻将自动算牌器及方法
CN108613151A (zh) * 2018-05-25 2018-10-02 讯飞幻境(北京)科技有限公司 一种智能台灯的控制***
US10694285B2 (en) 2018-06-25 2020-06-23 Biamp Systems, LLC Microphone array with automated adaptive beam tracking
US10433086B1 (en) 2018-06-25 2019-10-01 Biamp Systems, LLC Microphone array with automated adaptive beam tracking
US10210882B1 (en) 2018-06-25 2019-02-19 Biamp Systems, LLC Microphone array with automated adaptive beam tracking
WO2020018592A1 (en) 2018-07-17 2020-01-23 Methodical Mind, Llc. Graphical user interface system
JP2020042592A (ja) * 2018-09-11 2020-03-19 ソニー株式会社 情報処理装置、描画制御方法及びそのプログラムを記録した記録媒体
JPWO2020071057A1 (ja) * 2018-10-01 2021-09-24 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体
TWI699543B (zh) * 2018-11-09 2020-07-21 國立雲林科技大學 主動式打火機聲源辨識系統
JP7424309B2 (ja) 2018-11-21 2024-01-30 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US10884614B1 (en) * 2018-11-30 2021-01-05 Zoox, Inc. Actuation interface
CN109656439A (zh) * 2018-12-17 2019-04-19 北京小米移动软件有限公司 快捷操作面板的显示方法、装置及存储介质
JP7176398B2 (ja) * 2018-12-21 2022-11-22 トヨタ自動車株式会社 制御装置、車両、画像表示システム、及び画像表示方法
CN109683714B (zh) 2018-12-28 2021-08-31 北京小米移动软件有限公司 多媒体资源管理方法、装置及存储介质
KR102653252B1 (ko) * 2019-02-21 2024-04-01 삼성전자 주식회사 외부 객체의 정보에 기반하여 시각화된 인공 지능 서비스를 제공하는 전자 장치 및 전자 장치의 동작 방법
JP7188176B2 (ja) * 2019-02-25 2022-12-13 セイコーエプソン株式会社 プロジェクター、画像表示システム及び画像表示システムの制御方法
TWI739069B (zh) * 2019-03-04 2021-09-11 仁寶電腦工業股份有限公司 遊戲裝置與辨識遊戲裝置的方法
US11432086B2 (en) 2019-04-16 2022-08-30 Biamp Systems, LLC Centrally controlling communication at a venue
US10743105B1 (en) * 2019-05-31 2020-08-11 Microsoft Technology Licensing, Llc Sending audio to various channels using application location information
TWI714163B (zh) * 2019-07-11 2020-12-21 緯創資通股份有限公司 控制投影內容的方法及電子裝置
JP7363163B2 (ja) * 2019-07-26 2023-10-18 日本電気株式会社 監視装置、監視方法、および、プログラム、並びに、監視システム
JP7285481B2 (ja) * 2019-07-30 2023-06-02 パナソニックＩｐマネジメント株式会社 照明システム、及び、制御装置
USD953347S1 (en) * 2019-09-02 2022-05-31 Huawei Technologies Co., Ltd. Electronic display for a wearable device presenting a graphical user interface
JP7363235B2 (ja) * 2019-09-10 2023-10-18 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
JP7319888B2 (ja) * 2019-10-16 2023-08-02 日本たばこ産業株式会社 情報処理装置、プログラム及び情報処理システム
JP7320753B2 (ja) * 2019-10-31 2023-08-04 パナソニックＩｐマネジメント株式会社 制御システム
EP4115271A1 (en) 2020-03-04 2023-01-11 Abusizz AG Interactive display apparatus and method for operating the same
US11474674B2 (en) 2020-03-10 2022-10-18 Apple Inc. Devices, methods, and graphical user interfaces for interacting with user interface objects corresponding to applications
EP3933560A1 (en) * 2020-06-30 2022-01-05 Spotify AB Methods and systems for providing animated visual feedback for voice commands
US11481938B2 (en) 2020-10-02 2022-10-25 Adobe Inc. Adaptable drawing guides
US11740853B1 (en) 2020-10-26 2023-08-29 Wells Fargo Bank, N.A. Smart table system utilizing extended reality
US11727483B1 (en) 2020-10-26 2023-08-15 Wells Fargo Bank, N.A. Smart table assisted financial health
US11397956B1 (en) 2020-10-26 2022-07-26 Wells Fargo Bank, N.A. Two way screen mirroring using a smart table
US11457730B1 (en) 2020-10-26 2022-10-04 Wells Fargo Bank, N.A. Tactile input device for a touch screen
US11429957B1 (en) 2020-10-26 2022-08-30 Wells Fargo Bank, N.A. Smart table assisted financial health
US11741517B1 (en) 2020-10-26 2023-08-29 Wells Fargo Bank, N.A. Smart table system for document management
USD973068S1 (en) * 2020-11-10 2022-12-20 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
JP7112627B2 (ja) * 2020-11-30 2022-08-04 ソニーグループ株式会社 制御装置、制御方法及びプログラム
JP7321196B2 (ja) * 2021-01-05 2023-08-04 三菱電機株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP7243748B2 (ja) * 2021-02-03 2023-03-22 セイコーエプソン株式会社 設定方法、及びプログラム
US20220291795A1 (en) * 2021-03-09 2022-09-15 Lenovo (Singapore) Pte. Ltd. Projecting interfaces on a surface
WO2022239152A1 (ja) * 2021-05-12 2022-11-17 日本電信電話株式会社 情報提示装置、情報提示方法、及びプログラム
US11545118B2 (en) * 2021-05-19 2023-01-03 Business Objects Software Ltd. Display of out-of-window status indicators in a virtual shelf of a diagram window
CN113568591B (zh) * 2021-06-15 2023-06-20 青岛海尔科技有限公司 智能设备的控制方法及控制装置、智能设备、智能餐桌
KR102364497B1 (ko) * 2021-10-20 2022-02-18 (주)유비더스시스템 인테리어 매질을 이용한 정전기식 터치 스크린 시스템
CN113873421B (zh) * 2021-12-01 2022-03-22 杭州当贝网络科技有限公司 一种基于投屏设备实现天空声音效的方法和***
KR102446676B1 (ko) * 2022-05-02 2022-09-26 (주) 아하 AI와 IoT 기능을 융합하여 음성인식과 원격제어를 처리하는 스마트테이블 및 그 동작방법
KR102443108B1 (ko) * 2022-05-02 2022-09-14 경상남도 (교육청) 스마트 홈 암호 찾기 게임을 수행하기 위한 스마트 홈 암호 찾기 게임 장치
EP4273678A1 (en) 2022-05-06 2023-11-08 Apple Inc. Devices, methods, and graphical user interfaces for updating a session region
US11842028B2 (en) 2022-05-06 2023-12-12 Apple Inc. Devices, methods, and graphical user interfaces for updating a session region
TWI823789B (zh) * 2022-05-27 2023-11-21 陳泰生 電動麻將桌收牌啟閉裝置
JP7280453B1 (ja) * 2023-02-07 2023-05-23 株式会社サン・コンピュータ 麻雀点数計算システム、麻雀点数計算方法、および麻雀点数計算プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08123652A (ja) 1994-10-26 1996-05-17 Sony Corp 表示装置

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05107638A (ja) * 1991-10-18 1993-04-30 Fujitsu General Ltd 投射型表示装置
US7259747B2 (en) * 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP2004233845A (ja) 2003-01-31 2004-08-19 Toshiba Corp 情報処理装置および表示輝度制御方法
US7370284B2 (en) * 2003-11-18 2008-05-06 Laszlo Systems, Inc. User interface for displaying multiple applications
US7394459B2 (en) * 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
JP3899375B2 (ja) 2004-09-03 2007-03-28 国立大学法人北陸先端科学技術大学院大学 表示制御装置
JP4664665B2 (ja) 2004-12-22 2011-04-06 オリンパスイメージング株式会社 デジタルプラットフォーム装置
JP2006287735A (ja) * 2005-04-01 2006-10-19 Fuji Photo Film Co Ltd 画像音声記録装置及び集音方向調整方法
JP2007036482A (ja) * 2005-07-25 2007-02-08 Nippon Telegr & Teleph Corp <Ntt> 情報投影表示装置およびプログラム
US7911444B2 (en) * 2005-08-31 2011-03-22 Microsoft Corporation Input method for surface of interactive display
JP2007282077A (ja) * 2006-04-11 2007-10-25 Seiko Epson Corp 放送受信装置および放送受信方法
US7552402B2 (en) * 2006-06-22 2009-06-23 Microsoft Corporation Interface orientation using shadows
JP2008033049A (ja) 2006-07-28 2008-02-14 Ricoh Co Ltd 対象物指示装置
EP1884421B1 (en) 2006-08-04 2008-10-08 Harman Becker Automotive Systems GmbH Method and system for processing voice commands in a vehicle enviroment
JP5464786B2 (ja) * 2006-12-21 2014-04-09 キヤノン株式会社 情報処理装置、制御方法、及び制御プログラム
JP2009025921A (ja) 2007-07-17 2009-02-05 Canon Inc 情報処理装置及びその制御方法、プログラム、記録媒体
US8519273B2 (en) * 2008-04-10 2013-08-27 Sankar Paul Circuit materials with improved bond, method of manufacture thereof, and articles formed therefrom
US8427424B2 (en) * 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
JP2010113455A (ja) 2008-11-05 2010-05-20 Toshiba Corp 画像処理装置および画像処理プログラム
JP2011040227A (ja) 2009-08-07 2011-02-24 Sharp Corp 照明装置、照明システム及び照明装置の制御方法
JP4687820B2 (ja) 2009-11-09 2011-05-25 ソニー株式会社 情報入力装置及び情報入力方法
EP2517486A1 (en) * 2009-12-23 2012-10-31 Nokia Corp. An apparatus
US20120287334A1 (en) 2010-01-27 2012-11-15 Koninklijke Philips Electronics, N.V. Method of Controlling a Video-Lighting System
JP5648298B2 (ja) * 2010-03-15 2015-01-07 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2011227199A (ja) * 2010-04-16 2011-11-10 Nec Casio Mobile Communications Ltd 雑音抑圧装置、雑音抑圧方法及びプログラム
JP2011248768A (ja) * 2010-05-28 2011-12-08 Sony Corp 情報処理装置、情報処理システム及びプログラム
JP5516102B2 (ja) * 2010-06-11 2014-06-11 セイコーエプソン株式会社 光学式位置検出装置、電子機器及び表示装置
JP2012058704A (ja) 2010-09-13 2012-03-22 Sanyo Electric Co Ltd 録音装置、録音条件設定方法および録音条件設定プログラム
US8682030B2 (en) * 2010-09-24 2014-03-25 Microsoft Corporation Interactive display
US8502816B2 (en) * 2010-12-02 2013-08-06 Microsoft Corporation Tabletop display providing multiple views to users
KR20130136566A (ko) * 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
US8643703B1 (en) * 2011-03-30 2014-02-04 Amazon Technologies, Inc. Viewer tracking image display
US20130057587A1 (en) * 2011-09-01 2013-03-07 Microsoft Corporation Arranging tiles
WO2013056157A1 (en) * 2011-10-13 2013-04-18 Autodesk, Inc. Proximity-aware multi-touch tabletop
JP5957893B2 (ja) * 2012-01-13 2016-07-27 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US9223415B1 (en) * 2012-01-17 2015-12-29 Amazon Technologies, Inc. Managing resource usage for task performance
JP2013182624A (ja) 2012-03-01 2013-09-12 Toshiba Corp 情報処理装置、スケジュール表示プログラム
JP6028351B2 (ja) * 2012-03-16 2016-11-16 ソニー株式会社 制御装置、電子機器、制御方法、及びプログラム
JP2013214259A (ja) 2012-04-04 2013-10-17 Sharp Corp 表示装置
JP6217058B2 (ja) 2012-05-09 2017-10-25 セイコーエプソン株式会社 画像表示システム
US8837780B2 (en) * 2012-06-22 2014-09-16 Hewlett-Packard Development Company, L.P. Gesture based human interfaces
US9285893B2 (en) * 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
CN103092344A (zh) * 2013-01-11 2013-05-08 深圳市金立通信设备有限公司 一种控制终端屏幕画面旋转的方法及终端
JP6036856B2 (ja) * 2013-02-08 2016-11-30 株式会社ニコン 電子制御装置、制御方法、及び制御プログラム
TWI553544B (zh) * 2013-02-27 2016-10-11 緯創資通股份有限公司 電子裝置及影像調整方法
US9384751B2 (en) * 2013-05-06 2016-07-05 Honeywell International Inc. User authentication of voice controlled devices
KR102070623B1 (ko) * 2013-07-09 2020-01-29 삼성전자 주식회사 비트 라인 등화 회로

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08123652A (ja) 1994-10-26 1996-05-17 Sony Corp 表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10802700B2 (en) 2016-11-25 2020-10-13 Sony Corporation Information processing apparatus and information processing method

Also Published As

Publication number Publication date
BR112016014515A2 (pt) 2017-08-08
US20170041581A1 (en) 2017-02-09
TW201525835A (zh) 2015-07-01
TW201528112A (zh) 2015-07-16
EP3089013A4 (en) 2017-11-22
BR112016014491A2 (pt) 2017-08-08
EP3089011A4 (en) 2017-11-15
EP3089013A1 (en) 2016-11-02
CN106104455A (zh) 2016-11-09
JPWO2015098189A1 (ja) 2017-03-23
RU2016124465A (ru) 2017-12-25
RU2016124466A (ru) 2017-12-25
JP2019185812A (ja) 2019-10-24
JPWO2015098190A1 (ja) 2017-03-23
WO2015098190A1 (ja) 2015-07-02
EP3089446A1 (en) 2016-11-02
US11146771B2 (en) 2021-10-12
TW201525772A (zh) 2015-07-01
WO2015098188A1 (ja) 2015-07-02
KR20160102180A (ko) 2016-08-29
JP6555129B2 (ja) 2019-08-07
US20170039030A1 (en) 2017-02-09
CN105830005A (zh) 2016-08-03
JPWO2015098188A1 (ja) 2017-03-23
CN105850116A (zh) 2016-08-10
EP3089446A4 (en) 2017-10-25
EP3089012A1 (en) 2016-11-02
KR20160102412A (ko) 2016-08-30
CN106134190A (zh) 2016-11-16
KR20160102411A (ko) 2016-08-30
JP6428641B2 (ja) 2018-11-28
RU2016124467A (ru) 2017-12-25
WO2015098187A1 (ja) 2015-07-02
EP3089012A4 (en) 2017-08-02
TW201531917A (zh) 2015-08-16
US20170038892A1 (en) 2017-02-09
WO2015098189A1 (ja) 2015-07-02
US20170031530A1 (en) 2017-02-02
EP3089011A1 (en) 2016-11-02
JP6795061B2 (ja) 2020-12-02
JPWO2015098187A1 (ja) 2017-03-23
RU2016124468A (ru) 2017-12-25

Similar Documents

Publication Publication Date Title
JP6795061B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR102652922B1 (ko) 웨어러블 시스템을 위한 멀티모달 임무 실행 및 텍스트 편집
US10685059B2 (en) Portable electronic device and method for generating a summary of video data
US20170236330A1 (en) Novel dual hmd and vr device with novel control methods and software
US11846981B2 (en) Extracting video conference participants to extended reality environment
US20240119682A1 (en) Recording the complete physical and extended reality environments of a user
US11948263B1 (en) Recording the complete physical and extended reality environments of a user
Centers Take Control of iOS 17 and iPadOS 17
WO2023146837A2 (en) Extended reality for collaboration

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application