JP2015041052A - リストバンド型情報処理装置および記憶媒体 - Google Patents

リストバンド型情報処理装置および記憶媒体 Download PDF

Info

Publication number
JP2015041052A
JP2015041052A JP2013173229A JP2013173229A JP2015041052A JP 2015041052 A JP2015041052 A JP 2015041052A JP 2013173229 A JP2013173229 A JP 2013173229A JP 2013173229 A JP2013173229 A JP 2013173229A JP 2015041052 A JP2015041052 A JP 2015041052A
Authority
JP
Japan
Prior art keywords
unit
image
wristband type
information processing
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013173229A
Other languages
English (en)
Inventor
児玉 賢一郎
Kenichiro Kodama
賢一郎 児玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013173229A priority Critical patent/JP2015041052A/ja
Priority to US14/325,801 priority patent/US20150054730A1/en
Priority to CN201410403165.3A priority patent/CN104423798A/zh
Publication of JP2015041052A publication Critical patent/JP2015041052A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1639Details related to the display arrangement, including those related to the mounting of the display in the housing the display being based on projection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/068Adjustment of display parameters for control of viewing angle adjustment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/54Details of telephonic subscriber devices including functional features of a projector or beamer module assembly

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Projection Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】モバイル端末のユーザビリティを向上させることが可能なリストバンド型情報処理装置および記憶媒体を提案する。【解決手段】ユーザの手首に装着するバンド部と、前記バンド部が装着された手に画像を投影する投影部と、記憶部に記憶された画像、または外部装置から入力された画像の少なくともいずれか一方を前記手に投影するよう前記投影部を制御する制御部と、を備えるリストバンド型情報処理装置。【選択図】図1

Description

本開示は、リストバンド型情報処理装置および記憶媒体に関する。
近年、モバイル端末の普及や高度化に伴い、モバイル端末のユーザビリティを向上させるための技術が開発されている。
例えば、下記特許文献1では、ユーザの上腕部にプロジェクタを配置し、前腕部に画像を投影すると共に、投影されている体の部位に各キーを割り当て、その部位へのタッチやフリック操作により、連携するデバイスを操作可能にする技術が開示されている。
米国特許出願公開第2011/0133934号明細書
しかし、上記特許文献1に記載の技術では、ユーザはわざわざ装置を上腕部に巻く必要があるため手間がかかるという問題があり、さらなるユーザビリティの向上が求められている。
そこで、本開示では、モバイル端末のユーザビリティを向上させることが可能な、新規かつ改良されたリストバンド型情報処理装置および記憶媒体を提案する。
本開示によれば、ユーザの手首に装着するバンド部と、前記バンド部が装着された手に画像を投影する投影部と、記憶部に記憶された画像、または外部装置から入力された画像の少なくともいずれか一方を前記手に投影するよう前記投影部を制御する制御部と、を備えるリストバンド型情報処理装置が提供される。
また、本開示によれば、コンピュータを、バンド部が装着された手に画像を投影する投影部と、記憶部に記憶された画像、または外部装置から入力された画像の少なくともいずれか一方を前記手に投影するよう前記投影部を制御する制御部と、として機能させるためのプログラムが記憶された記憶媒体が提供される。
以上説明したように本開示によれば、モバイル端末のユーザビリティを向上させることが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る投影システムの概要を示す説明図である。 本開示の一実施形態に係る投影システムの構成を示すブロック図である。 本開示の一実施形態に係る投影システムの動作を示すシーケンス図である。 第1の実施形態に係る投影処理を説明するための図である。 第2の実施形態に係る投影処理を説明するための図である。 第3の実施形態に係る投影処理を説明するための図である。 第4の実施形態に係る投影処理を説明するための図である。 第5の実施形態に係る投影処理を説明するための図である。 第6の実施形態に係る投影処理を説明するための図である。 第7の実施形態に係る投影処理を説明するための図である。 第7の実施形態に係る投影処理を説明するための図である。 第8の実施形態に係る投影処理を説明するための図である。 第9の実施形態に係る投影処理を説明するための図である。 第10の実施形態に係るリストバンド型端末の構成を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.本開示の一実施形態に係る投影システムの概要
2.実施形態
2−1.共通形態
2−1−1.構成
2−1−2.動作処理
2−2.第1の実施形態
2−3.第2の実施形態
2−4.第3の実施形態
2−5.第4の実施形態
2−6.第5の実施形態
2−7.第6の実施形態
2−8.第7の実施形態
2−9.第8の実施形態
2−10.第9の実施形態
2−11.第10の実施形態
3.まとめ
<1.本開示の一実施形態に係る投影システムの概要>
まず、図1を参照して、本開示の一実施形態に係る投影システムの概要を説明する。
図1は、本開示の一実施形態に係る投影システムの概要を示す説明図である。図1に示すように、本開示の一実施形態に係る投影システムは、リストバンド型端末1(リストバンド型情報処理装置)、およびスマートフォン2(外部装置)を有する。
図1に示すように、リストバンド型端末1は、バンド部6によりユーザの手首に装着される。バンド部6は、例えば皮革や金属、繊維、ゴムなどの腕時計用バンドと同様に形成される。なお、リストバンド型端末1のうち、バンド部6以外の、プロジェクタ3や表示部4などが設けられる部分を、本体とも称する。
リストバンド型端末1は、スマートフォン2と無線通信により接続され、ポケットに入っているスマートフォン2から受信した画像を表示部4に表示している。さらに、リストバンド型端末1は、プロジェクタ3(投影部)により、スマートフォン2から受信した画像を、バンド部6が装着された手に投影する。図1に示した例においては、リストバンド型端末1は、投影画像5として、スマートフォン2においてGPS(Global Positioning System)機能を利用して生成された地図画像を投影している。
リストバンド型端末1は、携帯性の実現のため、その大きさが例えば一般的な腕時計程度の大きさに制限される。このため、表示部4の物理的な大きさに限界があるので、図1に示すように、ユーザにとっては表示部4に表示された地図が見づらい場合がある。そこで、本実施形態に係るリストバンド型端末1は、プロジェクタ3により、画像を例えばスマートフォン2と同等のインチサイズに拡大して手に投影することで、画像の視認性を向上させる。これにより、ユーザは、スマートフォン2と同等のインチサイズを有する投影画像5によって、自分の地図上の位置を確認したり、行先を容易に発見したりすることができる。
また、ユーザは、スマートフォン2をポケットや鞄に入れたままで手に取ることなく、地図などの画像を閲覧することができる。このため、リストバンド型端末1は、スマートフォン2をポケットや鞄から取り出す手間を削減することができる。
ここで、上記特許文献1に記載された技術では、ユーザはわざわざ装置を上腕部に巻く必要があるため手間がかかるという問題があった。また、上記特許文献1に記載された技術では、肌に画像を投影することが前提とされており、腕部分が隠れないような服を着て使用することが求められる。つまり、上記特許文献1に記載された技術は、その使用のためにユーザに対して不便を強いるという問題があった。
そこで、上記事情を一着眼点にして本開示の一実施形態に係るリストバンド型情報処理装置を創作するに至った。本開示の一実施形態に係るリストバンド型情報処理装置は、モバイル端末のユーザビリティを向上させることが可能である。
より詳しくは、リストバンド型端末1は、ユーザの手首に装着されるので、ユーザは、わざわざ装置を上腕部に巻く必要もなく、または長袖などの腕部分が隠れるような服を着ていても使用することができる。また、手首に物を装着することは、腕時計やリストバンド、ブレスレットなどで慣れ親しまれているため、ユーザは特に違和感なくリストバンド型端末1を使用することができる。
また、図1に示すように、リストバンド型端末1は腕時計程度の大きさに形成される。一般的に腕時計はスマートフォンよりも軽いため、ユーザは、実際にスマートフォン2を手に取って操作するよりも少ない労力で操作することができ、手の疲れが軽減される。
さらに、ユーザは、プロジェクタ3が手首の内側に位置するようにリストバンド型端末1を装着することで、図1に示すように、手のひらを投影面として投影画像5を投影させることができる。この場合、ユーザは周囲にいる人や物から投影画像5を隠すことができるため、プライバシー性が増す。また、手のひらに画像が投影される場合、画像を視認するためにユーザは手のひらをユーザ側に向ける。通常スマートフォン2を手に持って操作する場合、手のひらはユーザ側に向けられるので、リストバンド型端末1の操作とスマートフォン2の操作とは操作性が類似する。よって、ユーザは、違和感なくリストバンド型端末1を使用することができる。
また、プロジェクタ3が投影する画像はスマートフォン2のグラフィカルユーザインターフェース(GUI)を示す画像であり、ユーザは、投影された画像に対する操作をリストバンド型端末1に入力することができる。つまり、リストバンド型端末1は、スマートフォン2の出力装置および入力装置として機能する。このため、ユーザは、ポケットや鞄からスマートフォン2を取り出すことなく、スマートフォン2を操作することができる。これにより、スマートフォン2のユーザビリティはさらに向上する。
以上、本開示の一実施形態に係る投影システムの概要を説明した。続いて、本開示の各実施形態に係る投影システムについて、詳細に説明する。
<2.実施形態>
[2−1.基本形態]
まず、図2、図3を参照して、本開示の各実施形態で共通する投影システムの構成および動作処理を説明する。
[2−1−1.構成]
図2は、本開示の一実施形態に係る投影システムの構成を示すブロック図である。図2に示すように、リストバンド型端末1は、プロジェクタ3、表示部4、制御部11、通信部12、撮像部13、操作部14、およびセンサ部15を有し、スマートフォン2と連携して動作する。
(スマートフォン2)
スマートフォン2は、単独で、またはリストバンド型端末1と連携して動作する情報処理装置である。スマートフォン2は、リストバンド型端末1と連携して動作する場合、リストバンド型端末1を出力装置および入力装置として機能させる。即ち、スマートフォン2は、リストバンド型端末1に対して、投影または表示させるための画像を送信し、ユーザ操作を示す情報を受信する機能を有する。より具体的には、スマートフォン2は、リストバンド型端末1に対してGUIを示す画像を送信して、そのGUIに対するユーザ操作を受信する。そして、スマートフォン2は、受信したユーザ操作に応じた処理を行い、その処理に応じて更新したGUIを示す画像をリストバンド型端末1に送信する。
なお、図1に示した例では、外部装置の一例としてスマートフォン2を用いたが、本実施形態に係る外部装置はこれに限定されない。例えば、外部装置は、デジタルカメラ、デジタルビデオカメラ、PDA(Personal Digital Assistants)、PC(Personal Computer)、ノートPC、タブレット端末、携帯電話端末、携帯用音楽再生装置、携帯用映像処理装置または携帯用ゲーム機器等であってもよい。
(プロジェクタ3)
プロジェクタ3は、制御部11による制御に基づき、画像(静止画像/動画像)を投影面に投影する。本実施形態においては、プロジェクタ3は、制御部11による制御に基づき、バンド部6が装着された手(手の甲または手のひら)に画像を投影する。プロジェクタ3は、例えばレーザー方式のピコプロジェクタにより実現される。この場合、フォーカス調整などのキャリブレーションを行う必要が原則無いため、プロジェクタ3は、手の表面の凹凸や、手首の角度等によるプロジェクタ3と投影面との位置関係によらず、画像を投影することができる。
(表示部4)
表示部4は、制御部11による制御に基づき、画像(静止画像/動画像)の表示を行う。プロジェクタ3は、例えばLCD(Liquid Crystal Display)またはOLED(Organic Light−Emitting Diode)、などにより実現される。本実施形態においては、表示部4は、後述の操作部14と一体的に構成されるタッチパネルとして実現されるものとする。
(通信部12)
通信部12は、外部装置との間でのデータの送受信を行う。通信部12は、例えば無線、Bluetooth(登録商標)、WiHD(Wireless High Definition)、WLAN(Wireless Local Area Network)、Wi−Fi(Wireless Fidelity、登録商標)、NFC(Near Field communication)、赤外線通信等の方式で、スマートフォン2と通信を行う。他にも、通信部12は、3G/LTE(Long Term Evolution)やミリ波帯の電波により、スマートフォン2と通信を行ってもよい。
本実施形態においては、通信部12は、予め対応付けられたスマートフォン2から、プロジェクタ3により投影または表示部4により表示される画像を受信する受信部として機能する。より詳しくは、通信部12は、プロジェクタ3により投影または表示部4により表示される画像として、スマートフォン2のGUIを示す画像を受信する。なお、ユーザ操作や外部入力等に応じて、リストバンド型端末1に対応付けられるスマートフォン2は変更可能である。通信部12は、受信した画像を制御部11に出力する。
また、通信部12は、後述する操作部14やセンサ部15により取得されたユーザ操作を示す情報を、制御部11から供給され、スマートフォン2に送信する。これにより、ユーザは、リストバンド型端末1を介してスマートフォン2を操作することが可能となる。
(撮像部13)
撮像部13は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイにより実現されてもよい。撮像部13は、デジタル信号とされた撮影画像のデータを、制御部11に出力する。
(操作部14)
操作部14は、ユーザからの入力(ユーザ操作)を受け付ける機能を有する。例えば、操作部14は、ボタン、タッチセンサ、トラックボール等により実現される。本実施形態においては、操作部14は、表示部4と一体的に構成されるタッチパネルにより実現されるものとする。センサ部15は、入力されたユーザ操作を示す情報を、制御部11に出力する。
(センサ部15)
センサ部15は、ユーザの動作や状態を取得する機能を有する。例えば、センサ部15は、ユーザの顔や目、またはリストバンド型端末1が装着された手を撮像対象とするカメラにより実現される。他にも、センサ部15は、奥行き検出機能付きカメラ、マイク、GPS、赤外線センサ、光線センサ、筋電センサ、神経センサ、脈拍センサ、体温センサ、ジャイロセンサ、加速度センサまたはタッチセンサなどにより実現される。なお、筋電センサや神経センサ、脈拍センサ、体温センサは、バンド部6に設けられる輪腕センサとして実現されてもよい。センサ部15は、本体またはバンド部6に設けられるので手に近い位置でセンシングすることができ、その結果、手の動きをより精度よく取得することができる。センサ部15は、センシング結果を示す情報を制御部11に出力する。
(制御部11)
制御部11は、演算処理装置および制御装置として機能し、各種プログラムに従ってリストバンド型端末1内の動作全般を制御する。制御部11は、例えばCPU(Central Processing Unit)、マイクロプロセッサによって実現される。なお、制御部11は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、および適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
制御部11は、スマートフォン2から入力された画像、または図示しない記憶部に記憶された画像の少なくともいずれか一方を手に投影するようプロジェクタ3を制御する。より具体的には、制御部11は、スマートフォン2から通信部12を介して入力された画像を、バンド部6が装着された手に投影するよう、プロジェクタ3を制御する。また、制御部11は、スマートフォン2から受信した撮像画像やメール文章を示す画像などを図示しない記憶部に一時的に記憶しておき、記憶部に記憶された画像を投影するよう、プロジェクタ3を制御してもよい。なお、本実施形態では、制御部11は、スマートフォン2から通信部12を介して入力された画像を投影するようプロジェクタ3を制御するものとする。
さらに、制御部11は、操作部14により受け付けられたユーザ操作に応じて、プロジェクタ3により投影される画像を制御する。例えば、制御部11は、操作部14により受け付けられたスクロール操作や拡大/縮小操作に応じて、プロジェクタ3により投影される画像をスクロール、拡大/縮小させる。より詳しくは、制御部11は、操作部14により受け付けられたユーザ操作を示す情報を、通信部12によりスマートフォン2に送信する。スマートフォン2は、受信されたユーザ操作に応じた処理がなされ、その処理の結果更新されたGUIを示す画像をリストバンド型端末1に送信する。これにより、リストバンド型端末1は、スマートフォン2のタッチパネルに対してフリックやタッチなどをした場合と同様の画面遷移を投影する。
同様に、制御部11は、操作部14により受け付けられたユーザ操作に応じて、表示部4に表示される画像を制御する。他にも、制御部11は、撮像部13、センサ部15から出力される各種情報に基づいて、プロジェクタ3および表示部4を制御する。
また、図2に示すように、制御部11は、認識部111、および検出部112としての機能を有する。リストバンド型端末1は、認識部111および検出部112を有することにより、ジェスチャー入力が可能となる。
・認識部111
認識部111は、バンド部6が装着された手の動きを認識する機能を有する。より詳しくは、認識部111は、センサ部15から出力されたバンド部6が装着された手を撮像した画像による画像認識、モーション認識等により、手の動きを認識する。制御部11は、認識部111による認識結果に基づいて、画面遷移等の各種処理を行う。
・検出部112
検出部112は、プロジェクタ3により手に投影された画像に対するユーザ操作を検出する機能を有する。例えば、検出部112は、投影画像に対するフリックやタッチなどのユーザ操作を検出する。制御部11は、検出部112により検出されたユーザ操作を示す情報をスマートフォン2に送信し、スマートフォン2によりユーザ操作に応じた処理がなされる。これにより、リストバンド型端末1は、スマートフォン2のタッチパネルに対してフリックやタッチなどをした場合と同様の画面遷移を、表示または投影する。例えば、ユーザが投影画像に対して上下にフリックすると、投影画像がスクロールする。
以上、本実施形態に係る投影システムの構成を説明した。続いて、図3を参照して、本実施形態に係る投影システムの動作を説明する。
[2−1−2.動作処理]
図3は、本開示の一実施形態に係る投影システムの動作を示すシーケンス図である。図3に示すように、まず、ステップS102で、スマートフォン2は、リストバンド型端末1と連携するか否かを判定する。例えば、スマートフォン2は、単独で動作するよう設定されているか、またはリストバンド型端末1と連携して動作するよう設定されているかを判定する。
リストバンド型端末1と連携すると判定された場合(S102/YES)、ステップS104で、スマートフォン2は、画像信号をリストバンド型端末1に送信する。より詳しくは、スマートフォン2は、リストバンド型端末1により投影または表示される画像を、リストバンド型端末1に送信する。なお、リストバンド型端末1と連携しないと判定された場合(S102/NO)、スマートフォン2は、リストバンド型端末1と連携することなく単独で動作する。
次いで、ステップS106で、リストバンド型端末1は、スマートフォン2から受信した画像を表示部4に表示する。より詳しくは、制御部11は、通信部12によりスマートフォン2から受信した画像を表示するよう、表示部4を制御する。
次に、ステップS108で、リストバンド型端末1は、手に投影するか否かを判定する。より詳しくは、制御部11は、バンド部6を装着した手に画像を投影するか否かを判定する。例えば、制御部11は、ユーザにより予め設定された設定情報を参照して、投影するか否かを判定する。
手に投影すると判定された場合(S108/YES)、ステップS110で、リストバンド型端末1は、スマートフォン2から受信した画像をプロジェクタ3により手に投影する。より詳しくは、制御部11は、通信部12によりスマートフォン2から受信した画像を手に投影するよう、プロジェクタ3を制御する。なお、手に投影しないと判定された場合(S108/NO)、処理は再度ステップS106に戻る。
次いで、ステップS112で、リストバンド型端末1は、投影を終了するか否かを判定する。例えば、制御部11は、操作部14により投影を終了するよう指示するユーザ操作が受け付けられた場合や所定時間投影した場合に、投影を終了すると判定する。
投影を終了すると判定された場合(S112/YES)、ステップS114で、リストバンド型端末1は、プロジェクタ3による画像の投影を終了する。その後、処理は再度ステップS106に戻り、リストバンド型端末1は、表示部4による画像の表示を継続する。一方で、投影を終了しないと判定された場合(S112/NO)、処理は再度ステップS110に戻り、プロジェクタ3による画像の投影が継続される。
以上、本開示の各実施形態において共通する投影システムの構成および動作処理を説明した。続いて、図4〜図14を参照して、本開示の各実施形態について詳細に説明する。
[2−2.第1の実施形態]
本実施形態は、リストバンド型端末1へのユーザ操作に応じて、表示部4に表示された画像がプロジェクタ3により手に投影される形態である。以下、図4を参照して本実施形態について詳細に説明する。
図4は、第1の実施形態に係る投影処理を説明するための図である。図4Aに示すように、表示部4は、地図を示す画像を表示している。本実施形態では、制御部11は、操作部14により受け付けられたユーザ操作に応じて、プロジェクタ3に表示された画像を手に投影するようプロジェクタ3を制御する。例えば、ユーザは、画像を拡大したい場合、表示部4に表示された画像を指でドラッグして、図4Bに示すように手のひらや手の甲にドロップする。このとき、リストバンド型端末1は、タッチパネルとして表示部4と一体的に構成された操作部14により表示部4上のドラッグ動作を検出し、さらにセンサ部15が有するカメラや赤外線センサ等により手の甲や手のひら上のドラック動作およびドロップ動作を検出する。すると、図4Cに示すように、リストバンド型端末1は、表示部4により表示されている画像を拡大した投影画像5−2を、プロジェクタ3により手に投影する。
なお、図4Bに示すように、リストバンド型端末1は、ユーザの指が手のひらや手の甲の上をドラッグしている間、その指の位置にドラッグ中であることを示す投影画像5−1を投影してもよい。また、リストバンド型端末1は、タッチパネル上の単なるフリック操作に基づいて、画像を拡大して手に投影してもよい。
このように、本実施形態に係るリストバンド型端末1は、ドラッグ・ドロップにより容易に画像を拡大して投影することができる。また、図4Cに示すように、ユーザは、表示部4(タッチパネル)へのフリック操作により地図をスクロールすることができる。他にも、ユーザは、表示部4にタッチした二本の指を広げる操作に基づいて地図を拡大したり、二本の指を近づける操作に基づいて地図を縮小したりすることができる。
以上、第1の実施形態について説明した。
[2−3.第2の実施形態]
本実施形態は、プロジェクタ3と表示部4とで異なる画像を投影または表示すると共に、それぞれの画像に対する独立した操作を可能にする形態である。以下、図5を参照して本実施形態について詳細に説明する。
図5は、第2の実施形態に係る投影処理を説明するための図である。図5Aに示すように、表示部4(タッチパネル)には複数のアプリケーションアイコンを含むリストバンド型端末1の基本画面(ホーム画面)が表示されている。本実施形態では、制御部11は、操作部14により受け付けられたユーザ操作に応じて、表示部4に表示された画像とは異なる画像を手に投影するようプロジェクタ3を制御する。例えば、ユーザが、メールアイコン41をタッチすると、図5Bに示すように、リストバンド型端末1は、表示部4でのホーム画面の表示を維持しつつ、プロジェクタ3によりメールの文章を手に投影する。このため、ユーザは、メールの文章を読みながら、表示部4に表示されたホーム画面により新しいメールが受信されたことを確認したり、過去にユーザが送信したメールを表示部4で確認したりすることができる。
ここで、図5Cに示すように、本実施形態に係るリストバンド型端末1は、ボタン14−1およびタッチセンサ14−2が設けられている。図5Cに示すように、ユーザは、タッチセンサ14−2を操作することで、手に投影されたメールの文章をスクロールさせることができる。また、ユーザは、表示部4を直接タッチすることで、表示部4の表示をスクロール等させることができる。このように、リストバンド型端末1は、タッチセンサ14−2を別途設けることで、表示部4により表示される画像とプロジェクタ3により投影される画像とを別々に操作することを可能にする。
また、リストバンド型端末1は、ボタン14−1により、表示部4へのタッチ入力を、表示部4に表示される画像に対する操作として捉えるか、プロジェクタ3により投影される画像に対する操作として捉えるかを切り替える。ユーザは、ボタン14−1により操作対象を切り替えながら、表示部4に表示される画像とプロジェクタ3により投影される画像とを別々にスクロールさせたり、拡大/縮小等させたりすることができる。
以上、第2の実施形態について説明した。
[2−4.第3の実施形態]
本実施形態は、プロジェクタ3を2つ有する形態である。以下、図6を参照して本実施形態について詳細に説明する。
図6は、第3の実施形態に係る投影処理を説明するための図である。図6Aに示すように、ユーザは、初めて行く店の地図をプロジェクタ3−1により拡大して投影させて、投影された地図5−3を確認している。ここで、図6Aに示すように、本実施形態に係るリストバンド型端末1は、手に画像を投影するプロジェクタ3−1に加えて、バンド部6が装着された前腕部に画像を投影するプロジェクタ3−2(他の投影部)を有する。図6Bに示すように、プロジェクタ3−1および3−2は、それぞれ別の画像を拡大して投影することができる。より詳しくは、制御部11は、第1の画像を手に投影するようプロジェクタ3−1を制御し、第2の画像を前腕部に投影するようプロジェクタ3−2を制御する。このため、リストバンド型端末1は、表示部4と合わせると1度に3つの画像を表示することができる。さらに、3つの画像が近くに表示されるため、ユーザは視線を大きく変えることなく、各画像を目視することができる。例えば、図6Bに示すように、ユーザは、初めて行く店の地図(第1の画像)5−3をプロジェクタ3−1により投影させつつ、プロジェクタ3−2により予約したメール(第2の画像)5−4を投影させて予約時間等を確認することができる。
なお、本実施形態に係るリストバンド型端末1は、第1、第2の実施形態において説明した操作と同様の操作を可能にする。即ち、ユーザは、プロジェクタ3−1、3−2により投影される画像、および表示部4に表示される画像を、タッチ入力または図示しないセンサ部15よるセンシングにより、それぞれ別々に操作することができる。また、ユーザは、プロジェクタ3−1により投影される画像をドラッグ・ドロップして、プロジェクタ3−2により投影されている画像と入れ替えてもよい。
以上、第3の実施形態について説明した。
[2−5.第4の実施形態]
スマートフォン2には、地上放送波や衛星放送波などの放送波により外部から画像を受信するチューナが搭載されている場合がある。そこで、本実施形態に係るリストバンド型端末1は、プロジェクタ3により放送波による画像を投影すると共に、表示部4により番組情報等を表示する。
より詳しくは、本実施形態では、制御部11は、外部から入力された地上放送波や衛星放送波などの放送波による画像を手に投影するようプロジェクタ3を制御する。また、制御部11は、プロジェクタ3により投影中の放送波に関連する、字幕や番組情報などの関連情報を表示するよう表示部4を制御する。以下、図7を参照して本実施形態について説明する。
図7は、第4の実施形態に係る投影処理を説明するための図である。図7Aに示すように、本実施形態に係るリストバンド型端末1は、スマートフォン2に搭載されたワンセグチューナやフルセグチューナにより受信された映像を、プロジェクタ3により手に投影する。なお、リストバンド型端末1は、図示しないスピーカを有していてもよく、テレビ音声を出力してもよい。また、ユーザは、表示部4に表示されたチャンネルをタッチ入力により選択することで、視聴するチャンネルを変更することができる。
また、図7Bに示すように、リストバンド型端末1は、表示部4により字幕やチャンネル情報、番組情報などを表示する。一般的に、スマートフォン2でテレビ映像を画面表示する場合、字幕やチャンネル情報、番組情報が画面下部に表示され、テレビ映像が小さく表示されてしまう。これに対し、本実施形態では、表示部4が字幕やチャンネル情報、番組情報を表示し、プロジェクタ3は投影面全体にテレビ映像を投影するので、ユーザは、テレビ映像を小さくすることなく視聴することができる。さらに、リストバンド型端末1は、リストバンド型端末1を振動させる振動部を有していてもよく、振動部はテレビ映像に応じて振動してもよい。この場合、ユーザに振動が伝わると共にプロジェクタ3による投影画像自体が振動するため、より迫力が増す。
以上、第4の実施形態について説明した。
[2−6.第5の実施形態]
本実施形態は、撮像する際に、スルー画像を表示部4に表示しつつ、撮像画像をプロジェクタ3により投影する形態である。以下、図8を参照して本実施形態について詳細に説明する。
図8は、第5の実施形態に係る投影処理を説明するための図である。図8Aに示すように、ユーザは、撮像部13により被写体7Aを撮像しようとしている。このとき、制御部11は、撮像部13による被写体7Aのスルー画像を表示するよう表示部4を制御し、図8Aに示すように表示部4に被写体7Aのスルー画像が表示される。このため、ユーザは、被写体7Aの位置やフォーカスなどを表示部4により確認しながら撮像することができる。
撮像されると、制御部11は、撮像部13により撮像された撮像画像を手に投影するようプロジェクタ3を制御する。より具体的には、図8Bに示すように、プロジェクタ3は、撮像した被写体7Aの投影画像5−5を手に投影する。このとき、表示部4は、撮像部13による被写体7Bのスルー画像を表示する。このため、ユーザは、過去の撮像画像と現在の撮像対象のスルー画像とを同時に確認しながら、撮像することができる。
また、制御部11は、撮像部13により撮像された複数の撮像画像を手に投影するようプロジェクタ3を制御してもよい。より具体的には、図8Cに示すように、プロジェクタ3は、撮像した被写体7Bを示す投影画像5−6と、ひとつ前に撮像した被写体7Aを示す投影画像5−5とを並べて手に投影してもよい。このように、リストバンド型端末1は、撮像した画像を順々に手に投影するので、ユーザは、少し前に撮像した写真をチェックしながら次の撮像を行うことができる。
以上、第5の実施形態について説明した。
[2−7.第6の実施形態]
本実施形態は、ユーザの目と手の相対的位置関係に応じて、画像が見やすくなるよう表示角度を調整して投影する形態である。以下、図9を参照して本実施形態について詳細に説明する。
図9は、第6の実施形態に係る投影処理を説明するための図である。図9Aに示すように、ユーザは、プロジェクタ3によりメール文章を閲覧している。ここで、ユーザはリストバンド型端末1を手首に装着するため、手の角度や高さなどの状態によっては、文章とユーザの両目とが平行にならず斜めになってしまう場合がある。例えば、図9Bに示すように、ユーザの手が斜め方向を向いている場合、文章も斜めになってしまい文章が読み辛くなる。
そこで、本実施形態では、制御部11は、センサ部15により取得されたユーザの目と手の相対的位置関係に応じて、プロジェクタ3により投影される画像の表示角度を制御する。より具体的には、まず、制御部11は、カメラや赤外線センサ(図9中の符号15−1に示す)によりユーザの目の位置を特定し、ジャイロセンサや加速度センサによりユーザの腕の位置や角度を特定することで、ユーザの目と手の相対的な位置関係を算出する。そして、制御部11は、算出した位置関係に応じて、文章とユーザの両目とが平行になるよう、画像の表示角度を補正する。
このような表示角度の補正により、図9Cに示すように、プロジェクタ3は、ユーザの両目と平行する文章を手に投影する。このため、ユーザは、読み辛さを感じることなく文章を読み取ることができる。なお、ユーザによって、左手/右手、上下などリストバンド型端末1の装着方法は様々であるため、制御部11は、0度から360度の範囲で、表示角度を補正する。
なお、本実施形態では文章を対象として、文章と両目とが平行になるよう補正する例を説明したが、本実施形態はかかる例に限定されない。例えば、制御部11は、風景画像やポートレイトなどの任意の画像に対して、ユーザの目から見て画像が斜めに投影されないよう、表示角度を補正してもよい。
以上、第6の実施形態について説明した。
[2−8.第7の実施形態]
本実施形態は、リストバンド型端末1が装着されている手の動きに応じて、プロジェクタ3の投影方向を制御する形態である。例えば、リストバンド型端末1は、通常は手の甲に投影する近傍投影モードで動作し、手が所定の動きをした場合に手の甲ではなく遠方に画像を投影する遠方投影モードで動作する。
本実施形態では、まず、認識部111は、センサ部15によるセンシング結果に基づいて手の動きを認識する。そして、制御部11は、認識部111により認識された手の動きに応じてプロジェクタ3による投影方向を制御する。以下、図10を参照して本実施形態について詳細に説明する。
図10は、第7の実施形態に係る投影処理を説明するための図である。より詳しくは、図10Aは、近傍投影モードでの動作を説明するための図であり、図10Bは、遠方投影モードでの動作を説明するための図である。
図10Aに示すように、認識部111は、カメラや赤外線センサ(図10A中の符号15−2に示す)からは指が検出できないため、ユーザが手を握っていることを認識する。この場合、制御部11は、ユーザが手を握っているため、プロジェクタ3による投影方向を手の甲に向けている。これにより、プロジェクタ3は、リストバンド型端末1の近傍である、リストバンド型端末1が装着された手の甲に画像を投影する。なお、本実施形態では、図10Aに示すように、表示部4およびプロジェクタ3は、連携するスマートフォン2のホーム画像を表示または投影している。
一方で、図10Bに示すように、認識部111は、カメラや赤外線センサ(図10B中の符号15−2に示す)から指が検出できるため、ユーザが手を開いていることを認識する。この場合、制御部11は、ユーザが手を開いているため、手の甲に画像が投影されないようプロジェクタ3による投影方向を手の甲から乖離する方向(Y方向)に動かす。これにより、プロジェクタ3は、リストバンド型端末1が装着された手以外の、例えば遠方のスクリーン8や壁、床などに画像を投影することができる。なお、プロジェクタ3がレーザー方式のプロジェクタにより実現される場合、プロジェクタ3は、フォーカス調整等のキャリブレーションを原則行うことなく、遠方のスクリーン8等に画像を投影することができる。もちろん、プロジェクタ3は、投影距離等に基づいて自動的にキャリブレーションを行ってもよい。
また、図11に示すように、プロジェクタ3は、遠方ではなくリストバンド型端末1を装着していない方の手に画像を投影してもよい。図11は、第7の実施形態に係る投影処理を説明するための図である。図11に示すように、認識部111は、カメラや赤外線センサ(図11中の符号15−2に示す)から指が検出できるため、ユーザが手を開いていることを認識する。この場合、制御部11は、手の甲に画像が投影されないようプロジェクタ3による投影方向を手の甲から乖離する方向(Y方向)に動かす。このとき、プロジェクタ3の投影方向にリストバンド型端末1を装着していない方の手がある場合、その手に画像が投影される。
以上、第7の実施形態について説明した。
[2−9.第8の実施形態]
本実施形態は、リストバンド型端末1が装着された手の動きに応じて、スマートフォン2を操作する形態である。より具体的には、本実施形態に係るリストバンド型端末1は、リストバンド型端末1が装着された手によるジェスチャー入力を認識し、スマートフォン2によるジェスチャー入力に基づく処理に応じて更新された画像を投影する。
本実施形態では、まず、認識部111は、センサ部15が有するカメラや赤外線センサによるセンシング結果に基づいて手の動きを認識する。他にも、認識部111は、センサ部15が有する筋電センサや神経センサにより検出された筋電や神経の電気信号に基づいて手の動きを認識してもよい。そして、制御部11は、認識部111により認識された手の動きに応じてプロジェクタ3により投影される画像を制御する。以下、図12を参照して本実施形態について詳細に説明する。
図12は、第8の実施形態に係る投影処理を説明するための図である。図12Aに示すように、プロジェクタ3は、手の甲にメール文章を示す投影画像5−7を投影している。本実施形態では、リストバンド型端末1は、リストバンド型端末1が装着された手の各指に使われる頻度が高いキーを割り当て、指の動きに応じてスマートフォン2を操作することで、プロジェクタ3により投影される画像を制御する。
例えば、リストバンド型端末1は、親指に撮像部13の起動を指示する起動キー、および撮像部13による撮像を指示するシャッターキーを割り当てる。同様に、リストバンド型端末1は、人差し指に操作取消を指示する戻るキー、中指にホーム画面の表示を指示するホームキー、薬指にメニューの表示を指示するメニューキー、小指にプロジェクタ3による投影のON/OFFを指示するキーを割り当てる。これらの割り当ては、ユーザにより自由に設定されてもよい。
ユーザは、プロジェクタ3を使用中にホーム画面に戻りたい場合、中指を立てたり折り曲げたりして動かす。すると、認識部111は、中指が動かされたことを認識して、制御部11は、その認識結果に基づき、スマートフォン2のホーム画面を投影するようプロジェクタ3を制御する。これにより、図12Bに示すように、プロジェクタ3によりホーム画面を示す投影画像5−8が投影される。
以上、第8の実施形態について説明した。
[2−10.第9の実施形態]
本実施形態は、プロジェクタ3により投影された投影画像に対するユーザ操作に応じて、スマートフォン2を操作する形態である。より具体的には、本実施形態に係るリストバンド型端末1は、投影画像へのタッチやフリック入力などによるユーザ操作を検出し、スマートフォン2によるユーザ操作に基づく処理に応じて更新された画像を投影する。
本実施形態では、まず、検出部112は、センサ部15が有する奥行き検出機能付きカメラや赤外線センサによるセンシング結果に基づいて、プロジェクタ3により手に投影された画像に対するユーザ操作を検出する。そして、制御部11は、検出部112により検出されたユーザ操作に応じてプロジェクタ3により投影される画像を制御する。以下、図13を参照して本実施形態について詳細に説明する。
図13は、第9の実施形態に係る投影処理を説明するための図である。図13Aに示すように、リストバンド型端末1には奥行き検出機能付きカメラ15−3が設けられており、ホーム画面を示す投影画像5−9を投影している。検出部112は、奥行き検出機能付きカメラ15−3による撮像画像に基づき、プロジェクタ3により投影されたホーム画面に含まれるアイコンを、ユーザがタッチしたことを検出する。そして、制御部11は、タッチされたアイコンに対応する画面を投影するようプロジェクタ3を制御する。例えば、メールアイコンがタッチされた場合、制御部11は、通信部12を介してメール文章をスマートフォン2から受信して、プロジェクタ3によりメール文章を投影させる。
他にも、リストバンド型端末1は、投影画像にタッチした二本の指を広げる操作に基づいて画像を拡大したり、二本の指を近づける操作に基づいて画像を縮小したり、フリック操作に基づき画像をスクロールしたりすることができる。また、リストバンド型端末1は、投影画像に対するドラッグおよびドロップ操作に応じて、例えばアイコン等を投影画像内で移動させてもよい。また、図13Bに示すように、本実施形態に係るリストバンド型端末1は、ホーム画面以外の例えば番号選択画面を示す投影画像5−10に対するユーザ操作に応じて、スマートフォン2を操作してもよい。
以上、第9の実施形態について説明した。
[2−11.第10の実施形態]
本実施形態は、リストバンド型端末10がスマートフォン2としての機能を有する形態である。つまり、本実施形態に係るリストバンド型端末10は、スマートフォン2と連携することなく、単独でメールの送受信や閲覧等を行うことができる。以下、本実施形態に係るリストバンド型端末10の構成を説明する。
図14は、第10の実施形態に係るリストバンド型端末10の構成を示すブロック図である。図14に示すように、リストバンド型端末10は、プロジェクタ3、表示部4、撮像部13、操作部14、センサ部15、記憶部16、制御部110、および通信部120を有する。
(記憶部16)
記憶部16は、所定の記録媒体に対してデータの記録再生を行う部位である。記憶部16は、例えばHDD(Hard Disc Drive)として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、記憶部16としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
本実施形態に係る記憶部16は、リストバンド型端末10がスマートフォン2として機能するための各種アプリケーションプログラム、画像や音声などのリソースデータ、メールデータ等を記憶する。
(通信部120)
通信部120は、外部装置との間でのデータの送受信を行う。通信部12は、例えば無線、Bluetooth(登録商標)、WiHD、WLAN、Wi−Fi(登録商標)、NFC、赤外線通信、3G/LTEやミリ波帯の電波により通信を行う。例えば、本実施形態に係る通信部120は、ユーザにより作成されたメールを送信したり、Webコンテンツを受信したりする。
(制御部110)
制御部110は、演算処理装置および制御装置として機能し、各種プログラムに従ってリストバンド型端末10内の動作全般を制御する。制御部110は、例えばCPU、マイクロプロセッサによって実現される。なお、制御部110は、使用するプログラムや演算パラメータ等を記憶するROM、および適宜変化するパラメータ等を一時記憶するRAMを含んでいてもよい。
本実施形態では、制御部110は、記憶部16に記憶された画像を、バンド部6が装着された手に投影するよう、プロジェクタ3を制御する。例えば、制御部110は、記憶部16に記憶されたメール文章を投影するようプロジェクタ3を制御する。また、制御部110は、外部装置から入力された画像を投影するよう、プロジェクタ3を制御してもよい。例えば、制御部110は、通信部120によりサーバ等の外部から受信したWebコンテンツを投影するようプロジェクタ3を制御する。その他、制御部110は、上記基本形態において説明した制御部11と同様の機能を有する。
以上、本実施形態に係るリストバンド型端末10の構成を説明した。なお、プロジェクタ3、表示部4、撮像部13、操作部14、およびセンサ部15は、図2を参照して上記基本形態において説明した通りであるため、ここでの詳細な説明は省略する。また、本実施形態での動作処理は、リストバンド型端末10が単独で行う点を除き、図3を参照して上記基本形態において説明した通りであるため、ここでの詳細な説明は省略する。
<3.まとめ>
以上説明したように、本開示の一実施形態に係るリストバンド型端末は、モバイル端末のユーザビリティを向上させることが可能である。より詳しくは、リストバンド型端末1は、スマートフォン2の出力装置および入力装置として機能するよう連携することで、ユーザはスマートフォン2を手に取ることなく地図やWeb、メール等を閲覧することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、情報処理装置に内蔵されるCPU、ROM及びRAM等のハードウェアに、上記リストバンド型端末1、リストバンド型端末10の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶した記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ユーザの手首に装着するバンド部と、
前記バンド部が装着された手に画像を投影する投影部と、
記憶部に記憶された画像、または外部装置から入力された画像の少なくともいずれか一方を前記手に投影するよう前記投影部を制御する制御部と、
を備えるリストバンド型情報処理装置。
(2)
前記リストバンド型情報処理装置は、ユーザ操作を受け付ける操作部をさらに備え、
前記制御部は、前記操作部により受け付けられた前記ユーザ操作に応じて、前記投影部により投影される画像を制御する、前記(1)に記載のリストバンド型情報処理装置。
(3)
前記リストバンド型情報処理装置は、表示部をさらに備え、
前記制御部は、前記操作部により受け付けられた前記ユーザ操作に応じて、前記表示部に表示された画像を前記手に投影するよう前記投影部を制御する、前記(2)に記載のリストバンド型情報処理装置。
(4)
前記リストバンド型情報処理装置は、表示部をさらに備え、
前記制御部は、前記操作部により受け付けられた前記ユーザ操作に応じて、前記表示部に表示された画像とは異なる画像を前記手に投影するよう前記投影部を制御する、前記(2)に記載のリストバンド型情報処理装置。
(5)
前記リストバンド型情報処理装置は、前記投影部により前記手に投影された画像に対するユーザ操作を検出する検出部をさらに備え、
前記制御部は、前記検出部により検出された前記ユーザ操作に応じて、前記投影部により投影される画像を制御する、前記(1)〜(4)のいずれか一項に記載のリストバンド型情報処理装置。
(6)
前記制御部は、外部から入力された放送波による画像を前記手に投影するよう前記投影部を制御し、前記放送波に関連する関連情報を表示するよう前記表示部を制御する、前記(4)に記載のリストバンド型情報処理装置。
(7)
前記リストバンド型情報処理装置は、撮像部をさらに備え、
前記制御部は、前記撮像部により撮像された撮像画像を前記手に投影するよう前記投影部を制御し、前記撮像部によるスルー画像を表示するよう前記表示部を制御する、前記(4)に記載のリストバンド型情報処理装置。
(8)
前記リストバンド型情報処理装置は、前記バンド部が装着された前腕部に画像を投影する他の投影部をさらに備える、前記(1)〜(7)のいずれか一項に記載のリストバンド型情報処理装置。
(9)
前記制御部は、第1の画像を前記手に投影するよう前記投影部を制御し、第2の画像を前記前腕部に投影するよう前記他の投影部を制御する、前記(8)に記載のリストバンド型情報処理装置。
(10)
前記制御部は、前記ユーザの目と前記手の相対的位置関係に応じて前記投影部により投影される画像の表示角度を制御する、前記(1)〜(9)のいずれか一項に記載のリストバンド型情報処理装置。
(11)
前記リストバンド型情報処理装置は、前記手の動きを認識する認識部をさらに備える、前記(1)〜(10)のいずれか一項に記載のリストバンド型情報処理装置。
(12)
前記制御部は、前記認識部により認識された前記手の動きに応じて前記投影部による投影方向を制御する、前記(11)に記載のリストバンド型情報処理装置。
(13)
前記制御部は、前記認識部により認識された前記手の動きに応じて、前記投影部により投影される画像を制御する、前記(11)または(12)に記載のリストバンド型情報処理装置。
(14)
前記リストバンド型情報処理装置は、前記リストバンド型情報処理装置に対応付けられた携帯端末から前記投影部により投影される画像を受信する受信部をさらに備える、前記(1)〜(13)のいずれか一項に記載のリストバンド型情報処理装置
(15)
前記受信部は、前記投影部により投影される画像として、前記携帯端末のグラフィカルユーザインターフェースを示す画像を受信する、前記(14)に記載のリストバンド型情報処理装置。
(16)
前記投影部はレーザー方式のピコプロジェクタである、前記(1)〜(15)のいずれか一項に記載のリストバンド型情報処理装置。
(17)
コンピュータを、
バンド部が装着された手に画像を投影する投影部と、
記憶部に記憶された画像、または外部装置から入力された画像の少なくともいずれか一方を前記手に投影するよう前記投影部を制御する制御部と、
として機能させるためのプログラムが記憶された記憶媒体。
1、10 リストバンド型端末
11、110 制御部
111 認識部
112 検出部
12、120 通信部
13 撮像部
14 操作部
15 センサ部
16 記憶部
2 スマートフォン
3、3−1、3−2 プロジェクタ
4 表示部
5 投影画像
6 バンド部
7A、7B、7C 被写体
8 スクリーン

Claims (17)

  1. ユーザの手首に装着するバンド部と、
    前記バンド部が装着された手に画像を投影する投影部と、
    記憶部に記憶された画像、または外部装置から入力された画像の少なくともいずれか一方を前記手に投影するよう前記投影部を制御する制御部と、
    を備えるリストバンド型情報処理装置。
  2. 前記リストバンド型情報処理装置は、ユーザ操作を受け付ける操作部をさらに備え、
    前記制御部は、前記操作部により受け付けられた前記ユーザ操作に応じて、前記投影部により投影される画像を制御する、請求項1に記載のリストバンド型情報処理装置。
  3. 前記リストバンド型情報処理装置は、表示部をさらに備え、
    前記制御部は、前記操作部により受け付けられた前記ユーザ操作に応じて、前記表示部に表示された画像を前記手に投影するよう前記投影部を制御する、請求項2に記載のリストバンド型情報処理装置。
  4. 前記リストバンド型情報処理装置は、表示部をさらに備え、
    前記制御部は、前記操作部により受け付けられた前記ユーザ操作に応じて、前記表示部に表示された画像とは異なる画像を前記手に投影するよう前記投影部を制御する、請求項2に記載のリストバンド型情報処理装置。
  5. 前記リストバンド型情報処理装置は、前記投影部により前記手に投影された画像に対するユーザ操作を検出する検出部をさらに備え、
    前記制御部は、前記検出部により検出された前記ユーザ操作に応じて、前記投影部により投影される画像を制御する、請求項1に記載のリストバンド型情報処理装置。
  6. 前記制御部は、外部から入力された放送波による画像を前記手に投影するよう前記投影部を制御し、前記放送波に関連する関連情報を表示するよう前記表示部を制御する、請求項4に記載のリストバンド型情報処理装置。
  7. 前記リストバンド型情報処理装置は、撮像部をさらに備え、
    前記制御部は、前記撮像部により撮像された撮像画像を前記手に投影するよう前記投影部を制御し、前記撮像部によるスルー画像を表示するよう前記表示部を制御する、請求項4に記載のリストバンド型情報処理装置。
  8. 前記リストバンド型情報処理装置は、前記バンド部が装着された前腕部に画像を投影する他の投影部をさらに備える、請求項1に記載のリストバンド型情報処理装置。
  9. 前記制御部は、第1の画像を前記手に投影するよう前記投影部を制御し、第2の画像を前記前腕部に投影するよう前記他の投影部を制御する、請求項8に記載のリストバンド型情報処理装置。
  10. 前記制御部は、前記ユーザの目と前記手の相対的位置関係に応じて前記投影部により投影される画像の表示角度を制御する、請求項1に記載のリストバンド型情報処理装置。
  11. 前記リストバンド型情報処理装置は、前記手の動きを認識する認識部をさらに備える、請求項1に記載のリストバンド型情報処理装置。
  12. 前記制御部は、前記認識部により認識された前記手の動きに応じて前記投影部による投影方向を制御する、請求項11に記載のリストバンド型情報処理装置。
  13. 前記制御部は、前記認識部により認識された前記手の動きに応じて、前記投影部により投影される画像を制御する、請求項11に記載のリストバンド型情報処理装置。
  14. 前記リストバンド型情報処理装置は、前記リストバンド型情報処理装置に対応付けられた携帯端末から前記投影部により投影される画像を受信する受信部をさらに備える、請求項1に記載のリストバンド型情報処理装置
  15. 前記受信部は、前記投影部により投影される画像として、前記携帯端末のグラフィカルユーザインターフェースを示す画像を受信する、請求項14に記載のリストバンド型情報処理装置。
  16. 前記投影部はレーザー方式のピコプロジェクタである、請求項1に記載のリストバンド型情報処理装置。
  17. コンピュータを、
    バンド部が装着された手に画像を投影する投影部と、
    記憶部に記憶された画像、または外部装置から入力された画像の少なくともいずれか一方を前記手に投影するよう前記投影部を制御する制御部と、
    として機能させるためのプログラムが記憶された記憶媒体。
JP2013173229A 2013-08-23 2013-08-23 リストバンド型情報処理装置および記憶媒体 Pending JP2015041052A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013173229A JP2015041052A (ja) 2013-08-23 2013-08-23 リストバンド型情報処理装置および記憶媒体
US14/325,801 US20150054730A1 (en) 2013-08-23 2014-07-08 Wristband type information processing apparatus and storage medium
CN201410403165.3A CN104423798A (zh) 2013-08-23 2014-08-15 腕带式信息处理装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013173229A JP2015041052A (ja) 2013-08-23 2013-08-23 リストバンド型情報処理装置および記憶媒体

Publications (1)

Publication Number Publication Date
JP2015041052A true JP2015041052A (ja) 2015-03-02

Family

ID=52479891

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013173229A Pending JP2015041052A (ja) 2013-08-23 2013-08-23 リストバンド型情報処理装置および記憶媒体

Country Status (3)

Country Link
US (1) US20150054730A1 (ja)
JP (1) JP2015041052A (ja)
CN (1) CN104423798A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017141744A1 (ja) * 2016-02-19 2018-12-13 ソニー株式会社 表示装置
WO2019176273A1 (ja) 2018-03-12 2019-09-19 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160193733A1 (en) * 2014-03-27 2016-07-07 Fatemah A.J.A. Abdullah Robot for medical assistance
CN103995621B (zh) * 2014-04-28 2017-02-15 京东方科技集团股份有限公司 一种穿戴式触控装置和穿戴式触控方法
ES2826476T3 (es) 2014-05-15 2021-05-18 Federal Express Corp Dispositivos portátiles para el procesamiento de mensajería y métodos de uso de los mismos
KR102297473B1 (ko) * 2014-07-15 2021-09-02 삼성전자주식회사 신체를 이용하여 터치 입력을 제공하는 장치 및 방법
US20180101277A9 (en) * 2014-09-24 2018-04-12 Evan John Kaye Skin Touchpad
KR101909540B1 (ko) * 2014-10-23 2018-10-18 삼성전자주식회사 가상의 입력 영역을 이용한 포터블 디바이스의 사용자 입력 방법
KR101632007B1 (ko) * 2014-10-29 2016-06-21 엘지전자 주식회사 와치 타입의 제어 디바이스
US20160178906A1 (en) * 2014-12-19 2016-06-23 Intel Corporation Virtual wearables
JP2017009573A (ja) * 2015-03-06 2017-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 装着端末、及び、装着端末の制御方法
FR3034889B1 (fr) * 2015-04-10 2017-04-28 Cn2P Sas Bracelet electronique pour l’affichage d’un contenu numerique interactif destine a etre projete sur une zone d’un bras
FR3034890B1 (fr) * 2015-04-10 2018-09-07 Cn2P Dispositif electronique de projection interactif
CN104980676B (zh) * 2015-06-24 2017-12-19 福州瑞芯微电子股份有限公司 手臂投影方法和装置
CN105117011B (zh) * 2015-08-26 2017-08-29 广东欧珀移动通信有限公司 一种应用程序操作方法、装置以及智能手表
CN106610559B (zh) * 2016-05-25 2019-03-15 北京一数科技有限公司 一种旋转式腕投
CN107329526A (zh) * 2017-06-30 2017-11-07 联想(北京)有限公司 一种电子设备及处理方法
CN107249124A (zh) * 2017-08-14 2017-10-13 佛山神航科技有限公司 一种表戴式防丢失装置
KR102408359B1 (ko) * 2017-08-23 2022-06-14 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR102055572B1 (ko) * 2017-12-27 2019-12-13 한양대학교 산학협력단 웨어러블 가상 입력 장치 및 이를 위한 제어 방법
CN108364594A (zh) * 2018-01-25 2018-08-03 西安中科创达软件有限公司 一种腕投设备的投影信息保护方法
US11188154B2 (en) * 2018-05-30 2021-11-30 International Business Machines Corporation Context dependent projection of holographic objects
US11244080B2 (en) * 2018-10-09 2022-02-08 International Business Machines Corporation Project content from flexible display touch device to eliminate obstruction created by finger
US11287885B1 (en) * 2019-01-22 2022-03-29 Facebook Technologies, Llc Apparatus, system, and method for determining the position of wearables donned by users of artificial reality systems
CN114201129A (zh) * 2020-09-18 2022-03-18 比亚迪股份有限公司 智能设备的屏幕投影方法、装置、存储介质及终端
CN112687217B (zh) * 2020-12-28 2023-04-25 维沃移动通信有限公司 投影方法、可穿戴设备及可读存储介质
CN113038100B (zh) * 2021-03-10 2023-08-15 维沃移动通信有限公司 投影控制方法、投影控制装置、电子设备和可读存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030174125A1 (en) * 1999-11-04 2003-09-18 Ilhami Torunoglu Multiple input modes in overlapping physical space
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
EP2191458A4 (en) * 2007-08-19 2012-02-15 Ringbow Ltd FINGER-FITTED DEVICES AND METHODS OF USE THEREOF
WO2010024028A1 (ja) * 2008-08-29 2010-03-04 日本電気株式会社 位置情報入力装置および位置情報入力方法
KR101526998B1 (ko) * 2008-10-16 2015-06-08 엘지전자 주식회사 이동통신 단말기 및 그 절전 방법
EP2539759A1 (en) * 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US10061387B2 (en) * 2011-03-31 2018-08-28 Nokia Technologies Oy Method and apparatus for providing user interfaces
US9069164B2 (en) * 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
JP5624530B2 (ja) * 2011-09-29 2014-11-12 株式会社東芝 コマンド発行装置、方法及びプログラム
US20140267031A1 (en) * 2013-03-12 2014-09-18 Kenneth J. Huebner Spatially aware pointer for mobile appliances
KR101999958B1 (ko) * 2013-05-22 2019-07-15 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US9606721B2 (en) * 2013-07-22 2017-03-28 Lg Electronics Inc. Mobile terminal and control method thereof
JP6344032B2 (ja) * 2013-09-26 2018-06-20 富士通株式会社 ジェスチャ入力装置、ジェスチャ入力方法、およびジェスチャ入力プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017141744A1 (ja) * 2016-02-19 2018-12-13 ソニー株式会社 表示装置
WO2019176273A1 (ja) 2018-03-12 2019-09-19 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11573648B2 (en) 2018-03-12 2023-02-07 Sony Corporation Information processing apparatus and information processing method to identify gesture operation of a user

Also Published As

Publication number Publication date
CN104423798A (zh) 2015-03-18
US20150054730A1 (en) 2015-02-26

Similar Documents

Publication Publication Date Title
JP2015041052A (ja) リストバンド型情報処理装置および記憶媒体
US10534535B2 (en) Watch-type terminal and method for controlling same
KR102309296B1 (ko) 이동단말기 및 그 제어 방법
US9846507B2 (en) Mobile terminal and control method thereof
US10628014B2 (en) Mobile terminal and control method therefor
EP3130993B1 (en) Mobile terminal and method for controlling the same
US9602954B2 (en) Mobile terminal and method for controlling the same
US9787890B2 (en) Mobile terminal and method of controlling the same
KR102227087B1 (ko) 글래스 타입 단말기 및 그것의 제어방법
US20180181256A1 (en) Mobile terminal and controlling method thereof
US10104312B2 (en) Mobile terminal and method for controlling the same
JP6256339B2 (ja) 制御装置および記憶媒体
US20170154609A1 (en) Rollable mobile terminal and control method thereof
EP2927792B1 (en) Mobile terminal allowing selection of part of the screen for screen capture
KR20170082926A (ko) 이동 단말기 및 그 제어방법
KR20180133743A (ko) 이동 단말기 및 그 제어 방법
KR20170079545A (ko) 이동 단말기 및 그 제어방법
KR20180002208A (ko) 단말기 및 그 제어 방법
US10771680B2 (en) Mobile terminal and corresponding control method for changing the length of a control icon based on a size, position and/or a moving speed of a first object in a preview image
KR101695695B1 (ko) 이동단말기 및 그 제어방법
KR101622695B1 (ko) 이동 단말기 및 그것의 제어방법
KR20160093890A (ko) 이동단말기 및 그 제어방법
KR20170041602A (ko) 워치 타입의 이동 단말기 및 그 제어방법
JP2016192136A (ja) 表示制御装置
KR102161513B1 (ko) 이동단말기 및 그 제어방법