JP6484859B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP6484859B2
JP6484859B2 JP2015559763A JP2015559763A JP6484859B2 JP 6484859 B2 JP6484859 B2 JP 6484859B2 JP 2015559763 A JP2015559763 A JP 2015559763A JP 2015559763 A JP2015559763 A JP 2015559763A JP 6484859 B2 JP6484859 B2 JP 6484859B2
Authority
JP
Japan
Prior art keywords
contact
terminal
movement
operation surface
proximity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015559763A
Other languages
English (en)
Other versions
JPWO2015114938A1 (ja
Inventor
山野 郁男
郁男 山野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2015114938A1 publication Critical patent/JPWO2015114938A1/ja
Application granted granted Critical
Publication of JP6484859B2 publication Critical patent/JP6484859B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333Constructional arrangements; Manufacturing methods
    • G02F1/13338Input devices, e.g. touch panels
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2201/00Constructional arrangements not provided for in groups G02F1/00 - G02F7/00
    • G02F2201/56Substrates having a particular shape, e.g. non-rectangular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10KORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/40OLEDs integrated with touch screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
近年、タッチパネルやタッチパッド(以下、タッチパネルと称する)を入力部として備える携帯電話機等の電子機器が普及してきている。このような電子機器では、タッチパネルの操作面に対して操作体がタッチ操作した位置を、ポインティング位置として検出する。
特許文献1には、タッチパネル等に対する押し間違いによる入力操作ミスを防止するための技術が開示されている。
特開2012−27875号公報
ところで、電子機器においては、携帯性を確保する観点等から、タッチパネルの大きさに制限がある。そして、タッチパネルが小さい場合には、行える操作が限定されることになり、電子機器の機能を有効に発揮させることができない恐れがある。
そこで、本開示では、操作面が小さくても操作のバリエーションを増加させることができる方法を提案する。
本開示によれば、操作面を有する端末になされた操作に対応する処理を行う処理部を備え、前記処理部は、前記操作面への操作体の接触又は近接を検知する第1検知部、及び前記端末の移動を検知する第2検知部から検知結果を取得し、取得した前記操作体の接触又は近接の検知結果、及び前記端末の移動の検知結果に対応した処理を行う、情報処理装置が提供される。
また、本開示によれば、端末の操作面への操作体の接触又は近接を検知する第1検知部、及び前記端末の移動を検知する第2検知部から検知結果を取得することと、プロセッサにより、取得した前記操作体の接触又は近接の検知結果、及び前記端末の移動の検知結果に対応した処理を行うことと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータに、端末の操作面への操作体の接触又は近接を検知する第1検知部、及び前記端末の移動を検知する第2検知部から検知結果を取得することと、取得した前記操作体の接触又は近接の検知結果、及び前記端末の移動の検知結果に対応した処理を行うことと、を実行させるための、プログラムが提供される。
以上説明したように本開示によれば、操作面が小さくても操作のバリエーションを増加させることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第1の実施形態に係る腕輪型端末10の外観構成の一例を示す模式図である。 第1の実施形態に係る腕輪型端末10の操作面14に対するタッチ操作を示す図である。 操作面14に指がタッチした状態で腕輪型端末10を第1方向へ回動させる様子を示す図である。 操作面14に指がタッチした状態で腕輪型端末10を第2方向へ回動させる様子を示す図である。 操作面14に対する2本指のタッチ操作を示す図である。 第1の実施形態に係る情報処理装置100の機能構成の一例を示すブロック図である。 表示部13の表示画面における表示のズームインの一例を示す模式図である。 表示部13の表示画面における表示のズームアウトの一例を示す模式図である。 第1の実施形態に係る情報処理装置100の動作例を示すフローチャートである。 操作面14の変形例を示す模式図である。 スマートフォン30に対してタッチ操作する場合の例を示す図である。 操作面14に対して移動した際の指の接触状態の一例を説明するための模式図である。 静電容量式タッチパネルにおける接触・非接触の判定方法を説明するための模式図である。 操作面14に対して指を移動させる場合の、指の移動量と指の接触位置の移動量との関係を示す模式図である。 操作面14に対して指を移動させる場合の、指の移動量と指の接触位置の移動量との関係を示す模式図である。 第2の実施形態に係る情報処理装置150の機能構成の一例を示すブロック図である。 操作面14の長手方向における接触位置と閾値との関係を示すグラフである。 操作面14の長手方向における接触位置とスクロール量の関係を示すグラフである。 接触面積の変化量とスクロール量の関係を示すグラフである。 接触判定閾値の制御を行う際の情報処理装置150の動作例を示すフローチャートである。 スクロール量のゲイン制御を行う際の情報処理装置150の動作例を示すフローチャートである。 一実施形態に係る情報処理装置100のハードウェア構成例を示した説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1−1.腕輪型端末の構成
1−2.腕輪型端末の操作例
1−3.情報処理装置の機能構成
1−4.情報処理装置の動作
1−5.まとめ
2.第2の実施形態
2−1.曲面の操作面において発生する問題
2−2.情報処理装置の機能構成
2−3.情報処理装置の動作
2−4.まとめ
3.ハードウェア構成
<1.第1の実施形態>
(1−1.腕輪型端末の構成)
図1を参照しながら、本開示の第1の実施形態に係る情報処理装置が搭載された腕輪型端末の構成の一例について説明する。
図1は、第1の実施形態に係る腕輪型端末10の外観構成の一例を示す模式図である。腕輪型端末10は、例えば使用者の腕や手首の部分に装着されるウェアラブル端末である。このような腕輪型端末10において、使用者は、腕輪型端末10をカバンやポケットから取り出す行為をせずに、表示画面に表示された情報の確認や操作を即座に行うことが出来る。
図1に示すように、腕輪型端末10は、表示部及び操作部の機能を有するタッチパネルディスプレイ(単にタッチパネルと呼ぶ)12を有する。タッチパネル12は、使用者がタッチ操作しやすいように、例えば腕輪型端末10の全周のうちの一部の領域に設けられている。ただし、これに限定されず、タッチパネル12は、腕輪型端末10の全周に設けられても良い。
表示部13(図6)は、表示画面に文字、画像その他の情報を表示する。表示部13による文字、画像、その他の情報の表示は、後述する処理部120(図6)によって制御される。表示部13としては、例えば液晶ディスプレイや有機ELディスプレイ等が用いられる。
操作部である操作面14は、表示部13上に重畳されている。操作面14は、使用者の腕の外周方向に沿った曲面となっている。操作面14は、曲率が異なる複数の部分を含んでも良い。使用者は、表示部13の表示画面を見ながら、操作面14にタッチ操作を行う。タッチ操作は、指が操作面14に接触した際に入力が確定し、又は指が操作面に接触してから離れた際(いわゆるタップ)に入力が確定する操作を意味する。
通常、腕輪型端末において様々な機能を実現するためには、タッチパネル12の面積を大きくすることが望ましい。しかし、使用者の腕の上下にはみ出すような大きなタッチパネルを配置すると、腕輪型端末の装着性や操作性が低下する。また、使用者の腕の長さ方向に沿ってタッチパネルを配置させると、タッチパネルが衣服に隠れてしまう恐れがある。このため、第1の実施形態に係るタッチパネル12は、腕に沿うような形で幅の狭い曲面となっている(図2参照)。
(1−2.腕輪型端末10の操作例)
ところで、腕輪型端末の場合には、タッチパネルの形状や大きさの制約から、所謂スマートフォン等で一般的なタッチ操作を行うことが難しい。また、2本指でタッチパネルを操作しようとすると、表示画面の大部分が2本指で隠れてしまい、表示画面の内容を見ながら操作することが困難となる。
これに対して、第1の実施形態に係る腕輪型端末10においては、タッチパネル12の操作面14に対するタッチ操作と共に、腕輪型端末10も回動させることで、様々なバリエーションの操作を実現させている。以下では、図2〜図4を参照しながら腕輪型端末10における操作例について説明する。
図2は、第1の実施形態に係る腕輪型端末10の操作面14に対するタッチ操作を示す図である。図2では、状態801に示すように、右腕の人差し指F1が、左腕に装着された腕輪型端末10の操作面14にタッチしているものとする。その後、状態802に示すように、人差し指F1を操作面14にタッチした状態で長手方向(図1のY方向)移動させる。このような操作により、例えば表示画面がスクロールされる。
図3は、操作面14に指がタッチした状態で腕輪型端末10を第1方向へ回動させる様子を示す図である。図3では、状態811に示すように、右腕の人差し指F1が、左腕に装着された腕輪型端末10の操作面14にタッチしているものとする。その後、状態812に示すように、操作面14にタッチした人差し指F1をほぼ固定した状態で、腕輪型端末10が装着された左腕を方向D1(第1方向)へ軸Cを中心に回転させる。このような操作により、例えば表示画面がズームインされる。
図4は、操作面14に指がタッチした状態で腕輪型端末10を第2方向へ回動させる様子を示す図である。図4でも、状態821に示すように、右腕の人差し指F1が、左腕に装着された腕輪型端末10の操作面14にタッチしているものとする。その後、状態822に示すように、操作面14にタッチした人差し指F1をほぼ固定した状態で、腕輪型端末10が装着された左腕を方向D2(第2方向)へ軸Cを中心に回転させる。すなわち、図3とは逆方向へ左腕を回転させる。このような操作により、例えば表示画面がズームアウトされる。
図3及び図4で説明した操作例においては、人差し指F1を移動させること無く腕輪型端末10を回転させることで、特定の操作を実現できる。このため、人差し指F1がタッチ操作する操作面14の面積が小さくても、様々な操作を実現できる。
上記では、図3に示すように左腕を方向D1へ回転させた際に、表示画面がズームインされ、図4に示すように左腕を方向D2へ回転させて際に、表示画面がズームアウトされることとしたが、これに限定されない。例えば、左腕を方向D1へ回転させた場合には、ウェブブラウザでページが戻り、左腕を方向D2へ回転させた場合には、ウェブブラウザでページが進んでも良い。また、左腕を方向D1へ回転させた場合には、ウェブブラウザのページをお気に入りに登録し、左腕を方向D2へ回転させた場合には、ページのトップに戻しても良い。
また、上記では、操作面14にタッチした人差し指F1をほぼ固定した状態で、左腕を方向D1又は方向D2へ回転させることとしたが、これに限定されない。例えば、人差し指F1を操作面14にタッチした状態で移動させながら、左腕を方向D1又は方向D2へ回転させても良い。かかる場合には、図2で説明したように人指し指F1のみで操作で画面をスクロールする場合に比べて、スクロール量を例えば2倍にしても良い。
また、人差し指F1を下方向(図1のY方向)に移動させる(画面のスクロール)際に、腕輪型端末10が回転した場合に、以下のような表示を行っても良い。例えば、上記の操作があった場合には、使用者がページのトップに一気に戻ろうとしているものと判断し、ウェブページを一気に一番上までスクロールさせても良い。また、上記の操作があった場合には、ウェブページで一つ前のページに戻ったり、アプリケーションを終了させても良い。
このように、人差し指F1による操作面14へのタッチ操作と、腕輪型端末10の回転とを組み合わせることで、様々なバリエーションの操作を実現できる。
上記では、一つの指で操作面14をタッチ操作する例を説明したが、これに限定されない。例えば、図5に示すように、二つの指で操作面14に対してマルチタッチ操作を行っても良い。
図5は、操作面14に対する2本指のタッチ操作を示す図である。図5では、人差し指F1と中指F2が操作面14にタッチしている。そして、人差し指F1及び中指F2をほぼ固定した状態で腕輪型端末10を方向D1へ回転させた場合には、表示画面がズームインされる。一方で、人差し指F1及び中指F2をほぼ固定した状態で腕輪型端末10を方向D2へ回転させた場合には、表示画面がズームアウトされる。すなわち、人差し指F1と中指F2をピンチイン又はピンチアウトしなくても、表示画面がズームイン又はズームアウトされる。
前述したように腕輪型端末10の操作面14は小さいため、2つの指を操作面14でピンチイン又はピンチアウトすることは困難である。これに対して、本実施形態によれば、操作面14が小さくても、2つの指を操作面14にタッチさせた状態で表示画面をズームイン又はズームアウトできる。また、本実施形態によれば、使用者が画面のスクロールを意図している際に、2つの指が不意に移動しても意図しない画面のズームイン又はズームアウトが発生することを防止できる。
上記では、操作体として指を例に挙げて説明したが、これに限定されず、例えば操作体はペンであっても良い。また、上記では、指が操作面14にタッチ(接触)することで、表示画面のスクロール等を行うこととしたが、これに限定されない。例えば指が操作面14に近接することで、表示画面のスクロール等を行うこととしても良い。
さらに、上記では、表示画面に操作面14が重畳されたタッチパネル12を例に挙げて説明したが、これに限定されない。例えば、タッチパッドに対して指でタッチ操作を行っても良い。すなわち、操作面14と表示部13が重畳された構成と、操作面14と表示部13が重畳されずに分離した構成とのいずれの形態にも、適用可能である。
(1−3.情報処理装置の機能構成)
図6を参照しながら、上述した様々なバリエーションの操作を実現するための、第1の実施形態に係る情報処理装置100の機能構成の一例について説明する。以下では、前述した腕輪型端末10が情報処理装置100の機能を有するものとして説明する。
図6は、第1の実施形態に係る情報処理装置100の機能構成の一例を示すブロック図である。図6に示すように、情報処理装置100は、前述した表示部13及び操作面14に加えて、第1検知部110と、第2検知部114と、処理部120と、記憶部124と、を有する。
(第1検知部110)
第1検知部110は、操作面14への操作体の接触又は近接を検知する。例えば、第1検知部110は、腕輪型端末10の操作面14への指のタッチを検知する。第1検知部110は、操作面14にタッチした指の本数も検知可能である。
第1検知部110は、例えばタッチセンサにより構成される。タッチセンサとしては、例えば、静電容量方式や赤外線方式等が用いられうる。例えば、タッチした指の操作面14への接触面積が所定領域よりも大きい場合に、指が操作面14にタッチしたものと判定される。
また、操作面14への指の接触面積の形状から、操作面14に接触した指も判別可能である。例えば、横長の接触形状であれば、親指であり、円形又は縦長の形状であれば、人差し指や中指であると判別可能である。また、接触した指に応じて接触面積に異なることから、第1検知部110が検知した接触面積の大きさから、指を判別しても良い。
(第2検知部114)
第2検知部114は、腕輪型端末10の移動を検知する。例えば、第2検知部114は、腕輪型端末10の回転移動を検知可能である。第2検知部114は、腕輪型端末10の回転方向(例えば、図3に示す方向D1や図4に示す方向D2)も検知可能である。
第2検知部114は、例えば加速度センサやジャイロセンサにより構成される。これにより、第2検知部114は、腕輪型端末10の回転移動以外の様々な移動形態(ジェスチャ等)も検知可能である。
(処理部120)
処理部120は、操作面14を有する腕輪型端末10になされた操作に対応する処理を行う。例えば、処理部120は、第1検知部110及び第2検知部114から検知結果を取得し、取得した操作体(指等)の接触又は近接の検知結果、及び腕輪型端末10の移動の検知結果に対応した処理を行う。これにより、指の接触又は近接、及び腕輪型端末10の移動を用いた様々な操作に応じた、処理が実行できる。
処理部120は、処理の一例として、操作体の接触又は近接の検知結果、及び腕輪型端末10の移動の検知結果に対応した、表示部13の表示を行わせても良い。これにより、表示部13による表示に対して、様々な操作を行うことが可能となる。
処理部120は、操作体が接触又は近接した状態での腕輪型端末10の回転移動する方向に応じて、異なる処理を行う。これにより、操作体を操作面14上で移動させなくても、腕輪型端末10を回転移動させることで、様々な処理を行える。ここでは、図7及び図8を参照しながら、腕輪型端末10の回転方向と表示画面の表示との関係を例に挙げて説明する。
図7は、表示部13の表示画面における表示のズームインの一例を示す模式図である。ここでは、ズームインする前に、状態831に示すような画面が表示されているものとする。その後、例えば図3に説明したように、操作面14にタッチした人差し指F1がほぼ固定された状態で腕輪型端末10が方向D1へ回転すると、状態832に示すように画面がズームインされる。
図8は、表示部13の表示画面における表示のズームアウトの一例を示す模式図である。ここでは、ズームアウトする前に、状態841に示すような画面が表示されているものとする。その後、例えば図4で説明したように、操作面14にタッチした人差し指F1がほぼ固定された状態で腕輪型端末10が方向D2へ回転すると、状態832に示すように画面がズームアウトされる。
処理部120は、腕輪型端末10の移動、及び操作体の接触又は近接が検知された場合に行う処理と、腕輪型端末10の移動が検知されない一方で、操作体の接触又は近接が検知された場合に行う処理と、を異ならせる。これにより、腕輪型端末10の移動の有無に応じて、異なる処理を行える。
処理部120は、操作体の接触又は近接が先に検知され、腕輪型端末10の移動が後に検知された場合に行う処理と、腕輪型端末10の移動が先に検知され、操作体の接触又は近接が後に検知された場合に行う処理とを異ならせる。これにより、操作体の接触又は近接と、腕輪型端末10の移動との順番に応じて、異なる処理を行える。
なお、処理部120は、操作面14への操作体の接触又は近接中に、腕輪型端末10の移動を検知した場合には、一連の操作は操作体での操作とみなしても良い。これにより、操作体での操作中に、誤って腕輪型端末10が移動しても、異なる操作が発動することを防止できる。
前述したように、操作面14には複数の指が接触又は近接可能である。そこで、処理部120は、複数の指の接触又は近接の検知結果、及び腕輪型端末10の移動の検知結果に対応した処理を行っても良い。これにより、面積が小さい操作面14に対して複数の指でマルチタッチを行う場合でも、腕輪型端末10の移動を用いることで、操作の種類を増やすことが可能となる。
処理部120は、接触又は近接した指に応じて、異なる処理を行っても良い。例えば、ウェブブラウザの操作において操作面14にタッチした指を移動させつつ、腕輪型端末10を移動させるケースにおいて、操作面14にタッチした指が人差し指である場合にはページのトップへ移動させ、操作面14にタッチした指が親指である場合には前のページに戻らせる。なお、操作面14にタッチした指は、前述したように操作面14に接触した際の接触面積の形状や大きさで判別可能である。
(記憶部124)
記憶部124は、処理部120が実行するプログラムや、処理部120による処理に必要な情報を記憶する。例えば、記憶部124は、指の接触状態を判定する閾値に関する情報を記憶している。
なお、上記では、腕輪型端末10が処理部120を有することとしたが、これに限定されない。例えば、処理部120が、腕輪型端末10とネットワークを介して通信可能なサーバに設けられても良い。かかる場合には、サーバの処理部120が、腕輪型端末10の第1検知部110及び第2検知部114の検知結果に基づいて、表示部13の表示を制御することになる。このため、サーバが情報処理装置として機能する。
また、上記では、自動で、処理部120は、操作体(指等)の接触又は近接の検知結果、及び腕輪型端末10の移動の検知結果に対応した処理を行うこととしたが、これに限定されない。例えば、上記の処理を行うか否か(ON/OFF)の設定をユーザが切り替え可能であり、設定がONの場合に上記の処理が行われても良い。一方で、設定がOFFの場合には、腕輪型端末10の移動にかかわらず、操作体の接触又は近接の検知結果に対応した処理が行われても良い。
(1−4.情報処理装置の動作)
図9を参照しながら、第1の実施形態に係る情報処理装置100の動作の一例について説明する。
図9は、第1の実施形態に係る情報処理装置100の動作例を示すフローチャートである。図9に示す処理は、情報処理装置100のCPUが、ROMに格納されているプログラムを実行することにより、実現される。なお、実行されるプログラムは、CD(Compact Disk)、DVD(Digital Versatile Disk)、メモリカード等の記録媒体に記憶されても良く、インターネットを介してサーバ等からダウンロードされても良い。
図9のフローチャートは、腕輪型端末10の表示部13が表示を行なっているところから開始される(ステップS102)。その後、使用者は、操作面14に対してタッチ操作を行ったり、腕輪型端末10を回転させたりする。
次に、第1検知部110(図6)は、操作面14への操作体の接触又は近接を検知する(ステップS104)。例えば、第1検知部110は、腕輪型端末10の操作面14への指のタッチを検知する。次に、第2検知部114(図6)は、腕輪型端末10の移動を検知する(ステップS106)。例えば、第2検知部114は、腕輪型端末10の回転移動を検知する。
上記では、第1検知部110による検知の後に、第2検知部114による検知を行うこととしたが、これに限定されず、例えば逆の順番で検知しても良く、第1検知部110と第2検知部114が同時に検知しても良い。
次に、処理部120は、第1検知部110及び第2検知部114から検知結果を取得し、取得した操作体の接触又は近接の検知結果、及び腕輪型端末10の移動の検知結果に対応した処理として、例えば表示部13の表示を制御する(ステップS108)。これにより、単に操作面14だけでの操作の場合に比べて、表示部13に対して様々な表示を行わせることが可能となる。
上記では、腕輪型端末10の操作面14が曲面であることとしたが、これに限定されない。例えば、操作面14が平面であっても良い。また、上記では、図1に示すように操作面14が滑らかに繋がった曲面であることとしたが、これに限定されず、例えば図10に示すような形状であっても良い。
図10は、操作面14の変形例を示す模式図である。図10に示すように、操作面14は、例えば滑らかに繋がらずに、階段状の面(図10では、実際よりも段差が目立つように示されている)であっても良い。かかる場合にも、操作面14の表面は、曲面のような形状となる。
また、上記では、情報処理装置100が搭載された端末が、腕輪型端末10であることとしたが、これに限定されない。例えば、情報処理装置100が、図11に示すようなスマートフォン30に搭載されても良い。
図11は、スマートフォン30に対してタッチ操作する場合の例を示す図である。例えば、使用者は、机上等にスマートフォンを置いて指で操作面34に対してタッチ操作を行う。この際、使用者は、指でのタッチ操作に加えて、スマートフォン30を並進移動させる。このため、第2検知部114は、スマートフォン30の並進移動を検知することになる。この結果、スマートフォン30においても、指のタッチ操作とスマートフォン30の移動を組み合わせることで、操作のバリエーションを増やすことが可能となる。特に、小型のスマートフォン30に有効である。
(1−5.まとめ)
第1の実施形態によれば、情報処理装置100の処理部120は、第1検知部110及び第2検知部114から検知結果を取得し、取得した操作体(指等)の接触又は近接の検知結果、及び腕輪型端末10の移動の検知結果に対応した処理を行う。
かかる場合には、操作面14への指の接触又は近接、及び腕輪型端末10の移動を用いることで、操作のバリエーションを増やすことができ、実行可能な処理の種類も増やすことができる。特に、腕輪型端末10のように操作面14の面積が小さい場合でも、マルチタッチ操作を含む多様な操作を実現可能である。
<2.第2の実施形態>
(2−1.曲面の操作面において発生する問題)
前述した腕輪型端末10の操作面14は、図1に示すように曲面である。かかる形状の操作面14であるがために、以下のような問題が発生しうる。ここでは、操作面14に対して指(操作体)でタッチ操作を行う場合を例に挙げて説明するが、操作面14に接触する場合に限定されず、近接する場合についても同様な問題が発生しうる。
図12は、操作面14に対して移動した際の指の接触状態の一例を説明するための模式図である。図12に示すように、指Fが操作面14の長手方向(Y方向)の上端側に位置する際には、指の腹の部分が操作面14に接触している。しかし、指が、長手方向の下端側に移動すると、指の爪先側の部分が操作面14に接触している。この際、指の腹の部分が操作面14に接触する接触面積は大きいが、指の爪先側の部分が操作面14に接触する接触面積は小さい。このように、操作面14に対する指の位置に応じて、指の接触位置や接触面積が異なる。特に、操作面14の曲率が小さい場合に、顕著になる。
図13は、静電容量式タッチパネルにおける接触・非接触の判定方法を説明するための模式図である。図13に示す従来の判定では、指Fがタッチパネルに接触する際の静電容量の変化値ΔCが、所定の閾値(一定値)を超えるか否かによって判定される。変化値ΔCは、指の接触面積に左右され、閾値は、タッチパネル全体に対して一定に設定されている。図13の状態851では、変化値ΔCが閾値よりも小さいため非接触と判定され、状態852では、変化値ΔCが閾値以上であるため接触と判定されている。
しかし、操作面14が曲面である場合には、図12で説明したように操作面14の長手方向の下端側における指の接触面積が小さいため、変化値ΔCが閾値よりも小さくなり、指が操作面14に接触しているのに非接触と判定されてしまう恐れがある。逆に、タッチパネル全体の閾値を小さくすると、ノイズ等により誤検出する恐れがある。
図14は、操作面14に対して指を移動させる場合の、指の移動量と指の接触位置の移動量との関係を示す模式図である。ここでは、画面をスクロール等させるために、図14に示すように指Fを長手方向の上端側から下端側へ移動させるものとする。かかる場合、図12で説明したように指の接触位置Tが変わる。この理由は、図14に示すように、状態861では、指が操作面14に対して斜めになっているが、状態862や状態863になるに従って、指が操作面14に対して垂直に近づくためである。
このため、状態861から状態862を経由して状態863へ指を移動させた場合において、指の移動量M1に対して、操作面14に対する指の接触位置の移動量M2が小さい。この結果、使用者の意図通りに画面をスクロールできない恐れがある。
図14では、指の状態が操作面14に対して垂直になることで接触位置が変わることとしたが、これに限定されない。例えば、指が垂直にならない場合でも、図15に示すように指の接触位置が変わる。
図15は、操作面14に対して指を移動させる場合の、指の移動量と指の接触位置の移動量との関係を示す模式図である。図15では、状態871に示すように指Fが操作面14に対して斜めになっている状態が、状態872及び状態873でも継続されているものとする。また、図15では、指の形状を、円Nで示している。かかる場合、操作面14の曲率中心と、円Nの中心Oとを結んだ線上に、指の接触位置Tが位置する。そして、円を下方に移動させると、指の接触位置Tの移動量M4は、図14と同様に、指の実際の移動量M3よりも小さい。この結果、使用者の意図通りに画面をスクロールできないことになる。
(2−2.情報処理装置の機能構成)
上述した問題を解消すべく、第2の実施形態に係る情報処理装置は、図16に示す機能構成を有し、以下に説明する制御を行う。第2の実施形態においても、腕輪型端末10が情報処理装置150の機能を有するものとして説明する。
図16は、第2の実施形態に係る情報処理装置150の機能構成の一例を示すブロック図である。図16に示すように、情報処理装置150は、前述した表示部13及び操作面14に加えて、検知部160と、撮像部164と、処理部170と、記憶部174と、を有する。
(検知部160)
検知部160は、操作面14への操作体の接触又は近接を検知する。例えば、検知部160は、腕輪型端末10の操作面14への指のタッチを検知する。検知部160は、検知結果を処理部170に送る。
検知部160は、例えばタッチセンサにより構成される。タッチセンサとしては、ここでは静電容量方式が用いられるが、これに限定されず、例えば赤外線方式等が用いられても良い。タッチした指の操作面14への接触面積が所定領域よりも大きい場合に、指が操作面14にタッチしたものと判定される。
(撮像部164)
撮像部164は、操作面14に指でタッチする使用者を撮像する。例えば、撮像部164は、使用者の顔を撮像する。撮像部164は、例えば操作面14の周囲に設けられたカメラである。撮像部164は、撮像結果を処理部170に送る。
(処理部170)
処理部170は、検知部から信号を取得し、当該信号に基づき検出される操作体の位置や移動に応じて所定の処理を行う機能を有する。処理部170は、操作面14に対する操作体の位置に応じて、検知部160による検知度合いと、所定の処理を行う制御パラメータとの少なくともいずれか一方を変化させる。
処理部170は、操作体が位置する操作面14の位置毎の曲率を判定可能である。そこで、処理部170は、操作体が位置する操作面14の曲率に応じて、検知部160による検知度合いと、操作体の移動に応じた制御パラメータとの少なくともいずれか一方を変化させても良い。これにより、操作面14に対する接触位置や操作面14の曲率に起因する上述した問題を解消するための制御が可能となる。
処理部170は、操作体の操作面14への接触状態が所定の接触度合いよりも大きい場合に、操作体が操作面14に接触していると判定する。そして、処理部170は、図17に示すように、操作体の位置に応じて、所定の接触度合いを示す閾値を変化させる。
図17は、操作面14の長手方向における接触位置と閾値との関係を示すグラフである。グラフの横軸は、長手方向における指の接触位置を示す。グラフから読み取れるように、処理部170は、長手方向の上端側(Yの値が0となる側)では閾値を大きくさせ、長手方向の下端側へ向かうに連れて閾値を小さくさせる。これにより、実際の指の接触状態に対応した閾値を適切に設定できる。
また、処理部170は、操作体が位置する操作面14の曲率に応じて、所定の接触度合いを示す閾値を変化させても良い。例えば、処理部170は、操作面14の曲率が小さい場合には、前記閾値を小さくし、操作面14の曲率が大きい場合には、前記閾値を大きくしても良い。これにより、操作面14の曲率が小さい部分における指の接触面積が小さくても、適切に接触・非接触を検出できる。図17に示すグラフにおいて、横軸の接触位置を操作面14の曲率に変えても、同様な傾向を示す。
上記では、図17に示すグラフの横軸が接触位置や曲率であることとしたが、これに限定されない。例えば、グラフの横軸が、操作面14にタッチした指の移動距離としても良い。かかる場合には、移動距離が小さいと閾値を大きくし、移動距離が大きいと閾値を小さくさせても良い。これは、移動距離が大きい方が、接触面積が小さくなる確率が高いためである。また、グラフの横軸が、長手方向の接触位置、移動距離、及び曲率を合算した値であっても良い。
ところで、処理部170は、操作面14に接触する指の位置と使用者の視線との関係に応じて、閾値を変化させても良い。例えば、処理部170は、撮像部164が撮像した操作面14を視る操作者の画像に基づいて、操作者の顔と操作体の位置関係を判定する。そして、処理部170は、判定した位置関係に応じて、所定の接触度合いを示す閾値を変化させる。
具体的には、処理部170は、顔が操作体より上側に位置すると判定された場合には、前記閾値を大きくし、顔が操作体より下側に位置すると判定された場合には、前記閾値を小さくする。これにより、操作面14に対するタッチ状況を考慮して、最適な閾値を設定できる。なお、上記では、顔の画像を取得して閾値を変化させているが、これに限定されず、例えば視線を検出して閾値を変化させても良い。
処理部170は、制御パラメータとして、操作体が位置する操作面14の位置や曲率に応じて、操作体の移動に応じた表示部13における画面表示の制御のパラメータを変化させる。具体的には、処理部170は、図18に示すように、操作体の位置に応じて、操作体の移動量に対する画面のスクロール量を変えている。
図18は、操作面14の長手方向における接触位置とスクロール量の関係を示すグラフである。グラフから読み取れるように、処理部170は、長手方向の端部ではスクロール量を大きくさせ(ゲインさせ)、長手方向の中央部ではスクロール量を大きくさせない。また、長手方向の上端側と下端側で指の接触状態が若干異なるため、その状態を反映するようにゲインの大きさに差を設けている。これにより、実際の指の動きに対応するように、使用者の意図を反映した画面のスクロールを行える。なお、図18のグラフの横軸は、接触位置、指の長手方向への移動距離、及び曲率を合算した値であっても良い。
処理部170は、操作体が位置する操作面14の曲率に応じて、操作体の移動量に対する画面のスクロール量を変えても良い。例えば、処理部170は、操作面14の曲率が小さいほどスクロール量を大きくさせても良い。これにより、指の実際の移動に対して接触位置の移動量が小さくなる操作面14の曲率が小さい場合に、スクロール量を大きくさせることで、使用者の意図に即して画面をスクロールできる。この結果、操作面14の接触位置や操作面14の曲率によらず、一定の感覚で画面をスクロールさせることが可能となる。
なお、上記では、操作面14における指の接触位置に応じてスクロール量を制御することとしたが、これに限定されない。例えば、処理部170は、図19に示すように、操作面14に対する指の接触面積の変化に応じてスクロール量を制御しても良い。
図19は、接触面積の変化量とスクロール量の関係を示すグラフである。図19のグラフでは、横軸が接触面積の変化量ΔSを示している。処理部170は、接触面積が変化せず所定値である場合にはスクロール量をゲインさせないのに対して、接触面積が変化した場合にはスクロール量をゲインさせる。特に、処理部170は、変化量ΔSが大きくなるにつれて、スクロール量を大きくゲインさせる。なお、図19のグラフの横軸は、接触面積の変化量、及び指の長手方向への移動距離とを合算した値であっても良い。
上記の接触面積の変化量とスクロール量の関係については、情報処理装置150が搭載された端末が腕輪型端末10である場合に限定されず、図11で示したスマートフォンのように平面のタッチパネルを備える端末や、リモコンやノート型PCのように平面のタッチパッドを備える端末の場合にも適用できる。なお、タッチパッドに対して適用する場合は、制御パラメータは、画面のスクロール量ではなく、画面上の表示されたカーソルの移動量であっても良い。
(記憶部174)
記憶部174は、処理部170が実行するプログラムや、処理部170による処理に必要な情報を記憶する。例えば、記憶部174は、指の接触状態を判定する閾値に関する情報を記憶している。
なお、上記では、腕輪型端末10が処理部170を有することとしたが、これに限定されない。例えば、処理部170が、腕輪型端末10とネットワークを介して通信可能なサーバに設けられても良い。かかる場合には、サーバの処理部170が、腕輪型端末10の検知部160の検知結果に基づいて、表示部13の表示を制御することになる。このため、サーバが情報処理装置として機能する。
また、上記では、自動で、処理部170は、操作面14に対する操作体の位置に応じて、検知部160による検知度合い(接触判定閾値)と、所定の処理を行う制御パラメータ(スクロール量)との少なくともいずれか一方を変化させることとしたが、これに限定されない。例えば、上記の処理を行うか否か(ON/OFF)の設定をユーザが切り替え可能であり、設定がONの場合に上記の処理が行われても良い。一方で、設定がOFFの場合には、操作体の位置によらず、接触判定閾値とスクロール量を一定にしても良い。
(2−3.情報処理装置の動作)
上述した第2の実施形態に係る情報処理装置150の動作例について説明する。以下では、図20を参照して接触判定閾値の制御について説明した後に、図21を参照してスクロール量のゲイン制御について説明する。
なお、図20及び図21に示す制御は、情報処理装置150のCPUが、ROMに格納されているプログラムを実行することにより、実現される。なお、実行されるプログラムは、CD(Compact Disk)、DVD(Digital Versatile Disk)、メモリカード等の記録媒体に記憶されても良く、インターネットを介してサーバ等からダウンロードされても良い。
(接触判定閾値の制御)
図20は、接触判定閾値の制御を行う際の情報処理装置150の動作例を示すフローチャートである。
図20のフローチャートは、腕輪型端末10の表示部13が表示を行なっているところから開始される(ステップS202)。その後、使用者は、操作面14に対してタッチ操作を行ったり、腕輪型端末10を回転させたりする。
次に、検知部160は、操作面14への操作体の接触又は近接を検知する(ステップS204)。ここでは、検知部160は、腕輪型端末10の操作面14への指のタッチを検知するものとする。
次に、処理部170は、操作体の操作面14への接触位置を特定する(ステップS206)。これにより、処理部170は、操作体が接触する接触位置における操作面14の曲率も特定可能である。
次に、処理部170は、操作体の接触位置や、接触位置における操作面14の曲率に応じて、接触・非接触判定に用いる閾値を設定する(ステップS208)。例えば、処理部170は、操作面14の曲率が小さい場合には、閾値を小さくし、操作面14の曲率が大きい場合には、閾値を大きくさせる。
次に、処理部170は、設定した閾値に基づいて、その後の操作面14の指の接触・非接触を判定する(ステップS210)。これにより、指の操作面14の接触面積が少なくても、指の接触・非接触を適切に判定できる。その後、上述した処理(ステップS204〜S210)が繰り返される。
(スクロール量のゲイン制御)
図21は、スクロール量のゲイン制御を行う際の情報処理装置150の動作例を示すフローチャートである。
図21のフローチャートも、腕輪型端末10の表示部13が表示を行なっているところから開始される(ステップS252)。その後、検知部160が操作面14への操作体の接触又は近接を検知することで(ステップS254)、処理部170は、操作体の操作面14への接触位置を特定する(ステップS256)。これにより、処理部170は、操作体が接触する接触位置における操作面14の曲率も特定可能である。
次に、処理部170は、操作体の接触位置や、接触位置における操作面14の曲率に応じて、操作体の移動量に対する画面のスクロールのゲイン量を設定する(ステップS258)。例えば、処理部170は、操作面14の曲率が小さいほどスクロール量を大きくさせる。
次に、処理部170は、設定したゲイン量に応じて、画面をスクロールさせる(ステップS260)。これにより、実際の指の動きに対応するように、使用者の意図を反映した画面のスクロールを行える。その後、上述した処理(ステップS254〜S260)が繰り返される。
(2−4.まとめ)
第2の実施形態によれば、情報処理装置150の処理部170は、操作面14に対する操作体の位置に応じて、操作体の操作面14への接触・非接触を判定する閾値を変化させる。これにより、実際の指の接触状態に対応した閾値を適切に設定でき、操作体の接触・非接触を適切に判定できる。
また、処理部170は、操作面14に対する操作体の位置に応じて、操作体の移動量に対する画面のスクロール量を変化させる。これにより、操作面14の接触位置や操作面14の曲率によらず、一定の感覚で画面をスクロールさせることが可能となる。
上述した第1の実施形態や第2の実施形態では、腕輪型端末10を例に挙げて説明したが、これに限定されず、以下のような構成にも適用可能である。
例えば、上述した操作面14への操作体の接触又は近接の検知方法は、カメラ等の撮像装置を用いた画像認識により操作体(指、手、スタイラス)の位置を検出するものに応用しても良い。また、上述したスクロール量のゲイン制御については、例えば操作面(表示面)から離れた位置からユーザの指差しによりポインティング操作するもの(具体的には、画像認識で指が差し示している操作面(表示面)上の位置を認識するもの)に応用しても良い。さらに、上述した非平面である表示部への表示も、非平面のLCD、OLED等のディスプレイの他、プロジェクタを用いて非平面へ投影するものに応用しても良い。
<3.ハードウェア構成>
上述した情報処理装置100(情報処理装置150も同様)による動作は、情報処理装置100が備えるハードウェア構成とソフトウェアとが協働することにより実現される。そこで、以下では、情報処理装置100のハードウェア構成を説明する。
図22は、一実施形態に係る情報処理装置100のハードウェア構成例を示した説明図である。図22に示すように、情報処理装置100は、CPU(Central Processing Unit)201と、ROM(Read Only Memory)202と、RAM(Random Access Memory)203と、入力装置208と、出力装置210と、ストレージ装置211と、ドライブ212と、通信装置215とを備える。
CPU201は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置100内の動作全般を制御する。また、CPU201は、マイクロプロセッサであってもよい。ROM202は、CPU201が使用するプログラムや演算パラメータ等を記憶する。RAM203は、CPU201の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバスにより相互に接続されている。
入力装置208は、マウス、キーボード、タッチパネル、タッチパッド、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU201に出力する入力制御回路などから構成されている。情報処理装置100のユーザは、該入力装置208を操作することにより、情報処理装置100に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置210は、例えば、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置を含む。さらに、出力装置210は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。
ストレージ装置211は、本実施形態にかかる情報処理装置100の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置211は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置211は、CPU201が実行するプログラムや各種データを格納する。
ドライブ212は、記憶媒体用リーダライタであり、情報処理装置100に内蔵、あるいは外付けされる。ドライブ212は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体220に記録されている情報を読み出して、RAM203に出力する。また、ドライブ212は、リムーバブル記憶媒体220に情報を書き込むこともできる。
通信装置215は、例えば、ネットワーク230に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置215は、無線LAN(Local Area Network)対応通信装置であっても、LTE(Long Term Evolution)対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
なお、ネットワーク230は、ネットワーク230に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク230は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク230は、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網を含んでもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
操作面を有する端末になされた操作に対応する処理を行う処理部を備え、
前記処理部は、
前記操作面への操作体の接触又は近接を検知する第1検知部、及び前記端末の移動を検知する第2検知部から検知結果を取得し、
取得した前記操作体の接触又は近接の検知結果、及び前記端末の移動の検知結果に対応した処理を行う、情報処理装置。
(2)
前記操作面は、曲面である、
前記(1)に記載の情報処理装置。
(3)
前記端末は、操作者の腕に装着された腕輪型端末である、
前記(1)又は(2)に記載の情報処理装置。
(4)
前記端末の移動は、回転移動である、
前記(3)に記載の情報処理装置。
(5)
前記処理部は、
前記操作体が接触又は近接した状態での前記端末の回転移動する方向に応じて、異なる処理を行う、
前記(4)に記載の情報処理装置。
(6)
前記処理部は、
前記端末の移動、及び前記操作体の接触又は近接が検知された場合に行う処理と、
前記端末の移動が検知されない一方で、前記操作体の接触又は近接が検知された場合に行う処理と、を異ならせる、
前記(1)〜(5)のいずれか1項に記載の情報処理装置。
(7)
前記処理部は、前記操作体の接触又は近接の検知結果、及び前記端末の移動の検知結果に対応した、表示部の表示を行わせる、
前記(1)〜(6)のいずれか1項に記載の情報処理装置。
(8)
前記操作面は、前記表示部に重畳されている、
前記(7)に記載の情報処理装置。
(9)
前記処理部は、
前記操作体の接触又は近接が先に検知され、前記端末の移動が後に検知された場合に行う処理と、
前記端末の移動が先に検知され、前記操作体の接触又は近接が後に検知された場合に行う処理と、を異ならせる、
前記(1)〜(8)のいずれか1項に記載の情報処理装置。
(10)
前記操作体は、操作者の複数の指であり、
前記処理部は、前記複数の指の接触又は近接の検知結果、及び前記端末の移動の検知結果に対応した処理を行う、
前記(1)〜(9)のいずれか1項に記載の情報処理装置。
(11)
前記処理部は、接触又は近接した指に応じて、異なる処理を行う、
前記(10)に記載の情報処理装置。
(12)
前記操作面は、平面である、
前記(1)に記載の情報処理装置。
(13)
前記端末の移動は、並進移動である、
前記(12)に記載の情報処理装置。
(14)
端末の操作面への操作体の接触又は近接を検知する第1検知部、及び前記端末の移動を検知する第2検知部から検知結果を取得することと、
プロセッサにより、取得した前記操作体の接触又は近接の検知結果、及び前記端末の移動の検知結果に対応した処理を行うことと、
を含む、情報処理方法。
(15)
コンピュータに、
端末の操作面への操作体の接触又は近接を検知する第1検知部、及び前記端末の移動を検知する第2検知部から検知結果を取得することと、
取得した前記操作体の接触又は近接の検知結果、及び前記端末の移動の検知結果に対応した処理を行うことと、
を実行させるための、プログラム。
10 腕輪型端末
12 タッチパネル
13 表示部
14 操作面
100 情報処理装置
110 第1検知部
114 第2検知部
120 処理部
150 情報処理装置
160 検知部
170 処理部
F 指
T 接触位置

Claims (14)

  1. 操作面を有する端末になされた操作に対応する処理を行う処理部を備え、
    前記処理部は、
    前記操作面への操作体の接触又は近接を検知する第1検知部、及び前記端末の移動を検知する第2検知部から検知結果を取得し、
    取得した前記操作体の接触又は近接の検知結果、及び前記端末の移動の検知結果に対応した処理を行い、
    前記操作体の接触又は近接が先に検知され、前記端末の移動が後に検知された場合に行う処理と、
    前記端末の移動が先に検知され、前記操作体の接触又は近接が後に検知された場合に行う処理と、を異ならせる、情報処理装置。
  2. 前記操作面は、曲面である、
    請求項1に記載の情報処理装置。
  3. 前記端末は、操作者の腕に装着された腕輪型端末である、
    請求項1又は2に記載の情報処理装置。
  4. 前記端末の移動は、回転移動である、
    請求項3に記載の情報処理装置。
  5. 前記処理部は、
    前記操作体が接触又は近接した状態での前記端末の回転移動する方向に応じて、異なる処理を行う、
    請求項4に記載の情報処理装置。
  6. 前記処理部は、
    前記端末の移動、及び前記操作体の接触又は近接が検知された場合に行う処理と、
    前記端末の移動が検知されない一方で、前記操作体の接触又は近接が検知された場合に行う処理と、を異ならせる、
    請求項1〜5のいずれか1項に記載の情報処理装置。
  7. 前記処理部は、前記操作体の接触又は近接の検知結果、及び前記端末の移動の検知結果に対応した、表示部の表示を行わせる、
    請求項1〜6のいずれか1項に記載の情報処理装置。
  8. 前記操作面は、前記表示部に重畳されている、
    請求項7に記載の情報処理装置。
  9. 前記操作体は、操作者の複数の指であり、
    前記処理部は、前記複数の指の接触又は近接の検知結果、及び前記端末の移動の検知結果に対応した処理を行う、
    請求項1〜のいずれか1項に記載の情報処理装置。
  10. 前記処理部は、接触又は近接した指に応じて、異なる処理を行う、
    請求項に記載の情報処理装置。
  11. 前記操作面は、平面である、
    請求項1に記載の情報処理装置。
  12. 前記端末の移動は、並進移動である、
    請求項11に記載の情報処理装置。
  13. 端末の操作面への操作体の接触又は近接を検知する第1検知部、及び前記端末の移動を検知する第2検知部から検知結果を取得することと、
    プロセッサにより、取得した前記操作体の接触又は近接の検知結果、及び前記端末の移動の検知結果に対応した処理を行うことと、
    前記操作体の接触又は近接が先に検知され、前記端末の移動が後に検知された場合に行う処理と、
    前記端末の移動が先に検知され、前記操作体の接触又は近接が後に検知された場合に行う処理と、を異ならせることと、
    を含む、情報処理方法。
  14. コンピュータに、
    端末の操作面への操作体の接触又は近接を検知する第1検知部、及び前記端末の移動を検知する第2検知部から検知結果を取得することと、
    取得した前記操作体の接触又は近接の検知結果、及び前記端末の移動の検知結果に対応した処理を行うことと、
    前記操作体の接触又は近接が先に検知され、前記端末の移動が後に検知された場合に行う処理と、
    前記端末の移動が先に検知され、前記操作体の接触又は近接が後に検知された場合に行う処理と、を異ならせることと、
    を実行させるための、プログラム。
JP2015559763A 2014-01-28 2014-12-01 情報処理装置、情報処理方法、及びプログラム Active JP6484859B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014013626 2014-01-28
JP2014013626 2014-01-28
PCT/JP2014/081780 WO2015114938A1 (ja) 2014-01-28 2014-12-01 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2015114938A1 JPWO2015114938A1 (ja) 2017-03-23
JP6484859B2 true JP6484859B2 (ja) 2019-03-20

Family

ID=53756532

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015559763A Active JP6484859B2 (ja) 2014-01-28 2014-12-01 情報処理装置、情報処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US20160342280A1 (ja)
EP (1) EP3101522A4 (ja)
JP (1) JP6484859B2 (ja)
CN (1) CN105934738B (ja)
WO (1) WO2015114938A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101744809B1 (ko) * 2015-10-15 2017-06-08 현대자동차 주식회사 곡면 스크린 상의 터치 드래그 제스처를 인식하는 방법 및 장치

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1804472A4 (en) * 2004-10-19 2009-10-21 Vodafone Plc FUNCTION CONTROL METHOD AND TERMINAL DEVICE
KR101606834B1 (ko) * 2008-07-10 2016-03-29 삼성전자주식회사 움직임과 사용자의 조작을 이용하는 입력장치 및 이에적용되는 입력방법
KR101505198B1 (ko) * 2008-08-18 2015-03-23 엘지전자 주식회사 휴대 단말기 및 그 구동 방법
US20110254792A1 (en) * 2008-12-30 2011-10-20 France Telecom User interface to provide enhanced control of an application program
US20100289740A1 (en) * 2009-05-18 2010-11-18 Bong Soo Kim Touchless control of an electronic device
DE102010007455B4 (de) * 2010-02-10 2024-06-27 Microchip Technology Germany Gmbh System und Verfahren zum berührungslosen Erfassen und Erkennen von Gesten in einem dreidimensionalen Raum
JP2012027875A (ja) 2010-07-28 2012-02-09 Sony Corp 電子機器、処理方法及びプログラム
JP5613503B2 (ja) * 2010-08-27 2014-10-22 京セラ株式会社 表示装置および表示装置の制御方法
US20120075196A1 (en) * 2010-09-23 2012-03-29 Nokia Corporation Apparatus and method for user input
US10146426B2 (en) * 2010-11-09 2018-12-04 Nokia Technologies Oy Apparatus and method for user input for controlling displayed information
US20130154951A1 (en) * 2011-12-15 2013-06-20 Nokia Corporation Performing a Function
WO2013118522A1 (ja) * 2012-02-08 2013-08-15 Necカシオモバイルコミュニケーションズ株式会社 携帯端末及びその動作方法
JP2013175018A (ja) * 2012-02-24 2013-09-05 Kddi Corp 表示装置、表示方法およびプログラム
JP5904440B2 (ja) * 2012-04-20 2016-04-13 シャープ株式会社 操作入力装置、操作入力方法およびプログラム
KR20130120599A (ko) * 2012-04-26 2013-11-05 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9081542B2 (en) * 2012-08-28 2015-07-14 Google Technology Holdings LLC Systems and methods for a wearable touch-sensitive device
WO2014092038A1 (ja) * 2012-12-12 2014-06-19 株式会社村田製作所 タッチ式入力装置
KR20140092059A (ko) * 2013-01-15 2014-07-23 삼성전자주식회사 플렉서블 디스플레이를 구비하는 휴대 장치의 제어 방법 및 그 휴대 장치
KR102138503B1 (ko) * 2013-04-09 2020-07-28 엘지전자 주식회사 스마트 워치
KR20150000632A (ko) * 2013-06-25 2015-01-05 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
KR102163915B1 (ko) * 2013-09-02 2020-10-12 엘지전자 주식회사 스마트 와치 및 제어 방법
KR102109407B1 (ko) * 2013-09-25 2020-05-12 엘지전자 주식회사 스마트 와치 및 제어 방법
KR102114616B1 (ko) * 2013-12-06 2020-05-25 엘지전자 주식회사 스마트 와치 및 제어 방법
US9367086B2 (en) * 2013-12-10 2016-06-14 Atmel Corporation Smart watch with adaptive touch screen
US20150185944A1 (en) * 2013-12-27 2015-07-02 Aleksander Magi Wearable electronic device including a flexible interactive display
US9448755B2 (en) * 2013-12-28 2016-09-20 Intel Corporation Wearable electronic device having heterogeneous display screens
KR102188267B1 (ko) * 2014-10-02 2020-12-08 엘지전자 주식회사 이동단말기 및 그 제어방법

Also Published As

Publication number Publication date
JPWO2015114938A1 (ja) 2017-03-23
US20160342280A1 (en) 2016-11-24
CN105934738A (zh) 2016-09-07
EP3101522A4 (en) 2017-08-23
EP3101522A1 (en) 2016-12-07
CN105934738B (zh) 2020-04-03
WO2015114938A1 (ja) 2015-08-06

Similar Documents

Publication Publication Date Title
JP6215534B2 (ja) 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
TWI514248B (zh) 防止誤觸發邊緣滑動手勢之方法及手勢觸發方法
US10437360B2 (en) Method and apparatus for moving contents in terminal
JP6009454B2 (ja) コンピューティング装置の動きを利用するコンピューティング装置と相互作用するときに発生する入力イベントの解釈の強化
US20150213274A1 (en) Device and method of shielding region of display screen
US8581869B2 (en) Information processing apparatus, information processing method, and computer program
US20150077362A1 (en) Terminal with fingerprint reader and method for processing user input through fingerprint reader
KR102168648B1 (ko) 사용자 단말 장치 및 그 제어 방법
US20110157053A1 (en) Device and method of control
JP2010157189A (ja) 情報処理装置、情報処理方法およびプログラム
JP2010176332A (ja) 情報処理装置、情報処理方法およびプログラム
JP2015007949A (ja) 表示装置、表示制御方法及びコンピュータプログラム
AU2013276998A1 (en) Mouse function provision method and terminal implementing the same
KR20150134674A (ko) 사용자 단말 및 이의 제어 방법, 그리고 멀티미디어 시스템
JP2015141526A (ja) 情報処理装置、情報処理方法、及びプログラム
US20130044061A1 (en) Method and apparatus for providing a no-tap zone for touch screen displays
JP2014032450A (ja) 表示制御装置、表示制御方法及びコンピュータプログラム
TWI564780B (zh) 觸控螢幕姿態技術
US9886741B2 (en) Method and apparatus for displaying images in touchscreen-based devices
JP6484859B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US10061438B2 (en) Information processing apparatus, information processing method, and program
US20150091831A1 (en) Display device and display control method
JP6971573B2 (ja) 電子機器、その制御方法およびプログラム
US20140292818A1 (en) Display apparatus and control method thereof
JP6284459B2 (ja) 端末装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171017

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190115

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190128

R151 Written notification of patent or utility model registration

Ref document number: 6484859

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151