WO2015016210A1 - 電子機器、および電子機器の制御プログラム - Google Patents

電子機器、および電子機器の制御プログラム Download PDF

Info

Publication number
WO2015016210A1
WO2015016210A1 PCT/JP2014/069916 JP2014069916W WO2015016210A1 WO 2015016210 A1 WO2015016210 A1 WO 2015016210A1 JP 2014069916 W JP2014069916 W JP 2014069916W WO 2015016210 A1 WO2015016210 A1 WO 2015016210A1
Authority
WO
WIPO (PCT)
Prior art keywords
vibration
image
electronic device
display surface
control unit
Prior art date
Application number
PCT/JP2014/069916
Other languages
English (en)
French (fr)
Inventor
井上 英也
泰輝 布川
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to JP2015529576A priority Critical patent/JP6352918B2/ja
Publication of WO2015016210A1 publication Critical patent/WO2015016210A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Definitions

  • the present invention relates to an electronic device and a control program for the electronic device.
  • This application claims priority based on Japanese Patent Application No. 2013-160320 for which it applied on August 1, 2013, and uses the content here.
  • An object of an aspect of the present invention is to control generation of vibration in response to enlargement or reduction of an image.
  • An electronic apparatus has a display surface for displaying an image, a touch panel capable of detecting a contact position of an object with respect to the display surface, a vibration generation unit that generates vibration, and waveform data as a target in the image.
  • the vibration is based on the waveform data associated with the target in the image in the storage unit
  • a control unit that vibrates the generation unit, and the control unit controls enlargement or reduction of the image displayed on the display surface based on a predetermined input.
  • the electronic device control program includes a display surface for displaying an image, a touch panel capable of detecting a contact position of an object with respect to the display surface, a vibration generation unit that generates vibration, and waveform data.
  • a control computer of an electronic device that includes a storage unit that stores the target in association with the target in the image
  • the storage unit The vibration generating unit is vibrated based on the waveform data associated with the target, and the enlargement or reduction of the image displayed on the display surface is controlled based on a predetermined input.
  • FIG. 1A and 1B are diagrams illustrating an example of an external configuration of an electronic device 1 according to an embodiment of the present invention.
  • FIG. 2 is a configuration diagram illustrating an example of a functional configuration of the electronic apparatus 1 according to the embodiment.
  • the XYZ orthogonal coordinate system is a coordinate system based on the electronic device 1.
  • the stacking direction of each component of the electronic device 1 is defined as the Z direction.
  • a plane orthogonal to the Z direction is defined as an XY plane, and directions orthogonal to the XY plane are defined as an X direction and a Y direction, respectively.
  • the electronic device 1 has, for example, a substantially rectangular shape as viewed in the Z direction, and has a configuration in which the touch panel 10, the main body 20, and the back cover 30 are stacked in the Z direction.
  • 1A is a diagram of the electronic device 1 as viewed from the touch panel 10 side
  • FIG. 1B is a diagram of the electronic device as viewed from the back cover 30 side.
  • the touch panel 10 displays an image input from the control unit 90 accommodated in the main body unit 20, detects a contact position (coordinates) touched by the user with a finger or the like on the display surface, and outputs the detected position to the control unit 90.
  • the touch panel 10 is configured by combining, for example, a liquid crystal display device that displays an image and a contact detection mechanism.
  • Various contact detection mechanisms can be used.
  • a contact detection mechanism using various systems such as a resistive film system, a capacitance system, an infrared system, and a surface acoustic wave system can be employed.
  • an organic EL (Electroluminescence) display device or the like may be used instead of the LCD.
  • the main unit 20 includes an imaging unit (camera) 40, a communication unit 50, an I / O unit (I / O port, I / O interface) 52, a storage unit 60, a speaker 70, and an acceleration sensor shown in FIG. 75, the vibration generating unit 80, the control unit 90, and the like are accommodated.
  • the main body 20 may house a power supply circuit, a battery, a GPS (Global Positioning System) receiver, and the like in a casing.
  • a hole 32 is formed in the back cover 30 to expose the lens 42 of the imaging unit 40.
  • the back cover 30 is attached with a mount 35 on which various operation switches such as a release button for operating the imaging unit 40 can be mounted.
  • the imaging unit 40 is a digital camera using a solid-state imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). Note that the imaging unit 40 may be a video camera.
  • a solid-state imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). Note that the imaging unit 40 may be a video camera.
  • the communication unit 50 performs wireless communication using a wireless LAN network such as Wi-Fi (registered trademark), Bluetooth (registered trademark), infrared communication, a mobile phone network, a PHS network, or the like.
  • the communication unit 50 may include a network card that functions as a communication interface when the electronic device is connected by wire.
  • the I / O unit 52 includes, for example, a USB (Universal Serial Bus) terminal, an HDMI (registered trademark) terminal, a terminal to which an SD card or the like is mounted.
  • USB Universal Serial Bus
  • HDMI registered trademark
  • the storage unit 60 is a storage device such as a flash memory, HDD (Hard Disk Drive), RAM (Random Access Memory), ROM (Read Only Memory), and registers.
  • a program (firmware) executed by a CPU (Central Processing Unit) of the control unit 90 is stored in advance.
  • the storage unit 60 stores calculation results obtained by the CPU performing calculation processing, content data received from other devices via the communication unit 50, and read from devices attached to the I / O unit 52. Stored content data and the like.
  • Speaker 70 outputs sound based on the sound data generated by control unit 90.
  • the acceleration sensor 75 is, for example, a three-axis acceleration sensor, detects accelerations (including gravitational acceleration) that act on the electronic device 1 in the X direction, the Y direction, and the Z direction, respectively, and detects the detection results by the control unit 90. Output to.
  • FIG. 3 is a diagram illustrating the arrangement position of the vibrators included in the vibration generating unit 80, and is a partial perspective view of the electronic device 1 as viewed from the back cover 30 side.
  • the vibration generating unit 80 includes vibrators 80 (1), 80 (2), 80 (3), and 80 (4) disposed near the four corners of the electronic device 1. You may prepare.
  • the vibration generating unit 80 may include vibrators 80 (1) and 80 (2) disposed in the vicinity of two corners located on the diagonal of the electronic device 1. Good.
  • the vibration generating unit 80 may include a plurality of vibrators 80 (1) to 80 (n) in a lattice shape, or the vibrators may be arranged in other arrangements. May be.
  • the vibrator is attached to the housing or support portion of the main body 20 or the back cover 30.
  • a voice coil motor VCM
  • an eccentric motor is used as the vibrator.
  • the vibrator When the voice coil motor is used, the vibrator generates, for example, vibration in the Z direction with respect to a part or the whole of the electronic device 1.
  • the control unit 90 controls the entire electronic device 1 including the vibration generating unit 80.
  • waveform data 64 associated with the image is stored as information for the control unit 90 to control the vibration generating unit 80, in addition to the image data 62 that is the original data of the image displayed on the touch panel 10.
  • the image data 62 is image data in a format that can be enlarged or reduced, and includes a plurality of objects (object A, object B,).
  • the waveform data 64 for example, uncompressed PCM (Pulse Code Modulation) data, compressed AAC (Advanced Audio Coding) data, or the like is used.
  • the waveform data 64 may include a tone burst so that a vibration effect can be obtained more.
  • the control unit 90 vibrates each vibrator of the vibration generating unit 80 based on the waveform data 64 stored in the storage unit 60.
  • FIG. 4 is a diagram illustrating an example of data stored as the waveform data 64.
  • the waveform data 64 is data in which waveform data is associated with each target.
  • Each waveform data is the original data when the tactile sensation (rough feeling, smooth feeling, etc.) generated when touching (stroking) the material is reproduced by vibration.
  • any processing may be performed in the waveform data generation process.
  • a measurement device including an acceleration sensor (the electronic device 1 may be used as a measurement device) is moved in contact with an actual target object, and the normal direction acceleration at the measurement location of the target object is measured.
  • the waveform data 64 can be generated by processing the measurement result.
  • FIGS. 5A to 5C are diagrams showing how the objects A and B in the image displayed on the touch panel 10 are enlarged or reduced.
  • FIG. 5A shows an initial state in which the objects A and B are displayed without being enlarged or reduced. In this state, when the touch panel 10 detects that the user has touched (patched) the area of the target A with a finger or the like, the control unit 90 generates vibration based on the waveform data corresponding to the target A. In this way, each vibrator of the vibration generator 80 is controlled.
  • the control unit 90 when the touch panel 10 detects that the user has touched (patched) the area of the target B with a finger or the like, the control unit 90 generates vibration based on the waveform data corresponding to the target B.
  • Each vibrator of the vibration generator 80 is controlled.
  • the control unit 90 may vibrate each transducer of the vibration generating unit 80 in the same manner, or may select a transducer that operates according to a location touched by the user, as will be described later. .
  • FIG. 5B shows a state in which the target A and the target B are enlarged and displayed.
  • the control unit 90 vibrates based on the waveform data corresponding to the target A.
  • Each vibrator of the vibration generating unit 80 is controlled so as to generate.
  • the control unit 90 generates vibration based on the waveform data corresponding to the target B.
  • Each vibrator of the vibration generating unit 80 is controlled so as to cause the vibration to occur.
  • the area occupied by each enlarged object can be calculated based on the area occupied by the original objects A and B, the enlargement ratio, and the like.
  • FIG. 5C shows a state in which the target A and the target B are reduced and displayed.
  • the control unit 90 vibrates based on the waveform data corresponding to the target A.
  • Each vibrator of the vibration generating unit 80 is controlled so as to generate.
  • the control unit 90 generates vibration based on the waveform data corresponding to the target B.
  • Each vibrator of the vibration generating unit 80 is controlled so as to cause the vibration to occur.
  • the area occupied by each reduced object can be calculated based on the area occupied by the original objects A and B, the reduction ratio, and the like.
  • 5A to 5C show an example in which two objects are included in the image. However, the present invention is not limited to this, and an arbitrary number and size of objects are displayed on the touch panel 10. Good.
  • Magnification of the image is performed according to, for example, a pinch-out operation by the user. More specifically, when the user touches two points on the touch panel 10 with different fingers and moves the fingers away from each other while touching the touch panel 10, the image displayed on the touch panel 10 is enlarged as a whole.
  • the control unit 90 may determine whether or not a pinch-out operation has been performed, and may perform control so that vibration corresponding to the target is not generated as much as possible according to the pinch-out operation.
  • the control unit 90 detects contact at two points on the touch panel 10 and stops generating vibration corresponding to the target when the two points move in a substantially opposite direction by a predetermined distance or more. .
  • image reduction is performed in accordance with, for example, a pinch-in operation by the user. More specifically, when the user touches two points on the touch panel 10 with different fingers and moves the fingers toward each other while touching the touch panel 10, the image displayed on the touch panel 10 is reduced as a whole. (Or the target is reduced). Similar to the above, the control may be performed so that the vibration corresponding to the image does not occur as much as possible according to the pinch-in operation.
  • control unit 90 may switch between a state in which vibration corresponding to the target is generated and a state in which various operations (pinch out, pinch in, scroll, drag, etc.) are received.
  • FIG. 6A is a diagram illustrating a state where vibration corresponding to the target is generated and various operations are not accepted
  • FIG. 6B is a state where various operations are accepted without generating vibration corresponding to the target.
  • FIG. When the “execute operation” button BO in FIG. 6A is tapped, the electronic device 1 shifts to the state shown in FIG. In addition, when the “vibration generation” BV button in FIG. 6B is tapped, the electronic device 1 shifts to a state illustrated in FIG. Thereby, it is possible to prevent unnecessary vibrations from occurring in response to the pinch-out and pinch-in operations performed by the user.
  • the control unit 90 may correct the waveform data according to the enlargement or reduction of the image.
  • the control unit 90 may stretch the waveform data in the time axis direction according to the image enlargement ratio and increase the amplitude of vibration according to the image enlargement ratio.
  • the control unit 90 conversely shortens the waveform data in the time axis direction according to the image reduction rate, and reduces the vibration amplitude according to the image reduction rate. You can do it.
  • FIG. 7 is a diagram schematically showing how the waveform data is corrected in accordance with the enlargement or reduction of the image. Further, the present invention is not limited to this, and the control unit 90 may not correct the waveform data.
  • the electronic device 1 can control the occurrence of vibration in response to image enlargement or reduction.
  • FIG. 8 is a diagram illustrating a correspondence relationship between the contact position and the vibrator when the vibrator is arranged in the manner illustrated in FIG.
  • the control unit 90 operates the vibrator 80 (1) when contact is made with the section A1 in FIG. 8, and operates the vibrator 80 (2) when contact is made with the section A2 and makes contact with the section A3. If there is, the vibrator 80 (3) is operated, and if there is a contact with the section A4, the vibrator 80 (4) is operated.
  • the control unit 90 operates a plurality of vibrators corresponding to the overlapping section. Not only this but the control part 90 does not need to provide an overlap part.
  • FIG. 9 is a diagram showing the correspondence between the contact position and the vibrator when the vibrator is arranged in the manner shown in FIG.
  • the control unit 90 operates the vibrator 80 (1) when the section B1 in FIG. 9 is contacted, and operates the vibrator 80 (2) when the section B2 is contacted.
  • the control unit 90 operates a plurality of vibrators corresponding to the overlapping section. Not only this but the control part 90 does not need to provide an overlap part.
  • FIG. 10 is a diagram showing the correspondence between the contact position and the vibrator when the vibrator is arranged in the manner shown in FIG.
  • the control unit 90 operates the vibrator 80 (1).
  • the control unit 90 operates the vibrator 80 (2). If there is a contact, the vibrator 80 (n) is operated.
  • the electronic device 1 can simultaneously generate different vibration patterns.
  • the target A is displayed in the section A2 and the target B is displayed in the section A3 in FIG. 8, and contact is simultaneously made in the area of the target A in the section A2 and in the area of the target B in the section A3.
  • the vibrator 80 (2) is vibrated based on the waveform data associated with the object A
  • the vibrator 80 (3) is vibrated based on the waveform data associated with the object B.
  • the haptic effect corresponding to the target B can be generated simultaneously.
  • the usage mode of the electronic device 1 can be expanded.
  • FIG. 11 is a diagram showing a relationship between a display image on the touch panel 10 and a section in a certain scene.
  • a section Ck shown in FIG. 11 includes a part of the target A and a part of the target B.
  • the control unit 90 may control the vibration as follows. The following description is about the case where two objects are included in one section, but even when three or more objects are included in one section, processing may be performed according to the same principle.
  • the control unit 90 may vibrate the transducer 80 (k) based on the waveform data associated with the target having the larger area in the section Ck among the target A and the target B.
  • the control unit 90 combines the waveform data associated with the target A and the waveform data associated with the target B based on the ratio of the area occupied by the target A and the target B in the section Ck. Good.
  • SA area ratio
  • the area ratio is SA: SB
  • waveform data obtained by multiplying the amplitude of the waveform data associated with the target A by SA / (SA + SB) and the waveform data associated with the target B Is added to the waveform data obtained by multiplying the amplitude of SB / (SA + SB) by the same amount to generate combined waveform data.
  • the control unit 90 may generate the combined waveform data by simply adding (superimposing) the waveform data associated with the target A and the waveform data associated with the target B.
  • the electronic device 1 smoothly switches the vibration from the vibration associated with the object on one side to the vibration associated with the object on the other side in the boundary portion of the object. Can be realized.
  • different vibration patterns can be generated at the same time, and the usage mode of the electronic device 1 can be expanded.
  • the electronic device of the present invention is not limited to one having the shape and function as shown in FIGS. 1A to 3, and various electronic devices including a vibration generating unit, such as a foldable mobile phone, smartphone, tablet terminal, personal It may be a computer or the like.
  • a vibration generating unit such as a foldable mobile phone, smartphone, tablet terminal, personal It may be a computer or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

 電子機器は、画像を表示する表示面を有し、前記表示面に対する物体の接触位置を検知可能なタッチパネルと、振動を発生させる振動発生部と、波形データを画像内の対象に対応付けて記憶する記憶部と、前記表示面に表示されている画像内の対象に物体が接触した場合に、前記記憶部において前記画像内の対象に対応付けられている波形データに基づき前記振動発生部を振動させる制御部と、を備え、前記制御部は、所定の入力に基づいて、前記表示面に表示される前記画像の拡大または縮小を制御する。

Description

電子機器、および電子機器の制御プログラム
 本発明は、電子機器、および電子機器の制御プログラムに関する。
 本願は、2013年8月1日に出願された日本国特願2013-160320号に基づき優先権を主張し、その内容をここに援用する。
 従来、タッチセンサにユーザが触れたときに、砂、草、煉瓦、岩、皮膚、織物、毛皮などのテクスチャの触覚効果を生じさせるようにアクチュエータを作動させるシステムの発明が開示されている(例えば、特許文献1参照)。
国際公開第2010/105010号
 しかしながら、従来のシステムは、固定的な画像への触覚に対してアクチュエータを作動させるのに過ぎず、画像の拡大や縮小がなされた場合についての考慮がなされていない。
 本発明の態様は、画像の拡大や縮小に対応して振動の発生を制御することを目的の一つとする。
 一実施形態の電子機器は、画像を表示する表示面を有し、前記表示面に対する物体の接触位置を検知可能なタッチパネルと、振動を発生させる振動発生部と、波形データを画像内の対象に対応付けて記憶する記憶部と、前記表示面に表示されている画像内の対象に物体が接触した場合に、前記記憶部において前記画像内の対象に対応付けられている波形データに基づき前記振動発生部を振動させる制御部と、を備え、前記制御部は、所定の入力に基づいて、前記表示面に表示される前記画像の拡大または縮小を制御する。
 また、一実施形態の電子機器の制御プログラムは、画像を表示する表示面を有し、前記表示面に対する物体の接触位置を検知可能なタッチパネルと、振動を発生させる振動発生部と、波形データを画像内の対象に対応付けて記憶する記憶部と、を備える電子機器の制御コンピュータに、前記表示面に表示されている画像内の対象に物体が接触した場合に、前記記憶部において前記画像内の対象に対応付けられている波形データに基づき前記振動発生部を振動させ、所定の入力に基づいて、前記表示面に表示される前記画像の拡大または縮小を制御させる。
 本発明の一態様によれば、画像の拡大や縮小に対応して振動の発生を制御することができる。
本発明の第1実施形態に係る電子機器の外観構成の一例を示す図である。 本発明の第1実施形態に係る電子機器の外観構成の一例を示す図である。 第1実施形態に係る電子機器の機能構成の一例を示す構成図である。 振動発生部が有する振動子の配設位置を例示した図であり、電子機器を背面カバー側から見た部分透視図である。 波形データとして格納されるデータの一例を示す図である。 タッチパネルに表示された対象A、対象Bが拡大または縮小される様子を示す図である。 対象に対応した振動を発生させ、各種操作を受け付けない状態と、対象に対応した振動を発生させず、各種操作を受け付ける状態とを示す図である。 画像の拡大または縮小に応じて波形データが修正される様子を模式的に示す図である。 図3(A)に示す態様で振動子が配置されている場合の、接触位置と振動子の対応関係を示す図である。 図3(B)に示す態様で振動子が配置されている場合の、接触位置と振動子の対応関係を示す図である。 図3(C)に示す態様で振動子が配置されている場合の、接触位置と振動子の対応関係を示す図である。 ある場面におけるタッチパネルの表示画像と、区画の関係を示す図である。
 以下、図面を参照し、本発明の電子機器、および電子機器の制御プログラムの実施形態について説明する。
 [構成]
 図1A及び図1Bは、本発明の一実施形態に係る電子機器1の外観構成の一例を示す図である。また、図2は、一実施形態に係る電子機器1の機能構成の一例を示す構成図である。以下、本実施形態において、XYZ直交座標系を用いて電子機器1の構成を説明する。XYZ直交座標系は、電子機器1を基準とした座標系である。XYZ直交座標系において、電子機器1の各構成要素の積層方向をZ方向とする。また、Z方向に直交する平面をXY平面とし、XY平面において直交する方向をそれぞれX方向及びY方向とする。
 電子機器1は、例えば、Z方向視で略矩形の形状を有し、タッチパネル10、本体部20、背面カバー30がZ方向に積層された構成となっている。図1Aは、電子機器1をタッチパネル10側から見た図であり、図1Bは、電子機器を背面カバー30側から見た図である。
 タッチパネル10は、本体部20に収容された制御部90から入力される画像を表示すると共に、その表示面にユーザが指などで触れた接触位置(座標)を検出し、制御部90に出力する。タッチパネル10は、例えば、画像を表示する液晶ディスプレイ装置と接触検知機構が組み合わされて構成される。接触検知機構としては種々のものを用いることができ、例えば、抵抗膜方式、静電容量方式、赤外線方式、表面弾性波方式などの種々の方式を利用した接触検知機構が採用され得る。また、LCDに代えて有機EL(Electroluminescence)表示装置などが用いられてもよい。
 本体部20は、筐体内に、図2に示す撮像部(カメラ)40、通信部50、I/O部(I/Oポート、I/Oインターフェイス)52、記憶部60、スピーカ70、加速度センサ75、振動発生部80、制御部90などを収容する。また、本体部20は、電源回路やバッテリ、GPS(Global Positioning System)受信機などを筐体に収容してもよい。
 背面カバー30には、孔部32が形成され、撮像部40のレンズ42を露出させている。また、背面カバー30には、撮像部40を操作するためのリリースボタンなど、各種操作スイッチを搭載可能なマウント部35が取り付けられる。
 撮像部40は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの固体撮像素子を利用したデジタルカメラである。なお、撮像部40は、ビデオカメラであってもよい。
 通信部50は、例えば、Wi-Fi(登録商標)などの無線LAN網、Bluetooth(登録商標)、赤外線通信、携帯電話網、PHS網などを利用した無線通信を行う。
 また、通信部50は、電子機器が有線接続された際に通信インターフェースとして機能するネットワークカードなどを含んでもよい。
 I/O部52は、例えば、USB(Universal Serial Bus)端子やHDMI(登録商標;High Definition Multimedia Interface)端子、SDカードなどが装着される端子などを含む。
 記憶部60は、例えば、フラッシュメモリ、HDD(Hard Disk Drive)、RAM(Random Access Memory)、ROM(Read Only Memory)、レジスタなどの記憶装置である。記憶部60には、制御部90のCPU(Central Processing Unit)が実行するプログラム(ファームウェア)が予め格納される。また、記憶部60には、CPUが演算処理を行った演算結果が格納されたり、他装置から通信部50を介して受信したコンテンツデータ、I/O部52に装着された機器から読み出されたコンテンツデータなどが格納される。
 スピーカ70は、制御部90により生成された音声データに基づき、音声を出力する。
 加速度センサ75は、例えば3軸式の加速度センサであり、電子機器1に対してX方向、Y方向、Z方向にそれぞれ作用する加速度(重力加速度を含む)を検出し、検出結果を制御部90に出力する。
 振動発生部80は、制御部90により生成された振動データに基づき、振動を発生させる。図3は、振動発生部80が有する振動子の配設位置を例示した図であり、電子機器1を背面カバー30側から見た部分透視図である。振動発生部80は、例えば図3(A)に示すように、電子機器1の四隅付近に配設された振動子80(1)、80(2)、80(3)、80(4)を備えてもよい。また、振動発生部80は、図3(B)に示すように、電子機器1の対角に位置する二隅付近に配設された振動子80(1)、80(2)を備えてもよい。また、振動発生部80は、図3(C)に示すように、格子状に複数の振動子80(1)~80(n)を備えてもよいし、その他の配置で振動子が配設されてもよい。
 振動子は、本体部20の筐体または支持部在、或いは背面カバー30などに取り付けられる。振動子としては、例えば、ボイスコイルモータ(VCM)や偏心モータなどが用いられる。ボイスコイルモータを用いる場合、振動子は、電子機器1の一部または全体に対して、例えばZ方向の振動を発生させる。
 制御部90は、振動発生部80を含めた電子機器1全体の制御を行う。記憶部60には、タッチパネル10に表示させる画像の元データとなる画像データ62の他、制御部90が振動発生部80を制御するための情報として、画像に対応付けられた波形データ64が格納されている。画像データ62は、拡大または縮小可能な形式の画像のデータであり、複数の対象(対象A、対象B、‥)が含まれる。
 波形データ64としては、例えば、非圧縮のPCM(Pulse Code Modulation)データ、圧縮されたAAC(Advanced Audio Coding)データなどが用いられる。なお、波形データ64には、振動エフェクトをより得ることができるよう、トーンバーストが含められてもよい。
 制御部90は、記憶部60に記憶されている波形データ64に基づいて、振動発生部80の各振動子を振動させる。図4は、波形データ64として格納されるデータの一例を示す図である。波形データ64は、各対象に対して波形データが対応付けられたデータである。各波形データは、材質に触れた(なでた)際に生じる触感(ざらざら感、つるつる感など)を、振動により再現する際の元データとなる。
 波形データの生成過程においては如何なる処理が行われてもよい。例えば、加速度センサを備える計測装置(電子機器1を計測装置として使用してもよい)を現実の対象物体に当接させて移動させ、対象物体の計測箇所における法線方向の加速度を計測し、計測結果を加工することで、波形データ64を生成することができる。
 [拡大/縮小に対応した振動の制御]
 以下、制御部90により実行される、画像の拡大または縮小に対応した振動の制御について説明する。図5(A)~(C)は、タッチパネル10に表示された画像内の対象A、対象Bが拡大または縮小される様子を示す図である。図5(A)は、対象A、対象Bが拡大または縮小されずに表示された初期状態を示している。この状態において、ユーザが指などで対象Aの領域内に触れた(なでた)ことがタッチパネル10により検知されると、制御部90は、対象Aに対応した波形データに基づき振動を発生させるように振動発生部80の各振動子を制御する。また、ユーザが指などで対象Bの領域内に触れた(なでた)ことがタッチパネル10により検知されると、制御部90は、対象Bに対応した波形データに基づき振動を発生させるように振動発生部80の各振動子を制御する。ここで、制御部90は、振動発生部80の各振動子を同じように振動させてもよいし、後述するように、ユーザが触れた箇所に応じて作動する振動子を選択してもよい。
 図5(B)は、対象A、対象Bが拡大表示された様子を示している。この状態において、ユーザが指などで拡大された対象Aの領域内に触れた(なでた)ことがタッチパネル10により検知されると、制御部90は、対象Aに対応した波形データに基づき振動を発生させるように振動発生部80の各振動子を制御する。また、ユーザが指などで拡大された対象Bの領域内に触れた(なでた)ことがタッチパネル10により検知されると、制御部90は、対象Bに対応した波形データに基づき振動を発生させるように振動発生部80の各振動子を制御する。拡大された各対象の占める領域は、元の対象A、Bの占める領域と、拡大率などに基づいて算出することができる。
 一方、図5(C)は、対象A、対象Bが縮小表示された様子を示している。この状態において、ユーザが指などで縮小された対象Aの領域内に触れた(なでた)ことがタッチパネル10により検知されると、制御部90は、対象Aに対応した波形データに基づき振動を発生させるように振動発生部80の各振動子を制御する。また、ユーザが指などで縮小された対象Bの領域内に触れた(なでた)ことがタッチパネル10により検知されると、制御部90は、対象Bに対応した波形データに基づき振動を発生させるように振動発生部80の各振動子を制御する。縮小された各対象の占める領域は、元の対象A、Bの占める領域と、縮小率などに基づいて算出することができる。なお、図5(A)~図5(C)では、画像中に2つの対象が含まれる例を示したが、これに限らず、任意の数および大きさの対象がタッチパネル10に表示されてよい。
 画像の拡大は、例えば、ユーザによるピンチアウト操作に応じて行われる。より具体的には、ユーザがタッチパネル10上の二点に異なる指で触れ、タッチパネル10に触れたまま互いに遠ざかる方向に指を動かした場合に、タッチパネル10により表示された画像が全体的に拡大される。なお、画像全体を拡大または縮小するのに代えて、対象Aや対象Bなどの対象を拡大または縮小できるようにしてもよい。また、制御部90は、ピンチアウト操作が行われたか否かを判定すると共に、ピンチアウト操作に応じて、上記対象に対応した振動がなるべく発生しないように制御してもよい。具体的には、制御部90は、タッチパネル10上の二点で接触を検知し、その二点が略反対方向に所定距離以上移動した場合に、対象に対応した振動を発生させるのを停止させる。この逆に、画像の縮小は、例えば、ユーザによるピンチイン操作に応じて行われる。より具体的には、ユーザがタッチパネル10上の二点に異なる指で触れ、タッチパネル10に触れたまま互いに近づく方向に指を動かした場合に、タッチパネル10により表示された画像が全体的に縮小される(或いは対象が縮小される)。ピンチイン操作に応じて、画像に対応した振動がなるべく発生しないように制御してもよい点については上記と同様である。
 また、制御部90は、対象に対応した振動を発生させる状態と、各種操作(ピンチアウト、ピンチインの他、スクロール、ドラッグなど)を受け付ける状態とを切り替えてもよい。図6(A)は、対象に対応した振動を発生させ、各種操作を受け付けない状態を示す図であり、図6(B)は、対象に対応した振動を発生させず、各種操作を受け付ける状態を示す図である。電子機器1は、図6(A)における「操作実行」ボタンBOがタップされると、図6(B)に示す状態に移行する。また、電子機器1は、図6(B)における「振動発生」BVボタンがタップされると、図6(A)に示す状態に移行する。これによって、ユーザが行ったピンチアウトやピンチインの操作に対し、不要な振動が発生するのを防止することができる。
 ここで、画像が拡大された場合、対象に対して設定されている材質も同様に拡大されると仮定すると、触感が異なるものになると考えることができる。従って、制御部90は、画像の拡大または縮小に応じて波形データを修正してよい。例えば、制御部90は、画像の拡大率に応じて波形データを時間軸方向に引き伸ばし、且つ振動の振幅を画像の拡大率に応じて大きくしてよい。また、制御部90は、画像が縮小された場合には、この逆に、画像の縮小率に応じて波形データを時間軸方向に短縮し、且つ振動の振幅を画像の縮小率に応じて小さくしてよい。図7は、画像の拡大または縮小に応じて波形データが修正される様子を模式的に示す図である。また、これに限らず、制御部90は、波形データの修正を行わないものとしてもよい。
 上述した制御によって、画像が拡大または縮小されるのに応じて、ユーザが触れた場合に振動を発生させる領域も同じように拡大または縮小されることになる。すなわち、電子機器1は、画像の拡大や縮小に対応して振動の発生を制御することができる。
 [接触位置に応じた振動子の制御]
 以下、ユーザが、タッチパネル10の表示面における接触位置に応じた振動子の制御について説明する。制御部90は、例えば、接触位置に応じた振動子を選択して作動させる。図8は、図3(A)に示す態様で振動子が配置されている場合の、接触位置と振動子の対応関係を示す図である。制御部90は、図8における区画A1に接触があった場合、振動子80(1)を作動させ、区画A2に接触があった場合、振動子80(2)を作動させ、区画A3に接触があった場合、振動子80(3)を作動させ、区画A4に接触があった場合、振動子80(4)を作動させる。また、制御部90は、区画の重複部分に接触があった場合は、重複した区画に対応した複数の振動子を作動させる。これに限らず、制御部90は、重複部分を設けなくてもよい。
 図9は、図3(B)に示す態様で振動子が配置されている場合の、接触位置と振動子の対応関係を示す図である。制御部90は、図9における区画B1に接触があった場合、振動子80(1)を作動させ、区画B2に接触があった場合、振動子80(2)を作動させる。また、制御部90は、区画の重複部分に接触があった場合は、重複した区画に対応した複数の振動子を作動させる。これに限らず、制御部90は、重複部分を設けなくてもよい。
 図10は、図3(C)に示す態様で振動子が配置されている場合の、接触位置と振動子の対応関係を示す図である。制御部90は、図10における区画C1に接触があった場合、振動子80(1)を作動させ、区画C2に接触があった場合、振動子80(2)を作動させ、‥、区画Cnに接触があった場合、振動子80(n)を作動させる。
 上述した制御によって、電子機器1は、互いに異なる振動のパターンを同時に発生させることができる。例えば、図8における区画A2内に対象Aが、区画A3内に対象Bがそれぞれ表示されており、区画A2内における対象Aの領域内と、区画A3内における対象Bの領域内に同時に接触があった場合、対象Aに対応付けられた波形データに基づき振動子80(2)を振動させ、対象Bに対応付けられた波形データに基づき振動子80(3)を振動させることで、対象Aに対応する触覚効果と対象Bに対応する触覚効果を同時に生じさせることができる。この結果、電子機器1の利用態様を広げることができる。
 [対象の境界線における制御]
 以下、制御部90により実行される、対象の境界線における制御について説明する。ここでは、図3(C)の配置で振動子が配設されていることを前提とする。ただし、図3(A)、図3(B)、その他の配置で振動子が配設されている場合も同様の原理により制御を行うことができる。
 図11は、ある場面におけるタッチパネル10の表示画像と、区画の関係を示す図である。図11に示す区画Ckには、対象Aの一部と対象Bの一部が含まれる。この場合、区画Ckに接触があった場合、制御部90は、以下のように振動を制御してよい。なお、以下の説明は、1つの区画に2つの対象が含まれる場合についてものであるが、1つの区画に3つ以上の対象が含まれる場合でも、同様の原理により処理を行ってよい。
 (1)制御部90は、対象Aと対象Bのうち、区画Ck内に占める面積が大きい方の対象に対応付けられた波形データに基づき、振動子80(k)を振動させてよい。
 (2)制御部90は、対象Aと対象Bが区画Ck内に占める面積の比に基づいて、対象Aに対応付けられた波形データと、対象Bに対応付けられた波形データを合成してよい。
 ここで、面積の比がSA:SBであるものとすると、例えば、対象Aに対応付けられた波形データの振幅をSA/(SA+SB)倍した波形データと、対象Bに対応付けられた波形データの振幅をSB/(SA+SB)倍した波形データとを加算して合成波形データを生成する。
 (3)制御部90は、対象Aに対応付けられた波形データと、対象Bに対応付けられた波形データとを単に加算して(重畳させて)合成波形データを生成してよい。
 これらの制御によって、電子機器1は、対象の境界線部分において、一方の側の対象に対応付けられた振動から、他方の側の対象に対応付けられた振動へと、滑らかな振動の切り替わりを実現することができる。
 [まとめ]
 以上説明した本実施形態の電子機器1、およびその制御プログラムによれば、画像の拡大や縮小に対応して振動の発生を制御することができる。
 また、本実施形態の電子機器1、およびその制御プログラムによれば、互いに異なる振動のパターンを同時に発生させることができ、電子機器1の利用態様を広げることができる。
 また、本実施形態の電子機器1、およびその制御プログラムによれば、対象の境界線部分において、一方の側の対象に対応付けられた振動から、他方の側の対象に対応付けられた振動へと、滑らかな振動の切り替わりを実現することができる。
 以上、本発明を実施するための形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
 例えば、本発明の電子機器は、図1A~3に示すような形状および機能を有するものに限らず、振動発生部を備える各種電子機器、例えば、折り畳み式の携帯電話、スマートフォン、タブレット端末、パーソナルコンピュータなどであってもよい。
1、2‥電子機器10、タッチパネル、20‥本体部、30‥背面カバー、32‥孔部、35‥マウント部、40‥撮像部、42‥レンズ、50‥通信部、52‥I/O部、60‥記憶部、62‥画像データ、64‥波形データ、70‥スピーカ、75‥加速度センサ、80‥振動発生部、90‥制御部

Claims (9)

  1.  画像を表示する表示面を有し、前記表示面に対する物体の接触位置を検知可能なタッチパネルと、
     振動を発生させる振動発生部と、
     波形データを画像内の対象に対応付けて記憶する記憶部と、
     前記表示面に表示されている画像内の対象に物体が接触した場合に、前記記憶部において前記画像内の対象に対応付けられている波形データに基づき前記振動発生部を振動させる制御部と、
     を備え、
     前記制御部は、所定の入力に基づいて、前記表示面に表示される前記画像の拡大または縮小を制御する、
     電子機器。
  2.  請求項1に記載の電子機器であって、
     前記制御部は、前記画像が拡大または縮小されるとき、前記拡大または縮小の前後において、前記振動発生部が発生させる振動の態様を異ならせる、
     電子機器。
  3.  請求項2に記載の電子機器であって、
     前記制御部は、前記画像の拡大率または縮小率に応じて前記振動発生部が発生させる振動の態様を異ならせる、
     電子機器。
  4.  請求項1から3のうちいずれか1項に記載の電子機器であって、
     前記振動発生部は、複数の振動子を備え、
     前記制御部は、前記物体の接触位置に応じて前記複数の振動子の一部または全部を作動させる、
     電子機器。
  5.  請求項4に記載の電子機器であって、
     前記制御部は、異なる複数の対象が前記表示面に表示されており、前記複数の対象それぞれに複数の物体が接触した場合、複数の接触位置それぞれに応じた振動子を互いに異なる振動の態様で作動させる、
     電子機器。
  6.  請求項1から5のうちいずれか1項に記載の電子機器であって、
     前記制御部は、前記表示面を分割した分割領域内に異なる複数の対象が含まれ、且つ前記分割領域内に物体が接触した場合、前記分割領域内に含まれる複数の対象のうち前記分割領域内における表示面積の割合が大きい対象に対応付けられている波形データに基づき前記振動発生部を振動させる、
     電子機器。
  7.  請求項1から5のうちいずれか1項に記載の電子機器であって、
     前記制御部は、前記表示面を分割した分割領域内に異なる複数の対象が含まれ、且つ前記分割領域内に物体が接触した場合、前記複数の対象にそれぞれ対応付けられている複数の波形データに基づき前記振動発生部を振動させる、
     電子機器。
  8.  請求項1から7のうちいずれか1項に記載の電子機器であって、
     前記制御部は、前記タッチパネルに対するユーザの操作に基づいて前記画像を拡大または縮小し、前記ユーザの操作に伴って前記振動発生部の振動を抑制する、
     電子機器。
  9.  画像を表示する表示面を有し、前記表示面に対する物体の接触位置を検知可能なタッチパネルと、振動を発生させる振動発生部と、波形データを画像内の対象に対応付けて記憶する記憶部と、を備える電子機器の制御コンピュータに、
     前記表示面に表示されている画像内の対象に物体が接触した場合に、前記記憶部において前記画像内の対象に対応付けられている波形データに基づき前記振動発生部を振動させ、
     所定の入力に基づいて、前記表示面に表示される前記画像の拡大または縮小を制御させる、
     電子機器の制御プログラム。
PCT/JP2014/069916 2013-08-01 2014-07-29 電子機器、および電子機器の制御プログラム WO2015016210A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015529576A JP6352918B2 (ja) 2013-08-01 2014-07-29 電子機器、および電子機器の制御プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013160320 2013-08-01
JP2013-160320 2013-08-01

Publications (1)

Publication Number Publication Date
WO2015016210A1 true WO2015016210A1 (ja) 2015-02-05

Family

ID=52431742

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/069916 WO2015016210A1 (ja) 2013-08-01 2014-07-29 電子機器、および電子機器の制御プログラム

Country Status (2)

Country Link
JP (2) JP6352918B2 (ja)
WO (1) WO2015016210A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100156818A1 (en) * 2008-12-23 2010-06-24 Apple Inc. Multi touch with multi haptics
JP2011242386A (ja) * 2010-04-23 2011-12-01 Immersion Corp 接触センサと触覚アクチュエータとの透明複合圧電材結合体
JP2012520522A (ja) * 2009-03-12 2012-09-06 イマージョン コーポレイション グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法
JP2013117951A (ja) * 2011-11-07 2013-06-13 Immersion Corp タッチ感応表面上でのマルチ圧力相互作用のためのシステムと方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3949912B2 (ja) * 2000-08-08 2007-07-25 株式会社エヌ・ティ・ティ・ドコモ 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
JP2006163579A (ja) * 2004-12-03 2006-06-22 Sony Corp 情報処理システム、情報処理装置及び情報処理方法
BRPI0804355A2 (pt) * 2008-03-10 2009-11-03 Lg Electronics Inc terminal e método de controle do mesmo
US20100107100A1 (en) * 2008-10-23 2010-04-29 Schneekloth Jason S Mobile Device Style Abstraction
KR20190020180A (ko) * 2009-03-12 2019-02-27 임머숀 코퍼레이션 마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템 및 방법
TWI530818B (zh) * 2011-01-20 2016-04-21 宏達國際電子股份有限公司 具有觸覺回饋之電子裝置及提供觸覺回饋之方法
JP5971632B2 (ja) * 2011-05-26 2016-08-17 パナソニックIpマネジメント株式会社 電子機器および合成画像の編集方法
JP6159078B2 (ja) * 2011-11-28 2017-07-05 京セラ株式会社 装置、方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100156818A1 (en) * 2008-12-23 2010-06-24 Apple Inc. Multi touch with multi haptics
JP2012520522A (ja) * 2009-03-12 2012-09-06 イマージョン コーポレイション グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法
JP2011242386A (ja) * 2010-04-23 2011-12-01 Immersion Corp 接触センサと触覚アクチュエータとの透明複合圧電材結合体
JP2013117951A (ja) * 2011-11-07 2013-06-13 Immersion Corp タッチ感応表面上でのマルチ圧力相互作用のためのシステムと方法

Also Published As

Publication number Publication date
JP2018129102A (ja) 2018-08-16
JP6352918B2 (ja) 2018-07-04
JPWO2015016210A1 (ja) 2017-03-02
JP6493599B2 (ja) 2019-04-03

Similar Documents

Publication Publication Date Title
JP6266835B1 (ja) 方向を調整可能なマルチチャネルハプティックデバイス
US10048845B2 (en) Mobile electronic apparatus, display method for use in mobile electronic apparatus, and non-transitory computer readable recording medium
JP5121963B2 (ja) 電子機器及び制御方法
JP6157885B2 (ja) 携帯端末装置の表示制御方法
JP5684621B2 (ja) 電子機器、表示制御方法及び表示制御プログラム
JP2013012189A (ja) 携帯電子機器及び入力方法
JP6071372B2 (ja) 電子機器及び電子機器の制御方法
JP2013047919A (ja) 装置、方法、及びプログラム
KR20200008922A (ko) 디스플레이 상에서 복수의 어플리케이션의 실행 화면을 표시하는 전자 장치 및 상기 전자 장치의 구동 방법
WO2014006799A1 (ja) 電子機器、その制御方法及び制御プログラムが格納された非一時的なコンピュータ可読媒体
JP5885152B2 (ja) 携帯端末装置、プログラムおよび表示制御方法
JP2011082724A (ja) 携帯端末
JPWO2017022031A1 (ja) 情報端末装置
JP6493599B2 (ja) 電子機器
JP6100657B2 (ja) 電子機器
JP2013246658A (ja) 表示制御装置および表示制御方法
JP6069117B2 (ja) 電子機器及び制御プログラム並びに動作方法
WO2014045765A1 (ja) 携帯端末、その制御方法及びプログラム
JP7129897B2 (ja) 電子機器
JP6434339B2 (ja) 電子機器、制御方法、及び制御プログラム
JP7210153B2 (ja) 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP2015001853A (ja) 電子機器、制御方法、及び制御プログラム
JP6431509B2 (ja) 物理キーユニット、及び物理キーユニットが外付けされる電子機器
JP6136759B2 (ja) 電子機器、および電子機器の制御プログラム
JP5801006B2 (ja) 電子機器、表示制御方法及び表示制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14831495

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015529576

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14831495

Country of ref document: EP

Kind code of ref document: A1