WO2022034663A1 - 電子機器 - Google Patents

電子機器 Download PDF

Info

Publication number
WO2022034663A1
WO2022034663A1 PCT/JP2020/030733 JP2020030733W WO2022034663A1 WO 2022034663 A1 WO2022034663 A1 WO 2022034663A1 JP 2020030733 W JP2020030733 W JP 2020030733W WO 2022034663 A1 WO2022034663 A1 WO 2022034663A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
audio signal
electronic device
display
vibration
Prior art date
Application number
PCT/JP2020/030733
Other languages
English (en)
French (fr)
Inventor
佑介 三澤
証人 星
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2021558575A priority Critical patent/JPWO2022034663A1/ja
Priority to PCT/JP2020/030733 priority patent/WO2022034663A1/ja
Priority to US17/414,320 priority patent/US20220312109A1/en
Publication of WO2022034663A1 publication Critical patent/WO2022034663A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • H04R1/28Transducer mountings or enclosures modified by provision of mechanical or acoustic impedances, e.g. resonator, damping means
    • H04R1/2807Enclosures comprising vibrating or resonating arrangements
    • H04R1/2811Enclosures comprising vibrating or resonating arrangements for loudspeaker transducers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B06GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06BMETHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/0207Driving circuits
    • B06B1/0223Driving circuits for generating signals continuous in time
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B06GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06BMETHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R17/00Piezoelectric transducers; Electrostrictive transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H04R3/14Cross-over networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R7/00Diaphragms for electromechanical transducers; Cones
    • H04R7/02Diaphragms for electromechanical transducers; Cones characterised by the construction
    • H04R7/04Plane diaphragms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B06GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06BMETHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • B06B1/0644Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction using a single piezoelectric element
    • B06B1/0648Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction using a single piezoelectric element of rectangular shape
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B06GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06BMETHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B2201/00Indexing scheme associated with B06B1/0207 for details covered by B06B1/0207 but not provided for in any of its subgroups
    • B06B2201/50Application to a particular transducer type
    • B06B2201/55Piezoelectric transducer
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B06GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06BMETHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B2201/00Indexing scheme associated with B06B1/0207 for details covered by B06B1/0207 but not provided for in any of its subgroups
    • B06B2201/70Specific application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2400/00Loudspeakers
    • H04R2400/03Transducers capable of generating both sound as well as tactile vibration, e.g. as used in cellular phones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/11Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/15Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Definitions

  • the electronic device 1 (as an example, a smartphone) according to the embodiment of the present disclosure has a substantially rectangular housing 1H. Further, as shown in FIGS. 1 and 2, the electronic device 1 has a touch panel display 2, speakers 3 (3a, 3b), and a piezo actuator 4.
  • the touch panel 2a detects contact of a finger, a pen, a stylus pen, or the like with the touch panel 2a.
  • the display 2b displays characters, images, symbols, figures, and the like.
  • the display 2b has a front surface SF 1 and a back surface SF 2 facing the front surface SF 1 .
  • the surface SF 1 of the display 2b corresponds to the display surface side of the display 2b, and is exposed toward the outside of the housing 1H, for example.
  • the back surface SF 2 of the display 2b is housed inside the housing 1H without being exposed to the outside of the housing 1H.
  • the display 2b functions as a vibrating body that vibrates due to vibration.
  • the speaker 3 is, for example, a stereo speaker provided in the housing 1H, and outputs sound based on audio signals of various sound sources.
  • the sound based on the first audio signal corresponding to the midrange and the high range extracted from the audio signals of various sound sources is output.
  • Examples of the mid-range and high-range sounds include sounds in the range of 800 Hz (hertz) or higher.
  • the size of the speaker must be reduced, and it is difficult to obtain the desired volume for a specific range (especially the low range).
  • the display area of the display of an electronic device is expanding. Therefore, the electronic device 1 according to the embodiment of the present disclosure allocates the output of the sound in the mid-high range above the predetermined frequency to the speaker 3, and functions as the output of the sound in the low range below the predetermined frequency as an acoustic device. Assign to display 2b.
  • a desired volume for a specific range that is, a low range, for which it is difficult to obtain a predetermined volume in an electronic device that requires high-density mounting.
  • the electronic device 1 extracts a second audio signal corresponding to a low frequency range below a predetermined frequency from audio signals based on various sound sources such as media audio, sound effect signal, and incoming / notification sound (P3-). 2).
  • a bass range below a predetermined frequency a range below 800 Hz from a certain lower limit frequency can be exemplified.
  • the electronic device 1 adopts a frequency of audible sounds that cannot be heard as sound unless the user brings his / her head close to the display 2b.
  • the frequency that defines the lower limit of the bass range can be adopted from, for example, the range of 100 to 200 Hz.
  • the vibration in this frequency band can be recognized by tactile sensation.
  • the extracted second audio signal is input to the piezo actuator 4 through a predetermined conversion by the conversion unit 33 and a predetermined amplification by the amplification unit 34.
  • the piezo actuator 4 deforms in response to the second audio signal corresponding to the bass range and vibrates the display 2b.
  • the display 2b vibrates according to the deformation of the piezo actuator 4 and outputs a sound based on the second audio signal corresponding to the sound in the low frequency range.
  • the vibration of the display 2b based on the control signal for haptics feedback is prioritized over the vibration of the display 2b based on the second voice signal.
  • signal control for modulating the second audio signal is performed (P3-5).
  • the signal control that modulates the second audio signal is performed by at least one of suppressing the output level of the second audio signal or limiting the band of the second audio signal, as described below. ..
  • the display 2b whose display area tends to be expanded is applied as a vibration device (haptics device).
  • haptics device a vibration device
  • the signal control data storage unit 13 stores signal control data that modulates the second audio signal input to the piezo actuator 4.
  • the signal control data stored in the signal control data storage unit 13 limits, for example, an output level suppression threshold for suppressing the output level of the second audio signal, or a frequency band of the second audio signal. It is a threshold for band limitation for.
  • the signal control data stored in the signal control data storage unit 13 is used for signal control processing by the signal control unit 25, which will be described later.
  • Each block (first signal processing unit 21 to signal control unit 25) constituting the control unit 20 is a functional block indicating the function of the electronic device 1.
  • These functional blocks may be software blocks or hardware blocks.
  • each of the above-mentioned functional blocks may be one software module realized by software (including a microprogram), or may be one circuit block on a semiconductor chip (die).
  • each functional block may be one processor or one integrated circuit.
  • the method of configuring the functional block is arbitrary.
  • the electronic device 1 may be configured in a functional unit different from the above-mentioned functional block.
  • the first generation unit 23 is a PCM (Pulse Code Modulation) voice signal for generating a tone based on an incoming / notifying vibration command on the display 2b based on the vibration pattern data stored in the first tone data storage unit 11. Generate (an example of a control signal for haptics feedback).
  • the first generation unit 23 sends the generated PCM audio signal to the mixing unit M 3 . Further, when the generated PCM audio signal is transmitted to the mixing unit M3 , the first generation unit 23 also transmits the PCM audio signal to the signal control unit 25.
  • PCM Pulse Code Modulation
  • FIG. 9 is a flowchart showing an example of a processing procedure by an electronic device according to the embodiment of the present disclosure. The processing procedure shown in FIG. 9 is repeatedly executed while the electronic device 1 is in operation.
  • the storage device 213 is a device for storing data.
  • the storage device 213 may include a storage medium, a recording device for recording data on the storage medium, a reading device for reading data from the storage medium, a deleting device for deleting data recorded on the storage medium, and the like. Further, the storage device 213 is composed of, for example, an HDD (Hard Disk Drive) or SSD (Solid Storage Drive), or a memory having an equivalent function.
  • the storage device 213 drives the storage and stores programs and various data executed by the CPU 201. For example, the function of the storage unit 10 shown in FIG. 8 is realized by the storage device 213.
  • the electronic device 1 can allocate the output of the low-pitched sound to the display 2b that functions as an audio device. As a result, it is possible to increase the volume of a predetermined sound range, that is, the low range, which is difficult to obtain a predetermined volume in an electronic device for which high-density mounting is required, and to obtain a desired volume. Further, the electronic device 1 causes the display 2b, whose display area tends to be expanded, to function as a vibration device (haptics device). This eliminates the need for an existing vibration device such as a vibrator, and can secure the desired vibration strength while meeting the demand for high-density mounting.
  • haptics device haptics device
  • the signal control unit 25 limits the frequency band of the second audio signal so as to attenuate at least a part of the frequency components included in the second audio signal. As a result, the difference between the vibration corresponding to the low-pitched sound and the vibration corresponding to the feedback to the user can be increased, and the user can clearly perceive the tactile feedback to the user. It is possible to make the user feel the vibration effect of the tics feedback strongly.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

電子機器(1)は、タッチパネルディスプレイ(2)と、スピーカ(3)と、ピエゾアクチュエータ(4)とを備える。スピーカ(3)は、所定の周波数以上の音域に対応する第1の音声信号に基づく音を出力する。ピエゾアクチュエータ(4)は、タッチパネルディスプレイ(2)に設けられ、所定の周波数未満の音域に対応する第2の音声信号、及び予め定められる振動パターンに基づくハプティクスフィードバック用の制御信号のうちの少なくともいずれかに応答して変形し、タッチパネルディスプレイ(2)を加振する。

Description

電子機器
 本開示は、電子機器に関する。
 近年、スマートフォンなどの携帯型の電子機器は、本体の薄型化が進む一方で、ディスプレイの面積を大型化して表示領域を拡大する傾向にあり、高密度実装が求められている。例えば、特許文献1には、振動板を用いて音声出力を行う技術が提案されている。
 また、スマートフォンなどの電子機器には、電子機器を面方向に振動させる振動デバイスを搭載するものがある。振動デバイスによる振動は、着信等のイベント通知や、ユーザのタッチ操作等に応じて実行されるフィードバック等に利用される。
特開2009-219068号公報
 しかしながら、従来の電子機器は、高密度実装が求められる結果、電子機器に搭載されるスピーカに対して十分なスペースを確保することが難しい。このため、ある特定の音域、特に低音域における音量に乏しいという課題がある。
 このような課題に対し、例えば、特許文献1に記載の振動板を用いた音声出力により、ある特定の音域について所望の音量での出力を試みることも考えられる。しかし、特許文献1に記載の技術は振動板の振動が局所的であるので、振動デバイスとしては十分な振動強度を確保できないという課題がある。
 そこで、本開示では、高密度実装の要請に応えつつ、特定の音域において所望の音量を実現するとともに、所望の振動強度を確保できる電子機器を提案する。
 上記の課題を解決するために、本開示に係る一形態の電子機器は、タッチパネルディスプレイと、スピーカと、ピエゾアクチュエータと、信号制御部とを備える。スピーカは、所定の周波数以上の音域に対応する第1の音声信号に基づく音を出力する。ピエゾアクチュエータは、タッチパネルディスプレイに設けられ、所定の周波数未満の音域に対応する第2の音声信号、及び予め定められる振動パターンに基づく制御信号に応答して変形し、タッチパネルディスプレイを加振する。
本開示の実施形態に係る電子機器の外観を示す平面図である。 本開示の実施形態に係る電子機器が備えるディスプレイとピエゾアクチュエータとの位置関係を示す平面図である。 本開示の実施形態に係る情報処理の一例を示す図である。 本開示の実施形態に係る出力音声の周波数特性の一例を示す拡大図である。 本開示の実施形態に係る出力音声の周波数特性の一例を示す拡大図である。 本開示の実施形態に係る信号制御の一例を示す図である。 本開示の実施形態に係る信号制御の一例を示す図である。 本開示の実施形態に係る電子機器の機能構成の一例を示すブロック図である。 本開示の実施形態に係る電子機器による処理手順の一例を示すフローチャートである。 比較例に係る電子機器による再生音の周波数特性の一例を示す図である。 本開示の実施形態に係る電子機器による再生音の周波数特性の一例を示す図である。 本開示の実施形態に係る電子機器による再生音の周波数特性を説明するための図である。 本開示の実施形態に係る電子機器のハードウェア構成例を示すブロック図である。
 以下に、本開示の実施形態について図面に基づいて詳細に説明する。本開示の実施形態は、スマートフォンやタブレット、ノート型のパーソナルコンピュータなどのように、スピーカを備え、オーディオ再生機能を有し、薄型化や小型化などに伴って高密度実装が求められる全ての電子機器に適用できる。
 なお、以下の実施形態において、同一の部位には同一の数字又は符号を付することにより重複する説明を省略する場合がある。また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の数字又は符号の後に異なる数字又は符号を付して区別する場合もある。
 また、以下に示す項目順序に従って本開示を説明する。
  1.本開示の実施形態に係る電子機器の概要
  2.本開示の実施形態に係る電子機器の情報処理の一例
  3.本開示の実施形態に係る電子機器の構成例
  4.本開示の実施形態に係る電子機器の処理手順例
  5.その他
   5-1.再生信号の周波数特性の一例
   5-2.ハードウェア構成例
  6.むすび
<<1.本開示の実施形態に係る電子機器の概要>>
 以下、本開示の実施形態に係る電子機器の概要について説明する。図1は、本開示の実施形態に係る電子機器の外観を示す平面図である。図2は、本開示の実施形態に係る電子機器が備えるディスプレイとピエゾアクチュエータとの位置関係を示す平面図である。
 図1に示すように、本開示の実施形態に係る電子機器1(一例として、スマートフォン)は、略矩形状の筐体1Hを有する。また、図1及び図2に示すように、電子機器1は、タッチパネルディスプレイ2と、スピーカ3(3a,3b)と、ピエゾアクチュエータ4とを有する。
 電子機器1は、筐体1Hの正面(フロントフェイス)にタッチパネルディスプレイ2を有する。タッチパネルディスプレイ2は、タッチパネル2a及びディスプレイ2bを有する。
 タッチパネル2aは、タッチパネル2aに対する指、ペン、又はスタイラスペン等の接触を検出する。ディスプレイ2bは、文字、画像、記号、及び図形等を表示する。ディスプレイ2bは、表面SFと、表面SFに対向する裏面SFとを有する。ディスプレイ2bの表面SFは、ディスプレイ2bの表示面側に相当し、例えば、筐体1Hの外側に向けて露出する。ディスプレイ2bの裏面SFは、筐体1Hの外部に露出することなく、筐体1Hの内部に収容される。ディスプレイ2bは、加振により振動する振動体として機能する。
 スピーカ3は、例えば筐体1Hに設けられるステレオスピーカであり、各種音源の音声信号に基づく音を出力する。各種音源の音声信号から抽出される中音域及び高音域に対応する第1の音声信号に基づく音を出力する。中音域及び高音域の音としては、例えば、800Hz(ヘルツ)以上の音域の音が例示される。
 ピエゾアクチュエータ4は、振動体であるディスプレイ2bに設けられ、低音域に対応する第2の音声信号、及び予め定められた振動パターンに基づくハプティクスフィードバック用の制御信号に応答して変形し、ディスプレイ2bを加振する。例えば、ピエゾアクチュエータ4は、筐体1Hの表裏方向に変形するように配置される。ピエゾアクチュエータ4は、低音域の音を出力する音響装置、及び振動によりユーザの操作に対して触覚的な刺激(打感等)をフィードバックする振動装置(ハプティクス(Haptics)装置)として、振動体であるディスプレイ2bを機能させる。低音域の音としては、例えば、800Hz(ヘルツ)未満の音域の音が例示される。
 図2に示すように、ピエゾアクチュエータ4は、貼付等により、ディスプレイ2bの振動が最も大きくなる位置(例えば、ディスプレイ2bの中央付近)に設けられる。これにより、ピエゾアクチュエータ4の変形により生み出される振動が効率的にディスプレイ2bに伝搬される。
<<2.本開示の実施形態に係る電子機器の情報処理の一例>>
 以下、本開示の実施形態に係る電子機器の情報処理の一例について説明する。図3は、本開示の実施形態に係る情報処理の一例を示す図である。図4及び図5は、本開示の実施形態に係る出力音声の周波数特性の一例を示す拡大図である。図6及び図7は、本開示の実施形態に係る信号制御の一例を示す図である。
 高密度実装が求められる電子機器においては、スピーカのサイズも小型化せざるを得ず、ある特定の音域(特に低音域)について所望の音量を得ることが難しい。一方で、電子機器のディスプレイの表示領域が拡大傾向にある。そこで、本開示の実施形態に係る電子機器1は、所定の周波数以上の中・高音域の音の出力をスピーカ3に割り当て、所定の周波数未満の低音域の音の出力を音響装置として機能するディスプレイ2bに割り当てる。これにより、高密度実装が求められる電子機器において所定の音量を得ることが困難であった特定の音域、すなわち低音域について所望の音量を得ることができる。
 図3に示すように、電子機器1は、メディア音声、効果音信号、及び着信・通知音等の各種音源に基づく音声信号から、所定の周波数以上の中音域及び高音域(以下、「中・高音域」と記載する)に対応する第1の音声信号を抽出する(P3-1)。所定の周波数以上の中・高音域として、例えば、800Hz(ヘルツ)以上の音域を例示できる。
 メディア音声は、音楽や動画等のマルチメディアコンテンツの音声である。効果音は、電子機器1のユーザの操作に連動して再生されるシステム音である。着信・通知音は、電子機器1において発生した着信やメール受信等のイベント、アプリケーションのプッシュ通知等をユーザに通知するための音である。
 本開示の実施形態に係る電子機器1は、第1の音声信号を抽出する場合、スピーカ3が可聴音として再現可能な音域(800Hz未満の音域)の一部を削る。これにより、スピーカ3に出力を割り当てる音域を、できるだけスピーカ3の性能を活かすことが高音域側に調整する。なお、スピーカ3により再生可能な音域から削られた音域の一部は、後述するディスプレイ2bからの出力で補完される。
 図3及び図4に示す曲線Fは、第1の音声信号(スピーカ3から出力される中・高音域の音)の周波数特性を例示するものである。図4に示すように、第1の音声信号に含まれる周波数成分は、最大の振幅「Y」を有するピーク周波数を含め、その大部分が周波数「X11」~周波数「X12」の範囲に含まれる。メディア音声、効果音信号、及び着信・通知音等の各種音源に基づく音声信号のうち、例えば、800Hz以上の音声信号がスピーカ3から出力される。
 抽出された第1の音声信号は、変換部31による所定の変換、及び増幅部32による所定の増幅を経て、スピーカ3に入力される。スピーカ3は、中・高音域に対応する第1の音声信号に基づく音等を出力する。
 また、電子機器1は、メディア音声、効果音信号、及び着信・通知音等の各種音源に基づく音声信号から、所定の周波数未満の低音域に対応する第2の音声信号を抽出する(P3-2)。所定の周波数未満の低音域として、ある下限となる周波数から800Hz未満の音域を例示できる。
 電子機器1は、低音域の下限(図5に示す周波数「X21」)として、可聴音のうち、ユーザがディスプレイ2bに頭部を近づけない限り、音として聞き取ることができない周波数を採用する。低音域の下限を規定する周波数は、例えば、100~200Hzの範囲から採用できる。なお、この周波数帯の振動は、触覚による認識が可能である。
 図3及び図5に示す曲線Fは、第2の音声信号(低音域の音)の周波数特性を例示するものである。より具体的には、第2の音声信号が増幅部34から出力される際の出力信号の特性を示すものである。第2の音声信号に基づいて出力される低音域の音は、ディスプレイ2bの振動によって再現される。
 図5に示すように、第2の音声信号に含まれる周波数成分は、最大の振幅「Y」を有するピーク周波数を含め、その大部分が周波数「X21」~周波数「X22」の範囲に含まれる。なお、この周波数「X21」~周波数「X22」の範囲は、前述した中・高音域の周波数「X11」~周波数「X12」の範囲と一部重複するように設定される。これにより、再生音の周波数成分の欠落を防止できる。
 抽出された第2の音声信号は、変換部33による所定の変換、及び増幅部34による所定の増幅を経て、ピエゾアクチュエータ4に入力される。ピエゾアクチュエータ4は、低音域に対応する第2の音声信号に応答して変形し、ディスプレイ2bを加振する。ディスプレイ2bは、ピエゾアクチュエータ4の変形に応じて振動し、低音域の音に対応する第2の音声信号に基づく音を出力する。
 また、本開示の実施形態に係る電子機器1は、ディスプレイ2bの表示領域が拡大傾向にある点に着目し、ディスプレイ2bを振動装置(ハプティクス装置)として応用する。これにより、振動デバイスとして従来利用されているバイブレータ等が不要となり、高密度実装の要請に応えることができる。また、電子機器1は、ディスプレイ2bの表示領域の拡大に伴って、従来のディスプレイを振動デバイスとして機能させるよりも振動時の振幅を大きくでき、所望の振動強度の確保も可能となる。
 図3に示すように、電子機器1は、着信・通知振動命令に従って予め定められる振動パターンに基づくトーンを発生させる(P3-3)。具体的には、電子機器1は、第1トーンデータを参照してディスプレイ2bの振動パターンを決定し、決定した振動パターンに基づくハプティクスフィードバック用の制御信号をピエゾアクチュエータ4に入力する。ピエゾアクチュエータ4は、入力されるハプティクスフィードバック用の制御信号に応答して変形し、ディスプレイ2bを加振する。ディスプレイ2bは、振動パターンに応じて振動し、振動パターンに対応するトーンを再現する。
 また、電子機器1は、タッチフィードバック命令に従って予め定められる振動パターンに基づくトーンを発生させる(P3-4)。これにより、ユーザの操作に対して触覚的な刺激(打感等)をフィードバックするための振動がディスプレイ2bから発生される。具体的な処理の内容は、着信・通知振動命令に基づいたトーン発生の場合と同様である。
 図3及び図5に示す曲線Fは、第2の音声信号とピエゾアクチュエータ4を駆動させるハプティクスフィードバック用の制御信号とを混合した合成信号の周波数特性を例示するものである。より具体的には、第2の音声信号と、ハプティクスフィードバック用の制御信号とを混合した合成信号が増幅部34から出力される際の出力信号の特性を示すものである。曲線Fに示すように、合成信号の周波数特性は、第2の音声信号の周波数特性とは異なる特徴を有する。
 具体的には、合成信号は、第2の音声信号の周波数成分が余り含まれない低周波数帯に最大の振幅「Y」を有するピーク周波数を有している。電子機器1において、合成信号のピーク周波数が、第2の音声信号の周波数成分が含まれる周波数帯の下限(図5に示す周波数「X21」)よりも小さい周波数となるように事前調整される。合成信号のピーク周波数の調整を行うための周波数帯(周波数「X31」~周波数「X21」の範囲)として、例えば、100~200Hzの範囲が採用される。100~200Hzの振動は、音としての聞き取りが困難である一方で、触覚による認識は可能である。つまり、合成信号のピーク周波数が、音としての聞き取りは困難であるが、触覚による認識は容易な周波数帯にくるように調整される。電子機器1において、例えば、第2の音声信号(低音域の音)の周波数成分が含まれる周波数帯の下限として150Hzが採用される場合、100以上150Hz未満の範囲で、合成信号のピーク周波数の調整が行われる。
 また、合成信号に基づいてディスプレイ2bにより再現される振動は、第2の音声信号に基づいてディスプレイ2bにより再現される振動よりも、周波数「X31」~周波数「X32」の範囲の振幅が小さい。つまり、合成信号に基づいてディスプレイ2bにより再現されるときの低音域の音は、第2の音声信号に基づいてディスプレイ2bにより再現されるときの低音域の音よりも小さくなる。
 また、電子機器1は、前述の合成信号をピエゾアクチュエータ4に入力する場合、第2の音声信号に基づくディスプレイ2bの振動よりも、ハプティクスフィードバック用の制御信号に基づくディスプレイ2bの振動が優先されるように、第2の音声信号を変調する信号制御を行う(P3-5)。
 第2の音声信号を変調する信号制御は、以下に説明するように、第2の音声信号の出力レベルの抑圧、又は第2の音声信号の帯域制限のうちの少なくともいずれか一方により実行される。
 第2の音声信号の出力レベルの抑圧を行う場合、電子機器1は、第2の音声信号の振幅がハプティクスフィードバック用の制御信号の振幅よりも小さくなるように、第2の音声信号の出力レベルを抑圧する。具体的には、図6の矢印Aに示すように、電子機器1は、第2の音声信号に対応する曲線Fの最大の振幅「Y」が、ハプティクスフィードバック用の制御信号に対応する曲線Fの最大の振幅「Y」よりも小さくなるように、第2の音声信号の出力レベルを抑圧する。
 また、第2の音声信号の帯域制限を行う場合、電子機器1は、第2の音声信号に含まれる周波数成分のうち低周波数側を減衰させるように、第2の音声信号の帯域を制限する。具体的には、図7の矢印Aで示すように、電子機器1は、第2の音声信号の周波数帯の下限の周波数「X21」を高周波数側にシフトすることより、第2の音声信号の周波数帯を周波数「X23」~周波数「X24」の範囲に制限する。また、電子機器1は、図6に示す第2の音声信号の出力レベルの抑圧、又は図7に示す第2の音声信号の帯域制限の双方を実行してもよい。
 上述してきたように、本開示の実施形態に係る電子機器1は、低音域の音の出力を音響装置として機能するディスプレイ2bに割り当てる。これにより、高密度実装が求められる電子機器において所定の音量を得ることが困難であった特定の音域、すなわち低音域の音量を大きくでき、所望の音量を得ることができる。
 また、本開示の実施形態に係る電子機器1は、表示領域が拡大傾向にあるディスプレイ2bを振動装置(ハプティクス装置)として応用する。これにより、バイブレータなどの既存の振動装置が不要となり、高密度実装の要望に応えつつ、所望の振動強度を確保できる。
 このようにして、本開示の実施形態に係る電子機器1は、高密度実装の要請に応えつつ、特定の音域において所望の音量を実現するとともに、所望の振動強度を確保できる。
 また、本開示の実施形態に係る電子機器1は、第2の音声信号とハプティクスフィードバック用の制御信号とを混合した合成信号をピエゾアクチュエータ4に入力する場合、第2の音声信号に基づくディスプレイ2bの振動よりも、ハプティクスフィードバック用の制御信号に基づくディスプレイ2bの振動が優先されるように、第2の音声信号を変調する。これにより、振動による触覚的なユーザへのフィードバック等の出力が低音域の音の出力に埋もれてしまうことを防止でき、ディスプレイ2bの振動をユーザに明確に知覚させ、ハプティクスフィードバックの振動効果をユーザに強く感じさせるという目的を達成できる。
<<3.本開示の実施形態に係る電子機器の構成例>>
 以下、本開示の実施形態に係る電子機器の構成例を説明する。図8は、本開示の実施形態に係る電子機器の機能構成の一例を示すブロック図である。
 図8に示すように、電子機器1は、タッチパネルディスプレイ2と、スピーカ3と、ピエゾアクチュエータ4と、記憶部10と、制御部20と、変換部31と、増幅部32と、変換部33と、増幅部34とを有する。電子機器1は、これらの各部により、以下に説明する電子機器1の機能や作用を実現または実行する。
 タッチパネルディスプレイ2は、タッチパネル2aと、ディスプレイ2bとを有し、ユーザによる操作を受け付ける操作デバイス、及び各種情報等と表示する表示デバイスとして機能する。
 タッチパネル2aは、指、ペン、又はスタイラスペン等がタッチパネル2aに接触した位置を検出できる。タッチパネル2aは、タッチパネル2aに対する接触を検出すると、接触の検出位置を制御部20に通知する。タッチパネル2aの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式(又は超音波方式)、赤外線方式、電磁誘導方式、及び荷重検出方式等の任意の方式でよい。
 ディスプレイ2bは、有機又は無機のELパネル(Electro-Luminescence panel)等を備え、文字、画像、記号、図形、及び各種情報等を表示する。なお、ディスプレイ2bは、振動可能であれば、ELパネル以外の表示デバイスで実装されてもよい。ディスプレイ2bの裏面SF(図2等参照)には、貼付等により、ピエゾアクチュエータ4が設けられる。ディスプレイ2bは、ピエゾアクチュエータ4により加振されることにより振動する振動体として機能する。
 スピーカ3は、第1スピーカ3aと第2スピーカ3bとを備え、各種音源の音声信号から抽出される中音域及び高音域の第1の音声信号に基づく音を出力する。
 ピエゾアクチュエータ4は、低音域に対応する第2の音声信号及び予め定められるハプティクスフィードバック用の制御信号に応じて変形し、ディスプレイ2bを加振する。ピエゾアクチュエータ4は、圧電素子を備える。ピエゾアクチュエータ4が備える圧電素子は、経時的な所定の信号(交番信号等)により平面方向に連続的に変形(伸び縮み)する。圧電素子の連続的な変形がディスプレイ2bに伝搬されることにより、ディスプレイ2bを振動させる。ピエゾアクチュエータ4は、低音域の音を出力する音響装置(ウーハー)として、振動体であるディスプレイ2bを機能させる。また、ピエゾアクチュエータ4は、振動によりユーザの操作に対して触覚的な刺激(打感等)をフィードバックする振動装置(ハプティクス装置)として振動体であるディスプレイ2bを機能させる。
 ピエゾアクチュエータ4は、貼付等により、ディスプレイ2bの裏面SF(図2等参照)に設けられる。ピエゾアクチュエータ4は、ディスプレイ2bの振動が最も大きくなる位置、例えば、ディスプレイ2bの裏面SFの中央付近に設けられる。ピエゾアクチュエータ4は、ディスプレイ2bを音響装置(ウーハー)として機能させる場合、スピーカ3との位置関係をさらに加味して設置してもよい。
 記憶部10は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部10は、制御部20の記憶手段として機能する。
 記憶部10は、図8に示すように、第1トーンデータ格納部11と、第2トーンデータ格納部12と、信号制御用データ格納部13とを有する。
 第1トーンデータ格納部11は、着信・通知振動命令に基づく振動を再現するためにプリセットされる振動パターンのデータを記憶する。第1トーンデータ格納部11に記憶される振動パターンのデータは、後述する第1発生部23において、振動パターンに対応するハプティクスフィードバック用の制御信号を生成する処理に用いられる。着信・通知振動命令に基づく振動を再現するための振動パターンは、周波数が100~200Hzの間にピーク周波数を有するように事前調整される。第1トーンデータ格納部11に記憶される振動パターンは、後述する第2トーンデータ格納部12とは異なる振動パターンを有する。
 第2トーンデータ格納部12は、タッチフィードバック命令に基づく振動を再現するためにプリセットされる振動パターンのデータを記憶する。第2トーンデータ格納部12に記憶される振動パターンのデータは、後述する第2発生部24において、振動パターンに対応するハプティクスフィードバック用の制御信号を生成する処理に用いられる。タッチフィードバック命令に基づく振動を再現するための振動パターンは、周波数が100~200Hzの間にピーク周波数を有するように事前調整される。第2トーンデータ格納部12に記憶される振動パターンは、前述した第1トーンデータ格納部11とは異なる振動パターンを有する。
 信号制御用データ格納部13は、ピエゾアクチュエータ4に入力される第2の音声信号を変調する信号制御用のデータを記憶する。信号制御用データ格納部13に記憶される信号制御用のデータは、例えば、第2音声信号の出力レベルを抑圧するための出力レベル抑圧用の閾値、又は第2音声信号の周波数帯域を制限するための帯域制限用の閾値である。信号制御用データ格納部13に記憶される信号制御用のデータは、後述する信号制御部25による信号制御処理に用いられる。
 混合部M及び混合部Mは、それぞれ、別の入力系統として設けられる。混合部Mは、メディア音声、効果音信号、及び着信・通知音等の各種音源に基づく音声信号を適宜混合し、第1信号処理部21に送出する。また、混合部Mは、メディア音声、効果音信号、及び着信・通知音等の各種音源に基づく音声信号を適宜混合し、第2信号処理部22に送出する。混合部Mは、第2信号処理部22から入力される第2音声信号及び第1発生部23又は第2発生部24から入力されるハプティクスフィードバック用の制御信号を適宜混合し、変換部33に送出する。
 制御部20は、図8に示すように、第1信号処理部21と、第2信号処理部22と、第1発生部23と、第2発生部24と、信号制御部25とを有する。制御部20は、これらの各部により、以下に説明する電子機器1の機能や作用を実現または実行する。
 なお、制御部20を構成する各ブロック(第1信号処理部21~信号制御部25)はそれぞれ電子機器1の機能を示す機能ブロックである。これら機能ブロックはソフトウェアブロックであってもよいし、ハードウェアブロックであってもよい。例えば、上述の機能ブロックが、それぞれ、ソフトウェア(マイクロプログラムを含む。)で実現される1つのソフトウェアモジュールであってもよいし、半導体チップ(ダイ)上の1つの回路ブロックであってもよい。勿論、各機能ブロックがそれぞれ1つのプロセッサ又は1つの集積回路であってもよい。機能ブロックの構成方法は任意である。なお、電子機器1は、上述の機能ブロックとは異なる機能単位で構成されていてもよい。
 第1信号処理部21は、混合部Mから入力される入力音声信号から、所定の周波数以上の中・高音域に対応する第1の音声信号を抽出する。例えば、第1信号処理部21は、ハイパスフィルタなどを用いたフィルタリング処理等により、入力音声信号から低周波数成分をカットする。これにより、第1信号処理部21は、入力音声信号から中・高音域に対応する第1の音声信号を抽出する。第1信号処理部21は、抽出した第1の音声信号を変換部31に送出する。中・高音域としては、例えば、800Hz(ヘルツ)以上の音域が例示される。
 従来、スピーカから出力される音声信号のうち、スピーカでは十分に再現できずに熱損失として消失してしまう低音域の音声信号のカットは行われている。一方、本開示の実施形態に係る電子機器1では、スピーカ3に入力する音声信号のうち、熱損失となる部分のみならず、再生可能な音域の一部をカットし、低音域の出力を割り当てたディスプレイ2bにより補完する。これにより、中・高音域の再生に優れたスピーカ3の性能を十分に活かすことができ、電子機器1により再生される音量及び音質の向上を図ることができる。
 第2信号処理部22は、混合部Mから入力される入力音声信号から、低音域に対応する第2の音声信号を抽出する。例えば、第2信号処理部22は、ローパスフィルタなどを用いたフィルタリング処理等により、入力音声信号から高周波数成分をカットする。これにより、第2信号処理部22は、入力音声信号から低音域に対応する第2の音声信号を抽出する。第2信号処理部22は、抽出した第2の音声信号を変換部33に送出する。低音域としては、例えば、200Hz以上800Hz未満の音域が例示される。なお、低音域の下限は、100~200Hzの間で任意に決定できる。
 また、第2信号処理部22は、信号制御部25から第2の音声信号の変調命令を取得した場合、この変調命令に基づいて、第2の音声信号を変調した後、変調後の音声信号を、変換部33に送出する。第2信号処理部22は、変調命令として、第2の音声信号の出力レベルの抑圧度合いを取得した場合、この度合いに基づいて、例えば、第2の音声信号の振幅がPCM音声信号の振幅よりも小さくなるように第2の音声信号の出力レベルを抑圧する。また、第2信号処理部22は、変調命令として、第2の音声信号の帯域制限の制限度合いを取得した場合、この度合いに基づいて、例えば、第2の音声信号に含まれる周波数成分のうち低周波数側を減衰させるように、第2の音声信号の帯域を制限する。第2信号処理部22は、例えば、バントパスフィルタなどを用いたフィルタリング処理等により、第2の音声信号の周波数成分が含まれる帯域の一部を制限する。
 第1発生部23は、第1トーンデータ格納部11に記憶される振動パターンのデータに基づいて、着信・通知振動命令に基づくトーンをディスプレイ2bに発生させるためのPCM(Pulse Code Modulation)音声信号(ハプティクスフィードバック用の制御信号の一例)を生成する。第1発生部23は、生成したPCM音声信号を混合部Mに送出する。また、第1発生部23は、生成したPCM音声信号を混合部Mに送出する際、信号制御部25にもPCM音声信号を送出する。
 第2発生部24は、第2トーンデータ格納部12に記憶される振動パターンのデータに基づいて、タッチフィードバック命令に基づくトーンをディスプレイ2bに発生させるためのPCM音声信号(ハプティクスフィードバック用の制御信号の一例)を生成する。第2発生部24は、生成したPCM音声信号を混合部Mに送出する。
 信号制御部25は、第2の音声信号とPCM音声信号とを混合してピエゾアクチュエータ4に入力する場合、第2の音声信号に応じたディスプレイ2bの振動よりも、PCM音声信号に応じたディスプレイ2bの振動が優先されるように、第2の音声信号を変調する。
 具体的には、信号制御部25は、第1発生部23又は第2発生部24からPCM音声信号を取得すると、信号制御用データ格納部13に記憶されている信号制御用の閾値を参照し、第2の音声信号の出力レベルの抑圧度合いを決定する。例えば、第2の音声信号の抑圧度合いとしては、少なくとも、第2の音声信号の振幅がPCM音声信号の振幅よりも小さくすることが望ましい。信号制御部25は、決定した第2の音声信号の抑圧度合いを示す変調命令を第2信号処理部22に送出する。
 また、信号制御部25は、第2の音声信号に応じたディスプレイ2bの振動よりもPCM音声信号に応じたディスプレイ2bの振動が優先されるように、第2の音声信号の周波数帯域を制限してもよい。例えば、信号制御部25は、第2の音声信号に含まれる周波数成分の少なくとも一部を減衰させるように、第2の音声信号の周波数帯域の制限度合いを決定する。信号制御部25は、決定した帯域制限の制限度合いを示す変調命令を第2信号処理部22に送出する。なお、信号制御部25は、第2の音声信号の出力レベルの抑圧と、帯域制限とを合わせて実行してもよい。
 なお、信号制御部25は、第2の音声信号の出力レベルの抑圧、又は第2の音声信号の帯域制限以外の方法より、第2の音声信号よりもPCM音声信号(ハプティクスフィードバック用の制御信号の一例)が優先されるように制御してもよい。具体的には、電子機器1は、第2の音声信号の再生時間よりも、ハプティクスフィードバック用の制御信号の再生時間を長くする。これにより、ハプティクスフィードバックの振動効果をユーザに強く感じさせるという目的を達成できる。
 なお、電子機器1により再生可能な音域及び音量は、ディスプレイ2bの面積及び剛性等により変化する。一般に、ディスプレイ2bの面積が大きく、剛性が低いほど、設置されるピエゾアクチュエータ4の変形による振幅が大きくなり、電子機器1により再生可能な低音域が広がり、音量も大きくなる。このため、電子機器1は、ディスプレイ2bの面積及び剛性等に応じて、ディスプレイ2bにより再現する低音域の範囲や振動の範囲を任意に変更してもよい。
 変換部31は、第1信号処理部21から取得する第1の音声信号を変換し、増幅部32に送出する。増幅部32は、変換部31から取得する第1の音声信号を増幅し、スピーカ3に送出する。変換部31は、DAC(Digital Analogue Converter)等により実現でき、増幅部32は、アンプ等により実現できる。
 変換部33は、混合部Mから取得する信号を変換し、増幅部34に送出する。増幅部34は、変換部33から取得した信号を増幅し、ピエゾアクチュエータ4に送出する。増幅部34からピエゾアクチュエータ4に送出される信号は、第2の音声信号、PCM音声信号、又は第2の音声信号とPCM音声信号とが混合された合成信号の場合が想定される。変換部33は、DAC(Digital Analogue Converter)等により実現でき、増幅部34は、アンプ等により実現できる。
<<4.本開示の実施形態に係る電子機器の処理手順例>>
 以下、本開示の実施形態に係る電子機器1の処理手順について説明する。図9は、本開示の実施形態に係る電子機器による処理手順の一例を示すフローチャートである。図9に示す処理手順は、電子機器1の稼働中、繰り返し実行される。
 図9に示すように、信号制御部25は、第1発生部23又は第2発生部24から、PCM音声信号を取得する(ステップS101)。
 信号制御部25は、信号制御用データ格納部13に記憶されている信号制御用のデータを参照し、第2の音声信号の出力レベルの抑圧度合いを決定する(ステップS102)。
 信号制御部25は、決定した抑圧度合いを示す変調命令を第2信号処理部22に送出し(ステップS103)、上記ステップS101の処理手順に戻る。
 図9に示す処理手順によれば、第2の音声信号とPCM音声信号とを混合してピエゾアクチュエータ4に入力する場合、信号制御部25は、第2の音声信号に応じたディスプレイ2bの振動よりも、PCM音声信号に応じたディスプレイ2bの振動が優先されるように、第2の音声信号を変調できる。これにより、PCM音声信号に応じたディスプレイ2bの振動をユーザに明確に知覚させることができ、ハプティクスフィードバックの振動効果をユーザに強く感じさせるという目的を達成できる。
<<5.その他>>
<5-1.本開示の再生信号の周波数特性の一例>
 以下、本開示の実施形態に係る電子機器1による再生音と、比較例に係る従来の電子機器による再生音との比較結果について説明する。図10は、比較例に係る電子機器による再生音の周波数特性の一例を示す図である。図11は、本開示の実施形態に係る電子機器による再生音の周波数特性の一例を示す図である。図12は、本開示の実施形態に係る電子機器による再生音の周波数特性を説明するための図である。
 図10に示すように、比較例に係る電子機器により再生音は、800Hz(ヘルツ)未満の低音域の出力が弱い(音量が小さい)。一方、図11に示すように、本開示の実施形態に係る電子機器1による再生音は、比較例に係る電子機器によりも、800Hz(ヘルツ)未満の低音域の出力が強い(音量が大きい)。すなわち、図12に示すように、本開示の実施形態に係る電子機器1による再生音は、比較例に係る電子機器によりも、800Hz(ヘルツ)未満の各周波数成分の音量を12.5~25dB(デシベル)程度、大きくすることができる。
 本開示の電子機器1が有するピエゾアクチュエータ4は、中・高音域の音を出力する音響装置としてディスプレイ2bを機能させることもできる。しかしならが、中・高音域の音は、該当音の出力が割り当てられたスピーカ3により十分な音量が得られる。そこで、ピエゾアクチュエータ4は、低音域の音を出力する音響装置としてのみディスプレイ2bを機能させる。このようにして、本開示の実施形態に係る電子機器1は、高密度実装が求められる従来の電子機器において所定の音量を得ることが困難であった所定の音域、例えば800Hz(ヘルツ)未満の低音域の音量を底上げでき、迫力ある音声再生を実現できる。
 また、図8及び図9等を用いて上述したように、電子機器1は、低音域に対応する第2の音声信号と、予め定められる振動パターンに基づくPCM音声信号(ハプティクスフィードバック用の制御信号の一例)とを混合してピエゾアクチュエータ4に入力する場合、第2の音声信号に応じたディスプレイ2bの振動よりも、PCM音声信号に応じたディスプレイ2bの振動が優先されるように、第2の音声信号を変調する信号制御を実行する。これにより、PCM音声信号に応じたディスプレイ2bの振動をユーザに明確に知覚させることが可能となる。
<5-2.ハードウェア構成例>
 以下、図13を用いて、本開示の実施形態に係る電子機器1のハードウェア構成例について説明する。図13は、本開示の実施形態に係る電子機器のハードウェア構成例を示すブロック図である。本開示の実施形態に係る電子機器1による情報処理は、電子機器1による情報処理を実現するための機能を提供するソフトウェアと、以下に説明するハードウェアとの協働により実現され得る。
 電子機器1は、CPU(Central Processing Unit)201、ROM(Read Only Memory)203、及びRAM(Random Access Memory)205を備える。また、電子機器1は、入力装置207、出力装置209、振動装置211、ストレージ装置213、及び通信装置215を備える。
 CPU201は、演算処理装置及び制御装置として機能し、各種プログラムに従って電子機器1における動作全般を制御する。なお、CPU201は、電子機器1に搭載される制御装置の一例であり、MPU(Micro Processing Unit)などの他のプロセッサであってもよい。
 ROM203は、CPU201が使用するプログラムや演算パラメータ等を記憶する。RAM205は、CPU201の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバスにより相互に接続されている。CPU201、ROM203及びRAM205は、例えば、図8等を用いて説明した制御部20が有する各部(第1信号処理部21~信号制御部25)の機能を実現し得る。
 入力装置207は、ボタン、カメラ、マイクロフォン、センサ、スイッチ及びレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU201に出力する入力制御回路などから構成されている。例えば、図8に示すタッチパネル2aは、入力装置207の一部を構成する。
 出力装置209は、例えば、CRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)、又は有機ELディスプレイ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置により実現できる。例えば、図8に示すディスプレイ2bは、出力装置209の一部を構成する。
 振動装置211は、CPU201からのハプティクスフィードバック用の制御信号に従って振動を生成する装置である。例えば、図8に示すピエゾアクチュエータ4は、振動装置211の一部を構成する。
 ストレージ装置213は、データ格納用の装置である。ストレージ装置213は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。また、ストレージ装置213は、例えば、HDD(Hard Disk Drive)またはSSD(Solid Storage Drive)、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置213は、ストレージを駆動し、CPU201が実行するプログラムや各種データを格納する。例えば、図8に示す記憶部10の機能は、ストレージ装置213により実現される。
 通信装置215は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。かかる通信インタフェースは、例えば、Bluetooth(登録商標)またはZigBee(登録商標)等の近距離無線通信インタフェースや、無線LAN(Local Area Network)、Wi-Fi、または携帯通信網等の通信インタフェースである。携帯通信網には、LTE(Long Term Evolution)や4G、5Gなどが含まれる。また、通信装置215は、有線による通信を行う有線通信装置であってもよい。
<<6.むすび>>
 本開示の実施形態に係る電子機器1は、ディスプレイ2b(振動体の一例)と、スピーカ3と、ピエゾアクチュエータ4と、信号制御部25とを備える。スピーカ3は、中音域及び高音域に対応する第1の音声信号に基づく音を出力する。ピエゾアクチュエータ4は、ディスプレイ2bに設けられ、低音域に対応する第2の音声信号、又は予め定められる振動パターンに基づくPCM音声信号(ハプティクスフィードバック用の制御信号の一例)に応答して変形し、ディスプレイ2bを加振する。
 このように、電子機器1は、上述した構成を備えることにより、低音域の音の出力を音響装置として機能するディスプレイ2bに割り当てることができる。これにより、高密度実装が求められる電子機器において所定の音量を得ることが困難であった所定の音域、すなわち低音域の音量を大きくでき、所望の音量を得ることができる。また、電子機器1は、表示領域が拡大傾向にあるディスプレイ2bを振動装置(ハプティクス装置)として機能させる。これにより、バイブレータなどの既存の振動装置が不要となり、高密度実装の要望に応えつつ、所望の振動強度を確保できる。
 また、電子機器1は、第2の音声信号とPCM音声信号とを混合してピエゾアクチュエータ4に入力する場合、第2の音声信号に応じたディスプレイ2bの振動よりも、PCM音声信号に応じたディスプレイ2bの振動が優先されるように、第2の音声信号を変調する信号制御部25をさらに備える。これにより、ディスプレイ2bと音響装置及び振動装置(ハプティクス装置)として機能させる場合に、低音域の音の出力に、振動による触覚的なユーザへのフィードバック等の出力が埋もれてしまうことを防止でき、ディスプレイ2bの振動をユーザに明確に知覚させることができる結果、ハプティクスフィードバックの振動効果をユーザに強く感じさせることが可能となる。
 また、信号制御部25は、第2の音声信号の振幅がPCM音声信号の振幅よりも小さくなるように、第2の音声信号の出力レベルを抑圧する。これにより、低音域の音に対応する振動と、ユーザへのフィードバック等に対応する振動との差分を大きくでき、触覚的なユーザへのフィードバック等をユーザに明確に知覚させることができる結果、ハプティクスフィードバックの振動効果をユーザに強く感じさせることが可能となる。
 また、信号制御部25は、第2の音声信号に含まれる周波数成分の少なくとも一部を減衰させるように、第2の音声信号の周波数帯域を制限する。これにより、低音域の音に対応する振動と、ユーザへのフィードバック等に対応する振動との差分を大きくでき、触覚的なユーザへのフィードバック等をユーザに明確に知覚させることができる結果、ハプティクスフィードバックの振動効果をユーザに強く感じさせることが可能となる。
 また、信号制御部25は、第2の音声信号の振幅がPCM音声信号の振幅よりも小さくなるように、第2の音声信号の出力レベルを抑圧するとともに、第2の音声信号のうち低周波数側を減衰させるように、第2の音声信号の帯域を制限する。これにより、低音域の音に対応する振動と、ユーザへのフィードバック等に対応する振動との差分をより大きくでき、触覚的なユーザへのフィードバック等をユーザにより明確に知覚させることができる。
 また、信号制御部25は、第2の音声信号の再生時間よりも、PCM音声信号の再生時間を長くする。これにより、ハプティクスフィードバックの振動効果をユーザに強く感じさせることが可能となる。
 また、電子機器1において、ディスプレイ2bを振動体として機能させ、ピエゾアクチュエータ4は、ディスプレイ2bの表面SF対向する裏面SFに設けられる。これにより、ディスプレイ2bの表示装置として機能を阻害することなく、振動装置として機能させることができる。
 また、ピエゾアクチュエータ4は、ディスプレイ2bの振動が最も大きくなる位置に設けられる。これにより、ディスプレイ2bの振動効率を高めることができる。
 また、ピエゾアクチュエータ4は、ディスプレイ2bの裏面SFの中央付近に設けられる。これにより、ピエゾアクチュエータ4による振動をディスプレイ2bに効率的に伝搬できる。
 また、ピエゾアクチュエータ4は、タッチパネル2aに設けてもよい。例えば、タッチパネル2aがディスプレイ2bに重畳されている場合、ディスプレイ2bではなく、タッチパネル2aにピエゾアクチュエータ4を設けてもよい。これにより、ディスプレイ2bにピエゾアクチュエータ4を設けるよりも、ユーザフィードバックをユーザに感じさせやすくできる。
 以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
 例えば、上記の実施形態において、ピエゾアクチュエータ4は、ディスプレイ2bを音響装置として機能させるとともに、振動装置(ハプティクス装置)として応用可能である限り、複数に分割されていてもよい。
 例えば、上記の実施形態において、電子機器1は、ディスプレイ2bではなく、タッチパネル2aにピエゾアクチュエータ4を設けてもよい。タッチパネル2aがディスプレイ2bに重畳される場合、触覚的なユーザへのフィードバック等をユーザに知覚させやすくする上で、ディスプレイ2bよりもタッチパネル2aにピエゾアクチュエータ4を設ける方が有益である。なお、タッチパネル2aにピエゾアクチュエータ4を設ける場合、タッチパネル2aの振動が最も大きくなる位置に、ピエゾアクチュエータ4を設けることが望ましい。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示の技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者にとって明らかな他の効果を奏しうる。
 なお、本開示の技術は、本開示の技術的範囲に属するものとして、以下のような構成もとることができる。
(1)
 タッチパネルディスプレイと、
 所定の周波数以上の音域に対応する第1の音声信号に基づく音を出力するスピーカと、
 前記タッチパネルディスプレイに設けられ、前記所定の周波数未満の音域に対応する第2の音声信号、及び予め定められる振動パターンに基づくハプティクスフィードバック用の制御信号に応答して変形し、前記タッチパネルディスプレイを加振するピエゾアクチュエータと
 を備える電子機器。
(2)
 前記第2の音声信号と前記制御信号とを混合した合成信号を前記ピエゾアクチュエータに入力する場合、前記第2の音声信号に基づく前記タッチパネルディスプレイの振動よりも、前記制御信号に基づく前記タッチパネルディスプレイの振動が優先されるように、前記第2の音声信号を変調する信号制御部
 をさらに備える前記(1)に記載の電子機器。
(3)
 前記信号制御部は、
 前記第2の音声信号の振幅が前記制御信号の振幅よりも小さくなるように、前記第2の音声信号の出力レベルを抑圧する
 前記(2)に記載の電子機器。
(4)
 前記信号制御部は、
 前記第2の音声信号に含まれる周波数成分のうち低周波数側を減衰させるように、前記第2の音声信号の帯域を制限する
 前記(2)に記載の電子機器。
(5)
 前記信号制御部は、
 前記第2の音声信号の振幅が前記制御信号の振幅よりも小さくなるように、前記第2の音声信号の出力レベルを抑圧するとともに、前記第2の音声信号のうち低周波数側を減衰させるように、前記第2の音声信号の帯域を制限する
 前記(2)に記載の電子機器。
(6)
 前記信号制御部は、
 前記第2の音声信号の再生時間よりも、前記制御信号の再生時間を長くする
 前記(2)に記載の電子機器。
(7)
 前記ピエゾアクチュエータは、
 前記タッチパネルディスプレイが備えるディスプレイの表示面に対向する裏面に設けられる
 前記(1)に記載の電子機器。
(8)
 前記ピエゾアクチュエータは、
 前記ディスプレイの振動が最も大きくなる位置に設けられる
 前記(7)に記載の電子機器。
(9)
 前記ピエゾアクチュエータは、
 前記ディスプレイの裏面の中央付近に設けられる
 前記(7)に記載の電子機器。
1 電子機器
2 タッチパネルディスプレイ
2a タッチパネル
2b ディスプレイ
3 スピーカ
4 ピエゾアクチュエータ
10 記憶部
11 第1トーンデータ格納部
12 第2トーンデータ格納部
13 信号制御用データ格納部
20 制御部
21 第1信号処理部
22 第2信号処理部
23 第1発生部
24 第2発生部
25 信号制御部

Claims (9)

  1.  タッチパネルディスプレイと、
     所定の周波数以上の音域に対応する第1の音声信号に基づく音を出力するスピーカと、
     前記タッチパネルディスプレイに設けられ、前記所定の周波数未満の音域に対応する第2の音声信号、及び予め定められる振動パターンに基づくハプティクスフィードバック用の制御信号のうちの少なくともいずれかに応答して変形し、前記タッチパネルディスプレイを加振するピエゾアクチュエータと
     を備える電子機器。
  2.  前記第2の音声信号と前記制御信号とを混合した合成信号を前記ピエゾアクチュエータに入力する場合、前記第2の音声信号に基づく前記タッチパネルディスプレイの振動よりも、前記制御信号に基づく前記タッチパネルディスプレイの振動が優先されるように、前記第2の音声信号を変調する信号制御部
     をさらに備える請求項1に記載の電子機器。
  3.  前記信号制御部は、
     前記第2の音声信号の振幅が前記制御信号の振幅よりも小さくなるように、前記第2の音声信号の出力レベルを抑圧する
     請求項2に記載の電子機器。
  4.  前記信号制御部は、
     前記第2の音声信号に含まれる周波数成分のうち低周波数側を減衰させるように、前記第2の音声信号の帯域を制限する
     請求項2に記載の電子機器。
  5.  前記信号制御部は、
     前記第2の音声信号の振幅が前記制御信号の振幅よりも小さくなるように、前記第2の音声信号の出力レベルを抑圧するとともに、前記第2の音声信号のうち低周波数側を減衰させるように、前記第2の音声信号の帯域を制限する
     請求項2に記載の電子機器。
  6.  前記信号制御部は、
     前記第2の音声信号の再生時間よりも、前記制御信号の再生時間を長くする
     請求項2に記載の電子機器。
  7.  前記ピエゾアクチュエータは、
     前記タッチパネルディスプレイが備えるディスプレイの表示面に対向する裏面に設けられる
     請求項1に記載の電子機器。
  8.  前記ピエゾアクチュエータは、
     前記ディスプレイの振動が最も大きくなる位置に設けられる
     請求項7に記載の電子機器。
  9.  前記ピエゾアクチュエータは、
     前記ディスプレイの裏面の中央付近に設けられる
     請求項7に記載の電子機器。
PCT/JP2020/030733 2020-08-12 2020-08-12 電子機器 WO2022034663A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021558575A JPWO2022034663A1 (ja) 2020-08-12 2020-08-12
PCT/JP2020/030733 WO2022034663A1 (ja) 2020-08-12 2020-08-12 電子機器
US17/414,320 US20220312109A1 (en) 2020-08-12 2020-08-12 Electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/030733 WO2022034663A1 (ja) 2020-08-12 2020-08-12 電子機器

Publications (1)

Publication Number Publication Date
WO2022034663A1 true WO2022034663A1 (ja) 2022-02-17

Family

ID=80247065

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/030733 WO2022034663A1 (ja) 2020-08-12 2020-08-12 電子機器

Country Status (3)

Country Link
US (1) US20220312109A1 (ja)
JP (1) JPWO2022034663A1 (ja)
WO (1) WO2022034663A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6818959B1 (ja) * 2020-05-29 2021-01-27 三菱電機株式会社 表示器

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005078403A (ja) * 2003-09-01 2005-03-24 Citizen Electronics Co Ltd スピーカ付きタッチパネル
JP2006040005A (ja) * 2004-07-28 2006-02-09 Alpine Electronics Inc 振動付与機能付きタッチパネル入力装置および操作入力に対する振動付与方法
WO2009144964A1 (ja) * 2008-05-29 2009-12-03 株式会社村田製作所 圧電スピーカ、スピーカ装置およびタクタイルフィードバック装置
US20100141408A1 (en) * 2008-12-05 2010-06-10 Anthony Stephen Doy Audio amplifier apparatus to drive a panel to produce both an audio signal and haptic feedback
JP2013020467A (ja) * 2011-07-12 2013-01-31 Taiyo Yuden Co Ltd タッチパネル装置及び電子機器
US20140145836A1 (en) * 2010-12-31 2014-05-29 Nokia Corporation Display apparatus producing audio and haptic output
JP2014116939A (ja) * 2012-12-05 2014-06-26 Samsung Display Co Ltd 表示装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011146006A (ja) * 2010-01-18 2011-07-28 Murata Mfg Co Ltd 入力装置及び電子機器
JP2013008118A (ja) * 2011-06-23 2013-01-10 Panasonic Corp 電子機器
JP2014007444A (ja) * 2012-06-21 2014-01-16 Kyocera Corp 電子機器、制御方法及び制御プログラム
JP5476513B1 (ja) * 2012-10-12 2014-04-23 パナソニック株式会社 電子機器
CN203206318U (zh) * 2013-04-05 2013-09-18 瑞声科技(南京)有限公司 屏幕装置
US20150010173A1 (en) * 2013-07-05 2015-01-08 Qualcomm Incorporated Apparatus and method for providing a frequency response for audio signals
JP6350544B2 (ja) * 2013-12-02 2018-07-04 株式会社ニコン 電子機器、および振動情報生成装置
CN105452993A (zh) * 2014-01-16 2016-03-30 志丰电子股份有限公司 面板触控回馈振动装置
KR102589144B1 (ko) * 2016-11-08 2023-10-12 엘지전자 주식회사 디스플레이 장치
CN110018809A (zh) * 2019-03-28 2019-07-16 联想(北京)有限公司 一种电子设备和控制方法
KR20220011424A (ko) * 2020-07-21 2022-01-28 엘지디스플레이 주식회사 표시 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005078403A (ja) * 2003-09-01 2005-03-24 Citizen Electronics Co Ltd スピーカ付きタッチパネル
JP2006040005A (ja) * 2004-07-28 2006-02-09 Alpine Electronics Inc 振動付与機能付きタッチパネル入力装置および操作入力に対する振動付与方法
WO2009144964A1 (ja) * 2008-05-29 2009-12-03 株式会社村田製作所 圧電スピーカ、スピーカ装置およびタクタイルフィードバック装置
US20100141408A1 (en) * 2008-12-05 2010-06-10 Anthony Stephen Doy Audio amplifier apparatus to drive a panel to produce both an audio signal and haptic feedback
US20140145836A1 (en) * 2010-12-31 2014-05-29 Nokia Corporation Display apparatus producing audio and haptic output
JP2013020467A (ja) * 2011-07-12 2013-01-31 Taiyo Yuden Co Ltd タッチパネル装置及び電子機器
JP2014116939A (ja) * 2012-12-05 2014-06-26 Samsung Display Co Ltd 表示装置

Also Published As

Publication number Publication date
JPWO2022034663A1 (ja) 2022-02-17
US20220312109A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
EP2703951B1 (en) Sound to haptic effect conversion system using mapping
JP6350544B2 (ja) 電子機器、および振動情報生成装置
US10206027B2 (en) Speakers and headphones related to vibrations in an audio system, and methods for operating same
JP6092490B2 (ja) 広帯域周波数応答を提供するためのシステムおよび方法
EP2413217A2 (en) Apparatus and method for providing feedback on user input
JP6055612B2 (ja) 電子機器
CN107592592A (zh) 显示面板、移动终端及屏幕发声控制方法
KR20130086590A (ko) 진폭값을 사용하는 사운드 대 햅틱 효과 변환 시스템
CN106412740A (zh) 在音频***中使用的触觉振动驱动器及其操作方法
US11966513B2 (en) Haptic output systems
JP2013009236A (ja) 携帯端末装置、携帯端末装置の音声調整方法、携帯端末装置の音声調整プログラム
CN105284127A (zh) 声音产生器
JP2007067514A (ja) スピーカー装置
WO2022034663A1 (ja) 電子機器
JP5865774B2 (ja) 電子機器、制御方法及び制御プログラム
CN215601469U (zh) 耳机装置
US10923098B2 (en) Binaural recording-based demonstration of wearable audio device functions
CN114205700A (zh) 耳机设备及其触觉反馈方法
US11323811B2 (en) Acoustic device and acoustic reproduction method for producing high quality bass sound
JP3568674B2 (ja) キーボードおよび情報処理装置
JP5817182B2 (ja) スピーカ装置及び電子機器
JP6017829B2 (ja) 電子機器
JP2014007444A (ja) 電子機器、制御方法及び制御プログラム
CN117998006A (zh) 音频与振动协同控制方法及装置
JP2021534597A (ja) デュアルパネルオーディオアクチュエータおよびこれを含むモバイル装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021558575

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20949525

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20949525

Country of ref document: EP

Kind code of ref document: A1