JP5865774B2 - 電子機器、制御方法及び制御プログラム - Google Patents

Description

本出願は、電子機器、制御方法及び制御プログラムに関する。

特許文献１には、気導音と振動音とを利用者に伝える電子機器が記載されている。特許文献１には、電子機器の筺体の外面に配置される振動体の圧電素子に電圧が印加されると、圧電素子が伸縮することにより振動体が屈曲振動することが記載されている。また、特許文献１には、利用者が屈曲振動する振動体を耳介に接触させると、気導音と振動音とが利用者に伝えられることが記載されている。特許文献１によれば、気導音とは、物体の振動に起因する空気の振動が外耳道を通って鼓膜に伝わり、鼓膜が振動することによって利用者の聴覚神経に伝わる音である。また、特許文献１によれば、振動音とは、振動する物体に接触する利用者の体の一部（例えば外耳の軟骨）を介して利用者の聴覚神経に伝わる音である。

特開２００５−３４８１９３号公報

ところで、一般的に、電子機器では、動画コンテンツなどの映像を再生する場合に、再生する映像に合わせて、複数（複数チャンネル）の音を出力するものである場合、利用者が、出力される複数の音の中から特定の音を聴きたいというニーズがある。

１つの態様に係る電子機器は、圧電素子と、前記圧電素子によって振動し、気導音と、人体の一部を振動させて伝わる振動音とを発生させる音発生部と、音を含む画像コンテンツの画面が再生表示されるディスプレイと、前記音発生部に対する前記人体の一部の接触位置を検出する検出部と、を備え、前記画像コンテンツを前記ディスプレイに再生しているときに前記音発生部に対する前記人体の一部の接触が検出されると、前記音発生部は、前記画像コンテンツに含まれる音であって前記接触位置に対応する前記画面上の位置に対応付けられている音を発生させる。

１つの態様に係る制御方法は、圧電素子と、前記圧電素子によって振動し、気導音と、人体の一部を振動させて伝わる振動音とを発生させる音発生部と、音を含む画像コンテンツの画面が再生表示されるディスプレイと、前記音発生部に対する前記人体の一部の接触位置を検出する検出部とを備える電子機器によって実行される制御方法であって、前記画像コンテンツを前記ディスプレイに再生しているときに前記音発生部に対する前記人体の一部の接触が検出されると、前記画像コンテンツに含まれる音であって前記接触位置に対応する前記画面上の位置に対応付けられている音を前記音発生部により発生させるステップを含む。

１つの態様に係る制御プログラムは、圧電素子と、前記圧電素子によって振動し、気導音と、人体の一部を振動させて伝わる振動音とを発生させる音発生部と、音を含む画像コンテンツの画面が再生表示されるディスプレイと、前記音発生部に対する前記人体の一部の接触位置を検出する検出部とを備える電子機器に、前記画像コンテンツを前記ディスプレイに再生しているときに前記音発生部に対する前記人体の一部の接触が検出されると、前記画像コンテンツに含まれる音であって前記接触位置に対応する前記画面上の位置に対応付けられている音を前記音発生部により発生させるステップを実行させる。

図１は、実施形態に係る携帯電話の正面図である。 図２は、携帯電話の背面図である。 図３は、実施形態に係る携帯電話の断面図である。 図４は、パネルの形状の例を示す図である。 図５は、パネルの振動の例を示す図である。 図６は、実施形態に係る携帯電話のブロック図である。 図７は、アウトカメラにより撮影中の動画がディスプレイに表示された状態の一例を示す図である。 図８は、設定データに記憶される座標値の一例を示す図である。 図９は、動画コンテンツを再生しているときにパネルに対する利用者の耳の接触を検出した場合に、パネルに接触する耳の位置に対応する画面上の位置の近傍に対応付けられている音を強調して出力する携帯電話の処理の概要を示す図である。 図１０は、動画撮影時に、入力された複数の音の発信点とみなせる動画像上の位置に対応する画面上の座標値を格納する処理手順の一例を示す図である。 図１１は、動画コンテンツを再生しているときにパネルに対する利用者の耳の接触を検出した場合に、パネルに接触する耳の位置に対応する画面上の位置の近傍に対応付けられている音を強調して出力する処理手順の一例を示す図である。 図１２は、利用者の耳がパネルに接触するときの押圧の大きさに応じて、耳の接触位置の近傍を音源とする音を強調して出力する携帯電話の処理の概要を示す図である。 図１３は、利用者の耳がパネルに接触するときの押圧の大きさに応じて、耳の接触位置の近傍を音源とする音を強調して出力する処理手順の一例を示す図である。 図１４は、利用者の耳とパネルとが接触しているときの、耳とパネルとの位置関係の一例を示す図である。 図１５は、耳とパネルとが図１４に示す位置関係にあるときに、音が出力される動画コンテンツ上の領域を示す図である。 図１６は、実施形態５に係る携帯電話の正面図である。 図１７は、図１６に示す携帯電話のｃ−ｃ線断面図である。 図１８は、実施形態６に係る携帯電話の正面図である。 図１９は、図１８に示す携帯電話のｄ−ｄ線断面図である。 図２０は、補強部材による周波数特性の変化例を示す図である。

本発明を実施するための実施形態を、図面を参照しつつ詳細に説明する。以下では、気導音と振動音とを利用者に伝える電子機器の例として、携帯電話について説明する。

（実施形態１）
図１、図２及び図３を参照しながら、実施形態に係る携帯電話１Ａの全体的な構成について説明する。図１は、携帯電話１Ａの正面図である。図２は、携帯電話１Ａの背面図である。図３は、携帯電話１Ａのａ−ａ断面を模式的に示す断面図である。図１、図２及び図３に示すように、携帯電話１Ａは、ディスプレイ２と、ボタン３と、照度センサ４と、近接センサ５と、圧電素子７と、第１マイク８ａと、第２マイク８ｂと、第３マイク８ｃと、スピーカ１１と、インカメラ１２と、アウトカメラ１３と、パネル２０と、筐体４０とを備える。

ディスプレイ２は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイ（ＯＥＬＤ：Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）、又は無機ＥＬディスプレイ（ＩＥＬＤ：Ｉｎｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等の表示デバイスを備える。ディスプレイ２は、文字、画像、記号、及び図形等を表示する。

ボタン３は、利用者からの操作入力を受け付ける。ボタン３の数は、図１及び図３に示す例に限定されない。

照度センサ４は、携帯電話１Ａの周囲光の照度を検出する。照度は、光の強さ、明るさ、又は輝度を示す。照度センサ４は、例えば、ディスプレイ２の輝度の調整に用いられる。近接センサ５は、近隣の物体の存在を非接触で検出する。近接センサ５は、磁界の変化又は超音波の反射波の帰還時間の変化等に基づいて物体の存在を検出する。近接センサ５は、例えば、ディスプレイ２が顔に近づけられたことを検出する。照度センサ４及び近接センサ５は、一つのセンサとして構成されていてもよい。照度センサ４は、近接センサとして用いられてもよい。

圧電素子７は、電気信号（音信号に応じた電圧）が印加されると、構成材料の電気機械結合係数に従い伸縮又は屈曲する。すなわち、圧電素子７は、電気信号が印加されると変形する。圧電素子７は、パネル２０に取り付けられ、パネル２０を振動させるための振動源として用いられる。圧電素子７は、例えば、セラミック又は水晶を用いて形成される。圧電素子７は、ユニモルフ、バイモルフ、又は積層型圧電素子であってよい。積層型圧電素子には、バイモルフを積層した（例えば１６層又は２４層積層した）積層型バイモルフ素子が含まれる。積層型の圧電素子は、例えば、ＰＺＴ（チタン酸ジルコン酸鉛）からなる複数の誘電体層と、該複数の誘電体層間に配設された電極層との積層構造体から構成される。ユニモルフは、電気信号（電圧）が印加されると伸縮する。バイモルフは、電気信号（電圧）が印加されると屈曲する。

第１マイク８ａは、所定の角度を付けて水平方向に配置された複数の単一指向性マイクカプセルを有するマイクロフォンユニットであり、アウトカメラ１３の撮影方向から到来する水平方向の音を主に入力する。例えば、携帯電話１Ａの姿勢を図１に示す状態で維持しつつ、アウトカメラ１３を起動して撮影を開始した場合、第１マイク８ａは、撮影方向の右側又は左側から到来する音を入力する。

第２マイク８ｂは、所定の角度を付けて垂直方向に配置された複数の単一指向性マイクカプセルを有するマイクロフォンユニットであり、アウトカメラ１３の撮影方向から到来する垂直方向の音を主に入力する。例えば、携帯電話１Ａの姿勢を図１に示す状態で維持しつつ、アウトカメラ１３を起動して撮影を開始した場合、第２マイク８ｂは、撮影方向の上側又は下側から到来する音を入力する。

第３マイク８ｃは、例えば、通話時に、利用者から発せられる音声を入力する入力部である。例えば、第１マイク８ａ、第２マイク８ｂ及び第３マイク８ｃは、入力される音を電気信号へ変換して、後述するコントローラ１０に送り出す。

スピーカ１１は、気導方式で音を出力する音出力部である。スピーカ１１は、例えば、ダイナミックスピーカであり、電気信号を変換した音を、耳を携帯電話１Ａに接触させていない人へも伝えることができる。スピーカ１１は、例えば、動画コンテンツの再生中の音を出力したり、音楽を出力したりするために用いられる。

インカメラ１２は、ディスプレイ２に面している物体を撮影するカメラである。アウトカメラ１３は、ディスプレイ２とは反対側に面している物体などを撮影するカメラである。インカメラ１２及びアウトカメラ１３は、撮影した画像を電気信号へ変換する。

パネル２０は、圧電素子７の変形（伸縮又は屈曲）にともなって振動し、利用者がパネル２０に接触させる耳の軟骨（耳介軟骨）等にその振動を音振動として伝える。パネル２０は、音発生部の一例である。パネル２０は、ディスプレイ２及び圧電素子７等を外力から保護する機能も有する。パネル２０は、例えば、ガラス、又はアクリル等の合成樹脂により形成される。パネル２０の形状は、例えば、板状である。パネル２０は、平板であってよい。パネル２０は、表面が滑らかに湾曲する曲面パネルであってもよい。

パネル２０の背面には、接合部材３０により、ディスプレイ２と、圧電素子７とが取り付けられる。圧電素子７は、パネル２０の背面に配置された状態で、筺体４０の内表面と所定の距離だけ離間している。圧電素子７は、伸縮または屈曲した状態でも、筺体６０の内表面と離間しているとよい。すなわち、圧電素子７と筺体４０の内表面との間の距離は、圧電素子７の最大変形量よりも大きいとよい。圧電素子７は、補強部材（例えば、板金又はガラス繊維強化樹脂）を介してパネル２０に取り付けられてもよい。接合部材３０は、例えば、両面テープ、又は熱硬化性あるいは紫外線硬化性等を有する接着剤である。接合部材３０は、無色透明のアクリル系紫外線硬化型接着剤である光学弾性樹脂でもよい。

ディスプレイ２は、パネル２０の短手方向におけるほぼ中央に配設される。圧電素子７は、パネル２０の長手方向の端部から所定の距離だけ離間した近傍に、圧電素子７の長手方向がパネル２０の短手方向と平行になるように配設される。ディスプレイ２及び圧電素子７は、パネル２０の内側の面に、平行に並べて配設される。

パネル２０の外側の面のほぼ全面には、タッチスクリーン（タッチセンサ）２１が配設される。タッチスクリーン２１は、パネル２０に対する接触を検出する。タッチスクリーン２１は、指、ペン、又はスタイラスペン等による利用者の接触操作を検出するために用いられる。タッチスクリーン２１を用いて検出されるジェスチャは、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトを含むがこれらに限定されない。タッチスクリーン２１の検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式（又は超音波方式）、赤外線方式、電磁誘導方式、及び荷重検出方式等の任意の方式でよい。

タッチスクリーン２１は、音を聞くためにパネル２０に接触する耳介軟骨等を検出するためにも用いられる。

筐体４０は、樹脂又は金属を用いて形成される。筐体４０は、ボタン３、照度センサ４、近接センサ５、第１マイク８ａ、第２マイク８ｂ、第３マイク８ｃ、スピーカ１１、カメラ１２、およびパネル２０等を支持する。

図１から図５を参照しながら、実施形態に係る携帯電話１Ａによる音の出力についてより詳細に説明する。図４は、パネル２０の形状の例を示す図である。図５は、パネル２０の振動の例を示す図である。

圧電素子７には、出力する音に応じた電気信号が印加される。圧電素子７には、例えば、外耳道を介する気導音によって音を伝える所謂パネルスピーカの印加電圧である±５Ｖよりも高い、±１５Ｖが印加されてもよい。これにより、利用者が、例えば、３Ｎ以上の力（５Ｎ〜１０Ｎの力）でパネル２０に自身の体の一部を押し付けた場合であっても、パネル２０に十分な振動を発生させ、利用者の体の一部を介して伝わる振動音を発生させることができる。圧電素子７に印加される電圧は、パネル２０の筺体４０に対する固定強度、又は圧電素子７の性能等に応じて適宜調整可能である。

電気信号が印加されると、圧電素子７は長手方向に伸縮又は屈曲する。圧電素子７が取り付けられたパネル２０は、圧電素子７の伸縮又は屈曲に合わせて変形する。これにより、パネル２０は、振動し、気導音を発生させる。さらに、利用者が体の一部（例えば、耳介軟骨）をパネル２０に接触させた場合、パネル２０は、体の一部を介して利用者に伝導する振動音を発生させる。すなわち、パネル２０は、圧電素子７の変形にともなって、パネル２０に接触する物体に対して振動音として知覚される周波数で振動する。

例えば、圧電素子７に、通話の相手の音声、又は着信音、音楽等の音データに応じた電気信号が印加されると、パネル２０は、電気信号に対応する気導音及び振動音を発生させる。圧電素子７及びパネル２０を介して出力される音信号は、後述するストレージ９に記憶されている音データに基づくものであってよい。圧電素子７及びパネル２０を介して出力される音信号は、外部のサーバ等に記憶され、後述する通信ユニット６によりネットワークを介して取得される音データに基づくものであってもよい。

本実施形態において、パネル２０は、利用者の耳とほぼ同じ大きさであってよい。また、パネル２０は、図４に示すように、利用者の耳よりも大きなサイズであってもよい。この場合、利用者は、音を聞くときに耳の外周部のほぼ全体をパネル２０に接触させることができる。このようにして音を聞くことにより、周囲音（ノイズ）が外耳道に入り難くなる。本実施形態では、少なくとも、パネル２０は、人間の対耳輪下脚（下対輪脚）から対耳珠までの間の距離に相当する長手方向（又は短手方向）の長さと、耳珠から対耳輪までの間の距離に相当する短手方向（又は長手方向）の長さとを有する領域よりも広い領域が振動する。パネル２０は、耳輪における対耳輪上脚（上対輪脚）近傍の部位から耳垂までの間の距離に相当する長手方向（又は短手方向）の長さと、耳珠から耳輪における対耳輪近傍の部位までの間の距離に相当する短手方向（又は長手方向）の長さを有する領域が振動してもよい。上記の長さおよび幅を有する領域は、長方形状の領域であってもよいし、上記の長手方向の長さを長径、上記の短手方向の長さを短径とする楕円形状であってもよい。人間の耳の平均的な大きさは、例えば、社団法人 人間生活工学研究センター（ＨＱＬ）作成の日本人の人体寸法データベース（１９９２−１９９４）等を参照すれば知ることができる。

図５に示すように、パネル２０は、圧電素子７が取り付けられた取付領域２０ａだけでなく、取付領域２０ａから離れた領域も振動する。パネル２０は、振動する領域において、当該パネル２０の主面と交差する方向に振動する箇所を複数有し、当該複数の箇所の各々において、振動の振幅の値が、時間とともにプラスからマイナスに、あるいはその逆に変化する。パネル２０は、それぞれの瞬間において、振動の振幅が相対的に大きい部分と振動の振幅が相対的に小さい部分とがパネル２０の略全体に一見ランダム又は規則的に分布した振動をする。すなわち、パネル２０全域にわたって、複数の波の振動が検出される。上記のように圧電素子７に対して印加される電圧が±１５Ｖであれば、利用者が例えば５Ｎ〜１０Ｎの力で自身の体にパネル２０を押し付けた場合であっても、パネル２０の上述した振動は減衰しにくい。このため、利用者は、パネル２０上の取付領域２０ａから離れた領域に耳を接触させても、振動音を聞くことができる。

本実施形態では、ディスプレイ２がパネル２０に取り付けられている。このため、パネル２０の下部（ディスプレイ２が取り付けられている側）は、剛性が上がり、パネル２０の上部（圧電素子７が取り付けられている側）と比べて、振動が小さい。このため、パネル２０の下部において、パネル２０が振動することによる気導音の音漏れが低減される。

携帯電話１Ａは、パネル２０の振動により、気導音と、利用者の体の一部（例えば耳介軟骨）を介する振動音とを利用者に伝えることができる。そのため、携帯電話１Ａは、ダイナミックレシーバと同等の音量の音を出力する場合、空気の振動により携帯電話１Ａの周囲へ伝わる音を、ダイナミックスピーカのみを有する電子機器と比較して、少なくすることができる。このような特徴は、例えば、録音されたメッセージを電車内のような近くに他人がいる場所で聞く場合等に好適である。

さらに、携帯電話１Ａは、パネル２０の振動により利用者に振動音を伝える。そのため、利用者は、イヤホン又はヘッドホンを身につけていても、それらに携帯電話１Ａを接触させることで、イヤホン又はヘッドホン及び体の一部を介して、パネル２０の振動による振動音を聞くことができる。

さらに、携帯電話１Ａは、パネル２０の振動により音を伝える。そのため、携帯電話１Ａが別途ダイナミックレシーバ（例えば、スピーカ１１）を備えない場合、パネル２０が発する音を外部に伝えるための開口部（放音口）を筐体４０に形成する必要がない。このため、防水構造を実現する場合に、構造を簡略化することができる。携帯電話１Ａは、ダイナミックスピーカの放音口等の開口部を筐体４０に形成する必要がある場合、防水構造を実現するために、気体は通すが液体は通さない部材によって開口部を閉塞する構造を採用してもよい。気体は通すが液体は通さない部材は、例えば、ゴアテックス（登録商標）である。

図６を参照しながら、携帯電話１Ａの機能的な構成について説明する。図６は、携帯電話１Ａのブロック図である。図６に示すように、携帯電話１Ａは、ディスプレイ２と、ボタン３と、照度センサ４と、近接センサ５と、通信ユニット６と、圧電素子７と、第１マイク８ａと、第２マイク８ｂと、第３マイク８ｃと、ストレージ９と、コントローラ１０と、スピーカ１１と、インカメラ１２と、アウトカメラ１３と、姿勢検出ユニット１５と、バイブレータ１８と、タッチスクリーン２１とを備える。

通信ユニット６は、無線により通信する。通信ユニット６によってサポートされる通信方式は、無線通信規格である。無線通信規格として、例えば、２Ｇ、３Ｇ、４Ｇ等のセルラーフォンの通信規格がある。セルラーフォンの通信規格として、例えば、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＣＤＭＡ２０００、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｅｌｌｕｌａｒ）、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）等がある。無線通信規格として、さらに、例えば、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等がある。通信ユニット６は、上述した通信規格の１つ又は複数をサポートしていてもよい。

ストレージ９は、プログラム及びデータを記憶する。ストレージ９は、コントローラ１０の処理結果を一時的に記憶する作業領域としても利用される。ストレージ９は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を含んでよい。ストレージ９は、複数の種類の記憶媒体を含んでよい。ストレージ９は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ９は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含んでよい。

ストレージ９に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。アプリケーションは、例えば、ディスプレイ２に画面を表示させ、タッチスクリーン２１によって検出されるジェスチャに応じた処理をコントローラ１０に実行させる。制御プログラムは、例えば、ＯＳである。アプリケーション及び制御プログラムは、通信ユニット６による無線通信又は非一過的な記憶媒体を介してストレージ９にインストールされてもよい。

ストレージ９は、例えば、制御プログラム９Ａ、通話アプリケーション９Ｂ、音楽再生アプリケーション９Ｃ、動画再生アプリケーション９Ｄ、動画コンテンツ９Ｅ及び設定データ９Ｚを記憶する。通話アプリケーション９Ｂは、無線通信による通話のための通話機能を提供する。音楽再生アプリケーション９Ｃは、音楽データから音を再生するための音楽再生機能を提供する。動画再生アプリケーション９Ｄは、動画コンテンツ９Ｅの動画データから動画及び音を再生するための動画再生機能を提供する。設定データ９Ｚは、携帯電話１Ａの動作に関連する各種の設定及び処理に関する情報を含む。設定データ９Ｚは、携帯電話１Ａの動作に関連する各種の設定及び処理に関する情報として、例えば、動画コンテンツ９Ｅに含まれる複数の音ごとに、音の発信点とみなすことができる動画コンテンツ９Ｅ上の位置に対応する画面上の座標値が含まれる。この座標値は、動画コンテンツ９Ｅがディスプレイ２に再生表示されたときの画面上の座標値に対応する。

制御プログラム９Ａは、携帯電話１Ａを稼働させるための各種制御に関する機能を提供する。制御プログラム９Ａは、例えば、通信ユニット６、圧電素子７、及び第３マイク８ｃ等を制御することによって、通話を実現させる。制御プログラム９Ａが提供する機能は、通話アプリケーション９Ｂ等の他のプログラムが提供する機能と組み合わせて利用されることがある。

制御プログラム９Ａには、例えば、動画撮影時に、第１マイク８ａ及び第２マイク８ｂにより入力された複数の音ごとに、第１マイク８ａ及び第２マイク８ｂに入力された音の音圧の強弱に基づいて当該音の発信点とみなせる動画像上の位置を絞り込み、絞り込んだ位置に対応する画面上の座標値をストレージ９の設定データ９Ｚに格納するための機能が含まれる。この座標値は、動画撮影中の映像がディスプレイ２に再生表示されたときの画面上の座標値に対応する。

さらに、制御プログラム９Ａには、例えば、パネル２０に接触する耳の位置を、タッチスクリーン２１を用いて検出するための機能が含まれる。

さらに、制御プログラム９Ａには、動画コンテンツ９Ｅをディスプレイ２に再生表示する場合に、動画コンテンツ９Ｅに含まれる複数の音のうち、パネル２０に接触する耳の位置に対応する画面上の位置の近傍に仮想的な音源を有する音を、パネル２０を振動させることにより強調して出力するための機能が含まれる。

コントローラ１０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、及びＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含むが、これらに限定されない。コントローラ１０は、携帯電話１Ａの動作を統括的に制御して各種の機能を実現する。

具体的には、コントローラ１０は、ストレージ９に記憶されているデータを必要に応じて参照しつつ、ストレージ９に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ１０は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ２、通信ユニット６、圧電素子７、マイク８、スピーカ１１、及びバイブレータ１８を含むが、これらに限定されない。コントローラ１０は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、ボタン３、照度センサ４、近接センサ５、カメラ１２、姿勢検出ユニット１５、及びタッチスクリーン２１を含むが、これらに限定されない。

コントローラ１０は、例えば、制御プログラム９Ａを実行することにより、動画撮影の実行中に、第１マイク８ａ及び第２マイク８ｂにより入力された複数の音の取り込みを開始し、複数の音ごとに、第１マイク８ａ及び第２マイク８ｂに入力された音の音圧の強弱に基づいて当該音の発信点とみなせる動画像上の位置を絞り込み、絞り込んだ位置に対応する画面上の座標値をストレージ９の設定データ９Ｚに格納する処理を実行する。

さらに、コントローラ１０は、例えば、制御プログラム９Ａを実行することにより、パネル２０に接触する耳の位置を、タッチスクリーン２１を用いて検出する処理を実行する。

さらに、コントローラ１０は、例えば、制御プログラム９Ａを実行することにより、動画コンテンツ９Ｅを再生しているときにパネル２０に接触する利用者の耳が検出された場合に、動画コンテンツ９Ｅに含まれる複数の音のうち、パネル２０に接触する耳の位置に対応する画面上の位置の近傍に対応付けられている音を、パネル２０を振動させることにより強調して出力する。例えば、コントローラ１０は、設定データ９Ｚを参照し、動画コンテンツ９Ｅの音の発信点に対応する画面上の座標値を用いて、パネル２０に接触する耳の位置に対応する画面上の位置の近傍に対応付けられている音を特定して、この音を強調して出力する。強調の仕方には、例えば音量を大きくすることが含まれる。

姿勢検出ユニット１５は、携帯電話１Ａの姿勢を検出する。姿勢検出ユニット１５は、姿勢を検出するために、加速度センサ、方位センサ、及びジャイロスコープの少なくとも１つを備える。バイブレータ１８は、携帯電話１Ａの一部又は全体を振動させる。バイブレータ１８は、振動を発生させるために、例えば、圧電素子、又は偏心モータを有する。バイブレータ１８による振動は、音を伝えるためではなく、着信等の各種のイベントを利用者に報知するために用いられる。

図６においてストレージ９が記憶するプログラム及びデータの一部又は全部は、通信ユニット６による無線通信で他の装置からダウンロードされてもよい。図６においてストレージ９が記憶するプログラム及びデータの一部又は全部は、ストレージ９に含まれる読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。非一過的な記憶媒体は、例えば、ＣＤ（登録商標）、ＤＶＤ（登録商標）、Ｂｌｕ−ｒａｙ（登録商標）等の光ディスク、光磁気ディスク、磁気記憶媒体、メモリカード、及びソリッドステート記憶媒体を含むが、これらに限定されない。

図６に示した携帯電話１Ａの構成は例であり、本発明の要旨を損なわない範囲において適宜変更してよい。例えば、携帯電話１Ａは、操作のためのボタンとして、テンキー配列又はＱＷＥＲＴＹ配列等のボタンを備えていてもよい。

図７及び図８を用いて、例えば、動画撮影時に、第１マイク８ａ及び第２マイク８ｂにより入力された複数の音ごとに、第１マイク８ａ及び第２マイク８ｂに入力された音の音圧の強弱に基づいて当該音の発信点とみなせる動画像上の位置を絞り込み、絞り込んだ位置に対応する画面上の座標値をストレージ９の設定データ９Ｚに格納する携帯電話１Ａの処理の概要について説明する。

図７は、アウトカメラ１３により撮影中の動画がディスプレイ２に表示された状態の一例を示す図である。携帯電話１Ａは、動画の撮影処理が起動されると、アウトカメラ１３により取得された動画像Ｃ１をディスプレイ２に表示させ、第１マイク８ａ及び第２マイク８ｂにより入力された音の取り込みを開始する。携帯電話１Ａは、動画の撮影に伴い、例えば、図７に示すように、ＣＨ１（例えば、小鳥のさえずり「ピヨピヨ」）、ＣＨ２（例えば、川のせせらぎ「さらさら」）、ＣＨ３（例えば、木々のざわめき「ざわざわ」）の３種類の音を取り込む。

続いて、携帯電話１Ａは、取り込んだ音ごとに、音の音圧の強弱に基づいて当該音の発信点とみなせる動画像上の位置を絞り込む。例えば、携帯電話１Ａは、まず、第１マイク８ａ及び第２マイク８ｂが有する単一指向性マイクカプセルのうち、ＣＨ１の音の音圧が最大となるマイクカプセルを検出して、音の入力方向を特定する。例えば、第１マイク８ａ及び第２マイク８ｂが有するマイクカプセルのうち、撮影方向の左側から到来する音を入力する第１マイク８ａのマイクカプセルの音圧が最大となる場合には、ＣＨ１の音の入力方向を撮影方向の左側と特定する。あるいは、第１マイク８ａ及び第２マイク８ｂが有するマイクカプセルのうち、撮影方向の左側から到来する音を入力する第１マイク８ａのマイクカプセルと、撮影方向の下側から到来する音を入力する第２マイク８ｂのマイクカプセルの音圧が最大となる場合には、ＣＨ１の音の入力方向を撮影方向の左下側と特定する。続いて、携帯電話１Ａは、特定したＣＨ１の音の入力方向に従って、ＣＨ１の音の発信点が、ディスプレイ２に表示された動画像Ｃ１の左下半分の領域Ｐ１に存在するものと推定する。そして、携帯電話１Ａは、この領域Ｐ１の中心位置に対応する画面上の座標値を取得し、ＣＨ１の音に対応付けて設定データ９Ｚに格納する。座標値は、例えば、ディスプレイ２に表示される画面の左下の角を原点とするＸＹ座標系の座標値である。

同様にして、携帯電話１Ａは、ＣＨ２の音の発信点が、ディスプレイ２に表示された動画像Ｃ１の左下半分の領域Ｐ２に存在するものと推定する。そして、携帯電話１Ａは、この領域Ｐ２の中心位置に対応する画面上の座標値を取得し、ＣＨ２の音に対応付けて設定データ９Ｚに格納する。

同様にして、携帯電話１Ａは、ＣＨ３の音の発信点が、ディスプレイ２に表示された動画像Ｃ１の上半分の領域Ｐ３に存在するものと推定する。そして、携帯電話１Ａは、この領域Ｐ３の中心位置に対応する画面上の座標値を取得し、ＣＨ３の音に対応付けて設定データ９Ｚに格納する。

図８は、設定データ９Ｚに記憶される座標値の一例を示す図である。図８に示すように、設定データ９Ｚには、音検出時間と、音の内訳と、音源の位置とが対応付けて記憶される。音検出時間は、ＣＨ１の音の音圧が一定値上であるときの時間であり、例えば、ＣＨ１などに対応する音が入力されている時間である。音の内訳は、例えば、動画の撮影に伴って、第１マイク８ａ及び第２マイク８ｂにより入力された音の種類である。座標値は、上述した処理の概要のように、第１マイク８ａ及び第２マイク８ｂにより入力された音の発信点が含まれるものと推定した動画像Ｃ１上の領域の中心位置に対応した画面上の座標値である。図８に示すように、設定データ９Ｚには、例えば、音検出時間「１０時１１分２０秒〜１０時１３分２０秒」と、音の内訳「ＣＨ１（例えば、小鳥の鳴き声）」と、音源の位置に対応する座標値「Ｘ_１，Ｙ_１」とが対応付けて記憶される。同様に、設定データ９Ｚには、音検出時間「１０時１０分２０秒〜１０時１４分２０秒」と、音の内訳「ＣＨ２（例えば、川のせせらぎ）」と、音源の位置に対応する座標値「Ｘ_２，Ｙ_２」とが対応付けて記憶される。同様に、設定データ９Ｚには、音検出時間「１０時１２分２０秒〜１０時１４分００秒」と、音の内訳「ＣＨ３（例えば、木々のざわめき）」と、音源の位置に対応する座標値「Ｘ_３，Ｙ_３」とが対応付けて記憶される。

携帯電話１Ａは、アウトカメラ１３により撮影した動画像Ｃ１を、動画コンテンツ９Ｅとしてストレージ９に格納する。

図９を用いて、携帯電話１Ａの処理の概要を説明する。携帯電話１Ａは、動画コンテンツ９Ｅの音声データに基づく音声信号を圧電素子７に印加する。そして、パネル２０を変形させて、気導音と、当該変形するパネル２０に接触する利用者の体の一部（例えば、外耳の軟骨）を介して伝わる振動音とを発生させる。携帯電話１Ａは、動画コンテンツ９Ｅを再生しているときにパネル２０に対する利用者の耳の接触を検出すると、動画コンテンツ９Ｅに含まれる複数チャンネルの音のうち、パネル２０に接触する耳の位置に対応する画面上の位置に対応付けられている音を、他のチャンネルより強調する。

図９は、動画コンテンツ９Ｅを再生しているときにパネル２０に対する利用者の耳の接触を検出した場合に、パネル２０に接触する耳の位置に対応する画面上の位置の近傍に対応付けられている音を強調して出力する携帯電話１Ａの処理の概要を示す図である。

図９に示すように、携帯電話１Ａは、例えば、利用者の操作に応じて、動画コンテンツ９Ｅの再生を開始する（ステップＳ１１）。続いて、携帯電話１Ａは、パネル２０に接触する耳Ｅ１の位置を、タッチスクリーン２１を用いて検出すると、耳Ｅ１の位置に対応する画面上の位置の近傍に仮想的な音源を有する音を、パネル２０を振動させることにより強調して出力する（ステップＳ１２）。例えば、図９に示すように、携帯電話１Ａは、耳Ｅ１の位置に対応する画面上の位置の近傍に仮想的な音源を有する、ＣＨ１の音（例えば、「ピヨピヨ」）を強調して出力する。

具体的には、携帯電話１Ａは、タッチスクリーン２１によって耳の接触が検出される領域の中心（重心）を、耳Ｅ１の位置として検出する。耳Ｅ１の位置は、耳Ｅ１の接触が検出される領域を含む最小矩形の頂点のいずれかであってもよい。あるいは、耳Ｅ１の位置は、耳Ｅ１の所定の部位に対応する位置であってもよい。この場合、耳Ｅ１におけるその部位の一般的な位置に関する情報に基づいて、耳Ｅ１の接触が検出される領域との相対的な位置関係から、耳Ｅ１の位置が算出される。

あるいは、携帯電話１Ａは、耳Ｅ１の接触時にタッチスクリーン２１の検出結果に基づいて得られる像と、予め用意される標本とのパターンマッチングによって、耳Ｅ１の位置を検出してもよい。タッチスクリーン２１の検出結果に基づいて得られる像は、タッチスクリーン２１の検出領域を格子状に分割し、分割されたそれぞれの領域における物体の接触の検出状態を、対応する画素の状態に変換することにより得られる。それぞれの領域においてタッチスクリーン２１が検出する値が、例えば、タッチスクリーン２１と物体の距離、物体がタッチスクリーン２１を圧迫する押圧等によって変動する場合、タッチスクリーン２１の検出結果に基づいて得られる像は、多階調の画像となってもよい。標本は、耳の接触時に耳が接触している領域で、タッチスクリーン２１の検出結果に基づいて得られる像と同様のやりかたで得られるはずの像である。標本は、携帯電話１Ａの利用者の耳の接触時に得られるはずの像であってもよいし、一般的な人の耳の接触時に得られるとはずの像であってもよい。標本は、右耳の像、左耳の像というように複数枚用意されてもよい。

パネル２０に接触する耳Ｅ１の位置を、タッチスクリーン２１を用いて検出する方式は、上記の方式に限定されず、他の方式を採用してもよい。

携帯電話１Ａは、パネル２０に接触する耳Ｅ１の位置を検出した後、耳の位置Ｅ１に対応する、再生中の動画コンテンツ９Ｅの画面上の位置を特定する。例えば、携帯電話１Ａは、耳の位置Ｅ１を鉛直方向に投影したときにディスプレイ２と交わる位置を、再生中の動画コンテンツ９Ｅの画面上の位置として特定する。続いて、携帯電話１Ａは、設定データ９Ｚを参照し、設定データに含まれる音に対応付けられた座標値が示す位置の中から、特定した画面上の位置に最も近いものを選定する。そして、携帯電話１Ａは、選定した音を、耳Ｅ１の位置に対応する画面上の位置の近傍に対応付けられている音として決定し、この音をパネル２０を振動させることにより強調して出力する。つまり、携帯電話１Ａは、利用者の耳の接触を検出すると、耳の接触位置に対応する動画コンテンツ９Ｅの位置を音源として、今まさに音が発信されているように利用者が感じられるように、音を強調して出力する。

図１０及び図１１を用いて、実施形態１に係る携帯電話１Ａの処理手順について説明する。図１０及び図１１に示す処理手順は、コントローラ１０が、ストレージ９に記憶されている制御プログラム９Ａなどを実行することによって実現される。

図１０は、動画撮影時に、入力された複数の音の発信点とみなせる動画像上の位置に対応する画面上の座標値を格納する処理手順の一例を示す図である。図１０に示す処理手順は、動画の撮影が終了するまで繰り返し実行される。

図１０に示すように、コントローラ１０は、動画の撮影が開始されると、第１マイク８ａ及び第２マイク８ｂにより入力された複数の音の取り込みを開始し、ステップＳ１０１として、取り込んだ音ごとに、音圧の強弱に基づいて、音の発信点とみなせる動画像上の位置を絞り込む。例えば、コントローラ１０は、第１マイク８ａ及び第２マイク８ｂが有する単一指向性マイクカプセルのうち、入力された音の音圧が最大となるマイクカプセルを検出して、音の入力方向を特定する。続いて、コントローラ１０は、特定した音の入力方向に従って、音の発信点が存在する、ディスプレイ２に表示された動画像の領域を推定することにより、音の発信点とみなせる動画像上の位置を絞り込む。そして、コントローラ１０は、携帯電話１Ａは、この領域の中心位置に対応する画面上の座標値を取得し、音に対応付けて設定データ９Ｚに格納する。

続いて、コントローラ１０は、ステップＳ１０２として、取り込んだ音ごとに、ステップＳ１０１で絞り込んだ位置に対応する画面上の座標値を音に対応付けて設定データ９Ｚに格納する。例えば、コントローラ１０は、ステップＳ１０１で、音の発信点が存在するものと推定した、ディスプレイ２に表示された動画像の領域の中心位置を割り出し、中心位置に対応する画面上の座標値を取得し、音に対応付けて設定データ９Ｚに格納する。

図１１は、動画コンテンツ９Ｅを再生しているときにパネル２０に対する利用者の耳の接触を検出した場合に、パネル２０に接触する耳の位置に対応する画面上の位置の近傍に対応付けられている音を強調して出力する処理手順の一例を示す図である。図１１に示す処理手順は、動画コンテンツ９Ｅの再生終了まで繰り返し実行される。

図１１に示すように、コントローラ１０は、ステップＳ２０１として、動画コンテンツ９Ｅを再生しているときにパネル２０に対する利用者の耳の接触を検出した場合には、パネル２０に接触する耳の位置を、タッチスクリーン２１を用いて検出する。続いて、ステップＳ２０２として、コントローラ１０は、耳の接触位置に対応する、再生中の動画コンテンツ９Ｅの画面上の位置を取得する。

続いて、コントローラ１０は、ステップＳ２０３として、動画コンテンツ９Ｅに含まれる複数の音のうち、ステップＳ２０２で特定した画面上の位置の近傍に対応付けられている音を強調して出力する。例えば、コントローラ１０は、設定データ９Ｚを参照し、設定データに含まれる音に対応付けられた座標値が示す位置の中から、ステップＳ２０２で特定した画面上の位置に最も近いものを選定する。そして、携帯電話１Ａは、選定した音を、耳Ｅ１の位置に対応する画面上の位置の近傍に対応付けられている音として決定し、この音をパネル２０を振動させることにより強調して出力する。つまり、携帯電話１Ａは、利用者の耳の接触を検出すると、耳の接触位置に対応する動画コンテンツ９Ｅの位置を音源として、今まさに音が発信されているように利用者が感じられるように、音を強調して出力する。

上述の実施形態１では、動画コンテンツ９Ｅを再生しているときにパネル２０に対する利用者の耳の接触を検出した場合に、パネル２０に接触する耳の位置に対応する画面上の位置の近傍に対応付けられている音を強調して出力する。このため、実施形態１によれば、再生される動画コンテンツにて出力される複数の音の中から、特定の音を聴き分けることができる。

上述の実施形態１では、動画撮影時に、入力した音の音圧の強弱に基づいて当該音の発信点とみなせる動画像上の位置を絞り込み、絞り込んだ位置に対応する画面上の座標値を音に対応付けて格納する。このため、実施形態１によれば、再生される動画コンテンツにて出力される複数の音の中から、特定の音を聴き分けることができるコンテンツを容易に生成できる。

（実施形態２）
動画コンテンツ９Ｅの再生中に、利用者の耳がパネル２０に接触するときの押圧の大きさに応じて、耳の接触位置の近傍を音源とする音を強調して出力するようにしてもよい。

携帯電話１Ａのコントローラ１０は、例えば、制御プログラム９Ａを実行することにより、タッチスクリーン２１により検出された、利用者の耳がパネル２０に接触するときの押圧の大きさを取得し、押圧の大きさに応じて、耳の接触位置の近傍を音源とする音を強調して出力する処理を実行する。

図１２は、利用者の耳がパネル２０に接触するときの押圧の大きさに応じて、耳の接触位置の近傍を音源とする音を強調して出力する携帯電話１Ａの処理の概要を示す図である。図１２に示すように、携帯電話１Ａは、動画コンテンツ９Ｅの再生が開始された後、パネル２０に接触する耳Ｅ１の位置を検出し、耳Ｅ１の位置に対応する画面上の位置を特定した後、さらに、タッチスクリーン２１によって検出された、耳Ｅ１がパネル２０に接触する押圧の大きさを取得する。

そして、携帯電話１Ａは、押圧の大きさが所定値以下であれば、動画コンテンツ９Ｅに含まれる音のうち、耳Ｅ１の位置に対応する画面上の位置の近傍に対応付けられたＣＨ１の音を、ＣＨ２の音及びＣＨ３の音よりも強調して出力する（ステップＳ２１）。一方、携帯電話１Ａは、押圧の大きさが所定値以下であれば、動画コンテンツ９Ｅに含まれる音のうち、耳Ｅ１の位置に対応する画面上の位置の近傍に対応付けられたＣＨ１の音のみを強調して出力する（ステップＳ２２）。

図１３は、利用者の耳がパネル２０に接触するときの押圧の大きさに応じて、耳の接触位置の近傍を音源とする音を強調して出力する処理手順の一例を示す図である。図１３に示す処理手順は、コントローラ１０が、ストレージ９に記憶されている制御プログラム９Ａなどを実行することによって実現される。図１３に示す処理手順は、動画コンテンツ９Ｅの再生終了まで繰り返し実行される。図１３に示す処理手順のうち、ステップＳ３０１は、図１１に示すステップＳ２０１に対応し、ステップＳ３０２は、図１１に示すステップＳ２０２に対応する。

図１３に示すように、コントローラ１０は、ステップＳ３０１として、パネル２０に接触する耳の位置を、タッチスクリーン２１を用いて検出する。続いて、ステップＳ３０２として、コントローラ１０は、耳の接触位置に対応する、再生中の動画コンテンツ９Ｅの画面上の位置を取得する。

続いて、コントローラ１０は、ステップＳ３０３として、耳がパネル２０に接触する押圧の大きさを、タッチスクリーン２１から取得する。続いて、コントローラ１０は、ステップＳ３０４として、押圧の大きさが所定値以下であるか否かを判定する。

コントローラ１０は、判定の結果、押圧の大きさが所定値以下である場合には（ステップＳ３０５、Ｙｅｓ）、再生中の動画コンテンツ９Ｅに含まれる音のうち、ステップＳ３０２で特定した画面上の位置の近傍に対応付けられた音を、他の音よりも強調して出力する。

一方、コントローラ１０は、判定の結果、押圧の大きさが所定値以下ではない場合には（ステップＳ３０５、Ｎｏ）、再生中の動画コンテンツ９Ｅに含まれる音のうち、ステップＳ３０２で特定した画面上の位置の近傍に対応付けられた音のみを強調して出力する。

図１３の例では、携帯電話１Ａがタッチスクリーン２１によって検出された押圧の大きさに応じた処理を行う例を説明したが、これに限定されない。携帯電話１Ａは、タッチスクリーン２１によって耳の接触領域を検出して、当該接触領域の面積の大小に応じて上記の処理を行ってもよい。一般に、利用者が耳をパネル２０に押し付ける圧力が大きいほど、パネル２０に接触する耳の面積は大きくなると考えられる。この場合、携帯電話１Ａは、接触領域の面積が所定の閾値より大きい場合、再生中の動画コンテンツ９Ｅに含まれる音のうち、特定した画面上の位置の近傍に対応付けられた音のみを強調して出力する。携帯電話１Ａは、接触領域の面積が所定の閾値より小さい場合、再生中の動画コンテンツ９Ｅに含まれる音のうち、特定した画面上の位置の近傍に対応付けられた音を、他の音よりも強調して出力する。

（実施形態３）
動画コンテンツ９Ｅの再生中、利用者の耳とパネル２０とが接触する場合に、耳の接触位置、及び耳とパネル２０との位置関係に基づいて、動画コンテンツ９Ｅに含まれる複数の音の中から出力する音を選択するようにしてもよい。

図１４は、利用者の耳Ｅ１とパネル２０とが接触しているときの、耳Ｅ１とパネル２０との位置関係の一例を示す図である。図１４は、携帯電話１Ａを耳に接触させた状態の利用者の頭部Ｈ１を情報からみた状態を示している。図１４に示すように、例えば、耳Ｅ１は、パネル２０とある角度を持って接触している。

図１５は、耳Ｅ１とパネル２０とが図１４に示す位置関係にあるときに、音が出力される動画コンテンツ９Ｅ上の領域を示す図である。携帯電話１Ａは、姿勢検出ユニット１５の検出結果に基づいて、耳Ｅ１とパネル２０とが図１４に示す位置関係にあることを検出する。そして、携帯電話１Ａは、図１５に示すように、再生中の動画コンテンツ９Ｅのうち、例えば、パネル２０において利用者の耳と接触していない側の領域Ｐ４の音を出力する。例えば、携帯電話１Ａは、タッチスクリーン２１により検出される静電容量などを用いて、パネル２０において利用者の耳と接触していない側の領域Ｐ４を特定する。携帯電話１Ａは、照度センサ４又は近接センサ５の検出値に基づいて上記の領域Ｐ４を特定してもよい。携帯電話機１Ａは、インカメラ１２によって撮影された画像（例えば、利用者の顔の画像）に基づいて上記の領域Ｐ４を特定しても良い。

（実施形態４）
上記の実施形態では、タッチスクリーン２１がパネル２０のほぼ全面に配設される例について説明したが、タッチスクリーン２１は、パネル２０と重ならないように配設されてもよい。図１６は、実施形態５に係る携帯電話の正面図である。図１７は、図１６に示す携帯電話のｃ−ｃ線断面図である。図１６及び図１７を用いて、タッチスクリーン２１がパネル２０と重ならないように配設される携帯電話１Ｂについて説明する。

図１６及び図１７に示すように、携帯電話１Ｂにおいて、ディスプレイ２は、パネル２０の内側ではなく、パネル２０と同一平面をなすように、パネル２０と並べて配設される。タッチスクリーン２１は、ディスプレイ２の表側のほぼ全面を覆うように配設される。すなわち、タッチスクリーン２１及びディスプレイ２は、所謂タッチパネル（タッチスクリーンディスプレイ）を構成する。

パネル２０の背面のほぼ中央には、接合部材３０により、圧電素子７が取り付けられる。パネル２０は、圧電素子７に電気信号が印加されると、圧電素子７の変形（伸縮又は屈曲）に応じて振動し、気導音と、パネル２０に接触する人体の一部（例えば、耳介軟骨）を介して伝わる振動音とを発生する。圧電素子７をパネル２０の中央に配設することにより、圧電素子７の振動がパネル２０全体に均等に伝わり、利用者に伝わる音の品質が向上する。

パネル２０の表側の面にはタッチスクリーン２１が配設されないが、パネル２０は、タッチスクリーン２１が配設されるディスプレイ２の近傍に配置される。

携帯電話１Ｂのように、パネル２０をタッチスクリーン２１と重ならないように配設した場合でも、圧電素子７が配設される筐体４０の同じ側で、圧電素子７の上部にダイナミックスピーカであるスピーカ１１を設けることにより、上述と同様に、２つのモードで音声を出力することができる。この結果、ユーザにとって、好適な方法で音声を出力することができる。

（実施形態５）
上記の実施形態では、タッチスクリーン２１の少なくとも一部がディスプレイ２と重なるように配設される例について説明したが、タッチスクリーン２１は、ディスプレイ２と重ならないように配設されてもよい。図１８は、実施形態６に係る携帯電話の正面図である。図１９は、図１８に示す携帯電話のｄ−ｄ線断面図である。図１８及び図１９を用いて、タッチスクリーン２１がディスプレイ２と重ならないように配設される携帯電話１Ｃについて説明する。図１８及び図１９に示す携帯電話１Ｃは、いわゆる折畳型携帯電話の一例である。

図１８及び図１９に示すように、携帯電話１Ｃにおいて、ディスプレイ２は、パネル２０の内側ではなく、パネル２０と同一平面をなすように、パネル２０と並べて配設される。

パネル２０の背面のほぼ中央には、接合部材３０により、圧電素子７が取り付けられる。パネル２０と圧電素子７との間には、補強部材３１が配設される。すなわち、携帯電話１Ｃにおいては、圧電素子７と補強部材３１とが接合部材３０により接着され、さらに補強部材３１とパネル２０とが接合部材３０で接着される。なお、圧電素子７は、パネル２０の中央に設けられていなくてもよい。

補強部材３１は、例えばゴムまたはシリコン等の弾性部材である。補強部材３１は、例えばある程度の弾性を有するアルミニウム等から成る金属板であってもよい。補強部材３１は、例えばＳＵＳ３０４等のステンレス板であってもよい。ステンレス板等の金属板の厚さは、圧電素子７に印加される電圧値等に応じて、例えば０．２ｍｍ〜０．８ｍｍのものが適宜用いられる。補強部材３１は、例えば樹脂製の板であってもよい。ここでいう樹脂製の板を形成する樹脂としては、例えばポリアミド系樹脂が挙げられる。ポリアミド系樹脂には、例えば、メタキシリレンジアミンとアジピン酸とから得られる結晶性の熱可塑性樹脂から成り、強度および弾性に富むレニー（登録商標）がある。このようなポリアミド系樹脂は、それ自体をベースポリマーとして、ガラス繊維、金属繊維または炭素繊維等により強化された強化樹脂であってもよい。強化樹脂は、ポリアミド系樹脂に対するガラス繊維、金属繊維または炭素繊維等の付加量に応じて、強度および弾性が適宜調整される。強化樹脂は、例えば、ガラス繊維、金属繊維または炭素繊維等を編みこんで形成された基材に樹脂を含浸させ、硬化させて形成される。強化樹脂は、液状の樹脂に細かく切断された繊維片を混入させたのちに硬化させて形成されるものであってもよい。強化樹脂は、繊維を編みこんだ基材と樹脂層とを積層したものであってもよい。

圧電素子７とパネル２０との間に補強部材３１を配設することにより、以下の効果が得られる。パネル２０に外力が加わった場合に、その外力が圧電素子７に伝わって圧電素子７が破損する可能性を低減することができる。例えば携帯電話１Ｃが地面に落下することでパネル２０に対して外力が加わると、当該外力はまず補強部材３１に伝わる。補強部材３１は、所定の弾性を有しているため、パネル２０から伝わる外力により弾性変形する。そのため、パネル２０に対して加わった外力は補強部材３１により少なくとも一部が吸収され、圧電素子７に伝達される外力が低減される。結果、圧電素子７の破損を低減することができる。補強部材３１が圧電素子７と筺体４０との間に配置される場合、例えば携帯電話１Ｃが地面に落下することで筺体４０が変形し、変形した筺体４０が圧電素子７に衝突して圧電素子７が破損する可能性を低減できる。

圧電素子７の伸縮または屈曲による振動は、まず補強部材３１に伝達され、さらにパネル２０に伝達される。すなわち、圧電素子７は、まず圧電素子７よりも大きな弾性係数を有する補強部材３１を振動させ、さらにパネル２０を振動させることになる。したがって、携帯電話１Ｃは、補強部材３１を備えず、圧電素子７が接合部材７０によりパネル２０に接合される構造と比較して、圧電素子７の変形が過剰になりにくくすることができる。これにより、パネル２０の変形量（変形の程度）を調節することができる。この構造は、圧電素子７の変形を阻害しにくいパネル２０の場合に特に有効である。

さらに、圧電素子７とパネル２０との間に補強部材３１を配設することにより、図２０に示すように、パネル２０の共振周波数が下がり、低周波帯域の音響特性が向上する。図２０は、補強部材３１による周波数特性の変化例を示す図である。図２０には、上記のＳＵＳ３０４のような板金を補強部材３１として用いた場合の周波数特性と、上記のレニーのような強化樹脂を補強部材３１として用いた場合の周波数特性とが示されている。横軸は周波数を、縦軸は音圧を示す。強化樹脂を用いた場合の共振点は約２ｋＨｚであり、板金を用いた場合の共振点は約１ｋＨｚである。強化樹脂を用いた場合のディップは約４ｋＨｚであり、板金を用いた場合のディップは約３ｋＨｚである。すなわち、強化樹脂を用いた場合には、板金を用いた場合に比べて、パネル２０の共振点が高い周波数領域に位置しており、周波数特性のディップがより高い周波数領域に位置している。携帯電話機の音声通話で用いられる周波数帯は３００Ｈｚ〜３．４ｋＨｚであるため、強化樹脂を補強部材３１として用いた場合、ディップが携帯電話１Ｃの使用周波数帯に含まれないようにすることができる。尚、補強部材３１として板金を用いる場合でも、板金を構成する金属の種類もしくは組成または板金の厚さ等を適宜調整することで、ディップが携帯電話１Ｃの使用周波数帯に含まれないようにすることができる。板金と強化樹脂とを比較すると、強化樹脂は、板金と比較してアンテナ性能への影響を低減することができる。強化樹脂は板金と比較して塑性変形しにくいため、音響特性が変化しにくいという利点がある。強化樹脂は板金と比較して、音発生時の温度上昇が抑えられる。補強部材３１に換えて、板状の錘を接合部材３０により圧電素子７に取り付けてもよい。

パネル２０は、圧電素子７に電気信号が印加されると、圧電素子７の変形（伸縮又は屈曲）に応じて振動し、気導音と、パネル２０に接触する人体の一部（例えば、耳介軟骨）を介して伝わる振動音とを発生する。タッチスクリーン２１は、パネル２０の表側のほぼ全面を覆うように配設される。

携帯電話１Ｃも、上記と同様に、圧電素子７が配設される筐体４０の背面略中央部に、第１マイク８ａが配置される。圧電素子７が配設される筐体４０の反対側の背面端部に、第２マイク８ｂが配置される。圧電素子７が配設される筐体４０の反対側の背面端部に、第２マイク８ｂが配置される。圧電素子７が配設される筐体４０の反対側の端部に、第１マイク８ｃが配置される。

（その他の実施形態）
例えば、動画撮影を行う場合に、耳をパネル２０に接触させることにより、第１マイク８ａ及び第２マイク８ｂが有する単一指向性マイクカプセルのうち、音の入力を行うマイクカプセルを決定してもよい。例えば、動画撮影時に、利用者の耳が図７に示す領域Ｐ１の位置に接触した場合には、撮影方向の左側から到来する音を入力する第１マイク８ａのマイクカプセル、及び撮影方向の下側から到来する音を入力する第２マイク８ｂのマイクカプセルの音の入力を有効とし、その他のマイクカプセルの音の入力を停止する。

上記の実施形態では、アウトカメラ１３により動画を撮影し、第１マイク８ａ及び第２マイク８ｂにより入力された複数の音の発信点とみなせる動画像上の位置に対応する画面上の座標値をストレージ９の設定データ９Ｚに格納する例を説明した。言い換えれば、上記の実施形態では、再生される動画コンテンツにて出力される複数の音の中から、特定の音を聴き分けることができるコンテンツを予め作成する例を説明した。しかしながら、これには限定されず、予め、動画コンテンツが再生されたときの画面上の位置と、動画コンテンツに含まれる音の音源の位置との対応関係が分かっている動画コンテンツがある場合には、この動画コンテンツを再生する場合にも上記の実施形態と同様の処理を適用できる。すなわち、この動画コンテンツの再生中に、利用者の耳がパネル２０に接触する耳の位置に対応する画面上の位置の近傍に対応付けられた音を、パネル２０を振動させることにより強調して出力することができる。また、ステレオコンテンツの中に元々存在する音声情報を利用し、２つのチャンネルの音源を疑似的に多チャンネルに変換する技術を用いれば、各チャンネルの音の出力位置を計算により推定できる。この出力位置とタッチパネル上の耳の接触位置とを対応付けて、耳の接触位置に対応する音を強調して出力することもできる。なお、動画コンテンツに含まれる音は複数でなく一つであってもよい。

上記の実施形態では、圧電素子７によりパネル２０を変形させ、気導音と振動音とを発生させた。圧電素子７により筺体４０の一部を変形させ、気導音と振動音とを発生させてもよい。筺体４０の一部は、例えば筺体の角部であってよい。

上記の実施形態では、携帯電話１Ａとして、ディスプレイ２が接合部材３０を用いてパネル２０の背面に取り付けられる例を示したが、携帯電話１Ａは、パネル２０とディスプレイ２の間に空間ができるように構成されてもよい。パネル２０とディスプレイ２の間に空間を設けることにより、パネル２０が振動しやすくなり、パネル２０上において振動音を聞きやすい範囲が広くなる。

上記の実施形態では、圧電素子７をパネル２０に取り付ける例を示したが、他の場所に取り付けられてもよい。例えば、圧電素子７は、バッテリリッドに取り付けられてもよい。バッテリリッドは、筐体４０に取り付けられ、バッテリを覆う部材である。バッテリリッドは、携帯電話等の携帯電子機器においてディスプレイ２と異なる面に取り付けられることが多いため、そのような構成によれば、利用者はディスプレイ２と異なる面に体の一部（例えば耳）を接触させて音を聞くことができる。

上記の実施形態では、補強部材３１は板状部材であるが、補強部材３１の形状はこれに限られない。補強部材３１は、例えば、圧電素子７より大きく、かつその端部が圧電素子７側に湾曲し圧電素子７の側部を覆う形状を有していてもよい。また、補強部材３１は、例えば、板状部と、当該板状部から延設されて圧電素子７の側部を覆う延設部とを有する形状であってもよい。この場合、延設部と圧電素子７の側部とが、所定の距離だけ離間しているとよい。これにより、延設部が圧電素子の変形を阻害しにくくなる。

パネル２０と圧電素子７とを接着する接合部材およびパネル２０と筺体４０とを接着する接合部材等が同一の符号を有する接合部材３０として説明した。しかしながら、接合部材は、接合する対象である部材に応じて適宜異なるものが用いられてよい。

上記の実施形態では、添付の請求項に係る装置の例として、携帯電話について説明したが、添付の請求項に係る装置は、携帯電話に限定されない。添付の請求項に係る装置は、携帯電話以外の携帯電子機器であってもよい。携帯電子機器は、例えば、タブレット、携帯型パソコン、デジタルカメラ、メディアプレイヤ、電子書籍リーダ、ナビゲータ、及びゲーム機を含むが、これらに限定されない。

添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成により具現化されるべきである。

１Ａ 携帯電話
２ ディスプレイ
３ ボタン
４ 照度センサ
５ 近接センサ
６ 通信ユニット
７ 圧電素子
８ａ 第１マイク
８ｂ 第２マイク
８ｃ 第３マイク
９ ストレージ
９Ａ 制御プログラム
９Ｂ 通話アプリケーション
９Ｃ 音楽再生アプリケーション
９Ｄ 動画再生アプリケーション
９Ｅ 動画コンテンツ
９Ｚ 設定データ
１０ コントローラ
１１ スピーカ
１２ カメラ
１５ 姿勢検出ユニット
１８ バイブレータ
２０ パネル
２１ タッチスクリーン
３０ 接合部材
４０ 筐体

Claims (14)

1. 圧電素子と、
   前記圧電素子によって振動し、気導音と、人体の一部を振動させて伝わる振動音とを発生させる音発生部と、
   音を含む画像コンテンツの画面が再生表示されるディスプレイと、
   前記音発生部に対する前記人体の一部の接触位置を検出する検出部と、を備え、
   前記画像コンテンツを前記ディスプレイに再生しているときに前記音発生部に対する前記人体の一部の接触が検出されると、前記音発生部は、前記画像コンテンツに含まれる音であって前記接触位置に対応する前記画面上の位置に対応付けられている音を発生させる
   電子機器。
2. 前記画像コンテンツは、複数の音を含み、
   前記画像コンテンツを前記ディスプレイに再生しているときに前記音発生部に対する前記人体の一部の接触が検出されると、前記音発生部は、前記画像コンテンツに含まれる複数の音のうち、前記音発生部上の位置に対応する前記画面上の位置の近傍に対応付けられている音を強調して発生させるコントローラと
   を備える請求項１に記載の電子機器。
3. 前記検出部は、前記人体の一部の前記音発生部に対する押圧の大きさを検出し、
   前記音発生部は、前記人体の一部の押圧の大きさに応じて、前記画面上の位置の近傍に仮想的な音源を有する音を強調する請求項２に記載の電子機器。
4. 前記検出部は、前記人体の一部が前記音発生部に接触する際の前記人体の一部と前記音発生部との位置関係を検出し、
   前記音発生部は、前記画像コンテンツに含まれる複数の音の中から前記接触位置及び前記位置関係に基づいて選択された音を発生させる請求項２に記載の電子機器。
5. 前記画像コンテンツは動画コンテンツを含み、
   動画撮影時の音を入力する音入力部と、
   コントローラと
   をさらに有し、
   前記コントローラは、前記動画撮影時に前記音入力部により入力された複数の音ごとに、前記音の音圧の強弱に基づいて当該音の発信点とみなせる動画像上の位置を絞り込み、絞り込んだ位置に対応する前記画面上の座標値を音に対応付けて格納する請求項１に記載の電子機器。
6. 前記コントローラは、動画撮影時に、前記音発生部の位置に基づいて前記音入力部の指向性を変化させる請求項５に記載の電子機器。
7. 前記音発生部は、パネルである請求項１から６のいずれか一項に記載の電子機器。
8. 前記パネルは、人間の耳の対耳輪下脚から対耳珠までの間の距離に相当する長さと、耳珠から対耳輪までの間の距離に相当する幅とを有する領域よりも広い領域が振動する
   請求項７に記載の電子機器。
9. 前記パネルは、表示パネル、操作パネル、カバーパネル、充電池を取り外し可能とするためのリッドパネルのいずれかの一部または全部を構成する
   請求項７又は８に記載の電子機器。
10. 前記パネルが表示パネルのとき、
    前記圧電素子は、当該表示機能のための表示領域の外側に配置されている、
    請求項９に記載の電子機器。
11. 前記パネルは、当該パネルのいずれの箇所においても気導音と人体振動音とを伝えるための変形が発生する
    請求項７から１０のいずれか一項に記載の電子機器。
12. 前記パネルは、その振動領域において、当該パネルの主面と交差する方向に振動する箇所を複数有し、当該箇所の各々において、前記振動の振幅の値が時間とともにプラスからマイナスに、あるいはその逆に変動する
    請求項７から１１のいずれか一項に記載の電子機器。
13. 圧電素子と、前記圧電素子によって振動し、気導音と、人体の一部を振動させて伝わる振動音とを発生させる音発生部と、音を含む画像コンテンツの画面が再生表示されるディスプレイと、前記音発生部に対する前記人体の一部の接触位置を検出する検出部とを備える電子機器によって実行される制御方法であって、
    前記画像コンテンツを前記ディスプレイに再生しているときに前記音発生部に対する前記人体の一部の接触が検出されると、前記画像コンテンツに含まれる音であって前記接触位置に対応する前記画面上の位置に対応付けられている音を前記音発生部により発生させるステップ
    を含む制御方法。
14. 圧電素子と、前記圧電素子によって振動し、気導音と、人体の一部を振動させて伝わる振動音とを発生させる音発生部と、音を含む画像コンテンツの画面が再生表示されるディスプレイと、前記音発生部に対する前記人体の一部の接触位置を検出する検出部とを備える電子機器に、
    前記画像コンテンツを前記ディスプレイに再生しているときに前記音発生部に対する前記人体の一部の接触が検出されると、前記画像コンテンツに含まれる音であって前記接触位置に対応する前記画面上の位置に対応付けられている音を前記音発生部により発生させるステップ
    を実行させる制御プログラム。

Images