JP2005057488A - Mobile terminal - Google Patents

Mobile terminal Download PDF

Info

Publication number
JP2005057488A
JP2005057488A JP2003286064A JP2003286064A JP2005057488A JP 2005057488 A JP2005057488 A JP 2005057488A JP 2003286064 A JP2003286064 A JP 2003286064A JP 2003286064 A JP2003286064 A JP 2003286064A JP 2005057488 A JP2005057488 A JP 2005057488A
Authority
JP
Japan
Prior art keywords
portable terminal
face
user
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003286064A
Other languages
Japanese (ja)
Other versions
JP4305950B2 (en
Inventor
Shinichi Kawashima
真一 川島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2003286064A priority Critical patent/JP4305950B2/en
Publication of JP2005057488A publication Critical patent/JP2005057488A/en
Application granted granted Critical
Publication of JP4305950B2 publication Critical patent/JP4305950B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Telephone Function (AREA)
  • Image Analysis (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a mobile telephone set equipped with a speaker suitable to a use state wherein a user uses the telephone set separately from the ear in animation reproduction etc. <P>SOLUTION: The mobile telephone set is fitted with the DM (Distributed Mode) type speaker which outputs a sound through flexural vibration of a transparent plate. The transparent plate serves as the display plate of the liquid crystal display screen of the mobile telephone set. A plurality of vibration bodies which cause the flexural vibration of the transparent plate are provided and phase differences of sounds that those vibration bodies generate are controlled to control the directivity of the sound that the transparent plate outputs. The mobile telephone set is further equipped with a camera and a memory which stores image information on the face. An image of the face of the user photographed by the camera is compared with the image of the face stored in the memory to detect the positions of the ear of the user. The directivity of the speaker is automatically set to the direction of the detected ear and then while it becomes easier for the user to hear a voice accompanying an animation and a ringing tone, a person other than the user is not annoyed. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、携帯端末のスピーカに関する。本発明は特に、動画再生可能な携帯電話機に適したスピーカに関する。   The present invention relates to a speaker of a mobile terminal. The present invention particularly relates to a speaker suitable for a mobile phone capable of reproducing moving images.

携帯電話機に例示される携帯情報端末において、動画再生技術を適用した製品が普及しつつある。動画と共に再生される音声に適した携帯情報端末用のスピーカが望まれている。   In portable information terminals exemplified by cellular phones, products to which a moving image reproduction technique is applied are becoming widespread. A speaker for a portable information terminal suitable for sound reproduced together with a moving image is desired.

携帯端末装置の音響再生システムにおいて、携帯端末装置に少なくとも２つの音響用スピーカが設けられ、その少なくとも２つの音響用スピーカは、同時に駆動され、互いの再生音響を補助し合うことを特徴とする携帯端末装置の音響再生システムが知られている。こうした音響再生システムにおいて更に、指向性の絞り信号処理回路が設けられ、その指向性の絞り信号処理回路は、少なくとも２つの音響用スピーカの入力信号を処理して指向性の方向を絞ることを特徴とする携帯端末装置が知られている（特許文献１参照）。   In the sound reproduction system of a portable terminal device, the portable terminal device is provided with at least two sound speakers, and the at least two sound speakers are simultaneously driven to assist each other in reproducing sound. A sound reproduction system for a terminal device is known. In such a sound reproduction system, a directional diaphragm signal processing circuit is further provided, and the directional diaphragm signal processing circuit processes input signals of at least two acoustic speakers to narrow the direction of directivity. A portable terminal device is known (see Patent Document 1).

従来広く用いられていたスピーカにおいては、振動板が剛体として前後に並進運動を行うことによって音声の出力が行われる。それに対して、振動板が撓み振動を行うことによって音声の出力が行われるＤＭ（Ｄｉｓｔｒｉｂｕｔｅｄ Ｍｏｄｅ）方式のスピーカが知られている。ＤＭ方式のスピーカにおいて、液晶表示パネルにおいて液晶を収容するためのガラス板を振動板として用いるパネル型スピーカが知られている（特許文献２参照）。
特開２００２−１１１８１７号公報 特開２００１−６１１９４号公報 In a loudspeaker that has been widely used in the past, sound is output by performing a translational motion back and forth with the diaphragm as a rigid body. On the other hand, a DM (Distributed Mode) type speaker is known in which sound is output when a diaphragm performs flexural vibration. As a DM type speaker, a panel type speaker using a glass plate for accommodating liquid crystal in a liquid crystal display panel as a diaphragm is known (see Patent Document 2).
JP 2002-111817 A JP 2001-61194 A

本発明の目的は、動画再生機能との併用に適した音声出力機能を有する携帯端末を提供することである。
本発明の他の目的は、音声出力装置の指向性が自動的に調整される携帯端末を提供することである。
本発明の更に他の目的は、コンパクトであり、かつ音声の質が高い音声出力装置を備えた携帯端末を提供することである。
本発明の更に他の目的は、使用者が音声を聞きやすく、かつ使用者以外の者に聞こえる音声が低減される音声出力機能を有する携帯端末を提供することである。
本発明の更に他の目的は、使用者のプライバシーが保護される携帯端末を提供することである。 An object of the present invention is to provide a portable terminal having an audio output function suitable for combined use with a moving image reproduction function.
Another object of the present invention is to provide a portable terminal in which the directivity of an audio output device is automatically adjusted.
Still another object of the present invention is to provide a portable terminal including an audio output device that is compact and has high audio quality.
Still another object of the present invention is to provide a portable terminal having a voice output function that makes it easy for a user to hear a voice and reduces the voice heard by a person other than the user.
Still another object of the present invention is to provide a portable terminal in which user privacy is protected.

以下に、［発明を実施するための最良の形態］で使用される番号を括弧付きで用いて、課題を解決するための手段を説明する。これらの番号は、［特許請求の範囲］の記載と［発明を実施するための最良の形態］との対応関係を明らかにするために付加されたものである。ただし、それらの番号を、［特許請求の範囲］に記載されている発明の技術的範囲の解釈に用いてはならない。   In the following, means for solving the problem will be described using the numbers used in [Best Mode for Carrying Out the Invention] in parentheses. These numbers are added to clarify the correspondence between the description of [Claims] and [Best Mode for Carrying Out the Invention]. However, these numbers should not be used to interpret the technical scope of the invention described in [Claims].

本発明による携帯端末（１）は、聴取範囲に音声が大きい指向性スピーカ部（８）と、聴取範囲を変更する指向性制御部（１０）とを具備している。   The portable terminal (1) according to the present invention includes a directional speaker unit (8) having a large sound in the listening range and a directivity control unit (10) for changing the listening range.

こうした携帯端末によれば、音声が使用者に聞きやすいように制御される。指向性は、ユーザの操作によって変更されることが好ましい。   According to such a portable terminal, the sound is controlled so as to be easily heard by the user. The directivity is preferably changed by a user operation.

本発明による携帯端末（１）において、指向性スピーカ部（８）は、振動板（３２）の撓み振動により音声を発生する。   In the portable terminal (1) according to the present invention, the directional speaker unit (8) generates sound due to the flexural vibration of the diaphragm (32).

撓み振動により音声を発生するＤＭ方式のスピーカは、薄型であり音質が高い。こうしたスピーカは携帯端末に好適に用いられる。   A DM speaker that generates sound by flexural vibration is thin and has high sound quality. Such a speaker is suitably used for a portable terminal.

本発明による携帯端末（１）は、振動板（３２）を透過する透過光によってユーザに対して画像を表示する表示部（１２）を具備している。   The portable terminal (1) according to the present invention includes a display unit (12) that displays an image to the user by transmitted light that passes through the diaphragm (32).

こうした携帯端末によれば、スピーカが占める面とディスプレイが占める面とが同じであるため、携帯端末の小さい筐体表面が有効に利用される。あるいは、スピーカ及びディスプレイの大きさに対して比較的サイズが小さい携帯端末が実現される。こうした携帯端末によれば、ディスプレイが大きいほど広いスピーカの面積が確保される。   According to such a portable terminal, since the surface occupied by the speaker and the surface occupied by the display are the same, the small housing surface of the portable terminal is effectively used. Alternatively, a mobile terminal having a relatively small size with respect to the size of the speaker and the display is realized. According to such a portable terminal, the larger the display, the larger the area of the speaker.

本発明による携帯端末（１）において、表示部（１２）は液晶ディスプレイであり、液晶ディスプレイに用いられている液晶は振動板（３２）によって封止されている。   In the portable terminal (1) according to the present invention, the display unit (12) is a liquid crystal display, and the liquid crystal used in the liquid crystal display is sealed by the diaphragm (32).

こうした携帯端末は、サイズが小さく重量が軽い。 Such portable terminals are small in size and light in weight.

本発明による携帯端末（１）は、カメラ（１４）を具備している。指向性制御部（１０）は、カメラ（１４）によって撮影された画像から抽出された特徴量に基づいて聴取範囲を変更する。   The portable terminal (1) according to the present invention includes a camera (14). The directivity control unit (10) changes the listening range based on the feature amount extracted from the image photographed by the camera (14).

こうした携帯端末によれば、音声を大きくしたい場所をカメラによって自動追尾して指向性を変更することが可能である。   According to such a portable terminal, it is possible to change the directivity by automatically tracking the place where the voice is desired to be increased by the camera.

本発明による携帯端末（１）において、特徴量は耳の位置である。   In the portable terminal (1) according to the present invention, the feature amount is the position of the ear.

こうした携帯端末によれば、耳の位置において音が大きくなるようにスピーカの指向性が自動的に調整される。こうした携帯端末によれば、ユーザが音声を聞きやすく、周囲の者に聞こえる音声が低減される。   According to such a portable terminal, the directivity of the speaker is automatically adjusted so that the sound is loud at the position of the ear. According to such a portable terminal, it is easy for the user to hear the sound, and the sound that can be heard by the surrounding people is reduced.

本発明による携帯端末（１）は、複数の顔の顔情報（４０）を格納する顔データベース（２０）を具備している。指向性制御部（１０）は、カメラ（１４）によって撮影された顔と顔情報（４０）とを照合し、一致する顔情報（４０）を用いて、耳の位置が聴取範囲となるように聴取範囲を変更する。   The portable terminal (1) according to the present invention includes a face database (20) that stores face information (40) of a plurality of faces. The directivity control unit (10) collates the face photographed by the camera (14) with the face information (40), and uses the matching face information (40) so that the ear position falls within the listening range. Change the listening range.

こうした携帯端末によれば、個々人の顔に応じて、スピーカの指向性が正確に耳の位置に向けられる。   According to such a portable terminal, the directivity of the speaker is accurately directed to the position of the ear according to the face of the individual.

本発明による携帯端末（１）は、カメラ（１４）によって撮影された顔と顔情報（４０）とを照合した結果に応じて、機能を制限する。   The portable terminal (1) according to the present invention restricts functions according to the result of collating the face photographed by the camera (14) with the face information (40).

制限される機能は、例えば動画再生、電子メール、電話、あるいはすべての機能である。こうした携帯端末によれば、プライバシーが保護される。   The restricted functions are, for example, video playback, e-mail, telephone, or all functions. According to such a portable terminal, privacy is protected.

本発明による携帯端末（１）において、指向性制御部（１０）は、特徴量と顔情報（４０）とを照合することによって算出された携帯端末（１）と顔との距離に基づいて聴取範囲を変更する。   In the mobile terminal (1) according to the present invention, the directivity control unit (10) listens based on the distance between the mobile terminal (1) and the face calculated by collating the feature quantity with the face information (40). Change the range.

こうした携帯端末によれば、ユーザと携帯端末との距離に対応してユーザに聞きやすい音声が出力される。   According to such a portable terminal, a voice that is easy to hear for the user is output corresponding to the distance between the user and the portable terminal.

本発明による携帯端末（１）は、電話番号（３４）と聴取範囲情報（３６）とを対応づけて格納するテーブル（２２）を具備している。指向性制御部（１０）は、着信時に、テーブル（２２）において発信元の電話番号に対応する聴取範囲情報に基づいて聴取範囲を制御する。   The portable terminal (1) according to the present invention includes a table (22) for storing a telephone number (34) and listening range information (36) in association with each other. The directivity control unit (10) controls the listening range based on the listening range information corresponding to the caller telephone number in the table (22) at the time of an incoming call.

こうした携帯端末によれば、携帯電話機の正面にいる使用者のみに着信音が聞こえる電話番号と、携帯電話機の正面から外れた位置にいる使用者あるいは周囲の者にも着信音が聞こえる電話番号とが、使用者によって自在に設定される。   According to such a mobile terminal, a phone number that only the user in front of the mobile phone can hear the ring tone, and a phone number that can be heard by the user who is away from the front of the mobile phone or those in the vicinity, Is freely set by the user.

本発明による携帯端末（１）において、指向性スピーカ部（８）は、指向性マイクとして用いられる。   In the portable terminal (1) according to the present invention, the directional speaker unit (8) is used as a directional microphone.

こうした携帯端末によれば、狭い角度でユーザの声のみ集音する場合と、広い角度でユーザの声と周囲の音声とを共に集音したい場合とが選択可能である。ユーザの声のみ集音する場合、指向性はユーザの顔に向けられることが好ましい。更に好ましくは、指向性はユーザの口に向けられる。こうした指向性の調整は、携帯端末が備えるカメラによって撮影されたユーザの顔の画像を用いて自動的に行われることが好ましい。   According to such a portable terminal, it is possible to select a case where only the user's voice is collected at a narrow angle and a case where both the user's voice and surrounding voice are desired to be collected at a wide angle. When only the user's voice is collected, the directivity is preferably directed to the user's face. More preferably, the directivity is directed to the user's mouth. Such directivity adjustment is preferably performed automatically using an image of the user's face taken by a camera included in the mobile terminal.

本発明による携帯端末（１）は、動画を再生する機能を有している。   The portable terminal (1) by this invention has the function to reproduce | regenerate a moving image.

動画を再生するとき、携帯電話機に例示される携帯端末は、概ね顔の正面に配置されて使用される。本発明による携帯端末の指向性スピーカは、こうした位置で使用される携帯端末に特に好ましい。   When playing back a moving image, a mobile terminal exemplified by a mobile phone is generally arranged in front of the face. The directional speaker of the portable terminal according to the present invention is particularly preferable for a portable terminal used at such a position.

本発明による携帯端末（１）は、電話機能を具備している。   The portable terminal (1) according to the present invention has a telephone function.

本発明による携帯端末は、特にテレビ電話機能を有する携帯電話機として実施されることが好適である。   The mobile terminal according to the present invention is particularly preferably implemented as a mobile phone having a videophone function.

本発明によれば、動画再生機能との併用に適した音声出力機能を有する携帯端末が提供される。
更に本発明によれば、音声出力装置の指向性が自動的に調整される携帯端末が提供される。
更に本発明によれば、コンパクトであり、かつ音声の質が高い音声出力装置を備えた携帯端末が提供される。
更に本発明によれば、使用者が音声を聞きやすく、かつ使用者以外の者に聞こえる音声が低減される音声出力機能を有する携帯端末が提供される。
更に本発明によれば、使用者のプライバシーが保護される携帯端末が提供される。 ADVANTAGE OF THE INVENTION According to this invention, the portable terminal which has an audio | voice output function suitable for combined use with a moving image reproduction function is provided.
Furthermore, according to this invention, the portable terminal by which the directivity of an audio | voice output apparatus is adjusted automatically is provided.
Furthermore, according to the present invention, a portable terminal provided with an audio output device that is compact and has high audio quality is provided.
Furthermore, according to the present invention, there is provided a portable terminal having a voice output function that makes it easy for a user to hear a voice and reduces a voice heard by a person other than the user.
Furthermore, according to this invention, the portable terminal with which a user's privacy is protected is provided.

以下、図面を参照しながら、本発明による携帯電話機について詳細に説明する。図１を参照して、携帯電話機１は、アンテナ２と、無線処理部４と、携帯電話部６と、指向性スピーカ部８と、指向性制御部１０と、液晶部１２と、カメラ部１４と、画像認識部１６と、メモリ部１８と、音量制御部２４と、動画再生部２６と、操作部２８と、タイマ部２９とを具備している。メモリ部１８は、顔データベース２０と、テーブル２２とを格納している。   Hereinafter, a mobile phone according to the present invention will be described in detail with reference to the drawings. Referring to FIG. 1, a mobile phone 1 includes an antenna 2, a wireless processing unit 4, a mobile phone unit 6, a directional speaker unit 8, a directivity control unit 10, a liquid crystal unit 12, and a camera unit 14. An image recognition unit 16, a memory unit 18, a volume control unit 24, a moving image reproduction unit 26, an operation unit 28, and a timer unit 29. The memory unit 18 stores a face database 20 and a table 22.

図２は、本発明による携帯電話機１の外形を示している。液晶部１２には、画像が表示される。カメラ部１４は、液晶部１２の表示面と同じ方向を撮影可能であるように携帯電話機１に取り付けられている。   FIG. 2 shows the outer shape of the mobile phone 1 according to the present invention. An image is displayed on the liquid crystal unit 12. The camera unit 14 is attached to the mobile phone 1 so that the same direction as the display surface of the liquid crystal unit 12 can be photographed.

液晶部１２を覆うガラス板は、音声を出力するための振動板として用いられ、以後、振動板３２と呼ばれる。液晶部１２の周辺には、複数の振動体３０が表面からは見えない位置に設置されている。振動体３０と振動板３２とは、指向性スピーカ部８を構成している。複数の振動体３０は、独立に振動を制御される。振動体３０は、振動板３２に撓み振動を与える。振動板３２の撓み振動によって、音声が出力される。複数の振動体３０が振動板３２に独立に振動を与えることにより、指向性スピーカ部８は音声の指向性を制御して音声を出力することが可能である。   The glass plate covering the liquid crystal unit 12 is used as a diaphragm for outputting sound, and is hereinafter referred to as a diaphragm 32. Around the liquid crystal unit 12, a plurality of vibrators 30 are installed at positions that cannot be seen from the surface. The vibrating body 30 and the diaphragm 32 constitute a directional speaker unit 8. The plurality of vibrators 30 are independently controlled in vibration. The vibrating body 30 applies flexural vibration to the diaphragm 32. Sound is output by the flexural vibration of the diaphragm 32. When the plurality of vibrating bodies 30 independently vibrate the diaphragm 32, the directional speaker unit 8 can control the directivity of the sound and output the sound.

図３を参照して、顔データベース２０は、顔ＩＤ３８と、顔画像４０とを対応づけて格納している。顔データベース２０の内容は、カメラ部１４によって撮影された画像や無線処理部４が受信した画像を用いて、操作部２８によって自在に編集可能である。顔データベース２０は更に、顔ＩＤに対応して、当該携帯電話機の使用が許可されているか禁止されているかを示す情報を格納していることが好ましい。   With reference to FIG. 3, the face database 20 stores a face ID 38 and a face image 40 in association with each other. The contents of the face database 20 can be freely edited by the operation unit 28 using images taken by the camera unit 14 or images received by the wireless processing unit 4. It is preferable that the face database 20 further stores information indicating whether the use of the mobile phone is permitted or prohibited corresponding to the face ID.

図４を参照して、テーブル２２は、電話番号３４と、着信範囲３６とを対応づけて格納している。着信範囲３６は、例えば「広い」、「中」、及び「狭い」にカテゴリー分けされている。テーブル２２の内容は、操作部２８によって自在に編集可能である。   Referring to FIG. 4, table 22 stores telephone numbers 34 and incoming call ranges 36 in association with each other. The incoming call range 36 is categorized into, for example, “wide”, “medium”, and “narrow”. The contents of the table 22 can be freely edited by the operation unit 28.

図５は、本発明による携帯電話機１が動画の再生を行う前に行う動作を説明するフローチャートである。   FIG. 5 is a flowchart for explaining the operation performed before the mobile phone 1 according to the present invention reproduces a moving image.

使用者が操作部２８に対して動画を再生するための所定の操作を行うと、カメラ部１４は使用者を撮影する。画像認識部１６は、顔データベース２０に格納されている顔画像４０を読み出す（ステップＳ１）。画像認識部１６は、カメラ部１４が撮影した使用者の顔と読み出された顔画像４０との照合を行う（ステップＳ２）。   When the user performs a predetermined operation for reproducing a moving image on the operation unit 28, the camera unit 14 photographs the user. The image recognition unit 16 reads the face image 40 stored in the face database 20 (step S1). The image recognition unit 16 collates the user's face photographed by the camera unit 14 with the read face image 40 (step S2).

ステップＳ２における照合の結果が一致しなかったとき（ステップＳ３ＮＯ）、動画の再生は行われない。そのため、第三者が動画を再生することは不可能であり、使用者のプライバシーが保護される。   When the collation result in step S2 does not match (NO in step S3), the moving image is not reproduced. Therefore, it is impossible for a third party to play a moving image, and the privacy of the user is protected.

顔データベース２０には、各々の顔ＩＤ３８に対応して、動画再生が許可されているか否かを示す情報が格納されていることが好ましい。   The face database 20 preferably stores information indicating whether or not reproduction of moving images is permitted in correspondence with each face ID 38.

ステップＳ２における照合の結果が一致したとき（ステップＳ３ＹＥＳ）、画像認識部１６は、カメラ部１４が撮影した使用者の顔の画像において耳を認識し、指向性スピーカ部８に対する使用者の耳の方向を算出する（ステップＳ４）。   When the collation result in step S2 matches (YES in step S3), the image recognition unit 16 recognizes the ear in the image of the user's face taken by the camera unit 14, and the user's ear with respect to the directional speaker unit 8 is recognized. A direction is calculated (step S4).

耳の認識は、カメラ部１４が撮影した顔の画像において耳にあたる部分を直接検出してもよいし、例えば目の位置を検出し、検出された目の位置と、顔データベース２０に格納されている顔画像４０における目の位置と耳の位置との相対的な関係とから、耳の位置を算出してもよい。カメラ部１４が撮影した顔の画像における目など耳以外の部位を用いて耳の位置が算出されると、使用者の耳が髪の毛によって隠されている場合でも使用者の耳の位置が適切に算出され、好ましい。   For the recognition of the ear, the part corresponding to the ear in the face image captured by the camera unit 14 may be directly detected. For example, the position of the eye is detected, and the detected eye position is stored in the face database 20. The position of the ear may be calculated from the relative relationship between the position of the eye and the position of the ear in the face image 40 that is present. When the position of the ear is calculated using a part other than the ear, such as the eye, in the face image captured by the camera unit 14, the position of the user's ear is appropriately adjusted even when the user's ear is hidden by the hair. Calculated and preferred.

画像認識部１６は、カメラ部１４が撮影した使用者の顔の画像と顔データベース２０に格納された顔画像４０とを用いて、携帯電話機１と使用者の顔との間の距離を算出する（ステップＳ５）。   The image recognition unit 16 calculates the distance between the mobile phone 1 and the user's face using the user's face image captured by the camera unit 14 and the face image 40 stored in the face database 20. (Step S5).

顔の距離は、カメラ部１４が撮影した使用者の頭部の大きさと顔データベース２０に格納された顔画像４０とを照合することによって算出することが可能である。あるいは顔の距離は、例えばカメラ部１４が撮影した使用者の両目の間隔と顔データベース２０に格納された顔画像４０とを照合することによって算出することが可能である。   The face distance can be calculated by comparing the size of the user's head taken by the camera unit 14 with the face image 40 stored in the face database 20. Alternatively, the face distance can be calculated, for example, by comparing the distance between both eyes of the user photographed by the camera unit 14 with the face image 40 stored in the face database 20.

指向性制御部１０は、画像認識部１６が算出した使用者の耳の方向に音声が強く聞こえるように指向性スピーカ部８を制御する。指向性制御部１０は更に、画像認識部１６が算出した使用者の顔の距離において音声が強く聞こえるように指向性スピーカ部８を制御する（ステップＳ６）。あるいは、音量制御部２４は画像認識部１６が算出した使用者の顔の距離に応じて指向性スピーカ部８の出力する音量を変更する。   The directivity control unit 10 controls the directional speaker unit 8 so that sound can be strongly heard in the direction of the user's ear calculated by the image recognition unit 16. The directivity control unit 10 further controls the directivity speaker unit 8 so that sound can be heard strongly at the distance of the user's face calculated by the image recognition unit 16 (step S6). Alternatively, the volume control unit 24 changes the volume output from the directional speaker unit 8 according to the distance of the user's face calculated by the image recognition unit 16.

こうした携帯電話機１によれば、動画再生に例示されるスピーカを耳元から離して使用する使用条件において、使用者が音声を聞きやすく、使用者の周囲の者に邪魔になる音声が低減する。更に、例えばテレビ電話機能が使用されている場合、あるいは音声を伴う電子メールが使用されている場合に、使用者の周囲に音声が聞こえないため、使用者のプライバシーが保護される。   According to such a mobile phone 1, it is easy for the user to hear the sound under use conditions in which a speaker exemplified for moving image reproduction is used away from the ear, and the sound that disturbs the people around the user is reduced. Furthermore, for example, when the videophone function is used or when an e-mail with voice is used, the voice is not heard around the user, so that the privacy of the user is protected.

図６を参照すると、動画再生中における携帯電話機１の動作が示されている。動画再生中において、タイマ部２９は一定の時間ごとに信号を出力する。タイマ部２９から信号が出力されないと、それ以上の制御は行われない（ステップＳ１１ＮＯ）。タイマ部２９から信号が出力されると（ステップＳ１１ＹＥＳ）、カメラ部１４は使用者を撮影する。画像認識部１６は、顔データベース２０に格納されている顔画像４０を読み出す。画像認識部１６は、カメラ部１４が撮影した使用者の顔と読み出された顔画像４０との照合を行う（ステップＳ１２）。   Referring to FIG. 6, the operation of the mobile phone 1 during moving image playback is shown. During moving image reproduction, the timer unit 29 outputs a signal at regular intervals. If no signal is output from the timer unit 29, no further control is performed (NO in step S11). When a signal is output from the timer unit 29 (YES in step S11), the camera unit 14 photographs the user. The image recognition unit 16 reads the face image 40 stored in the face database 20. The image recognition unit 16 collates the user's face photographed by the camera unit 14 with the read face image 40 (step S12).

ステップＳ１２における照合の結果が一致しなかったとき（ステップＳ１３ＮＯ）、動画の再生は停止される。こうした携帯端末によれば、動画を再生中に携帯電話を使用している者が変わった場合に動画の再生が停止され、使用者のプライバシーが守られる。   When the collation result in step S12 does not match (NO in step S13), the reproduction of the moving image is stopped. According to such a portable terminal, when the person using the mobile phone changes during the reproduction of the moving image, the reproduction of the moving image is stopped, and the privacy of the user is protected.

ステップＳ１２における照合の結果が一致したとき（ステップＳ１３ＹＥＳ）、画像認識部１６は、カメラ部１４が撮影した使用者の顔の画像において耳を認識し、指向性スピーカ部８に対する使用者の耳の方向を算出する。画像認識部１６は、カメラ部１４が撮影した使用者の顔の画像と顔データベース２０に格納された顔画像４０とを用いて、携帯電話機１と使用者の顔との間の距離を算出する（ステップＳ１４）。   When the collation result in step S12 matches (YES in step S13), the image recognition unit 16 recognizes the ear in the image of the user's face taken by the camera unit 14, and the user's ear with respect to the directional speaker unit 8 is recognized. Calculate the direction. The image recognition unit 16 calculates the distance between the mobile phone 1 and the user's face using the user's face image captured by the camera unit 14 and the face image 40 stored in the face database 20. (Step S14).

画像認識部１６が算出した使用者の耳の方向と前回に測定された使用者の耳の方向との差が所定の値よりも小さく、かつ画像認識部１６が算出した使用者の顔の距離と前回に測定された使用者の顔の距離との差が所定の値よりも小さいとき、携帯電話機１はステップＳ１１に移行して動作を継続する（ステップＳ１５ＹＥＳ）。   The difference between the direction of the user's ear calculated by the image recognition unit 16 and the direction of the user's ear measured last time is smaller than a predetermined value, and the distance of the user's face calculated by the image recognition unit 16 When the difference between the user's face distance measured last time and the user's face distance is smaller than a predetermined value, the mobile phone 1 proceeds to step S11 and continues operation (YES in step S15).

画像認識部１６が算出した使用者の耳の方向と前回に測定された使用者の耳の方向との差が所定の値よりも大きいとき、指向性制御部１０は現在の使用者の耳の方向に音量が大きくなるように指向性スピーカ部８の指向性を変更する。画像認識部１６が算出した使用者の顔の距離と前回に測定された使用者の顔の距離との差が所定の値よりも大きいとき、指向性制御部１０は現在の使用者の顔の距離において音量が大きくなるように指向性スピーカ部８の指向性を変更する（ステップＳ１６）。   When the difference between the direction of the user's ear calculated by the image recognition unit 16 and the direction of the user's ear measured last time is greater than a predetermined value, the directivity control unit 10 determines the current user's ear direction. The directivity of the directional speaker unit 8 is changed so that the volume increases in the direction. When the difference between the distance of the user's face calculated by the image recognition unit 16 and the distance of the user's face measured last time is greater than a predetermined value, the directivity control unit 10 determines the current user's face distance. The directivity of the directional speaker unit 8 is changed so that the sound volume increases with distance (step S16).

図７は、電話あるいは電子メールが着信したときの携帯電話機１の動作を示している。アンテナ２が無線基地局から着信を受けると、無線処理部４は着信処理を行う（ステップＳ２１）。   FIG. 7 shows the operation of the mobile phone 1 when a telephone call or electronic mail is received. When the antenna 2 receives an incoming call from the radio base station, the radio processing unit 4 performs an incoming call process (step S21).

指向性制御部１０は、テーブル２２において着信した電話番号３４に対応する着信範囲３６を検索する（ステップＳ２２）。指向性制御部１０は、検索された着信範囲３６に基づいて、指向性スピーカ部８の指向性の範囲を制御し（ステップＳ２３）、指向性スピーカ部８に着信音を出力させる。   The directivity control unit 10 searches the incoming range 36 corresponding to the incoming telephone number 34 in the table 22 (step S22). The directivity control unit 10 controls the directivity range of the directional speaker unit 8 based on the retrieved incoming range 36 (step S23), and causes the directional speaker unit 8 to output a ring tone.

こうした携帯電話機によれば、携帯電話機の正面にいる使用者のみに着信音が聞こえる電話番号と、携帯電話機の正面から外れた位置にいる使用者あるいは周囲の者にも着信音が聞こえる電話番号とが、使用者によって自在に設定される。   According to such a mobile phone, a phone number that only the user in front of the mobile phone can hear the ring tone, and a phone number that can be heard by the user who is away from the front of the mobile phone or those in the vicinity, and Is freely set by the user.

図１は、本発明による携帯電話機の構成を示す。FIG. 1 shows a configuration of a mobile phone according to the present invention. 図２は、本発明による携帯電話機の外観を示す。FIG. 2 shows the appearance of a mobile phone according to the present invention. 図３は、顔データベースを示す。FIG. 3 shows a face database. 図４は、テーブルを示す。FIG. 4 shows a table. 図５は、本発明による携帯電話機の動画再生時の動作を示す。FIG. 5 shows the operation of the mobile phone according to the present invention during playback of a moving image. 図６は、本発明による携帯電話機の動画再生時の動作を示す。FIG. 6 shows the operation of the mobile phone according to the present invention during moving image reproduction. 図７は、本発明による携帯電話機の着信時の動作を示す。FIG. 7 shows an operation when a mobile phone according to the present invention is received.

符号の説明Explanation of symbols

１…携帯電話機
２…アンテナ
４…無線処理部
６…携帯電話部
８…指向性スピーカ部
１０…指向性制御部
１２…液晶部
１４…カメラ部
１６…画像認識部
１８…メモリ部
２０…顔データベース
２２…テーブル
２４…音量制御部
２６…動画再生部
２８…操作部
２９…タイマ部
３０…振動体
３２…振動板
３４…電話番号
３６…着信範囲
３８…顔ＩＤ
４０…顔画像 DESCRIPTION OF SYMBOLS 1 ... Mobile telephone 2 ... Antenna 4 ... Wireless processing part 6 ... Mobile telephone part 8 ... Directional speaker part 10 ... Directionality control part 12 ... Liquid crystal part 14 ... Camera part 16 ... Image recognition part 18 ... Memory part 20 ... Face database 22 ... Table 24 ... Volume control unit 26 ... Movie playback unit 28 ... Operation unit 29 ... Timer unit 30 ... Vibrating body 32 ... Diaphragm 34 ... Phone number 36 ... Incoming range 38 ... Face ID
40 ... Face image

Claims (13)

聴取範囲の音声が大きい指向性スピーカと、
前記聴取範囲を変更する指向性制御部
とを具備する
携帯端末。 A directional speaker with a large listening range,
A portable terminal comprising: a directivity control unit that changes the listening range. 請求項１において、
前記指向性スピーカは、振動板の撓み振動により音声を発生する
携帯端末。 In claim 1,
The directional speaker is a portable terminal that generates sound by bending vibration of a diaphragm. 請求項２において、
更に、前記振動板を透過する透過光によってユーザに対して画像を表示する表示部
を具備する
携帯端末。 In claim 2,
Furthermore, the portable terminal which comprises the display part which displays an image with respect to a user with the transmitted light which permeate | transmits the said diaphragm. 請求項３において、
前記表示部は液晶ディスプレイであり、
前記液晶ディスプレイに用いられる液晶は前記振動板によって封止されている
携帯端末。 In claim 3,
The display unit is a liquid crystal display;
The liquid crystal used for the liquid crystal display is sealed with the diaphragm. 請求項１から４のうちのいずれか１項において、
更に、カメラ
を具備し、
前記指向性制御部は、前記カメラによって撮影された画像から抽出された特徴量に基づいて前記聴取範囲を変更する
携帯端末。 In any one of Claims 1-4,
Furthermore, it has a camera,
The said directivity control part changes the said listening range based on the feature-value extracted from the image image | photographed with the said camera. 請求項５において、
前記特徴量は、耳の位置である
携帯端末。 In claim 5,
The feature amount is a position of an ear. 請求項６において、
更に、複数の顔の顔情報を格納する顔データベース
を具備し、
前記指向性制御部は、前記カメラによって撮影された顔の画像と前記顔情報とを照合し、一致する前記顔情報を用いて、耳の位置が前記聴取範囲となるように前記聴取範囲を変更する
携帯端末。 In claim 6,
Furthermore, it has a face database that stores face information of multiple faces,
The directivity control unit collates the face image captured by the camera with the face information, and changes the listening range so that the position of the ear becomes the listening range by using the matching face information. Mobile terminal. 請求項７において、
更に、前記カメラによって撮影された顔と前記顔情報とを照合した結果に応じて、該携帯端末が有する機能を制限する
携帯端末。 In claim 7,
Furthermore, the portable terminal which restrict | limits the function which this portable terminal has according to the result which collated the face image | photographed with the said camera, and the said face information. 請求項７または８において、
前記指向性制御部は更に、前記特徴量と前記顔情報とを照合することによって算出された該携帯端末と顔との距離に基づいて前記聴取範囲を変更する
携帯端末。 In claim 7 or 8,
The directivity control unit further changes the listening range based on a distance between the portable terminal and the face calculated by comparing the feature amount with the face information. 請求項１から９のうちのいずれか１項において、
更に、電話番号と聴取範囲情報とを対応づけて格納するテーブル
を具備し、
前記指向性制御部は、着信時に、前記テーブルにおいて発信元の電話番号に対応する前記聴取範囲情報に基づいて前記聴取範囲を制御する
携帯端末。 In any one of Claims 1-9,
Furthermore, a table for storing telephone numbers and listening range information in association with each other is provided.
The directivity control unit is a portable terminal that controls the listening range based on the listening range information corresponding to a telephone number of a caller in the table when an incoming call is received. 請求項１から１０のうちのいずれか１項において、
前記指向性スピーカは、指向性マイクとして用いられる
携帯端末。 In any one of claims 1 to 10,
The directional speaker is a portable terminal used as a directional microphone. 請求項１から１１のうちのいずれか１項において、
該携帯端末は、動画を再生する機能を有している
携帯端末。 In any one of Claims 1-11,
The portable terminal has a function of reproducing a moving image. 請求項１から１２のうちのいずれか１項において、
更に、電話機能を有する
携帯端末。 In any one of claims 1 to 12,
Furthermore, a portable terminal having a telephone function.
JP2003286064A 2003-08-04 2003-08-04 Mobile device Expired - Fee Related JP4305950B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003286064A JP4305950B2 (en) 2003-08-04 2003-08-04 Mobile device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003286064A JP4305950B2 (en) 2003-08-04 2003-08-04 Mobile device

Publications (2)

Publication Number Publication Date
JP2005057488A true JP2005057488A (en) 2005-03-03
JP4305950B2 JP4305950B2 (en) 2009-07-29

Family

ID=34365491

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003286064A Expired - Fee Related JP4305950B2 (en) 2003-08-04 2003-08-04 Mobile device

Country Status (1)

Country Link
JP (1) JP4305950B2 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010024158A1 (en) * 2008-08-28 2010-03-04 シャープ株式会社 Portable communication terminal and operating method therefor
JP2010161724A (en) * 2009-01-09 2010-07-22 Toshiba Corp Mobile terminal apparatus
JP2011055076A (en) * 2009-08-31 2011-03-17 Fujitsu Ltd Voice communication device and voice communication method
KR101133672B1 (en) * 2007-06-28 2012-04-12 에스케이 텔레콤주식회사 Control method and system for speaker of mobile communication terminal and mobile communication terminal thereof
JP2012156780A (en) * 2011-01-26 2012-08-16 Nec Casio Mobile Communications Ltd Electronic device
WO2013008386A1 (en) * 2011-07-11 2013-01-17 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 Portable apparatus and notification sound output method
KR101354259B1 (en) * 2007-08-20 2014-01-27 삼성전자주식회사 Directional speaker apparatus and wireless terminal having the same
JP2014056345A (en) * 2012-09-11 2014-03-27 Samsung R&D Institute Japan Co Ltd Display device and display program
CN110662124A (en) * 2019-04-11 2020-01-07 深圳市哎哟宝贝科技有限公司 Holographic 3D projection stereo set

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63299996A (en) * 1987-05-30 1988-12-07 株式会社東芝 Ic card
JPH01305799A (en) * 1988-06-03 1989-12-11 Hitachi Maxell Ltd Ceramic piezoelectric transducer and transceiver using it
JPH07295600A (en) * 1994-04-28 1995-11-10 Olympus Optical Co Ltd Card-shaped information recording medium and information handling device
JP2000092578A (en) * 1998-09-09 2000-03-31 Fujitsu Ltd Speaker device
JP2001345925A (en) * 2000-05-31 2001-12-14 Toshiba Corp Mobile radio terminal
JP2003032776A (en) * 2001-07-17 2003-01-31 Matsushita Electric Ind Co Ltd Reproduction system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63299996A (en) * 1987-05-30 1988-12-07 株式会社東芝 Ic card
JPH01305799A (en) * 1988-06-03 1989-12-11 Hitachi Maxell Ltd Ceramic piezoelectric transducer and transceiver using it
JPH07295600A (en) * 1994-04-28 1995-11-10 Olympus Optical Co Ltd Card-shaped information recording medium and information handling device
JP2000092578A (en) * 1998-09-09 2000-03-31 Fujitsu Ltd Speaker device
JP2001345925A (en) * 2000-05-31 2001-12-14 Toshiba Corp Mobile radio terminal
JP2003032776A (en) * 2001-07-17 2003-01-31 Matsushita Electric Ind Co Ltd Reproduction system

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101133672B1 (en) * 2007-06-28 2012-04-12 에스케이 텔레콤주식회사 Control method and system for speaker of mobile communication terminal and mobile communication terminal thereof
KR101354259B1 (en) * 2007-08-20 2014-01-27 삼성전자주식회사 Directional speaker apparatus and wireless terminal having the same
WO2010024158A1 (en) * 2008-08-28 2010-03-04 シャープ株式会社 Portable communication terminal and operating method therefor
JP2010056877A (en) * 2008-08-28 2010-03-11 Sharp Corp Portable communication terminal, and method for operating the same
JP2010161724A (en) * 2009-01-09 2010-07-22 Toshiba Corp Mobile terminal apparatus
JP2011055076A (en) * 2009-08-31 2011-03-17 Fujitsu Ltd Voice communication device and voice communication method
US20110211035A1 (en) * 2009-08-31 2011-09-01 Fujitsu Limited Voice communication apparatus and voice communication method
JP2012156780A (en) * 2011-01-26 2012-08-16 Nec Casio Mobile Communications Ltd Electronic device
WO2013008386A1 (en) * 2011-07-11 2013-01-17 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 Portable apparatus and notification sound output method
JP2014056345A (en) * 2012-09-11 2014-03-27 Samsung R&D Institute Japan Co Ltd Display device and display program
CN110662124A (en) * 2019-04-11 2020-01-07 深圳市哎哟宝贝科技有限公司 Holographic 3D projection stereo set
CN110662124B (en) * 2019-04-11 2024-02-23 深圳市哎哟宝贝科技有限公司 Holographic 3D projection stereo set

Also Published As

Publication number Publication date
JP4305950B2 (en) 2009-07-29

Similar Documents

Publication Publication Date Title
US6819939B2 (en) Cellular phone with high-quality sound reproduction capability
US7515980B2 (en) Sound outputting apparatus and sound outputting method
CN101133627A (en) Audio output device, its alarm output control method, and its control program
JP4992591B2 (en) Communication system and communication terminal
JP2002244686A (en) Voice processing method, and telephone and repeater station using the same
JP4305950B2 (en) Mobile device
JP2008515307A (en) Audiovisual call confirmation means, mobile communication device, and method for forming call confirmation means
JP4364024B2 (en) Mobile device
CN106657621B (en) Self-adaptive adjusting device and method for sound signal
US20230143588A1 (en) Bone conduction transducers for privacy
WO2006075719A1 (en) Television broadcast receiving apparatus and television broadcast receiving method
CN116033304B (en) Audio output method, electronic equipment and readable storage medium
KR100547741B1 (en) Speaker device of mobile terminal
JP2006197047A (en) Mobile communication terminal, warming screen display method used therefor, and program thereof
WO2021014990A1 (en) Speech processing device, speech processing method, and recording medium
KR20060088295A (en) Terminal for playing 3d-sound and method for the same
JP2002027029A (en) Communication terminal equipment
JP2006157558A (en) Portable terminal device
US20050105714A1 (en) Communication terminal apparatus and reproducing method
CN111866226B (en) Terminal and sound production method
JP4585421B2 (en) Data distribution apparatus, data distribution method, communication terminal apparatus, and data output program
JP2002152324A (en) Mobile telephone set and speech i/o device used therefor
JP2003087397A (en) Recorder and control system for mobile wireless communication device
CN116847252A (en) Volume control method and device for double-diaphragm loudspeaker
KR20040058660A (en) Mobile phone for outputting stereo sound

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090413

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090426

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140515

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees