JP2010177775A - Mobile electronic device, and voice adjustment method - Google Patents
Mobile electronic device, and voice adjustment method Download PDFInfo
- Publication number
- JP2010177775A JP2010177775A JP2009015521A JP2009015521A JP2010177775A JP 2010177775 A JP2010177775 A JP 2010177775A JP 2009015521 A JP2009015521 A JP 2009015521A JP 2009015521 A JP2009015521 A JP 2009015521A JP 2010177775 A JP2010177775 A JP 2010177775A
- Authority
- JP
- Japan
- Prior art keywords
- electronic device
- image
- portable electronic
- camera
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Telephone Function (AREA)
Abstract
Description
本発明は、画像を撮影する撮像手段と音声を発する出力手段とを備える携帯電子機器及び音声調整方法に関する。 The present invention relates to a portable electronic device and an audio adjustment method including an imaging unit that captures an image and an output unit that emits sound.
携帯電話機は、通話時に音声を出力するレシーバを備える。例えば、特許文献１には、レシーバから出力される受話音量の調節手段として、キー操作によりボリューム調節を実施することが開示されている。
The mobile phone includes a receiver that outputs sound during a call. For example,
しかし、特許文献１に開示された技術は、通話中にレシーバの音量調整をする場合、キーを操作する必要があり、操作が煩わしいという問題があった。本発明は、上記に鑑みてなされたものであって、通話中に音声出力を調整する際の利便性を向上させることを目的とする。
However, the technique disclosed in
上述した課題を解決し、目的を達成するために、本発明に係る携帯電子機器は、筐体に取り付けられて、入光部が前記筐体の外部に露出している撮像手段と、音声を出力する出力手段と、前記撮像手段が撮像した、前記撮像手段の入光部と対向する位置の被写体の画像に基づき、前記出力手段の音声出力を調整することを特徴とする。 In order to solve the above-described problems and achieve the object, a portable electronic device according to the present invention is provided with an imaging means attached to a casing and having a light incident portion exposed to the outside of the casing, and a sound. The audio output of the output means is adjusted based on the output means for outputting and the image of the subject at the position facing the light incident portion of the image pickup means, which is picked up by the image pickup means.
本発明の望ましい態様としては、前記携帯電子機器において、前記制御手段は、前記撮像手段が撮像した画像中において前記被写体が占める程度に応じて前記音声出力を調整することが好ましい。 As a desirable aspect of the present invention, in the portable electronic device, it is preferable that the control unit adjusts the audio output according to a degree occupied by the subject in an image captured by the imaging unit.
本発明の望ましい態様としては、前記携帯電子機器において、前記制御手段は、前記被写体の移動方向に応じて前記音声出力を調整することが好ましい。 As a desirable mode of the present invention, in the portable electronic device, it is preferable that the control unit adjusts the audio output according to a moving direction of the subject.
本発明の望ましい態様としては、前記携帯電子機器において、前記制御手段は、前記撮像手段が前記被写体の画像を撮像した時間が、予め定めた所定の時間継続した場合に、前記被写体の画像に基づいて、前記出力手段の音声出力を調整することが好ましい。 As a desirable aspect of the present invention, in the portable electronic device, the control unit is configured to base the image on the subject when the time when the imaging unit has captured the image of the subject continues for a predetermined time. It is preferable to adjust the audio output of the output means.
本発明の望ましい態様としては、前記携帯電子機器において、音声を取得する音声取得手段と、当該音声取得手段が取得した音声を外部の機器に送出する通話手段とを有し、前記制御手段は、前記撮像手段が撮像した被写体の画像に基づき、前記通話手段による音声の送出を調整することが好ましい。 As a desirable aspect of the present invention, in the portable electronic device, the mobile electronic device includes a sound acquisition unit that acquires sound, and a call unit that transmits the sound acquired by the sound acquisition unit to an external device. It is preferable to adjust transmission of sound by the calling unit based on an image of a subject captured by the imaging unit.
本発明の望ましい態様としては、前記携帯電子機器において、前記制御手段は、前記撮像手段が前記被写体を撮像しない場合には、送話をミュートすることが好ましい。 As a desirable mode of the present invention, in the portable electronic device, it is preferable that the control means mute transmission when the imaging means does not image the subject.
本発明の望ましい態様としては、前記携帯電子機器において、前記音声取得手段は前記筐体に設けられるとともに、前記撮像手段は、前記筐体において前記音声取得手段とは反対側に設けられることが好ましい。 As a desirable mode of the present invention, in the portable electronic device, it is preferable that the voice acquisition unit is provided in the casing, and the imaging unit is provided on the opposite side of the casing from the voice acquisition unit. .
本発明の望ましい態様としては、前記携帯電子機器において、前記携帯電子機器は、前記撮像手段の周囲の明るさを検出する明るさ検出手段を備え、前記制御手段は、前記撮像手段の周囲が所定の明るさ以上の場合に、前記撮像手段が取得した被写体の画像に基づいて、前記出力手段の音声出力を調整することが好ましい。 As a desirable aspect of the present invention, in the portable electronic device, the portable electronic device includes brightness detection means for detecting brightness around the imaging means, and the control means has a predetermined periphery around the imaging means. It is preferable that the audio output of the output unit is adjusted based on the image of the subject acquired by the imaging unit.
上述した課題を解決し、目的を達成するために、本発明に係る音声調整方法は、筐体に取り付けられて、画像を取得する部分が前記筐体の外部に露出している撮像手段と、音声を出力する出力手段とを有する携帯電子機器において前記出力手段の音声出力を調整するにあたり、前記撮像手段から前記撮像手段の入光部と対向する位置の被写体の画像を取得する手順と、取得された前記画像に基づき、前記出力手段の音声出力を調整する手順と、を含むことを特徴とする。 In order to solve the above-described problems and achieve the object, an audio adjustment method according to the present invention includes an imaging unit that is attached to a housing and a portion for acquiring an image is exposed to the outside of the housing; In adjusting the audio output of the output means in a portable electronic device having an output means for outputting sound, a procedure for acquiring an image of a subject at a position facing the light incident portion of the image pickup means from the image pickup means, and acquisition And a procedure for adjusting an audio output of the output means based on the processed image.
本発明の望ましい態様としては、前記音声調整方法において、取得された前記画像に基づき、前記出力手段の音声出力を調整する手順において、前記撮像手段が前記被写体を撮像しない場合には、前記携帯電子機器からの送話をミュートすることが好ましい。 In a preferred aspect of the present invention, in the audio adjustment method, in the procedure of adjusting the audio output of the output unit based on the acquired image, the portable electronic device is used when the imaging unit does not image the subject. It is preferable to mute the transmission from the device.
本発明は、通話中に音声出力を調整する際の利便性を向上させることができる。 The present invention can improve the convenience when adjusting the audio output during a call.
以下、この発明につき図面を参照しつつ詳細に説明する。なお、この発明を実施するための形態（以下実施形態という）により本発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が容易に想定できるものあるいは実質的に同一のもの、いわゆる均等の範囲内のものが含まれる。以下においては、携帯電話機を携帯電子機器の一例として取り上げるが、本発明の適用対象は携帯電話機に限定されるものではなく、画像を撮影する撮像手段及び音声を出力する出力手段を有していれば、例えば、ＰＨＳ（Personal Handy phone System）、ＰＤＡ（Personal Data Assistant）、ポータブルナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。 Hereinafter, the present invention will be described in detail with reference to the drawings. The present invention is not limited by the mode for carrying out the invention (hereinafter referred to as an embodiment). In addition, constituent elements in the following embodiments include those that can be easily assumed by those skilled in the art or that are substantially the same, that is, those that are within a so-called equivalent range. In the following, a cellular phone is taken as an example of a portable electronic device, but the application target of the present invention is not limited to a cellular phone, and may include an imaging unit that captures an image and an output unit that outputs sound. For example, the present invention can be applied to, for example, a personal handy phone system (PHS), a personal data assistant (PDA), a portable navigation device, a notebook computer, and a game machine.
図１は、本実施形態に係る携帯電子機器の正面図である。図２は、本実施形態に係る携帯電子機器の側面図である。図３は、本実施形態に係る携帯電子機器の背面図である。本実施形態は、画像を撮影する撮像手段と、音声を出力する出力手段とを有する携帯電子機器において、撮像手段が撮像した、撮像手段の入光部と対向する位置の被写体の画像（被写体の撮像状態）に基づき、出力手段が出力する音声出力（音量、速度、周波数等）を調整する点に特徴がある。以下においては、撮像手段の入光部と対向する位置の被写体の画像として、撮像手段の入光部を覆う被写体の画像を用いる例を説明する。被写体は、撮像手段の入光部に接した状態で前記入光部を覆ってもよく、前記入光部に対向する（すなわち、互いに向き合う）とともに、前記入光部から離れた位置で撮像手段に撮像されるものであってもよい。本実施形態では、撮像手段が撮像した被写体の画像を用いて音声出力を調整するので、撮像手段の入光部と被写体との距離は、本実施形態に係る音声出力の調整を実現できる範囲となる。 FIG. 1 is a front view of the portable electronic device according to the present embodiment. FIG. 2 is a side view of the portable electronic device according to the present embodiment. FIG. 3 is a rear view of the portable electronic device according to the present embodiment. In this embodiment, in a portable electronic device having an imaging unit that captures an image and an output unit that outputs sound, an image of a subject (position of the subject) that is captured by the imaging unit and that is opposed to a light incident portion of the imaging unit. It is characterized in that the audio output (volume, speed, frequency, etc.) output by the output means is adjusted based on the imaging state. In the following, an example in which an image of a subject covering the light incident portion of the imaging means is used as the subject image at a position facing the light incident portion of the imaging means will be described. The subject may cover the light incident portion in a state of being in contact with the light incident portion of the imaging means, face the light incident portion (that is, face each other), and at a position away from the light incident portion. It may be one that is imaged. In the present embodiment, since the audio output is adjusted using the image of the subject imaged by the imaging unit, the distance between the light incident part of the imaging unit and the subject is within a range in which the adjustment of the audio output according to the present embodiment can be realized. Become.
本実施形態において、図１〜図３に示す携帯電子機器１は、無線通信機能と、出力手段と、音声取得手段と、撮像手段とを有する携帯電話機である。携帯電子機器１は、筐体１Ｃが複数の筐体で構成される。具体的には、筐体１Ｃは、第１筐体１ＣＡと第２筐体１ＣＢとで開閉可能に構成される。すなわち、携帯電子機器１は、折り畳み式の筐体を有する。なお、携帯電子機器１の筐体は、このような構造に限定されるものではない。例えば、携帯電子機器１の筐体は、両方の筐体を重ね合わせた状態から一方の筐体と他方の筐体とを互いにスライドできるようにしたスライド式の筐体であってもよいし、重ね合わせ方向に沿う軸線を中心に、一方の筐体を回転させるようにした回転式や、２軸ヒンジを介して両方の筐体を連結したものでもよい。
In the present embodiment, the mobile
第１筐体１ＣＡと第２筐体１ＣＢとは、連結部であるヒンジ機構８で連結されている。ヒンジ機構８は、第１筐体１ＣＡ側の第１ヒンジ部８Ａと第２筐体１ＣＢ側の第２ヒンジ部８Ｂとで構成される。ヒンジ機構８で第１筐体１ＣＡと第２筐体１ＣＢとを連結することにより、第１筐体１ＣＡ及び第２筐体１ＣＢは、ヒンジ機構８を中心としてともに回動して、互いに遠ざかる方向及び互いに接近する方向（図２の矢印Ｒで示す方向）に回動できるように構成される。第１筐体１ＣＡと第２筐体１ＣＢとが互いに遠ざかる方向に回動すると携帯電子機器１が開き、第１筐体１ＣＡと第２筐体１ＣＢとが互いに接近する方向に回動すると携帯電子機器１が閉じて、折り畳まれた状態となる（図２の点線で示す状態）。
1st housing | casing 1CA and 2nd housing | casing 1CB are connected by the
第１筐体１ＣＡには、表示部として、図１に示すディスプレイ２が設けられる。ディスプレイ２は、携帯電子機器１が受信を待機している状態のときに待ち受け画像を表示したり、携帯電子機器１の操作を補助するために用いられるメニュー画像を表示したりする。また、第１筐体１ＣＡには、携帯電子機器１の通話時に音声を出力する出力手段であるレシーバ６が設けられる。
The first housing 1CA is provided with a
第２筐体１ＣＢには、通話相手の電話番号や、メール作成時等に文字を入力するための操作キー３Ａが複数設けられ、また、ディスプレイ２に表示されるメニューの選択及び決定や画面のスクロール等を容易に実行するための方向及び決定キー３Ｂが設けられる。操作キー３Ａ及び方向及び決定キー３Ｂは、携帯電子機器１の操作部３を構成する。また、第２筐体１ＣＢには、携帯電子機器１の通話時に音声を受け取る音声取得手段であるマイク５が設けられる。操作部３は、図２に示す、第２筐体１ＣＢの操作面１ＰＣに設けられる。操作面１ＰＣとは反対側の面が、携帯電子機器１の背面１ＰＢである。
The second casing 1CB is provided with a plurality of
第２筐体１ＣＢの内部には、アンテナ７が設けられている。アンテナ７は、無線通信に用いる送受信アンテナであり、携帯電子機器１と基地局との間で通話や電子メール等に係る電波（電磁波）の送受信に用いられる。アンテナ７は、第２筐体１ＣＢの第２ヒンジ部８Ｂとは反対側に配置される。また、第２筐体１ＣＢには、マイク５が設けられる。マイク５は、図２に示す、携帯電子機器１の操作面１ＰＣ側に配置される。
An
図２、図３に示すように、携帯電子機器１の背面１ＰＢには、撮像手段であるカメラ４Ｃが設けられる。すなわち、カメラ４Ｃは、マイク５とは反対側に設けられる。カメラ４Ｃは、入光部（画像を撮像素子に取り入れる部分）が第２筐体１ＣＢの外部に露出している。後述するように、本実施形態では、レシーバ６が出力する音声の音量や速度等を調整する場合、携帯電子機器１の使用者の指等でカメラ４Ｃの入光部が覆われるが、カメラ４Ｃを、マイク５が設けられる操作面１ＰＣとは反対側に設けることにより、使用者の指でカメラ４Ｃを覆いやすくなる。これによって、音量や音声の速度を調整する際の利便性が向上する。
As shown in FIGS. 2 and 3, the
本実施形態において、カメラ４Ｃには、例えば、ＣＣＤ（Charge Coupled Device Image Sensor）のような撮像素子が用いられる。カメラ４Ｃは、撮像素子の制御回路とともにカメラモジュール４に組み込まれる。ここで、カメラ４Ｃの入光部は、カメラ４Ｃの最も被写体側に設けられて、撮像素子が撮像する画像が最初に入射する部分である。本実施形態において、第２筐体１ＣＢの背面１ＰＢには、カメラ４Ｃの周囲の明るさを検出する明るさ検出手段として、明度センサ９が設けられる。明度センサ９は、例えば、フォトダイオードが用いられる。
In the present embodiment, an image sensor such as a CCD (Charge Coupled Device Image Sensor) is used for the
図４は、本実施形態に係る携帯電子機器の機能を説明するためのブロック図である。携帯電子機器１の動作は、制御装置１０により制御される。制御装置１０は制御手段であり、主処理部１１と、記憶部１２と、画像処理部１３と、音声処理部１４と、通信処理部１５とを有する。主処理部１１は、記憶部１２、画像処理部１３、音声処理部１４、通信処理部１５、ディスプレイ２、操作部３、明度センサ９が接続される。そして、主処理部１１は、携帯電子機器１の全体的な動作を統括的に制御する。すなわち、主処理部１１は、携帯電子機器１の各種の処理が、操作部３の操作や携帯電子機器１の記憶部１２に保存されるソフトウェアに応じて適切な手順で実行されるように、通信処理部１５や音声処理部１４、あるいは画像処理部１３等の動作を制御する。
FIG. 4 is a block diagram for explaining functions of the portable electronic device according to the present embodiment. The operation of the portable
携帯電子機器１の各種の処理としては、例えば、回線交換網を介して行われる音声通話、電子メールの作成及び送受信等がある。また、通信処理部１５や音声処理部１４等の動作としては、例えば、通信処理部１５における信号の送受信、音声処理部１４における音声の制御や入出力、カメラ４Ｃが撮像した画像の画像処理部１３による処理等がある。
Various processes of the portable
主処理部１１は、記憶部１２に保存されているプログラム（例えば、オペレーティングシステムプログラム、アプリケーションプログラム等）に基づいて処理を実行する。主処理部１１は、例えば、マイクロプロセッサユニット（ＭＰＵ：Micro Processor Unit）で構成され、前記ソフトウェアで指示された手順に従って上述した携帯電子機器１の各種の処理を実行する。すなわち、主処理部１１は、記憶部１２に保存されるオペレーティングシステムプログラムやアプリケーションプログラム等から命令コードを順次読み込んで処理を実行する。
The main processing unit 11 executes processing based on a program (for example, an operating system program, application program, etc.) stored in the storage unit 12. The main processing unit 11 is constituted by, for example, a microprocessor unit (MPU: Micro Processor Unit), and executes various processes of the portable
また、主処理部１１は、音声処理部１４に出力する音声データのレベル（音量）や速度等を調整する。これによって、音声処理部１４に接続されるレシーバ６から出力される音声の音量や速度等が変更される。また、主処理部１１は、マイク５が取得し、音声処理部１４から入力される音声データを通信処理部１５に出力しない処理も可能である。これによって、携帯電子機器１からの送話をミュートすることができる。
The main processing unit 11 also adjusts the level (volume), speed, etc. of the audio data output to the audio processing unit 14. As a result, the volume and speed of the sound output from the
記憶部１２は、主処理部１１での処理に利用されるソフトウェアやデータを保存する。例えば、記憶部１２は、ダウンロードされた画像データや音声データ、あるいは主処理部１１が記憶部１２に対する制御に用いるソフトウェア、通信相手の電話番号やメールアドレス等を保存し管理するアドレス帳、発信音や着信音等の音声ファイル、ソフトウェアの処理過程で用いられる一時的なデータ等を保存する。記憶部１２は、例えば、不揮発性の記憶デバイス（ＲＯＭ：Read Only Memory等の不揮発性半導体メモリ、ハードディスク装置等）や、読み書き可能な記憶デバイス（例えば、ＳＲＡＭ：Static Random Access Memory、ＤＲＡＭ：Dynamic Random Access Memory）等で構成される。 The storage unit 12 stores software and data used for processing in the main processing unit 11. For example, the storage unit 12 stores downloaded image data and voice data, software used by the main processing unit 11 for controlling the storage unit 12, an address book that stores and manages a communication partner's telephone number, mail address, and the like. And voice files such as ringtones, temporary data used in software processing. The storage unit 12 includes, for example, a nonvolatile storage device (nonvolatile semiconductor memory such as ROM: Read Only Memory, a hard disk device, etc.), a readable / writable storage device (for example, SRAM: Static Random Access Memory, DRAM: Dynamic Random Access Memory).
本実施形態において、画像処理部１３、音声処理部１４、通信処理部１５は、それぞれの機能を実現するための専用のＩＣ（Integral Circuit：集積回路）で構成される。画像処理部１３は、画像処理手段である。画像処理部１３は、カメラモジュール４が接続されており、これに組み込まれるカメラ４Ｃが撮像し、カメラモジュール４から送られる被写体の画像信号を取得する。そして、画像処理部１３は、取得した画像信号に対して各種の処理を施して画像情報を生成し、主処理部１１へ出力する。各種の処理としては、例えば、ＡＤ変換（Analog Digital変換）処理や、さらに符号化等の処理がある。
In the present embodiment, the
音声処理部１４は、音声制御手段であり、マイク（ＭＩＣ）５、レシーバ（ＲＣＶ）６、スピーカ１７が接続される。音声処理部１４は、レシーバ６から出力される音声やマイク５に入力される音声の信号処理を実行する。すなわち、音声処理部１４は、マイク５から入力される音声を増幅し、ＡＤ変換（Analog Digital変換）を実行した後さらに符号化等の信号処理を施して、ディジタルの音声データに変換して主処理部１１へ出力する。また、音声処理部１４は、主処理部１１から送られる音声データに対して復号化、ＤＡ変換（Digital Analog変換）、増幅等の処理を施してアナログの音声信号に変換してから、レシーバ６へ出力する。さらに、音声処理部１４は、着信音や電子メールの送信音等をスピーカ１７から出力させる。
The audio processing unit 14 is an audio control unit, and is connected to a microphone (MIC) 5, a receiver (RCV) 6, and a
通信手段である通信処理部１５は、アンテナ７が接続されており、基地局のいずれかによって割り当てられるチャンネルを介して、前記基地局との間で無線通信を行う。この無線通信において、通信処理部１５は、前記基地局を介して取得した通信対象の携帯電子機器の音声データを主処理部１１へ出力する。また、前記無線通信において、通信処理部１５は、携帯電子機器１のマイク５が取得し、音声処理部１４によって信号処理された音声データを、前記基地局を介して通信対象の携帯電子機器へ出力する。
The
携帯電子機器１が他の携帯電子機器と通信（基地局を介した無線通信）している場合、通信相手からの音声はレシーバ６から出力されるが、その音量や速度を調整したい場合がある。また、携帯電子機器１からの送話をミュートする、すなわち、携帯電子機器１のマイク５が取得した音声を通信相手には送信しないことが必要になる場合もある。なお、送話のミュート時には、通信相手からの音声はレシーバ６から出力される。このような場合、携帯電子機器１は、カメラ４Ｃを利用して、音量や音声の速度を調整する際の利便性を向上させる。次に、この手法を説明する。
When the portable
図５は、本実施形態に係る音声調整方法の手順を示すフローチャートである。本実施形態に係る音声調整方法は、携帯電子機器１によって実行され、より具体的には携帯電子機器１の制御装置１０が実行する。本実施形態に係る音声調整方法は、携帯電子機器１の通話中に実行される。ステップＳ１０１において、図４に示す制御装置１０の主処理部１１は、携帯電子機器１が通話中であるか否かを判定する。ステップＳ１０１でＮｏと判定された場合、すなわち、主処理部１１が携帯電子機器１は通話中でないと判定した場合、ＳＴＡＲＴに戻り、主処理部１１は、携帯電子機器１の状態の監視を継続する。
FIG. 5 is a flowchart showing the procedure of the audio adjustment method according to the present embodiment. The audio adjustment method according to the present embodiment is executed by the mobile
ステップＳ１０１でＹｅｓと判定された場合、ステップＳ１０２へ進む。ステップＳ１０２において、主処理部１１は、カメラ４Ｃによる音声調整機能が有効であるか否かを判定する。カメラ４Ｃによる音声調整機能（以下、カメラ音声調整機能という）とは、携帯電子機器１の通話中にカメラ４Ｃを使用者の指等で覆い、カメラ４Ｃが覆われる程度（面積）を変更することで、レシーバ６からの音声の音量を調整したり、レシーバ６からの音声の速度を調整したりする機能である。カメラ音声調整機能は、携帯電子機器１の使用者によって使用するか否か、何を調整するのか等を設定できる。
When it determines with Yes by step S101, it progresses to step S102. In step S102, the main processing unit 11 determines whether or not the sound adjustment function by the
図６は、メニュー画面の一例を示す図である。例えば、カメラ音声調整機能は、ディスプレイ２に表示されるメニュー画面によって設定できる。携帯電子機器１の使用者は、操作キー３Ａや方向及び決定キー３Ｂを用いて図６に示すメニュー画面を読み出し、カメラ音量調整機能を設定する。この例では、カメラ４Ｃを利用して、レシーバ６から出力される音声の音量及び速度を調整できるように設定できる。例えば、図６のメニュー画面の音量をＯＮにすると、カメラ４Ｃの入光部を覆う面積を変更することによりレシーバ６から出力される音声の音量を調整できる。また、図６のメニュー画面の速度をＯＮにすると、カメラ４Ｃの入光部を覆う面積を変更することによりレシーバ６から出力される音声の速度を調整できる。それぞれの項目をＯＦＦにすると、音声の音量及び速度はカメラ４Ｃによっては変更できず、通常の音声調整機能で音声の音量や速度が調整されることになる。ここで、通常の音声調整機能とは、操作キー３Ａや方向及び決定キー３Ｂを操作することによりレシーバ６から出力される音声を調整する機能である。
FIG. 6 is a diagram illustrating an example of a menu screen. For example, the camera sound adjustment function can be set by a menu screen displayed on the
ステップＳ１０２でＮｏと判定された場合、すなわち、主処理部１１が、カメラ音声調整機能は有効でないと判定した場合、ステップＳ１０３へ進み、上述した通常の音声調整により、レシーバ６から出力される音声の音量や速度が調整される。ステップＳ１０２でＹｅｓと判定された場合、すなわち、主処理部１１が、カメラ音声調整機能は有効であると判定した場合、ステップＳ１０４へ進む。ステップＳ１０４で、主処理部１１は、携帯電子機器１のカメラ４Ｃが起動中であるか否かを判定する。
When it is determined No in step S102, that is, when the main processing unit 11 determines that the camera sound adjustment function is not effective, the process proceeds to step S103, and the sound output from the
ステップＳ１０４でＮｏと判定された場合、すなわち、主処理部１１は、携帯電子機器１のカメラ４Ｃが起動していないと判定した場合、ステップＳ１０５に進み、主処理部１１は、携帯電子機器１のカメラ４Ｃを起動する。カメラ音声調整機能は、携帯電子機器１の通話中にカメラ４Ｃを用いるため、カメラ４Ｃが起動していないとカメラ音声調整機能は実行できないからである。ステップＳ１０５でカメラを起動した後、あるいはステップＳ１０４でＹｅｓと判定された場合（主処理部１１が携帯電子機器１のカメラ４Ｃは起動中であると判定した場合）、ステップＳ１０６へ進む。
When it determines with No by step S104, ie, when the main process part 11 determines with the
ステップＳ１０６において、主処理部１１は、携帯電子機器１の使用環境、より具体的にはカメラ４Ｃの使用環境の明るさが所定値以上であるか否かを判定する。本実施形態では、カメラ４Ｃを使用者の指等で覆い、カメラ４Ｃが覆われる程度（面積）に応じてレシーバ６の音声出力を調整する。このため、カメラ４Ｃは、被写体である使用者の指等を認識できることが必要である。したがって、本実施形態に係る音声調整方法では、カメラ４Ｃの使用環境はカメラ４Ｃが被写体を認識できる程度の明るさが必要となる。このため、ステップＳ１０６で、カメラ４Ｃの使用環境の明るさが所定値以上であるか否かが判定される。
In step S106, the main processing unit 11 determines whether the brightness of the usage environment of the mobile
本実施形態では、カメラ４Ｃの使用環境の明るさを、図３、図４に示す明度センサ９で検出する。ステップＳ１０６での明るさの所定値、すなわち、ステップＳ１０６の判断における明るさの閾値は、カメラ４Ｃの仕様等から予め定めておき、記憶部１２へ格納しておく。ステップＳ１０６において主処理部１１は、明度センサ９からカメラ４Ｃの使用環境における実際の明るさと記憶部１２へ格納された明るさの閾値とを取得し、両者を比較する。その結果、カメラ４Ｃの使用環境における実際の明るさが明るさの閾値よりも小さい場合（ステップＳ１０６：Ｎｏ）、カメラ４Ｃの使用環境の明るさではカメラ４Ｃが被写体を認識できないと判断できる。この場合、ステップＳ１０３へ進み、上述した通常の音声調整により、レシーバ６から出力される音声の音量や速度が調整される。
In the present embodiment, the brightness of the environment in which the
ここで、ステップＳ１０６の判断において、主処理部１１は、制御装置１０に内蔵された時計を用いて、現在の時刻から、カメラ４Ｃの使用環境は、カメラ４Ｃが被写体を認識できる程度の明るさであるか否かを判定してもよい。このようにすれば、明度センサ９は不要なので、携帯電子機器１の装置構成を簡単にできるとともに、製造コストを低減できる。しかし、季節によっては同じ時刻であってもカメラ４Ｃの使用環境の明るさは異なることや、照明の有無によってもカメラ４Ｃの使用環境の明るさは異なる。したがって、時刻による判定は明度センサ９による判定の精度を高めるための補助として用いることが好ましい。
Here, in the determination in step S106, the main processing unit 11 uses the clock built in the
カメラ４Ｃの使用環境における実際の明るさが明るさの閾値以上である場合（ステップＳ１０６：Ｙｅｓ）、カメラ４Ｃの使用環境の明るさは、カメラ４Ｃが被写体を認識できる程度である判断できる。この場合、ステップＳ１０７へ進む。ステップＳ１０７で、主処理部１１は、カメラ４Ｃからの画像情報を取得する。カメラ４Ｃからの画像情報は、カメラ４Ｃが撮像した画像信号に画像処理部１３が所定の画像処理を施すことにより生成される。主処理部１１は、画像処理部１３を介して、カメラ４Ｃからの画像情報を取得する。次にステップＳ１０８へ進み、主処理部１１は、カメラ４Ｃが撮像し、画像処理部１３で画像処理された画像情報から、単色画像（画素）を連続して検出したか否かを判定する。
When the actual brightness in the usage environment of the
図７は、カメラによって撮像された画像の画像情報を構成する画素と、それぞれの画素の色情報との関係を示す図である。図８は、カメラによって撮像され、画像処理された画像情報を示す模式図である。図８は、カメラ４Ｃによって撮像され、画像処理部１３で画像処理されることにより生成された画像情報２０であり、複数の画素Ｐ０、Ｐ１、Ｐ２・・・Ｐｎから構成される（ｎは画素の識別番号）。画像情報２０は、ＸＹ座標上に表され、Ｙ軸は携帯電子機器１の長手方向（レシーバ６からマイク５に向かう方向）と平行な軸であり、Ｘ軸はＹ軸と直交する軸である。
FIG. 7 is a diagram illustrating a relationship between pixels constituting image information of an image captured by the camera and color information of each pixel. FIG. 8 is a schematic diagram showing image information imaged and processed by the camera. FIG. 8 shows
例えば、携帯電子機器１の使用者がレシーバ６の音量を調整するためにカメラ４Ｃを指で覆った場合、カメラ４Ｃは、その指を被写体として撮像する。すると、撮像された被写体の部分は、例えば、図８に示す画像情報２０に単色となって現れる。したがって、主処理部１１が、カメラ４Ｃによって撮像され、画像処理部１３で画像処理された画像情報２０から連続する単色画像を検出した場合には、携帯電子機器１の使用者の指でカメラ４Ｃの一部又は全部が覆われていると判断できる。図７に示す例では、画素Ｐ１〜Ｐｎ−１までの色情報は連続していないが、画素Ｐｎ以降の色情報はすべて００（１６進）で連続している。このような画素を有する画像情報は、連続する単色画像が検出されることになる。
For example, when the user of the mobile
なお、指の色は必ずしも単色で検出されるとは限らないので、予め携帯電子機器１の使用者の指をカメラ４Ｃで撮像し、その色をカメラ音声調整機能に用いる判定色として設定し、記憶部１２へ格納してもよい。この場合、ステップＳ１０８では、単色画像の代わりに設定した判定色を用いる。このようにすれば、カメラ音声調整機能を実行するためにカメラ４Ｃの入光部を覆う被写体を精度よく、より確実に検出できる。
Since the finger color is not always detected as a single color, the user's finger of the portable
ステップＳ１０８で連続する単色画像が検出されない場合（ステップＳ１０８：Ｎｏ）、ＳＴＡＲＴに戻り、主処理部１１は、携帯電子機器１の状態の監視を継続する。ステップＳ１０８で連続する単色画像が検出されたら（ステップＳ１０８：Ｙｅｓ）、ステップＳ１０９へ進む。ステップＳ１０９において、主処理部１１は、携帯電子機器１の使用者の指等でカメラ４Ｃが覆われた時間（カメラ４Ｃが使用者の指等を撮像した時間）が、予め定めた所定の時間Ｔｗ継続したか否かを判定する。これは、連続する単色画像が検出された状態が所定の待機時間Ｔｗ継続したか否かで判定される。
If no continuous monochrome image is detected in step S108 (step S108: No), the process returns to START, and the main processing unit 11 continues to monitor the state of the portable
ステップＳ１０９でＮｏと判定された場合、すなわち、主処理部１１が、連続する単色画像の検出された状態が所定の待機時間Ｔｗ継続しなかったと判定した場合、ＳＴＡＲＴに戻り、主処理部１１は、携帯電子機器１の状態の監視を継続する。ステップＳ１０９でＹｅｓと判定された場合、すなわち、主処理部１１が、連続する単色画像が検出された状態が所定の待機時間Ｔｗ継続したと判定した場合、ステップＳ１１０に進む。このように、カメラ４Ｃが覆われた時間が、予め定めた所定の時間Ｔｗ継続してから、本実施形態に係る音声調整方法の次のステップへ移行することにより、カメラ音声調整機能を利用して音声を調整しようとする携帯電子機器１の使用者の意思を確認できる。これによって、前記使用者の意思を反映させた制御が可能になる。ステップＳ１０９でＹｅｓと判定されたらステップＳ１１０へ進み、主処理部１１は、基準値を設定する。
When it is determined No in step S109, that is, when the main processing unit 11 determines that the state where the continuous monochrome image is detected does not continue for the predetermined waiting time Tw, the process returns to START, and the main processing unit 11 The monitoring of the state of the portable
図９、図１０は、画像情報とこの画像情報に含まれる単色画像の面積率と音量との関係を示す模式図である。図９、図１０のＸ、Ｙは、図８のＸ軸、Ｙ軸に対応する（以下同様）。また、面積率ρは、画像情報中に存在する連続する単色画像の割合であり、より具体的には、画像情報の全画素数に占める連続する単色画像の画素数の割合である。本実施形態では、カメラ音声調整機能を実行するためにカメラ４Ｃが指等の被写体で覆われたときにカメラ４Ｃが撮像した画像の画像情報のときの音声出力（例えば音量）を、調整する対象の基準値とする。そして、例えば、指等の被写体によってカメラ４Ｃの覆われる程度（面積）が変化した場合には、カメラ４Ｃによって得られた画像情報における単色画像の面積率が変化するので、これに応じて前記基準値から音声出力を変更する。
FIG. 9 and FIG. 10 are schematic diagrams showing the relationship between the image information and the area ratio and volume of the monochrome image included in the image information. 9 and 10 correspond to the X and Y axes in FIG. 8 (the same applies hereinafter). The area ratio ρ is a ratio of continuous monochrome images existing in the image information, and more specifically, a ratio of the number of pixels of the continuous monochrome image in the total number of pixels of the image information. In this embodiment, in order to execute the camera sound adjustment function, the audio output (for example, volume) for adjusting the image information of the image captured by the
図９に示す例では、主処理部１１は、携帯電子機器１の使用者の指がカメラ４Ｃを完全に覆ったとき、すなわち、カメラ４Ｃが撮像した画像の画像情報に含まれる連続する単色画像の面積率が１００％であるときの音量を基準値Ｖｄとして設定し、記憶部１２へ格納する。また、図１０に示す例では、主処理部１１は、携帯電子機器１の使用者の指がカメラ４Ｃを７割程度覆ったとき、すなわち、カメラ４Ｃが撮像した画像の画像情報に含まれる連続する単色画像の面積率が７０％程度であるときの音量を基準値Ｖｄとして設定し、記憶部１２へ格納する。
In the example illustrated in FIG. 9, the main processing unit 11 includes a continuous monochromatic image included in the image information of an image captured by the
図９に示す例では、連続する単色画像の面積率ρに応じて音量を設定する。例えば、面積率ρが１００％のときは基準値Ｖｄであり、面積率ρが７５％のときの音量は０．７５×Ｖｄである。また、本実施形態では、面積率ρが０％のとき、すなわち、カメラ４Ｃが覆われない状態では、後述するように送話をミュートする関係から、面積率ρが０％のときでもレシーバ６から音声が出力されるようにしてある。本実施形態では、送話のミュート時における音量は、基準値Ｖｄに０．１を乗じた値としてあるが、これに限定されるものではない。また、図９に示す例では、説明の便宜上、面積率ρを断続的に表しているが、図９にない面積率ρに対する音量は、図９に存在する面積率ρに対応する音量から補間して求める（以下の例でも同様）。なお、面積率ρと音量との関係は、記憶部１２に保存されている。
In the example shown in FIG. 9, the volume is set according to the area ratio ρ of continuous monochrome images. For example, when the area ratio ρ is 100%, the reference value is Vd, and when the area ratio ρ is 75%, the volume is 0.75 × Vd. In the present embodiment, when the area ratio ρ is 0%, that is, in a state where the
ステップＳ１１０で基準値が設定されたらステップＳ１１１へ進む。ステップＳ１１１において、主処理部１１は、画像処理部１３から出力されるカメラ４Ｃからの画像情報に含まれる連続する単色画像の変化を検出したか否かを判断する。例えば、主処理部１１は、異なる時間Ｔ１、Ｔ２において画像情報に含まれる連続する単色画像の画線率ρ１とρ２との差の絶対値｜ρ１−ρ２｜を求め、この値が所定の閾値ρｃ以上であれば、連続する単色画像の変化を検出したと判断する。ここで、連続する単色画像の変化は、例えば、図９に示す例において、連続する単色画像の面積率ρが１００％から５０％に変化した場合や、７５％から５０％に変化した場合等である。連続する単色画像の変化は、携帯電子機器１の使用者の指等を動かして、使用者の指等がカメラ４Ｃの入光部を覆う面積が変化することにより、カメラ４Ｃが撮像した画像に含まれる前記指等に相当する部分の面積が変化して発生する。
When the reference value is set in step S110, the process proceeds to step S111. In step S <b> 111, the main processing unit 11 determines whether or not a change in continuous monochrome images included in the image information from the
ステップＳ１１１でＮｏと判定された場合、すなわち、主処理部１１が、連続する単色画像の変化を検出していない場合、カメラ４Ｃを覆った指の位置は変化していないと判断できる。この場合、ＳＴＡＲＴに戻り、主処理部１１は、携帯電子機器１の状態の監視を継続する。ステップＳ１１１でＹｅｓと判定された場合、すなわち、主処理部１１が、画像処理部１３から出力されるカメラ４Ｃからの画像情報中に含まれる連続する単色画像の変化を検出した場合、カメラ４Ｃを覆った指の位置は変化していると判断できる。この場合、携帯電子機器１の使用者は、レシーバ６からの音声出力（この例では音量）を変更する意思があると判断できる。
When it is determined No in step S111, that is, when the main processing unit 11 has not detected a change in continuous monochrome images, it can be determined that the position of the finger covering the
この場合、ステップＳ１１２に進み、主処理部１１は、カメラ４Ｃが被写体（この例では、携帯電子機器１の使用者の指）に覆われる程度に応じて、より具体的には検出された連続する単色画像の面積率ρに応じて、レシーバ６から出力される音声の音量を調整する。例えば、主処理部１１は、連続する単色画像が変化した後における連続する単色画像の面積率ρに対応する音量とする。この場合、主処理部１１は、カメラ４Ｃが撮像し画像処理部１３によって画像処理された画像情報から連続する単色画像の面積率ρを求め、記憶部１２に格納される面積率ρと音量との関係から、求めた面積率ρに対応する音量を設定する。そして、主処理部１１は、設定した音量となるように音声信号を生成し、音声処理部１４へ出力する。音声処理部１４は、主処理部１１から出力された音声信号に基づき、レシーバ６の駆動信号を生成してレシーバ６を駆動する。これによって、携帯電子機器１の通話中にレシーバ６から出力される音声を変更できる。
In this case, the process proceeds to step S112, and the main processing unit 11 more specifically detects the continuation detected according to the degree to which the
このように、本実施形態では、カメラ４Ｃが撮像したカメラ４Ｃの入光部を覆う被写体（本実施形態では、携帯電子機器１の使用者の指等）の画像に基づき、レシーバ６の音声出力（音量、速度等）を調整する。すなわち、カメラ４Ｃの入光部と対向する被写体、より具体的にはカメラ４Ｃの入光部を覆う被写体の状態に基づき、レシーバ６から出力される音声出力を調整する。これによって、携帯電子機器１の通話中にレシーバ６から出力される音声出力を調整する場合には、簡単な操作で調整できるので、通話中に音声出力を調整する際の利便性が向上する。
As described above, in the present embodiment, the audio output of the
また、本実施形態では、カメラ４Ｃが撮像した画像中において被写体が占める程度、すなわち、カメラ４Ｃの入光部が被写体に覆われる程度（面積）に応じて音声出力が調整される。そして、本実施形態では、音量を調整する場合、被写体にカメラ４Ｃが覆われる程度（面積）が小さくなるにしたがって、音量が小さくなる。これによって、音量の大きさを変更しやすくなる。
In the present embodiment, the sound output is adjusted according to the degree to which the subject occupies the image captured by the
図９に示す例では、カメラ４Ｃの入光部を覆う使用者の指をＹ軸のマイナス（−）方向、すなわち、レシーバ６からマイク５に向かって動かすことにより、レシーバ６から出力される音声の音量を小さくできる。携帯電子機器１の通話中、レシーバ６は使用者の耳の付近に位置し、マイク５は使用者の口の付近に位置する。一般に、人間は頭が上で足が下という認識がある。そして、一般には、上方向が音量や速度の増加、下方向が音量や速度の減少という認識がある。
In the example shown in FIG. 9, the sound output from the
したがって、本実施形態のように、レシーバ６（頭側、すなわち上側）からマイク５（足側、すなわち下側）に向かって使用者の指を動かした場合に、レシーバ６から出力される音声の音量が小さくなるようにすると、操作の方向と操作結果（音量の変化等）とが人間の認識と一致する。その結果、操作の間違いを低減できるので好ましい。なお、カメラ４Ｃの入光部を覆う指等を動かす方向（移動方向）と操作結果との対応は、上述した関係に限定されるものではない。
Therefore, when the user's finger is moved from the receiver 6 (the head side, ie, the upper side) toward the microphone 5 (the foot side, ie, the lower side) as in this embodiment, the sound output from the
ステップＳ１１２で音量が変更されたら、ステップＳ１１３へ進む。ステップＳ１１３において、主処理部１１は、カメラ４Ｃが撮像し画像処理部１３によって画像処理された画像情報から連続する単色情報が検出されるか否かを判定する。ステップＳ１１３でＮｏと判定された場合、すなわち、主処理部１１が、カメラ４Ｃからの画像に基づいて得られる画像情報から連続する単色情報を検出した場合、ＳＴＡＲＴに戻り、主処理部１１は、携帯電子機器１の状態の監視を継続する。
If the volume is changed in step S112, the process proceeds to step S113. In step S113, the main processing unit 11 determines whether continuous monochromatic information is detected from the image information captured by the
ステップＳ１１３でＹｅｓと判定された場合、すなわち、主処理部１１が、カメラ４Ｃからの画像に基づいて得られる画像情報から連続する単色情報を検出しない場合、ステップＳ１１４へ進む。この場合、携帯電子機器１の使用者の指はカメラ４Ｃから外されて、カメラ４Ｃの入光部を覆うものは何も存在しない状態であり、カメラ４Ｃは被写体（前記指等）を撮像しない状態である。すなわち、カメラ４Ｃからの画像に基づいて得られる画像情報に含まれる、連続する単色画像の面積率ρは０％である。このような状態になった場合、本実施形態では、送話をミュートする。すなわち、携帯電子機器１のマイク５が取得した音声を通信相手には送信しない。このため、主処理部１１は、マイク５が取得し、音声処理部１４から入力される音声データを通信処理部１５に出力しない処理を実行する。これによって、携帯電子機器１からの送話はミュートされるが、上述したように、レシーバ６からは音声が出力される。すなわち、ミュート時には、携帯電子機器１から通話相手への送話はされないが、通話相手から携帯電子機器１への送話は可能であり、送話された音声は、携帯電子機器１のレシーバ６から出力される。このように、本実施形態では、カメラ４Ｃが撮像した被写体の画像に基づき、制御装置１０を構成する通信処理部１４による音声の送出が調整され、ミュート時には、通信処理部１４による音声の送出は実行されない。
When it is determined Yes in step S113, that is, when the main processing unit 11 does not detect continuous monochromatic information from the image information obtained based on the image from the
このように、本実施形態では、携帯電子機器１の通話中にレシーバ６から音声出力を調整する場合、指等でカメラ４Ｃを覆い、カメラ４Ｃ上でその指等を動かすだけでよい。これによって、操作部３のキー操作やディスプレイ２を確認しながらのキー操作が不要になるので、携帯電子機器１の通話中における音声出力の調整が簡易かつ容易に実現できる。また、通話中にレシーバ６から耳を離さずに音声出力を調整でき、さらに、カメラ４Ｃから指等を離すだけの簡単な操作で通話中における送話のミュートも実現できる。このように、本実施形態によれば、通話中に音声出力を調整する際の利便性を向上させることができる。さらに、携帯電子機器１にカメラ４Ｃが搭載されている場合、これを利用してソフトウェアを変更するのみで本実施形態に係る音声調整方法を実現できるので、新たなスイッチ等を設ける必要はない。これによって、携帯電子機器１の製造コストの上昇を抑制できる。
Thus, in this embodiment, when adjusting the audio output from the
図１０に示す例は、上述したように、ステップＳ１０９で設定する基準値Ｖｄを、カメラ４Ｃが撮像した画像の画像情報に含まれる連続する単色画像の面積率が７０％程度であるときの音量とする。この場合、携帯電子機器１の使用者の指等がカメラ４Ｃの入光部を覆う面積は、基準値Ｖｄにおける面積に対して増減させることができる。したがって、この場合、主処理部１１は、前記面積が基準値Ｖｄにおける面積よりも減少した場合にはレシーバ６から出力される音声の音量を小さくし、前記面積が基準値Ｖｄにおける面積よりも増加した場合にはレシーバ６から出力される音声の音量を増加させる。
In the example illustrated in FIG. 10, as described above, the reference value Vd set in step S <b> 109 is the volume when the area ratio of continuous monochrome images included in the image information of the image captured by the
例えば、カメラ４Ｃからの画像に基づき得られる画像情報に含まれる、連続する単色画像の面積率ρが９０％の場合、音量は１．２×Ｖｄに設定し、面積率が１００％（完全に指等でカメラ４Ｃを覆ったとき）の場合、音量は１．５×Ｖｄ（最大音量）に設定する。また、面積率ρが７０％よりも減少すると、音量はそれに応じて減少するように設定される。このように、携帯電子機器１の使用者の指等がカメラ４Ｃを完全に覆わない状態においてカメラ４Ｃが取得した画像の画像情報を用いて音量等の基準値を設定すると、音量等の増加、減少の両方を実現できる。
For example, when the area ratio ρ of continuous monochrome images included in the image information obtained based on the image from the
図１１は、連続する単色画像の変化の方向によって音量を変更する例を説明する図である。図１１に示す例では、携帯電子機器１の使用者の指等がカメラ４Ｃを完全に覆った状態（面積率ρ＝１００％）から、指等をＹ軸のマイナス（−）方向に向かって動かすと、レシーバ６から出力される音声の音量は減少する。また、携帯電子機器１の使用者の指等がカメラ４Ｃを完全に覆った状態（面積率ρ＝１００％）から、指等をＸ軸のマイナス（−）方向に向かって動かすと、レシーバ６から出力される音声の音量は増加する。そして、指等をＸ軸のマイナス（−）方向に向かって動かした結果、カメラ４Ｃが指等に覆われなくなった状態（面積率ρ＝０％）で音量は最大値の２×Ｖｄとなる。
FIG. 11 is a diagram illustrating an example in which the sound volume is changed according to the direction of change of continuous monochrome images. In the example shown in FIG. 11, from the state where the user's finger or the like of the portable
図８に示すように、画像情報２０には、それぞれの画素の座標（Ｐ１（Ｘ１、Ｙ１）、Ｐ２（Ｘ２、Ｙ２）等）も含まれるので、主処理部１１は、連続する単色画像を構成するそれぞれの画素の座標を特定できる。したがって、画像情報２０を構成する画素の色情報及び座標から、連続する単色画像の変化の方向も判別できる。これによって、連続する単色画像の異なる変化の方向を用いて、音量の増加、減少の両方を調整できる。なお、図１１に示す例において、音量を増加させる際には、変化の方向をＸ軸のプラス（＋）方向としてもよい。
As shown in FIG. 8, since the
図１２は、連続する単色画像の変化の方向によって音量及び音声の速度を変更する例を説明する図である。図１２に示す例では、携帯電子機器１の使用者の指等がカメラ４Ｃを完全に覆った状態（面積率ρ＝１００％）から、指等をＹ軸のマイナス（−）方向に向かって動かすと、レシーバ６から出力される音声の速度はＳｄで一定のまま、音量は減少する。また、携帯電子機器１の使用者の指等がカメラ４Ｃを完全に覆った状態（面積率ρ＝１００％）から、指等をＸ軸のマイナス（−）方向に向かって動かすと、レシーバ６から出力される音声の音量はＶｄで一定のまま速度は減少する。指等をＸ軸のマイナス（−）方向に向かって動かした結果、カメラ４Ｃが指等に覆われなくなった状態（面積率ρ＝０％）で、音声の速度は最小値の０．５×Ｖｄとなる。このように、連続する単色画像の異なる変化の方向を用いて、複数の音声出力（この例では音量及び速度）を調整することができる。
FIG. 12 is a diagram illustrating an example in which the volume and the speed of sound are changed according to the direction of change of continuous monochromatic images. In the example shown in FIG. 12, from the state where the user's finger or the like of the portable
このように、カメラ４Ｃが被写体に覆われる程度及びカメラ４Ｃの入光部を覆う被写体の動作方向に応じて音声出力を調整することによって、音声出力を２方向（例えば、音量であれば増加方向及び減少方向）に調整できる。さらに、カメラ４Ｃが被写体に覆われる程度及びカメラ４Ｃの入光部を覆う被写体の動作方向に応じて音声出力を調整することによって、２種類の音声出力（例えば、音量及び速度）を調整できる。なお、本実施形態では、カメラ４Ｃの入光部と対向する位置の被写体の画像に基づきレシーバ６の音声出力を調整する例を説明したが、カメラ４Ｃの入光部と対向する位置の被写体の画像に基づきスピーカ１７の音声出力を調整してもよい。
In this way, by adjusting the audio output according to the extent to which the
以上のように、本発明に係る携帯電子機器及び音声調整方法は、通話中に通話相手の音声の音量や速度等を調整したり、送信側の音量等を調整したりすることに有用である。 As described above, the portable electronic device and the audio adjustment method according to the present invention are useful for adjusting the volume and speed of the other party's voice during a call, and adjusting the volume and the like on the transmission side. .
１ 携帯電子機器
１Ｃ 筐体
１ＣＡ 第１筐体
１ＣＢ 第２筐体
１ＰＢ 背面
１ＰＣ 操作面
２ ディスプレイ
３ 操作部
３Ａ 操作キー
３Ｂ 方向及び決定キー
４ カメラモジュール
４Ｃ カメラ
５ マイク
６ レシーバ
７ アンテナ
８ ヒンジ機構
８Ａ ヒンジ部
８Ｂ ヒンジ部
９ 明度センサ
１０ 制御装置
１１ 主処理部
１２ 記憶部
１３ 画像処理部
１４ 音声処理部
１５ 通信処理部
２０ 画像情報
DESCRIPTION OF
Claims (10)
音声を出力する出力手段と、
前記撮像手段が撮像した、前記撮像手段の入光部と対向する位置の被写体の画像に基づき、前記出力手段の音声出力を調整する制御手段と、
を備えることを特徴とする携帯電子機器。 An imaging means attached to the housing and having a light incident portion exposed to the outside of the housing;
An output means for outputting sound;
Control means for adjusting the audio output of the output means based on the image of the subject at a position facing the light incident portion of the imaging means, which is imaged by the imaging means;
A portable electronic device comprising:
前記制御手段は、前記撮像手段が撮像した被写体の画像に基づき、前記通信手段による音声の送出を調整する請求項１から４のいずれか１項に記載の携帯電子機器。 The portable electronic device includes a sound acquisition unit that acquires sound, and a communication unit that transmits the sound acquired by the sound acquisition unit to an external device,
5. The portable electronic device according to claim 1, wherein the control unit adjusts sound transmission by the communication unit based on an image of a subject imaged by the imaging unit. 6.
前記制御手段は、前記撮像手段の周囲が所定の明るさ以上の場合に、前記撮像手段が取得した被写体の画像に基づいて、前記出力手段の音声出力を調整する請求項１から７のいずれか１項に記載の携帯電子機器。 The portable electronic device includes brightness detection means for detecting brightness around the imaging means,
8. The control unit according to claim 1, wherein the control unit adjusts an audio output of the output unit based on a subject image acquired by the imaging unit when the surroundings of the imaging unit are equal to or higher than a predetermined brightness. Item 1. A portable electronic device according to item 1.
前記撮像手段から前記撮像手段の入光部と対向する位置の被写体の画像を取得する手順と、
取得された前記画像に基づき、前記出力手段の音声出力を調整する手順と、
を含むことを特徴とする音声調整方法。 When adjusting the audio output of the output means in a portable electronic device having an imaging means attached to the casing and an image acquisition portion exposed to the outside of the casing and an output means for outputting sound ,
A procedure for acquiring an image of a subject at a position facing the light incident portion of the imaging means from the imaging means;
A procedure for adjusting the audio output of the output means based on the acquired image;
An audio adjustment method comprising:
前記撮像手段が前記被写体を撮像しない場合には、前記携帯電子機器からの送話をミュートする請求項９に記載の音声調整方法。 In the procedure for adjusting the audio output of the output means based on the acquired image,
The audio adjustment method according to claim 9, wherein the transmission from the portable electronic device is muted when the imaging unit does not image the subject.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009015521A JP5221404B2 (en) | 2009-01-27 | 2009-01-27 | Portable electronic device and sound adjustment method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009015521A JP5221404B2 (en) | 2009-01-27 | 2009-01-27 | Portable electronic device and sound adjustment method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010177775A true JP2010177775A (en) | 2010-08-12 |
| JP5221404B2 JP5221404B2 (en) | 2013-06-26 |
Family
ID=42708332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009015521A Expired - Fee Related JP5221404B2 (en) | 2009-01-27 | 2009-01-27 | Portable electronic device and sound adjustment method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5221404B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013065253A (en) * | 2011-09-20 | 2013-04-11 | Nippon Telegr & Teleph Corp <Ntt> | Instruction signal transmitter and method for operating the same |
| CN103634526A (en) * | 2013-12-05 | 2014-03-12 | Tcl通讯（宁波）有限公司 | Mobile terminal and method for adjusting configuration thereof by aid of camera |
| WO2018198499A1 (en) * | 2017-04-27 | 2018-11-01 | ソニー株式会社 | Information processing device, information processing method, and recording medium |
| CN109739354A (en) * | 2018-12-28 | 2019-05-10 | 广州励丰文化科技股份有限公司 | A kind of multimedia interaction method and device based on sound |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000332865A (en) * | 1999-05-14 | 2000-11-30 | Nec Corp | Mobile phone with camera |
| JP2001306236A (en) * | 2000-04-21 | 2001-11-02 | Sony Corp | Information processor, operation recognition processing method and program storage medium |
| JP2007042020A (en) * | 2005-08-05 | 2007-02-15 | Nec Corp | Portable terminal and program |
| JP2008005025A (en) * | 2006-06-20 | 2008-01-10 | Nec Saitama Ltd | Mobile wireless terminal |
| JP2008113107A (en) * | 2006-10-30 | 2008-05-15 | Nec Saitama Ltd | Input method using camera function, and information communication terminal using input method |
-
2009
- 2009-01-27 JP JP2009015521A patent/JP5221404B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000332865A (en) * | 1999-05-14 | 2000-11-30 | Nec Corp | Mobile phone with camera |
| JP2001306236A (en) * | 2000-04-21 | 2001-11-02 | Sony Corp | Information processor, operation recognition processing method and program storage medium |
| JP2007042020A (en) * | 2005-08-05 | 2007-02-15 | Nec Corp | Portable terminal and program |
| JP2008005025A (en) * | 2006-06-20 | 2008-01-10 | Nec Saitama Ltd | Mobile wireless terminal |
| JP2008113107A (en) * | 2006-10-30 | 2008-05-15 | Nec Saitama Ltd | Input method using camera function, and information communication terminal using input method |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013065253A (en) * | 2011-09-20 | 2013-04-11 | Nippon Telegr & Teleph Corp <Ntt> | Instruction signal transmitter and method for operating the same |
| CN103634526A (en) * | 2013-12-05 | 2014-03-12 | Tcl通讯（宁波）有限公司 | Mobile terminal and method for adjusting configuration thereof by aid of camera |
| CN103634526B (en) * | 2013-12-05 | 2017-01-11 | Tcl通讯（宁波）有限公司 | Mobile terminal and method for adjusting configuration thereof by aid of camera |
| WO2018198499A1 (en) * | 2017-04-27 | 2018-11-01 | ソニー株式会社 | Information processing device, information processing method, and recording medium |
| EP3617851A4 (en) * | 2017-04-27 | 2020-05-13 | Sony Corporation | Information processing device, information processing method, and recording medium |
| CN109739354A (en) * | 2018-12-28 | 2019-05-10 | 广州励丰文化科技股份有限公司 | A kind of multimedia interaction method and device based on sound |
| CN109739354B (en) * | 2018-12-28 | 2022-08-05 | 广州励丰文化科技股份有限公司 | Voice-based multimedia interaction method and device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5221404B2 (en) | 2013-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4262712B2 (en) | Portable terminal device, mouse application program, and method of using portable terminal device as wireless mouse device | |
| JP5226074B2 (en) | Communication equipment | |
| KR102072542B1 (en) | Image processing method and electronic device thereof | |
| KR101613953B1 (en) | Portable terminal | |
| JP2023518895A (en) | Imaging methods and electronics | |
| CN110290262A (en) | A kind of call method and terminal device | |
| JP2011135551A (en) | Portable electronic apparatus | |
| JP5221404B2 (en) | Portable electronic device and sound adjustment method | |
| JP2023516053A (en) | Exposure data acquisition method, electronic device and computer readable storage medium | |
| JP2009218950A (en) | Portable terminal device with camera | |
| JP2012231331A (en) | Portable communication device | |
| JP2007081785A (en) | Portable terminal and program | |
| JP2005072734A (en) | Camera attached mobile terminal, and image display method and display control program used for the mobile terminal | |
| US10110765B2 (en) | Image forming apparatus, image forming system, non-transitory computer readable recording medium on which program is recorded and image forming method | |
| JP2014187663A (en) | Mobile electronic apparatus and control method therefor | |
| JP4002565B2 (en) | Portable terminal device and ambient environment detection method using portable terminal device | |
| JP2006014074A (en) | Portable telephone set | |
| KR20140082403A (en) | Method and apparatus for mode changing in an electronic device | |
| JP3972165B2 (en) | camera | |
| JP2003348211A (en) | Portable terminal and its notification method | |
| CN110083429B (en) | Wearable device, input method panel display control method thereof and storage medium | |
| JP4336893B2 (en) | Mobile communication terminal, communication control method, and communication control program | |
| JP4493375B2 (en) | Mobile terminal device | |
| KR100678027B1 (en) | Mobile terminal having camera function and its image processing method | |
| JP2010258753A (en) | Portable terminal and projection program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111214 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120913 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120925 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121121 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130307 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160315 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5221404 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |