JP2007006085A - 無線携帯端末、並びに、それを用いた撮像方法および通信方法 - Google Patents

Abstract

【課題】いわゆるテレビ電話の通信を行う際に、ムービー撮像済みの動画像と通話中に撮像される動画像とを、同時通信することが可能な無線携帯端末、並びに、それを用いた撮像方法および通信方法を実現する。
【解決手段】動画像通信を伴わないムービー撮像において、動画像通信を伴うリアルタイム撮像におけるフレームレートと同じ第１フレームレート、または、第１フレームレートよりも高い第２フレームレートのいずれかを選択して動画像を撮像するようにし、第１フレームレートが選択された動画像については、無線通信時において、表示部の一画面内に、リアルタイム撮像による動画像（自己画像）と、記憶された第１フレームレートのムービー撮像（ムービー画像）による動画像とを表示させつつ、両者の同時通信を行う。
【選択図】図３

Description

この発明は、リアルタイム撮像動画像の通信が可能な無線携帯端末と、それを用いた撮像方法および通信方法とに関する。

下記特許文献１には、カメラつきの無線携帯端末に関する技術が記載されている。なお、この出願に関連する特許文献１以外の他の先行技術文献情報としては次のものがある。

特開２００３−２７４３７６号公報 特開２００３−１８３２０号公報

上記特許文献１の図６（ｂ）および（ｃ）においては、リアルタイム撮像動画像および音声の同時通信（いわゆるテレビ電話）を行う際の画面表示例が示されている。ところが、上記図６（ｂ）および（ｃ）においては、無線携帯端末に搭載された２つのカメラの撮像画像が、相手方の画像とともに表示画面に映し出されるだけであるため、以下のような問題があった。

すなわち、無線携帯端末に付属のカメラにて過去にムービー撮像した動画像を相手方に送信し、その動画像の内容について議論しようとする際には、一旦、電子メール等に動画像を添付して送信し、送信された動画像を相手方が確認し終わった後に、通話を再開しなければならず、面倒であった。

そこで、通話中のユーザの撮像した動画像と過去にムービー撮像した動画像とを同時に通信し、テレビ電話中の無線携帯端末の表示画面に、ムービー撮像済み動画像を含めることが考えられる。

ところが、一般的に、テレビ電話におけるフレームレートは低く、一方、ムービー撮像時の動画像のフレームレートはテレビ電話におけるフレームレートの二倍程度と高い。動画像通信を伴わないムービー撮像においては、画像通信処理が不要なため、そのフレームレートを高めて滑らかな動画像の撮像が行えるが、一方、動画像通信を伴うリアルタイム撮像においては、膨大な情報処理を伴う動画像通信処理が必要となるため、ムービー撮像時よりは少ないフレームレートで（いわば粗いコマ送りで）動画像の撮像を行う必要があるからである。このため、高フレームレートのムービー撮像による動画像と低フレームレートの通話中に撮像される動画像とを、同時通信することはできなかった。

この発明は上記の事情に鑑みてなされたもので、いわゆるテレビ電話の通信を行う際に、ムービー撮像済みの動画像と通話中に撮像される動画像とを、同時通信することが可能な無線携帯端末、並びに、それを用いた撮像方法および通信方法を実現する。

請求項１に記載の発明は、動画像通信を伴わないムービー撮像および動画像通信を伴うリアルタイム撮像が可能な無線携帯端末であって、制御部と、撮像部と、無線通信部と、記憶部とを備え、前記撮像部は、前記ムービー撮像において、前記リアルタイム撮像におけるフレームレートと同じ第１フレームレート、または、前記第１フレームレートよりも高い第２フレームレートのいずれかを選択して動画像を撮像し、前記記憶部は、前記ムービー撮像により撮像された動画像を記憶可能であり、前記制御部は、前記無線通信部を介した無線通信時において、前記撮像部を介した前記リアルタイム撮像による動画像の通信を行うとともに、前記記憶部に記憶された前記第１フレームレートの動画像の通信をも行う無線携帯端末である。

請求項２に記載の発明は、動画像通信を伴わないムービー撮像および動画像通信を伴うリアルタイム撮像が可能な無線携帯端末を用いた撮像方法であって、（ａ）前記リアルタイム撮像におけるフレームレートと同じ第１フレームレートで前記ムービー撮像を行うか、または、前記第１フレームレートよりも高い第２フレームレートで前記ムービー撮像を行うかを選択するステップと、（ｂ）選択された前記第１または第２フレームレートで、動画像の前記ムービー撮像を行うステップとを備える、無線携帯端末を用いた撮像方法である。

請求項３に記載の発明は、動画像通信を伴わないムービー撮像および動画像通信を伴うリアルタイム撮像が可能な、表示部を有する無線携帯端末を用いた通信方法であって、（ａ）前記リアルタイム撮像におけるフレームレートと同じフレームレートで前記ムービー撮像が行われた、前記無線携帯端末内に記憶済みの動画像を、前記無線携帯端末から読み出すステップと、（ｃ）前記リアルタイム撮像による動画像の通信を行うとともに、読み出された前記ムービー撮像による動画像の通信をも行うステップとを備える、無線携帯端末を用いた通信方法である。

請求項１に記載の発明によれば、撮像部は、ムービー撮像において、リアルタイム撮像におけるフレームレートと同じ第１フレームレート、または、第１フレームレートよりも高い第２フレームレートのいずれかを選択して動画像を撮像し、制御部は、無線通信部を介した無線通信時において、撮像部を介したリアルタイム撮像による動画像の通信を行うとともに、記憶部に記憶された第１フレームレートの動画像の通信をも行う。リアルタイム撮像のフレームレートと、記憶部に記憶された動画像のムービー撮像のフレームレートとが、ともに第１フレームレートと同一であるため、いわゆるテレビ電話の通信を行う際に、ムービー撮像済みの動画像と通話中に撮像される動画像とを、同時通信することが可能である。よって、ムービー撮像による動画像とリアルタイム撮像による動画像とが一画面で確認でき、ムービー撮像した動画像を予め相手方に送信する必要がない。

請求項２に記載の発明によれば、リアルタイム撮像におけるフレームレートと同じ第１フレームレートでムービー撮像を行うか、または、第１フレームレートよりも高い第２フレームレートでムービー撮像を行うかを選択し、選択された第１または第２フレームレートで、動画像のムービー撮像を行う。よって、第１フレームレートで動画像のムービー撮像を行った場合には、リアルタイム撮像のフレームレートとムービー撮像のフレームレートとがともに第１フレームレートと同一であるため、いわゆるテレビ電話の通信を行う際に、ムービー撮像済みの動画像と通話中に撮像される動画像とを、同時通信することが可能である。一方、第２フレームレートで動画像のムービー撮像を行った場合には、滑らかな動画像の撮像が行える。

請求項３に記載の発明によれば、リアルタイム撮像におけるフレームレートと同じフレームレートでムービー撮像が行われた、無線携帯端末内に記憶済みの動画像を、無線携帯端末から読み出し、リアルタイム撮像による動画像の通信を行うとともに、読み出されたムービー撮像による動画像の通信をも行う。リアルタイム撮像のフレームレートと、記憶済みの動画像のムービー撮像のフレームレートとが同一であるため、いわゆるテレビ電話の通信を行う際に、ムービー撮像済みの動画像と通話中に撮像される動画像とを、同時通信することが可能である。よって、ムービー撮像による動画像とリアルタイム撮像による動画像とが一画面で確認でき、ムービー撮像した動画像を予め相手方に送信する必要がない。

本発明に係る実施の形態は、動画像通信を伴わないムービー撮像において、動画像通信を伴うリアルタイム撮像におけるフレームレートと同じ第１フレームレート、または、第１フレームレートよりも高い第２フレームレートのいずれかを選択して動画像を撮像し、第１フレームレートが選択された動画像については、無線通信時において、リアルタイム撮像による動画像の通信を行うとともに、記憶された第１フレームレートのムービー撮像による動画像の同時通信を行う、無線携帯端末、並びに、それを用いた撮像方法および通信方法である。

図１は、本発明に係る無線携帯端末の一例を示す図である。図１に示すように、この無線携帯端末は携帯電話１であって、液晶表示画面等のカラー表示部２、レシーバ３、撮像部の一部たるサブカメラ４、キーボタン５、マイク６、スピーカ７、アンテナ８および撮像部の他の一部たるメインカメラ９を有する。

図２は、図１の携帯電話１の回路構成を示す図である。図２に示すように、携帯電話１は、ＣＰＵ（Central Processing Unit）とメモリとで構成される制御部１０、フラッシュメモリ等の記憶部たるメモリ１１、音声制御部１２、撮像部の更なる他の一部たる画像符号器１３、画像復号器１４、画像／音声処理部１５、無線通信部１６、音声符号／復号器１７の各回路を備えている。

制御部１０は、メモリ１１、音声制御部１２、画像符号器１３、画像復号器１４、画像／音声処理部１５、音声符号／復号器１７の各回路を制御する。なお、キーボタン５を介したユーザからの入力情報は、制御部１０に与えられる。メモリ１１は、制御部１０からの情報を記憶するとともに、画像／音声処理部１５から出力される情報をも記憶可能である。

音声制御部１２は、レシーバ３、マイク６、スピーカ７および音声符号／復号器１７と接続されており、通話時の音声送受や着信音の発生等をつかさどる。画像符号器１３は、撮像部の一構成要素であって、サブカメラ４、メインカメラ９、画像復号器１４および画像／音声処理部１５と接続されており、撮像部の他の構成要素たるサブカメラ４およびメインカメラ９で撮像された画像情報の符号化を行う。画像復号器１４は、カラー表示部２と接続されており、符号化された画像の復号を行ってカラー表示部２に画像表示を行う。

画像／音声処理部１５は、メモリ１１、画像符号器１３、無線通信部１６および音声符号／復号器１７と接続されており、符号化された音声および画像の情報に対してのミキシング処理や、通話相手から送信されてきた音声／画像情報を音声情報と画像情報とに分離する処理等のデータ処理を行う。無線通信部１６は、アンテナ８と接続されており、音声および画像の情報の無線通信を行うための変復調を行う。音声符号／復号器１７は、音声制御部１２からの音声情報の符号化／受信した音声情報の復号化を行う。

次に、ムービー撮像時およびリアルタイム撮像時の携帯電話１の動作について説明する。動画像通信を伴わないムービー撮像を行う際には、まずメインカメラ９により動画像が撮像され、画像符号器１３において動画像の符号化が行われる。また、マイク６により音声が入力され、音声制御部１２を介して音声符号／復号器１７において音声の符号化が行われる。こうして符号化された動画像および音声に対して、画像／音声処理部１５にてミキシング処理等のデータ処理が施され、メモリ１１に記憶される。

一方、動画像通信を伴うリアルタイム撮像を行う際には、動画像および音声の同時通信（いわゆるテレビ電話）を行うため、サブカメラ４によりユーザの動画像が撮像され、画像符号器１３において符号化が行われる。また、マイク６により音声が入力され、音声制御部１２を介して音声符号／復号器１７において符号化が行われる。こうして符号化された動画像および音声に対して、画像／音声処理部１５にてミキシング処理等のデータ処理が施され、無線通信部１６を介してアンテナ８から送信される。また、通話先からの動画像および音声の情報は、アンテナ８にて受信され、無線通信部１６にて復調された後、当該動画像および音声の情報に対して、画像／音声処理部１５にて画像／音声情報分離等のデータ処理が施される。そして、音声情報については、音声制御部１２を介してレシーバ３またはスピーカ７に出力され、動画像情報については、画像復号器１４を介してカラー表示部２に出力される。

本発明では、メモリ１１に記憶されたムービー撮像による動画像を、テレビ電話を行う際に読み出し、テレビ電話中にサブカメラ４で撮像され、画像符号器１３を介して符号化されたリアルタイム撮像による動画像と、ムービー撮像による動画像との同時通信、および、カラー表示部２への同時表示を行う。

図３は、カラー表示部２における画面表示例を示す図である。図３においては、カラー表示部２内に、テレビ電話の通話相手の動画像１９とユーザからの送信情報１８とが示されている。ユーザからの送信情報１８には、サブカメラ４で撮像され、符号化されたリアルタイム撮像によるユーザ自身の動画像２０と、メモリ１１に記憶されたムービー撮像による動画像２１とが含まれている。

そして、この同時表示された動画像（ユーザからの送信情報１８）を、無線通信部１６を介してアンテナ８から送信することで、通話相手との間で、ムービー撮像による動画像２１とリアルタイム撮像による動画像２０との同時通信を行う。また、このとき、マイク６から入力され、音声制御部１２を介して音声符号／復号器１７にて符号化された通話音声も、画像／音声処理部１５において動画像とミキシングすることで、ムービー撮像による動画像２１とリアルタイム撮像による動画像２０との同時通信を行いながら、テレビ電話の通話相手と通話することができる。

図４は、本発明に係る無線携帯端末を用いた撮像方法を示すフローチャートであって、動画像通信を伴わないムービー撮像時のフローチャートである。本発明においては、撮像部の一部たるサブカメラ４またはメインカメラ９でムービー撮像を行う際に、動画像通信を伴うリアルタイム撮像におけるフレームレートと同じ第１フレームレート、または、第１フレームレートよりも高い第２フレームレートのいずれかを選択して動画像を撮像する。ムービー撮像が行われた動画像は、メモリ１１に記憶される。

動画像通信を伴わないムービー撮像においては、画像通信処理が不要なため、そのフレームレートを高めて滑らかな動画像の撮像が行える。一方、動画像通信を伴うリアルタイム撮像においては、膨大な情報処理を伴う動画像通信処理が必要となるため、ムービー撮像時よりは少ないフレームレートで（いわば粗いコマ送りで）動画像の撮像を行う必要がある。よって本発明では、ユーザが、動画像通信を伴わないムービー撮像を行う際に、ムービー撮像した動画像をテレビ電話時においてリアルタイム動画像とともに一緒に送る可能性の有無を念頭において、ムービー撮像時のフレームレートを選択できるようにしている。

ムービー撮像した動画像をテレビ電話時にリアルタイム動画像とともに一緒に送る可能性が有る場合、ユーザは、リアルタイム撮像におけるフレームレートと同じ第１フレームレート（例えば１５フレーム／秒）を選択すればよい。同じフレームレートのため、リアルタイム撮像による動画像の通信を行う際に、ムービー撮像により撮像された動画像の同時通信およびカラー表示部２への表示が行えるからである。一方、ムービー撮像した動画像をテレビ電話時にリアルタイム動画像とともに一緒に送る可能性が無い場合、ユーザは、第１フレームレートよりも高い第２フレームレート（例えば３０フレーム／秒）を選択すればよい。滑らかな動画像の撮像が行えるからである。

すなわち、ユーザがキーボタン５による操作を行い、ムービー撮像の機能を起動（ステップＳ１）した後に、ムービー撮像を、テレビ電話用録画（リアルタイム撮像におけるフレームレートと同じ第１フレームレートで撮像）で行うか、それとも、通常録画（第１フレームレートよりも高い第２フレームレートで撮像）で行うか、カラー表示部２に選択画面を表示することでユーザに選択させる（ステップＳ２）。

そして、テレビ電話用録画が選択された場合には、制御部１０は、撮像部の一部たる画像符号器１３に対してフレームレートを第１フレームレートに設定し（ステップＳ３）、撮影を開始させる（ステップＳ４）。一方、通常録画が選択された場合には、制御部１０は、画像符号器１３に対して、デフォルトのフレームレートたる第２フレームレートのままで撮影を開始させる（ステップＳ４）。

このように、本発明に係る無線携帯端末を用いた撮像方法によれば、リアルタイム撮像におけるフレームレートと同じ第１フレームレートでムービー撮像を行うか、または、第１フレームレートよりも高い第２フレームレートでムービー撮像を行うかを選択し、選択された第１または第２フレームレートで動画像のムービー撮像を行う。よって、第１フレームレートで動画像のムービー撮像を行った場合には、リアルタイム撮像のフレームレートとムービー撮像のフレームレートとがともに第１フレームレートと同一であるため、いわゆるテレビ電話の通信を行う際に、ムービー撮像済みの動画像と通話中に撮像される動画像とを、同時通信することが可能である。一方、第２フレームレートで動画像のムービー撮像を行った場合には、滑らかな動画像の撮像が行える。

図５は、本発明に係る無線携帯端末を用いた通信方法を示すフローチャートである。テレビ電話を開始した後に（ステップＳ１１）、制御部１０は、キーボタン５による操作を介してユーザがムービー撮像された動画像の再生を要求しているかどうかを監視する（ステップＳ１２）。ユーザがムービー撮像された動画像の再生を要求している場合、制御部１０はメモリ１１内を検索し、テレビ電話時に再生可能な動画像のデータ（具体的には、リアルタイム撮像におけるフレームレートと同じ第１フレームレートで撮像された動画像のデータ）が存在するかどうかを検出する（ステップＳ１３）。

もし、再生可能な動画像のデータが存在しない場合には、制御部１０は画像復号器１４を介してカラー表示部２に再生不能であることを表示し、ユーザにその旨を知らせる（ステップＳ１４）。一方、再生可能な動画像のデータが存在する場合には、制御部１０は、第１フレームレートで撮像された、メモリ１１内に記憶済みの動画像を読み出し、その一覧をカラー表示部２に表示して、ユーザにどの動画像を送信するのか選択を促す（ステップＳ１５）。

ユーザが送信すべき動画像をキーボタン５を介して選択した後、制御部１０は、選択されたムービー撮像の動画像と、サブカメラ４にてリアルタイム撮像された動画像とを、画像／音声処理部１５にて圧縮し、二画面合成の処理を行う（ステップＳ１６）。すなわち、ムービー撮像の動画像およびリアルタイム撮像の動画像の各サイズを例えば１／２に圧縮し、二画面を一画面内に合成する。この合成後の画像が、図３におけるユーザからの送信情報１８としてカラー表示部２に表示され、さらに、無線通信部１６を介してアンテナ８から基地局へと送信され、通話の相手方に送信される（ステップＳ１７）。なお、通話相手方の受信端末においては、ムービー撮像の動画像を合成しない、通常のリアルタイム動画像を受信する場合と同様の受信処理を行うことで、ムービー撮像の動画像およびリアルタイム撮像の動画像の二画面合成された画像を表示することができる。

すなわち、制御部１０は、無線通信部１６を介した無線通信時において、カラー表示部２の一画面内に、撮像部の一部たるサブカメラ４を介したリアルタイム撮像による動画像２０と、メモリ１１に記憶された第１フレームレートの動画像２１とを表示させつつ、両者の同時通信を行う。

なお、ムービー撮像による動画像とリアルタイム撮像による動画像との二画面合成画像送信時における音声通信については、例えばムービー撮像時の音声とリアルタイム撮像時の音声とのいずれか一方を、ユーザが選択して送信できるよう構成しておけばよい。ムービー撮像時の音声を送信する場合には、メモリ１１から読み出されたムービー動画像に伴う音声情報を、画像／音声処理部１５を介して、画像情報送信の場合と同様にして通話の相手方に送信する。このとき、マイク６から入力される通話音声を音声制御部１２でミュートし、相手側に送信されないようにする。また、メモリ１１から、画像／音声処理部１５、音声符号／復号器１７、音声制御部１２、スピーカ７を介してムービー動画像の音声を読み出し、通話相手の端末にだけでなく、自機端末にもムービー動画像の音声を再生させる。

一方、リアルタイム動画像に伴う通話音声を送信する場合には、ムービー撮像時の音声を画像／音声処理部１５にてミュートさせ、マイク６から入力されたリアルタイム動画像に伴う通話音声を、音声制御部１２、音声符号／復号器１７、画像／音声処理部１５、無線通信部１６、アンテナ８を介して通話相手方へと送信する。

なお、上記のように、ムービー撮像時の音声とリアルタイム撮像時の音声とのいずれか一方を送信するだけでなく、両者を混合して送信する構成としても良い。

本発明に係る無線携帯端末、および、それを用いた通信方法によれば、サブカメラ４、メインカメラ９および画像符号器１３で構成される撮像部は、ムービー撮像において、リアルタイム撮像におけるフレームレートと同じ第１フレームレート、または、第１フレームレートよりも高い第２フレームレートのいずれかを選択して動画像を撮像し、制御部１０は、無線通信部１６を介した無線通信時において、カラー表示部２の一画面内に、撮像部を介したリアルタイム撮像による動画像２０と、メモリ１１に記憶された第１フレームレートの動画像２１とを表示させつつ、両者の同時通信を行う。リアルタイム撮像のフレームレートと、メモリ１１に記憶された動画像のムービー撮像のフレームレートとが、ともに第１フレームレートと同一であるため、いわゆるテレビ電話の通信を行う際に、ムービー撮像済みの動画像と通話中に撮像される動画像とを、同時通信することが可能である。よって、ムービー撮像による動画像とリアルタイム撮像による動画像とが一画面で確認でき、ムービー撮像した動画像を予め相手方に送信する必要がない。

本発明に係る無線携帯端末の一例を示す図である。 図１の携帯電話の回路構成を示す図である。 表示部における画面表示例を示す図である。 本発明に係る無線携帯端末を用いた撮像方法を示すフローチャートであって、ムービー撮像時のフローチャートである。 本発明に係る無線携帯端末を用いた通信方法を示すフローチャートである。

符号の説明

１ 携帯電話、２ カラー表示部、４ サブカメラ、９ メインカメラ、１０ 制御部、１１ メモリ、１６ 無線通信部。

Claims (3)

1. 動画像通信を伴わないムービー撮像および動画像通信を伴うリアルタイム撮像が可能な無線携帯端末であって、
   制御部と、
   撮像部と、
   無線通信部と、
   記憶部と
   を備え、
   前記撮像部は、前記ムービー撮像において、前記リアルタイム撮像におけるフレームレートと同じ第１フレームレート、または、前記第１フレームレートよりも高い第２フレームレートのいずれかを選択して動画像を撮像し、
   前記記憶部は、前記ムービー撮像により撮像された動画像を記憶可能であり、
   前記制御部は、前記無線通信部を介した無線通信時において、前記撮像部を介した前記リアルタイム撮像による動画像の通信を行うとともに、前記記憶部に記憶された前記第１フレームレートの動画像の通信をも行う
   無線携帯端末。
2. 動画像通信を伴わないムービー撮像および動画像通信を伴うリアルタイム撮像が可能な無線携帯端末を用いた撮像方法であって、
   （ａ）前記リアルタイム撮像におけるフレームレートと同じ第１フレームレートで前記ムービー撮像を行うか、または、前記第１フレームレートよりも高い第２フレームレートで前記ムービー撮像を行うかを選択するステップと、
   （ｂ）選択された前記第１または第２フレームレートで、動画像の前記ムービー撮像を行うステップと
   を備える、無線携帯端末を用いた撮像方法。
3. 動画像通信を伴わないムービー撮像および動画像通信を伴うリアルタイム撮像が可能な、表示部を有する無線携帯端末を用いた通信方法であって、
   （ａ）前記リアルタイム撮像におけるフレームレートと同じフレームレートで前記ムービー撮像が行われた、前記無線携帯端末内に記憶済みの動画像を、前記無線携帯端末から読み出すステップと、
   （ｃ）前記リアルタイム撮像による動画像の通信を行うとともに、読み出された前記ムービー撮像による動画像の通信をも行うステップと
   を備える、無線携帯端末を用いた通信方法。
   

Images