JP2004297632A

JP2004297632A - マイクロプロセッサ及び携帯通信端末

Info

Publication number: JP2004297632A
Application number: JP2003089526A
Authority: JP
Inventors: Tetsuya Nakagawa; 哲也中川; Katsuhiko Ishida; 克彦石田; Akira Naito; 彰内藤
Original assignee: Renesas Technology Corp
Current assignee: Renesas Technology Corp
Priority date: 2003-03-28
Filing date: 2003-03-28
Publication date: 2004-10-21
Also published as: US7251500B2; US7447521B2; US20050012811A1; US20070255973A1

Abstract

【課題】動画処理と音声処理とが互いに異なるプロセッサで行われる場合の動画と音声の同期をとる。
【解決手段】ベースバンド処理を行うベースバンドプロセッサ（１４）と対で使用されるマイクロプロセッサ（１８）において、演算処理のための中央処理装置（１８３）と、上記中央処理装置での演算処理における時間計測を可能とするカウンタ（１８４）と、上記ベースバンドプロセッサから上記カウンタのリードを可能とするためのインタフェース回路（１８７）とを設け、上記ベースバンドプロセッサは上記カウンタをリードすることにより、上記ベースバンドプロセッサでの処理を上記マイクロプロセッサにおける中央処理装置での処理に同期させる。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、電波を使って情報のやり取りを可能とするためのベースバンド処理を行うベースバンドプロセッサと対で使用されるマイクロプロセッサ及びそれを含む携帯通信端末に関する。
【０００２】
【従来の技術】
携帯通信端末の一例である携帯電話は、音声信号を入力するスピーカ、音声信号を出力するマイクロホン、コーデック（コーダ・デコーダ）、このコーデックで受信されたオーディオ入力信号及びオーディオ出力信号を処理し、ベースバンドモデム処理を行うベースバンドプロセッサ、処理されたオーディオ信号を送信及び受信するためのアンテナに接続されたラジオ周波数モジュールなどを含んで成る（例えば特許文献１参照）。
【０００３】
また、第三世代の携帯電話の重要なアプリケーションとしてテレビ電話が期待されている。テレビ電話においては、受信した映像情報を映像情報駆動部から結像光学系を通して使用者の目の網膜上に虚像を形成させるようにしている（例えば特許文献２参照）。
【０００４】
【特許文献１】
特許公開平８−３７５４６号公報
【特許文献２】
特許公開２００２−１５２６２６号公報
【０００５】
【発明が解決しようとする課題】
テレビ電話における動画処理には高速性が要求されることから、携帯電話においては、ベースバンドモデム処理を行うベースバンドプロセッサとは別に、カメラモジュールからの画像データやマイクロホンからの音声を処理するためのマイクロプロセッサが搭載される。このように動画のための画像データやそれに対応する音声データを処理するためのマイクロプロセッサは、上記ベースバンドモデム処理を行うベースバンドプロセッサと区別するために、アプリケーションプロセッサと称される。
【０００６】
アプリケーションプロセッサでは次のような処理が行われる。
【０００７】
カメラモジュールは、電源が投入されると、その時点から画像データの転送を開始し、１フレーム分の画像データの転送が完了する度にアプリケーションプロセッサに対し割り込みをかける。アプリケーションプロセッサは、上記割り込み信号を使って動画像圧縮プログラムを起動して、キャプチャされた１フレーム分の画像データを圧縮する。この動作が周期的に繰り返される。圧縮する画像のフレームレートの変更はキャプチャされた画像を適当な間隔で間引くことで実現する。また、上記の割り込み処理の中で音声データ転送用ＤＭＡＣ（ダイレクト・メモリ・アクセス・コントローラ）に起動信号を送る。音声データ転送用ＤＭＡＣは、音声データの転送を開始し、圧縮処理の単位である１ブロック（通常は１６０サンプル）転送完了する毎に割り込みを発生する。この割り込みを用いて音声圧縮プログラムが周期的にスケジューリングされる。動画像圧縮及び伸張処理や、音声圧縮及び伸張処理はアプリケーションプロセッサに含まれるＤＳＰ（ディジタル・シグナル・プロセッサ）を用いて行われる。上記手順により最初の画像データのフレーム境界と最初の音声ブロックの境界をあわせることができ、画像と音声の同期をとることができる。
【０００８】
テレビ電話端末が準拠するプロトコル（３Ｇ−３２４Ｍ）では、音声コーデックとして、ＡＭＲ（ＡｄａｐｔｉｖｅＭｕｌｔｉＲａｔｅ）が規格化されているが、これは第三世代の携帯電話における標準音声コーデックでもある。これについて本願発明者が検討したところ、携帯電話において、上記のように、ベースバンドプロセッサとは別にアプリケーションプロセッサを設け、このアプリケーションプロセッサにおいて動画像圧縮及び伸張処理や、音声圧縮及び伸張処理を行う場合には、ベースバンドプロセッサとアプリケーションプロセッサとの双方において、同一機能を有する音声コーデックが搭載されることになり、経済的ではないことが見いだされた。全ての音声処理をベースバンドプロセッサで行うことにより、アプリケーションプロセッサから音声処理を行う回路を省略することが考えられる。しかし、動画とそれに対応する音声との間で再生タイミングを合わせなければならないことを考慮すると、アプリケーションプロセッサにおいて処理された動画と、ベースバンドプロセッサにおいて処理された音声との間で同期をとるための工夫が必要とされる。
【０００９】
本発明の目的は、動画処理と音声処理とが互いに異なるプロセッサで行われる場合において、動画と音声との同期をとるための技術を提供することにある。
【００１０】
本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
【００１１】
【課題を解決するための手段】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。
【００１２】
すなわち、電波を使って情報のやり取りを可能とするためのベースバンド処理を行うベースバンドプロセッサに結合され、上記ベースバンドプロセッサと対で使用されるマイクロプロセッサにおいて、演算処理のための中央処理装置と、上記中央処理装置での演算処理における時間計測を可能とするカウンタと、上記ベースバンドプロセッサから上記カウンタのリードを可能とするためのインタフェース回路とを設ける。
【００１３】
上記の手段によれば、上記ベースバンドプロセッサは上記カウンタをリードすることができるので、上記ベースバンドプロセッサでの処理を上記マイクロプロセッサにおける中央処理装置での処理に同期させることができる。このことが、動画処理と音声処理とが互いに異なるプロセッサで行われる場合において、動画と音声との同期をとることを可能とする。
【００１４】
このとき、カメラモジュールから転送された画像データの圧縮・伸張処理を可能とするディジタル・シグナル・プロセッサを設けることができ、上記中央処理装置は、カメラモジュールから１フレーム分の画像データの転送が完了する毎に、上記カメラモジュールから取り込まれた割り込み信号に応じて上記１フレーム分の画像データの圧縮処理又は伸張処理を上記ディジタル・シグナル・プロセッサに開始させるとともに、上記カウンタをリセットするように構成することができる。
【００１５】
上記ベースバンドプロセッサで圧縮され、上記インタフェース回路を介して取り込まれた音声データと、上記ディジタル・シグナル・プロセッサで圧縮された動画像データとが格納されるメモリを設けることができ、その場合において、上記音声データ及び上記動画データは、上記動画像のフレーム境界を基点とする時間情報が所定のブロック単位でヘッダとして付加されたデータ構造を採用することにより、オフラインのビデオメールにおいても音声と動画像との同期をとることができる。また、上記音声データ及び上記動画データは、互いに同期するデータ単位でまとめられた固定時間データ長構造を採用した場合でも、オフラインのビデオメールにおいても音声と動画像との同期をとることができる。
【００１６】
上記ベースバンドプロセッサによってコマンドを設定可能なコマンドレジスタと、上記ベースバンドプロセッサによってアドレス信号を設定可能なアドレスレジスタと、上記ベースバンドプロセッサによってリードライト可能なデータレジスタと、上記コマンドレジスタに設定されたコマンドをデコードするコマンドデコーダと、上記アドレスレジスタのアドレス信号をデコードするアドレスデコーダとを含んだ上記ベースバンドプロセッサと対で使用されるマイクロプロセッサにおいては、上記アドレスデコーダのデコード結果に基づいて上記カウンタが選択され、上記コマンドデコーダのデコード結果に基づいて、上記カウンタの保持情報を上記データレジスタに転送可能な経路が選択的に形成される。かかる構成においては、カウンタを常時ベースバンドインタフェースに接続する必要がないので、ベースバンドインタフェースの貴重なリソースを節約することができる。
【００１７】
また、上記ベースバンドプロセッサと対で使用されるマイクロプロセッサにおいて、上記中央処理装置には、カメラモジュールから１フレーム分の画像データの転送が完了する毎に、上記カメラモジュールから取り込まれた割り込み信号に応じて上記１フレーム分の画像データの圧縮処理又は伸張処理を上記ディジタル・シグナル・プロセッサに開始させるとともに、上記カウンタをリセットし、且つ、割り込み要因が上記カウンタのリセットであることを示す情報ビットを上記割り込み要因情報レジスタに設定するとともに、上記ベースバンドプロセッサに対して割り込み信号を送出する処理を含めることができる。この場合、ポーリングではなく、割り込みを用いていることから、ベースバンドプロセッサの待ち時間を別の処理に割り当てることができる。
【００１８】
さらに、上記構成のマイクロプロセッサとベースバンドプロセッサを含んで携帯通信端末を構成することができる。
【００１９】
例えば、電波を使って情報のやり取りを可能とするためのベースバンド処理を行うベースバンドプロセッサと、上記ベースバンドプロセッサに結合され、上記ベースバンドプロセッサと対で使用されるアプリケーションプロセッサとを含む携帯通信端末において、上記アプリケーションプロセッサは、演算処理のための中央処理装置と、上記中央処理装置での演算処理における時間計測を行うためのカウンタと、上記ベースバンドプロセッサから上記カウンタのリードを可能とするためのインタフェース回路とを含む。
【００２０】
このとき、動画データを得るためのカメラモジュールと、上記カメラモジュールから転送された動画データの圧縮・伸張処理を可能とするディジタル・シグナル・プロセッサとを含めることができ、その場合において上記中央処理装置は、上記カメラモジュールから１フレーム分の動画データの転送が完了する毎に、上記カメラモジュールから取り込まれた割り込み信号に応じて、上記１フレーム分の動画データの圧縮処理又は伸張処理を上記ディジタル・シグナル・プロセッサに開始させるとともに、上記カウンタをリセットするように構成することができる。
【００２１】
また、その場合において、オフラインでのビデオメールにおいても音声と動画像との同期をとれるようにするために、上記音声データと上記動画データとに、上記動画像のフレーム境界を基点とする時間情報が所定のブロック単位でヘッダとして付加されたデータ構造や、上記音声データと上記動画データとは、互いに同期するデータ単位でまとめられたデータ構造を採用することができる。
【００２２】
さらに、カウンタを常時ベースバンドインタフェースに接続しないようにして、ベースバンドインタフェースの貴重なリソースを節約するために、上記アプリケーションプロセッサにおいても、上記ベースバンドプロセッサによってコマンドを設定可能なコマンドレジスタと、上記ベースバンドプロセッサによってアドレス信号を設定可能なアドレスレジスタと、上記ベースバンドプロセッサによってリードライト可能なデータレジスタと、上記コマンドレジスタに設定されたコマンドをデコードするコマンドデコーダと、上記アドレスレジスタのアドレス信号をデコードするアドレスデコーダとを設け、上記アドレスデコーダのデコード結果に基づいて上記カウンタが選択され、上記コマンドデコーダのデコード結果に基づいて、上記カウンタの保持情報を上記データレジスタに転送可能な経路が選択的に形成されるようにすると良い。
【００２３】
そして、ベースバンドプロセッサの待ち時間を別の処理に割り当て可能とするために、上記ベースバンドプロセッサと対で使用されるアプリケーションプロセッサとを含む携帯通信端末においても、上記アプリケーションプロセッサは、演算処理のための中央処理装置と、上記中央処理装置での演算処理における時間計測を行うためのカウンタと、上記ベースバンドプロセッサからリード可能な割り込み要因情報レジスタと、カメラモジュールから転送された画像データの圧縮・伸張処理を可能とするディジタル・シグナル・プロセッサとを設け、上記中央処理装置においては、カメラモジュールから１フレーム分の画像データの転送が完了する毎に、上記カメラモジュールから取り込まれた割り込み信号に応じて上記１フレーム分の画像データの圧縮処理又は伸張処理を上記ディジタル・シグナル・プロセッサに開始させるとともに、上記カウンタをリセットし、且つ、割り込み要因が上記カウンタのリセットであることを示す情報ビットを上記割り込み要因情報レジスタに設定するとともに、上記ベースバンドプロセッサに対して割り込み信号を送出する処理を含めるようにすると良い。
【００２４】
【発明の実施の形態】
図５には、本発明にかかる携帯通信端末の一例とされる携帯テレビ電話が示される。図５に示される携帯テレビ電話は、特に制限されないが、音声を取り込むためのマイクロフォン（「マイク」という）１１、音声を出力するためのスピーカ１２、音声信号の形式変換を行うための音声用ＡＤ／ＤＡ（アナログ・ディジタル／ディジタル・アナログ）変換器１３、電波を使ってやり取りされる情報の信号処理を可能とするベースバンドプロセッサ１４、所定の周波数の電波を使って送受信を行うためのＲＦ（ラジオ周波）回路１５、ＲＦ回路１５による送受信を可能とするアンテナ１６、動画を取り込むためのカメラモジュール１７、主として動画処理を行うためのアプリケーションプロセッサ１８、画像データが格納されるＲＡＭ（ランダム・アクセス・メモリ）１９、液晶駆動のためのＬＣＤ（液晶）ドライバ２０、表示のためのフレーム画像を記憶するためのＶＲＡＭ（ビデオ・ランダム・アクセス・メモリ）２１、及び画像表示のためのＬＣＤ表示部２２とを含む。
【００２５】
上記ベースバンドプロセッサ１４は、電波を使って情報のやり取りを可能とするためのベースバンド処理機能を有し、特に制限されないが、音声信号の入出力を可能とする音声インタフェース（Ｉ／Ｆ）１４１、音声データや演算処理に必要なデータが格納されるＲＡＭ１４２、ダイレクトメモリアクセスを可能とするＤＭＡ（ダイレクト・メモリ・アクセス）コントローラ１４３、予め設定されたプログラムに従って演算処理を行うためのＣＰＵ（中央処理装置）１４４、ディジタル信号の変調処理や復調処理を行うためのモデム１４５、音声信号処理を行う音声用ＤＳＰ（ディジタル・シグナル・プロセッサ）１４６を含み、公知の半導体集積回路製造技術により単結晶シリコン基板などの一つの半導体基板に形成される。
【００２６】
アプリケーションプロセッサ１８は、特に制限されないが、カメラモジュール１７からの画像データの取り込みを可能とする画像インタフェース（Ｉ／Ｆ）１８１、画像インタフェース１８１からのＶ＿Ｓｙｎｃ割り込み信号に基づいてＣＰＵ１８３に割り込み処理を要求する割り込み制御回路１８２、予め設定されたプログラムに従って演算処理を行うためのＣＰＵ（中央処理装置）１８３、上記ＣＰＵ１８３での時間計測を行うためのカウンタ１８４、動画データの圧縮処理や伸張処理を行う画像用ＤＳＰ（ディジタル・シグナル・プロセッサ）１８５、音声データや画像データが格納されるＲＡＭ（ランダム・アクセス・メモリ）１８６、ベースバンドプロセッサ１４との間での信号のやり取りを可能とするＢＢＩ／Ｆ（ベースバンドインタフェース）１８７、及び外部メモリとの間でデータのやり取りを可能とする外部メモリＩ／Ｆ（インタフェース）１８８を含み、公知の半導体集積回路製造技術により単結晶シリコン基板などの一つの半導体基板に形成される。
【００２７】
図１には、上記携帯テレビ電話の主要部と、データ記録時におけるデータの流れが示される。また、図２には、このデータ記録時における主要部の動作タイミングが示される。
【００２８】
アプリケーションプロセッサ１８においては、ベースバンドプロセッサ１４との間での信号のやり取りを可能とするベースバンドインタフェース１８７が設けられているため、アプリケーションプロセッサ１８内で時間計測に使われるカウンタ１８４をベースバンドプロセッサ１４からリードすることができる。
【００２９】
カメラモジュール１７は、電源が投入されると、その時点から画像データのメモリ転送を開始し、１フレーム分の画像データがＲＡＭ１８６に転送される毎にアプリケーションプロセッサ１８に対し割り込み信号を出力する。カメラモジュール１７からの割り込みは、画像インタフェース１８１で抽出され、Ｖ＿Ｓｙｎｃ割り込み信号として割り込み制御回路１８２へ伝達される。この割り込み制御回路１８２は、Ｖ＿Ｓｙｎｃ割り込み信号に基づいてＣＰＵ１８３に割り込み処理を要求する。ＣＰＵ１８３は、この割り込み要求に応じて動画像圧縮プログラムを起動する。この動画像圧縮プログラムが起動されることにより、ＲＡＭ１８６内の上記１フレーム分の画像データが画像用ＤＳＰ１８５に伝達され、そこで所定のアルゴリズムにより圧縮される。圧縮された画像データは再びＲＡＭ１８６に格納される。この動作が周期的に繰り返されることにより、ＲＡＭ１８６に、圧縮動画データが形成される。また、ＣＰＵ１８２は、上記動画像圧縮プログラムの実行により、上記時間計測に用いるカウンタ１８４をリセットする。カウンタ１８４は、図２に示されるように、システムクロック信号などを計測することにより、そのカウンタ出力値が０から順次更新されているが、上記ＣＰＵ１８３によりリセットされた場合には、そのカウンタ出力値が「０」に戻される。カウンタ１８４のリセットは、Ｖ＿Ｓｙｎｃ割り込み信号に起因するものであるから、画像データのフレーム境界ではカウンタ１８４の出力値が必ず「０」になる。このため、このカウンタ１８４の出力値をモニタすることにより、画像データのフレーム境界を知ることができる。
【００３０】
ベースバンドプロセッサ１４は、ベースバンドインターフェース１８７を介して上記カウンタ１８４をポーリングし、上記カウンタ１８４の出力値が最初に「０」になった時点で、音声データ転送用のＤＭＡコントローラ１４３に起動信号を送る。これによりＤＭＡコントローラ１４３は、マイク１１から音声用ＡＤ／ＤＡ変換器１３及び音声インタフェース１４１を介して伝達された音声データをＲＡＭ１４２へ転送する（ＤＭＡ転送）。ＤＭＡコントローラ１４３は、音声データのＤＭＡ転送を開始した後、圧縮処理の単位である１ブロック（通常は１６０サンプル）の転送が完了する毎に、ＣＰＵ１４４に対して割り込みを発生する。ベースバンドプロセッサ１４では、このＣＰＵ１４４に対する割り込みを用いて音声圧縮プログラムが周期的にスケジューリングされる。音声データの圧縮処理や伸張処理は音声用ＤＳＰ１４６で行われる。音声用ＤＳＰ１４６で圧縮された音声データはＲＡＭ１４２に書き込まれる。
【００３１】
上記手順により最初の画像データのフレーム境界と最初の音声ブロックの境界を合わせることができ、画像と音声の同期をとることが可能となる。すなわち最初に圧縮される画像フレームと音声ブロックの開始時刻を等しくすることができる。上記動画像フレーム境界を同期ポイントとして両プロセッサが動画像データと音声データの入出力処理と圧縮伸張処理を開始することでオンラインである携帯テレビ電話での同期をとることができる。上記ＲＡＭ１４２内の圧縮音声データは、ベースバンドインタフェース１８７を介してＲＡＭ１８６に書き込まれる。そして、ＣＰＵ１８３により、ＲＡＭ１８６内の圧縮音声データと圧縮動画像データとが多重化されてからベースバンドプロセッサ１４におけるＲＡＭ１４２に伝達され、モデム１４５により変調されてからＲＦ回路１５を介して送信される。
【００３２】
また、圧縮動画像データ及び圧縮音声データのブロックに、上記フレーム境界を基点とする絶対時間又は記録時間（開始タイミング）の情報を付加することにより、オフラインのビデオメールにおいても音声と動画像との同期をとることができる。すなわち、図３に示されるように、動画像データの各ブロックの先頭にはヘッダが付加され、このヘッダにはそれに続く動画像データの基点からの開始タイミングが示される。例えばヘッダの情報が１００ｍｓの場合にはそれに続く動画像データは、先頭の動画像データから１００ｍｓ後に開始される。同様に音声データの各ブロックの先頭にはヘッダが付加され、このヘッダにはそれに続く音声データの開始タイミングが示される。このように圧縮動画像データ及び圧縮音声データのブロックに、上記フレーム境界を基点とする絶対時間又は記録時間の情報が付加されることにより、オフラインのビデオメールにおいては、上記ヘッダのの時間情報に基づいて動画及び音声を再生することができる。
【００３３】
さらに、図４に示されるように、動画と音声との同期データ単位で圧縮データをまとめて扱うことにより、オフラインのビデオメールにおいても動画像と音声との同期をとることができる。図４に示される例では、１００ｍｓ分の動画像データ（１０ｆｐｓでの１フレーム分）と、５個の２０ｍｓ分の音声データとが同期データの単位として一緒に転送される。オフラインでの再生時には、例えば１００ｍｓ分の動画像データに対して５個の２０ｍｓ分の音声データが再生されることでそれら間の同期をとることができる。
【００３４】
次に、動画及び音声の再生動作について、図５及び図６を参照しながら詳述する。
【００３５】
図５には再生時におけるデータの流れが示され、図６には再生時における主要部の動作タイミングが示される。
【００３６】
多重化されたデータがＲＦ回路１５を介して送信され、それが別の携帯テレビ電話によって受信される。すなわち、別の携帯テレビ電話においては、ＲＦ回路１５を介して受信され、モデム１４５で復調されてから、ベースバンドインタフェース１８７を介してＲＡＭ１８６に格納される。
【００３７】
カメラモジュール１７は、電源が投入されると、その時点から画像データのメモリ転送を開始し、１フレーム分の画像データの転送が完了する度にアプリケーションプロセッサ１８に対して割り込みをかける。動画像の再生も、この割り込みに同期して行われる。
【００３８】
アプリケーションプロセッサ１８では、上記の割り込み信号を使って動画像再生プログラムを起動して、ＲＡＭ１８６内の１フレーム分の画像データを伸張する。この伸張処理は、画像用ＤＳＰ１８５によって行われる。そして伸張された画像データは、外部のＲＡＭ１９を経由してＶＲＡＭ（ビデオ・ランダム・アクセス・メモリ）に書き込まれる。この動作が周期的に繰返される。
【００３９】
アプリケーションプロセッサ１８は動画再生モードに入った最初の画像フレーム割り込み処理の中で上記時間計測に用いるカウンタ１８４をリセットする。これにより、以降の画像データのフレーム境界ではカウンタ１８４が必ず「０」になるので、ベースバンドプロセッサ１４はこのカウンタ１８４をモニタすることにより、画像データのフレーム境界を知ることができる。
【００４０】
アプリケーションプロセッサ１８は、上記カウンタ１８４が最初に「０」になった時点から画像データのフレーム境界で起動される。再生された動画像データは、上記カウンタ１８４が２回目に「０」になった時点からＬＣＤ表示部２２に表示される。
【００４１】
アプリケーションプロセッサ１８が動画再生モードに入ると、ベースバンドプロセッサ１４は、圧縮音声データをＲＡＭ１８６からベースバンドインタフェース１８７を介して受け取る。
【００４２】
ベースバンドプロセッサ１４では、図６に示されるように、ベースバンド・インターフェース１８７を介してカウンタ１８４をポーリングし、カウンタ１８４が最初に「０」になった時点で一回だけ音声伸張処理を行い、ウェイト状態になる。伸張された音声ブロックはＲＡＭ１４２に格納される。
【００４３】
ベースバンドプロセッサ１４は、上記カウンタ１８４を引き続きポーリングしていて、カウンタ１８４の出力値が「Ｎ２」になるまで待つ。カウンタ１８４の出力値が「Ｎ２」なった時点で音声データ転送用のＤＭＡコントローラ１４３に起動信号を送る。ＤＭＡコントローラ１４３は、音声データの転送を開始し、伸張処理の単位である１ブロック（通常は１６０サンプル）の転送を完了する毎に割り込みを発生する。ベースバンドプロセッサ１４では、この割り込みを用いて音声伸張プログラムが周期的にスケジューリングされる。Ｎ２は、動画像表示が開始される画像フレーム境界から音声ブロック時間だけ遡った時点でのカウンタ値である。
【００４４】
ベースバンドプロセッサ１４は、引き続き上記カウンタ１８４をポーリングして、上記カウンタ１８４の出力値が２回目に「０」になった時点でスピーカ１２のミュートを解除する。最初に伸張された音声ブロックは、このとき、ちょうど転送が終了してスピーカ１２からの音声出力が開始される。
【００４５】
上記の手順により、再生時の最初の画像データのフレーム境界と最初の音声ブロックの境界をあわせることができ、画像と音声の同期をとることが可能となる。すなわち最初に表示される画像フレームと出力される音声ブロックの開始タイミングを等しくすることができる。
【００４６】
上記の例によれば、以下の作用効果を得ることができる。
【００４７】
（１）演算処理のためのＣＰＵ１８３と、上記ＣＰＵ１８３での演算処理における時間計測を可能とするカウンタ１８４と、ベースバンドプロセッサ１４から上記カウンタ１８４のリードを可能とするためのベースバンドインタフェース回路１８７とを設けることにより、上記ベースバンドプロセッサは上記カウンタをリードすることができるので、上記ベースバンドプロセッサでの処理をＣＰＵ１８３での処理に同期させることができるため、動画処理と音声処理とが互いに異なるプロセッサで行われる場合において、動画と音声との同期をとることができる。
【００４８】
（２）図３に示されるように、圧縮動画像データ及び圧縮音声データのブロックに、上記フレーム境界を基点とする絶対時間又は記録時間（開始タイミング）の情報を付加することにより、オフラインのビデオメールにおいても音声と動画像との同期をとることができる。
【００４９】
（３）図４に示されるように動画と音声との同期データ単位で圧縮データをまとめて扱うようにしても、オフラインのビデオメールにおいて動画像と音声との同期をとることができる。
【００５０】
以上本発明者によってなされた発明を具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【００５１】
例えば、アプリケーションプロセッサ１８からベースバンドプロセッサ１８に対する割り込みの要因の一つにカウンタ・クリア割り込みを加えることができる。そして割り込み要因がカウンタ・クリアであること示す情報ビットをベースバンドインタフェース１８７を介してアプリケーションプロセッサ１８から読み出せるようにする。
【００５２】
後は上記の例と同様にカメラモジュール１７は、電源がオンになるとその時点から画像データのメモリ転送を開始し、１フレーム分の画像データの転送が完了する度にアプリケーションプロセッサ１８に対し割り込みをかける。アプリケーションプロセッサ１８は、上記の割り込み信号を使って動画像圧縮プログラムを起動してキャプチャされた１フレーム分の画像データを圧縮する。この動作を周期的に繰り返す。アプリケーションプロセッサ１８は、上記の割り込み処理の中で上記カウンタ１８４をリセット、割り込み要因がカウンタリセットであること示す情報ビットをベースバンドインタフェース１８７における所定のレジスタにセットする同時にベースバンドプロセッサ１４に割り込み信号を送る。割り込まれたベースバンドプロセッサは、ベースバンドインタフェース１８７を通して上記割り込み要因がカウンタリセットであること示す情報ビットを確認して音声データブロック転送のためにＤＭＡ１４３に起動信号を送る。それ以降の動作は上記の例と同じである。本例は、上記例の場合のようなポーリングでなく、割り込みを用いるので、ベースバンドプロセッサの待ち時間を別の処理に有効に使うことが可能となる。
【００５３】
図８には、時間計測に用いるカウンタ１８４をベースバンドインタフェース１８７から間接アクセスする場合の主要部の構成例が示される。
【００５４】
この構成を用いれば、上記カウンタ１８４の出力値を常時モニタする必要がないのでベースバンドインタフェース１８７の貴重なリソースを節約できる。ベースバンドインタフェース１８７には、３個のレジスタ、すなわち、アドレス（ＡＤＲ）レジスタ９１、コマンド（ＣＭＤ）レジスタ９２、データ（ＤＡＴＡ）レジスタ９３を用いて共有リソースである上記カウンタ１８４やＲＡＭ１８６をアクセスする。上記ベースバンドインタフェース１８７における３つのレジスタ９１〜９３は、ベースバンドプロセッサ１４からダイレクトにアクセスできる。上記カウンタ１８４やＲＡＭ１８６は、ＣＰＵ１８３によって管理されるアドレス空間に割り付けられる。セレクタ８１はアドレスレジスタ９１の出力値と、内部アドレスバスの値とを選択的にアドレスデコーダ８２伝達する。アドレスデコーダ８２は、上記セレクタ８１を介して伝達されたアドレス信号をデコードすることにより、上記カウンタ１８４及びＲＡＭ１８６をアクセスするための信号を生成する。セレクタ８３は、データレジスタ９３と内部データバスとを選択的にカウンタ１８４及びＲＡＭ１８６に結合される。そして、アプリケーションプロセッサ１８内には、コマンドレジスタ９２から出力されたコマンドをデコードするためのコマンドデコーダ８４及びこのコマンドデコーダ８４の出力信号に従ってカウンタ１８４，１８６のリードライト動作や、セレクタ８１，８３の動作を制御するためのコントローラ８５が設けられる。
【００５５】
ここで、ベースバンドプロセッサ１４から上記カウンタ１８４をアクセスする手順について説明する。
【００５６】
まず、アドレスレジスタ９１に上記カウンタ１８４のアドレスを書き込む。続いてコマンドレジスタ９２にリードコマンドを書き込む。このリードコマンドがコマンドデコーダ８４でデコードされ、そのデコード結果に基づいてコントローラ８５は各部の動作制御信号を生成する。それにより、アドレスレジスタ９１のアドレス信号がセレクタ８１を介してアドレスデコーダ８２に伝達される。また、カウンタ１８４がセレクタ８３を介してデータレジスタ９３に結合され、カウンタ１８４の内容がセレクタ８３を介してデータレジスタ９３に伝達される。データレジスタ９３は、ベースバンドプロセッサ１４から直接アクセス可能であることから、上記によりベースバンドプロセッサ１４から上記カウンタ１８４をアクセスすることができる。また、ＲＡＭ１８６のアドレスをアドレスレジスタ９１に設定することにより、ＲＡＭ１８６の読み出しを行うことができる。さらに、コマンドレジスタにライトコマンドを設定すれば、カウンタ１８４やＲＡＭ１８６の書き込みを行うことができる。そして、アプリケーションプロセッサ１８によってカウンタ１８４やＲＡＭ１８６の内部アクセスが行われる場合には、内部アドレスバスがセレクタ８１を介してアドレスデコーダ８２に結合され、内部データバスセレクタ８３を介してカウンタ１８４やＲＡＭ１８６に結合される。
【００５７】
尚、上記カウンタ１８４のリセットは、上記カウンタ１８４への「０」書き込みによって可能とされる。
【００５８】
次に、図８に示される間接アクセス方式における同期の解像度について考察する。画像フレームは早くても３０Ｈｚ、音声サンプルは８ｋＨｚであるので音声サンプル間隔の方が厳しい。よって同期処理のオーバーヘッドが音声サンプル間隔に比較してどの程度かを見積もればよい。ベースバンドインタフェース１８７の動作周波数は普通２０ＭＨｚ程度である。よって１音声サンプル間に２０ＭＨｚ／８ｋＨｚ＝２５００サイクル存在する。同期処理のオーバーヘッドは上記カウンタ１８４をモニタすることで「０」判定をしてＤＭＡコントローラ１４３に起動をかけるだけであるので数十サイクル程度と見積もれる。よって同期処理のオーベーヘッド時間は音声サンプル間隔の１００分の１程度となり、図８に示される間接アクセス方式を採用しても特に支障がないことは明らかである。
【００５９】
以上の説明では主として本発明者によってなされた発明をその背景となった利用分野である携帯テレビ電話に適用した場合について説明したが、本発明はそれに限定されるものではなく、各種携帯通信端末に広く適用することができる。
【００６０】
本発明は、少なくとも情報のやり取りを行うことを条件に適応することができる。
【００６１】
【発明の効果】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記の通りである。
【００６２】
すなわち、ベースバンドプロセッサはカウンタをリードすることができるので、上記ベースバンドプロセッサでの処理をマイクロプロセッサにおける中央処理装置での処理に同期させることができ、それによって、動画処理と音声処理とが互いに異なるプロセッサで行われる場合において、動画と音声との同期を容易にとることができる。
【図面の簡単な説明】
【図１】本発明にかかる携帯通信端末の一例である携帯テレビ電話の主要部の構成例ブロック図である。
【図２】上記携帯テレビ電話のデータ記録時における主要部の動作説明図である。
【図３】上記携帯テレビ電話で取り扱われるデータの形式説明図である。
【図４】上記携帯テレビ電話で取り扱われるデータの形式説明図である。
【図５】上記携帯テレビ電話の全体的な構成例ブロック図である。
【図６】上記携帯テレビ電話において画像及び音声が再生される場合の動作説明図である。
【図７】上記携帯テレビ電話における主要部の別の構成例ブロック図である。
【図８】上記携帯テレビ電話における主要部の別の構成例ブロック図である。
【符号の説明】
１１マイク
１２スピーカ
１３音声用ＡＤ／ＤＡ変換器
１４ベースバンドプロセッサ
１５ＲＦ回路
１６アンテナ
１７カメラモジュール
１８アプリケーションプロセッサ
１９ＲＡＭ
２０ＬＣＤドライバ
２１ＶＲＡＭ
２２ＬＣＤ表示部
８１，８３セレクタ
８２アドレスデコーダ
８４コマンドデコーダ
８５コントローラ
９１アドレスレジスタ
９２コマンドレジスタ
９３データレジスタ
１４１音声インタフェース
１４２ＲＡＭ
１４３ＤＭＡコントローラ
１４４ＣＰＵ
１４５モデム
１４６音声用ＤＳＰ
１８１画像インタフェース
１８２割り込み制御回路
１８３ＣＰＵ
１８４カウンタ
１８５画像用ＤＳＰ
１８６ＲＡＭ

Claims

電波を使って情報のやり取りを可能とするためのベースバンド処理を行うベースバンドプロセッサに結合され、上記ベースバンドプロセッサと対で使用されるマイクロプロセッサであって、
演算処理のための中央処理装置と、上記中央処理装置での演算処理における時間計測を可能とするカウンタと、上記ベースバンドプロセッサから上記カウンタのリードを可能とするためのインタフェース回路と、を含んで成ることを特徴とするマイクロプロセッサ。
カメラモジュールから転送された画像データの圧縮・伸張処理を可能とするディジタル・シグナル・プロセッサを含み、
上記中央処理装置は、カメラモジュールから１フレーム分の画像データの転送が完了する毎に、上記カメラモジュールからの割り込み信号に応じて上記１フレーム分の画像データの圧縮処理又は伸張処理を上記ディジタル・シグナル・プロセッサに開始させ、上記カウンタをリセットする処理を含む請求項１記載のマイクロプロセッサ。
上記ベースバンドプロセッサで圧縮され、上記インタフェース回路を介して取り込まれた音声データと、上記ディジタル・シグナル・プロセッサで圧縮された動画像データとが格納されるメモリを含み、上記音声データ及び上記動画データは、上記動画像のフレーム境界を基点とする時間情報が所定のブロック単位でヘッダとして付加されたデータ構造を有する請求項１又は２記載のマイクロプロセッサ。
上記ベースバンドプロセッサで圧縮され、上記インタフェース回路を介して取り込まれた音声データと、上記ディジタル・シグナル・プロセッサで圧縮された動画像データとが格納されるメモリを含み、上記音声データ及び上記動画データは、互いに同期するデータ単位でまとめられた固定時間データ長構造を有する請求項１又は２記載のマイクロプロセッサ。
上記ベースバンドプロセッサによってコマンドを設定可能なコマンドレジスタと、上記ベースバンドプロセッサによってアドレス信号を設定可能なアドレスレジスタと、上記ベースバンドプロセッサによってリードライト可能なデータレジスタと、上記コマンドレジスタに設定されたコマンドをデコードするコマンドデコーダと、上記アドレスレジスタのアドレス信号をデコードするアドレスデコーダと、を含み、上記アドレスデコーダのデコード結果に基づいて上記カウンタが選択され、上記コマンドデコーダのデコード結果に基づいて、上記カウンタの保持情報を上記データレジスタに転送可能な経路が選択的に形成される請求項１乃至４の何れか１項記載のマイクロプロセッサ。
電波を使って情報のやり取りを可能とするためのベースバンド処理を行うベースバンドプロセッサに結合され、上記ベースバンドプロセッサと対で使用されるマイクロプロセッサであって、
演算処理のための中央処理装置と、上記中央処理装置での演算処理における時間計測を行うためのカウンタと、上記ベースバンドプロセッサからリード可能な割り込み要因情報レジスタと、カメラモジュールから転送された画像データの圧縮・伸張処理を可能とするディジタル・シグナル・プロセッサと、を含み、
上記中央処理装置は、カメラモジュールから１フレーム分の画像データの転送が完了する毎に、上記カメラモジュールからの割り込み信号に応じて上記１フレーム分の画像データの圧縮処理又は伸張処理を上記ディジタル・シグナル・プロセッサに開始させ、上記カウンタをリセットし、割り込み要因が上記カウンタのリセットであることを示す情報ビットを上記割り込み要因情報レジスタに設定し、上記ベースバンドプロセッサに対して割り込み信号を送出する処理を含むことを特徴とするマイクロプロセッサ。
電波を使って情報のやり取りを可能とするためのベースバンド処理を行うベースバンドプロセッサと、上記ベースバンドプロセッサに結合され、上記ベースバンドプロセッサと対で使用されるアプリケーションプロセッサとを含む携帯通信端末であって、
上記アプリケーションプロセッサは、演算処理のための中央処理装置と、上記中央処理装置での演算処理における時間計測を行うためのカウンタと、上記ベースバンドプロセッサから上記カウンタのリードを可能とするためのインタフェース回路と、を含むことを特徴とする携帯通信端末。
動画データを得るためのカメラモジュールと、
上記カメラモジュールから転送された動画データの圧縮・伸張処理を可能とするディジタル・シグナル・プロセッサと、を含み、
上記中央処理装置は、上記カメラモジュールから１フレーム分の動画データの転送が完了する毎に、上記カメラモジュールからの割り込み信号に応じて、上記１フレーム分の動画データの圧縮処理又は伸張処理を上記ディジタル・シグナル・プロセッサに開始させ、上記カウンタをリセットする請求項７記載の携帯通信端末。
上記アプリケーションプロセッサは、上記ベースバンドプロセッサで圧縮され、上記インタフェース回路を介して取り込まれた音声データと、上記ディジタル・シグナル・プロセッサで圧縮された動画像データとが格納されるメモリを含み、上記音声データと上記動画データとは、上記動画像のフレーム境界を基点とする時間情報が所定のブロック単位でヘッダとして付加されたデータ構造を有する請求項７又は８記載の携帯通信端末。
上記アプリケーションプロセッサは、上記ベースバンドプロセッサで圧縮され、上記インタフェース回路を介して取り込まれた音声データと、上記ディジタル・シグナル・プロセッサで圧縮された動画像データとが格納されるメモリを含み、上記音声データと上記動画データとは、互いに同期するデータ単位でまとめられたデータ構造を有する請求項７又は８記載の携帯通信端末。
上記アプリケーションプロセッサは、上記ベースバンドプロセッサによってコマンドを設定可能なコマンドレジスタと、上記ベースバンドプロセッサによってアドレス信号を設定可能なアドレスレジスタと、上記ベースバンドプロセッサによってリードライト可能なデータレジスタと、上記コマンドレジスタに設定されたコマンドをデコードするコマンドデコーダと、上記アドレスレジスタのアドレス信号をデコードするアドレスデコーダと、を含み、上記アドレスデコーダのデコード結果に基づいて上記カウンタが選択され、上記コマンドデコーダのデコード結果に基づいて、上記カウンタの保持情報を上記データレジスタに転送可能な経路が選択的に形成される請求項７乃至１０の何れか１項記載の携帯通信端末。
電波を使って情報のやり取りを可能とするためのベースバンド処理を行うベースバンドプロセッサと、上記ベースバンドプロセッサに結合され、上記ベースバンドプロセッサと対で使用されるアプリケーションプロセッサとを含む携帯通信端末であって、
上記アプリケーションプロセッサは、演算処理のための中央処理装置と、上記中央処理装置での演算処理における時間計測を行うためのカウンタと、上記ベースバンドプロセッサからリード可能な割り込み要因情報レジスタと、カメラモジュールから転送された画像データの圧縮・伸張処理を可能とするディジタル・シグナル・プロセッサと、を含み、
上記中央処理装置は、カメラモジュールから１フレーム分の画像データの転送が完了する毎に、上記カメラモジュールからの割り込み信号に応じて上記１フレーム分の画像データの圧縮処理又は伸張処理を上記ディジタル・シグナル・プロセッサに開始させ、上記カウンタをリセットし、割り込み要因が上記カウンタのリセットであることを示す情報ビットを上記割り込み要因情報レジスタに設定し、上記ベースバンドプロセッサに対して割り込み信号を送出する処理を含むことを特徴とする携帯通信端末。