JP4144212B2 - Display device - Google Patents
Display device Download PDFInfo
- Publication number
- JP4144212B2 JP4144212B2 JP2001344236A JP2001344236A JP4144212B2 JP 4144212 B2 JP4144212 B2 JP 4144212B2 JP 2001344236 A JP2001344236 A JP 2001344236A JP 2001344236 A JP2001344236 A JP 2001344236A JP 4144212 B2 JP4144212 B2 JP 4144212B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- unit
- display
- display device
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Mobile Radio Communication Systems (AREA)
- Telephone Set Structure (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、表示装置に関し、特に、例えば、PDA(Personal Digital Assistance)等の小型の情報処理装置において、より多くの情報の表示を行うこと等ができるようにする表示装置に関する。
【0002】
【従来の技術】
近年においては、多数のメーカにおいて、PDAが製造、販売されている。
【0003】
【発明が解決しようとする課題】
ところで、PDAは、いわゆる手のひらサイズの小型の情報処理装置であることから、情報を表示するLCD(Liquid Crystal Display)等も小型のものが採用される。従って、PDAでは、多くの情報を表示することが困難であった。
【0004】
一方、大型のLCDを採用すれば、多くの情報を表示することが可能となるが、この場合、PDA自体も大型化し、携帯に不便になる。
【0005】
本発明は、このような状況に鑑みてなされたものであり、より多くの情報を表示可能な小型のPDA等を提供することができるようにするものである。
【0006】
【課題を解決するための手段】
本発明の表示装置は、本体に設けられ、蓋部が本体の上面を覆う第1の位置に移動したときに収納され、蓋部が本体の上面を開放する第2の位置に移動したときに露出する第1の表示手段と、第1の位置に移動したときに本体の上面と同じ方向に露出する蓋部の主面の一方に設けられる第2の表示手段と、第2の位置に移動したときときに露出する蓋部の主面の他方に設けられる第3の表示手段と、蓋部に対して移動可能に取り付けられ、第1の表示手段及び第3の表示手段と共に主面の一方が視認可能な位置に移動されたときに主面の一方に設けられる第4の表示手段が前記本体の上面と同じ方向に露出されるパネルと、本体が取り付けられる、腕に装着するためのバンドと、バンドに設けられ、第1、第3、及び第4の表示手段と共に視認可能な位置に配される第5の表示手段と、バンドが腕に装着されている状態で第1、第3、第4、及び第5の表示手段が視認可能な位置に配置され、全体としてほぼ矩形形状である表示領域に情報を表示する制御手段とを備えることを特徴とする。
【0007】
本発明の表示装置においては、本体に設けられた第1の表示手段が、蓋部が本体の上面を覆う第1の位置に移動したときに収納され、蓋部が本体の上面を開放する第2の位置に移動したときに露出する。また、蓋部が有する第2の表示手段が、第1の位置に移動したときに本体の上面と同じ方向に露出する蓋部の主面の一方に設けられる。第3の表示手段が、蓋部が第2の位置に移動したときに露出する蓋部の主面の他方に設けられる。さらに、パネルが、蓋部に取り付けられ、第1の表示手段及び第3の表示手段と共に主面の一方が視認可能な位置に移動されたときに主面の一方に設けられる第4の表示手段が、本体の上面と同じ方向に露出される。また、第5の表示手段は、本体が取り付けられる、腕に装着するためのバンドに設けられ、第1、第3、及び第4の表示手段と共に視認可能な位置に配される。さらに、バンドが腕に装着されている状態で第1、第3、第4、及び第5の表示手段が視認可能な位置に配置され、全体としてほぼ矩形形状である表示領域に情報が表示される。
【0008】
【発明の実施の形態】
図1乃至図4は、本発明を適用したPDAの一実施の形態の外観構成例を示している。
【0009】
図1に示すように、PDAは、腕時計型のものとされており、時計バンド1に、メインブロック2を設ける形で構成されている。ユーザは、腕時計をするのと同様に、時計バンド1を、左腕または右腕の手首部分に装着することで、PDAを容易に携帯することができる。
【0010】
メインブロック2は、腕時計でいえば、時計の本体部分に相当するもので、本体11と、その本体の一端に回動可能に取り付けられた蓋部20とから構成されている。
【0011】
蓋部20は、閉じた状態において上面に露出するように設けられたLCD(Liquid Crystal Display)3を有しており、図1の実施の形態においては、そのLDC3に、長針と短針からなる時計が表示されている。
【0012】
また、PDAの時計バンド1には、図1または図4に示すように、メインブロック2の上側と下側に、サイドパネル4と5がそれぞれ設けられている。そして、サイドパネル4には、LCD41が、上面方向に露出する形で設けられており、サイドパネル5にも、LCD51が、上面方向に露出する形で設けられている。
【0013】
なお、LCD3は、透明なタッチパネル3Aと一体的に構成されており、LCD3に表示されたボタン等に対する操作は、このタッチパネル3Aによって検出されるようになっている。同様に、LCD41は、タッチパネル4A1と一体的に構成されており、LCD51は、タッチパネル5A1と一体的に構成されている。
【0014】
PDAは、電話機能その他の、後述するような各種の機能を有しており、蓋部20のLCD3等は、各機能を提供する機能モードにより、必要に応じて、その表示を変化させる。機能モードが、例えば、時計モードの場合は、図1に示したように、LCD3では、時計表示が行われるが、機能モードが、例えば、電話モードとされると、LCD3の表示は、図2に示すように、ダイヤル(電話番号を入力)するのに操作されるボタンの表示に変化する。なお、このボタンに対する操作は、上述したように、LCD3と一体的に構成されたタッチパネル3Aによって検出される。
【0015】
なお、機能モードの切り替えは、ユーザの操作にしたがって行われ、あるいは、PDAが所定のイベントに基づいて行うようになっている。
【0016】
図2に示すように、本体11の下側の側面には、ジョグダイヤル6、イヤフォンマイクジャック7、コネクタ8、およびマイク9が設けられている。なお、図1等においては、図が煩雑になるのを避けるため、ジョグダイヤル6等の図示を省略してある。
【0017】
ジョグダイヤル6は、左右に回転操作することができるようになっており、例えば、機能モードが電話モードの場合に、LCD3等に表示される電話番号等のリスト表示から、電話をかけようとする相手の電話番号を選択するとき等に操作される。また、ジョグダイヤル6は、本体11の内部方向に押圧操作することもできるようになっており、このジョグダイヤル6の押圧操作によって、選択が確定される。即ち、例えば、ユーザが、LCD3等に表示された電話番号等のリスト表示から、電話をかけようとする相手の電話番号を、ジョグダイヤル6を回転操作することにより選択し、さらに、ジョグダイヤル6を押圧操作すると、その電話番号の選択が確定され、その電話番号への発呼が行われる。
【0018】
なお、ジョグダイヤル6は、本体11の内部から外側方向に付勢されており、従って、ユーザが、ジョグダイヤル6を本体11の内部方向に力を加えると、ジョグダイヤル6は、本体11の内部方向に移動するが、ユーザが力を加えるのを止めると、ジョグダイヤル6は、付勢力によって、元の位置に戻るようになっている。
【0019】
イヤフォンマイクジャック7には、例えば、イヤフォンとマイク(マイクロフォン)とを一体的に構成した、いわゆるヘッドセット(図示せず)を、本体11に接続するときに、そのヘッドセットに設けられたジャックが挿入され、これにより、本体11とヘッドセットとが電気的に接続される。
【0020】
コネクタ部8は、後述するベース基地コンピュータ102(図22)などとの間で、データ通信を行うとき等に、そのベース基地コンピュータ102のコネクタ部337(図26)と嵌合し、これにより、本体11(PDA)と、ベース基地コンピュータ102とが電気的に接続される。
【0021】
マイク9は、ユーザの音声を取り込み、電気信号としての音声信号に変換する。このマイク9では、PDAの機能モードが、例えば電話モードとされた場合に、音声通話において、相手に送信されるユーザの音声が取り込まれる。
【0022】
蓋部20が閉じられた状態における上面の上部には、スピーカ10が設けられている。このスピーカ10からは、例えば、機能モードが電話モードとされた場合に、相手から送信されてきた音声が出力される。
【0023】
また、本体11の左側の側面には、ホールドスイッチ61および電源スイッチ62が設けられている。なお、図1等においては、図が煩雑になるのを避けるため、ホールドスイッチ61および電源スイッチ62の図示を省略してある。
【0024】
ホールドスイッチ61は、ジョグダイヤル6やLCD3等に表示されるボタンの操作を有効/無効とするときに操作される。ホールドスイッチ61が、ジョグダイヤル6やLCD3等に表示されるボタンの操作を無効とするように操作された場合、PDAをバック等に入れて持ち歩くとき等に、PDAが、そのバックに入れられた他の物とぶつかることによって、誤操作が行われることを防止することができる。
【0025】
電源スイッチ62は、PDAの電源をオン/オフするときに操作される。
【0026】
本体11の右端の上部と下部には、ヒンジ部13が設けられており、蓋部20は、このヒンジ部13を回動中心として回動することができるようになっている。蓋部20は、本体11のヒンジ部13を回動中心として、図3に示すように、その上面が、本体11の上面または底面とほぼ水平の状態となる位置まで回動することができ、これにより、蓋部20は、開いた状態となる。
【0027】
図3に示すように、本体11の上面には、閉じた状態の蓋部20と対向する形で、LCD12が設けられており、このLCD12は、蓋部20が閉じた状態のときは収納状態となっているが、蓋部20が開いた状態となることによって、上面に露出する。なお、LCD12も、透明なタッチパネル12Aと一体的に構成されており、LCD12に表示されたボタン等に対する操作は、このタッチパネル12Aによって検出されるようになっている。
【0028】
蓋部20は、メインパネル14と、2つのサブパネル15および16とを有している。
【0029】
メインパネル14の上側の左端および右端にはヒンジ部17が、また、その下側の左端および右端にはヒンジ部18が、それぞれ設けられている。そして、サブパネル15は、ヒンジ部17を回動中心として回動可能に取り付けられており、サブパネル16は、ヒンジ部18を回動中心として回動可能に取り付けられている。
【0030】
なお、上下方向を縦方向、左右方向を横方向というものとすると、サブパネル15と16の横方向の長さは、メインパネル14の横方向の長さより若干短いものとなっている。また、サブパネル15と16の縦方向の長さは、メインパネル14の縦方向の長さの1/2弱程度になっている。
【0031】
サブパネル15は、ヒンジ部17を回動中心として、また、サブパネル16は、ヒンジ部18を回動中心として、いずれも、メインパネル14の上面または裏面とほぼ水平の状態となる位置まで回動することができ、これにより、サブパネル15,16は、図4に示すように開いた状態となる。
【0032】
図4に示したように、サブパネル15,16が開いた状態において、メインパネル14の上面、即ち、蓋部20が閉じた状態となっているときの、蓋部20の裏面には、LCD21が設けられている。なお、メインパネル14のLCD21が設けられた面の反対側の面には、LCD3(図1)が設けられている。従って、蓋部20が閉じた状態のときには、LCD3が露出状態(上側を向いた状態)になるとともに、LCD14が収納状態(下側を向いた状態)となり、蓋部20が開いた状態のときには、LCD3が収納状態となるとともに、LCD21が、上面方向に露出した状態となる。
【0033】
サブパネル15には、開いた状態となったときの上面に、LCD22が設けられており、サブパネル16にも、開いた状態となったときの上面に、LCD23が設けられている。従って、サブパネル15のLCD22は、サブパネル15が開いた状態となることによって露出状態となり、サブパネル15が閉じた状態とされると、メインパネル14のLCD21と対向する形で収納状態となる。サブパネル16のLCD23も同様に、サブパネル16が開いた状態となることによって露出状態となり、サブパネル16が閉じた状態となることによって、メインパネル14のLCD21と対向する形で収納状態となる。
【0034】
なお、メインパネル14のLCD21は、透明なタッチパネル21Aと一体的に構成されており、メインパネル14に表示されたボタン等に対する操作は、タッチパネル21Aによって検出される。同様に、サブパネル15のLCD22も、タッチパネル22Aと、サブパネル16のLCD23も、タッチパネル23Aと、それぞれ一体的に構成されている。
【0035】
以上のように、メインブロック2において、蓋部20が閉じているときには、1つのLCD3だけが露出状態となる。従って、この場合、時計バンド1に設けられているサイドパネル4のLCD41と、サイドパネル5のLCD51をあわせれば、PDAでは、図1に示したように、3つのLCD3,41,51に情報を表示して、ユーザへの提示を行うことができる。
【0036】
一方、蓋部20を開き、さらに、蓋部20のサブパネル15および16を開いたときには、LCD12,21,22,23の4つのLCDが露出状態となる。従って、この場合、時計バンド1に設けられているサイドパネル4のLCD41と、サイドパネル5のLCD51をあわせれば、PDAでは、図4に示したように、6つのLCD41,51,12,21,22,23に情報を表示して、ユーザへの提示を行うことができる。
【0037】
ところで、以上のように構成されるメインブロック2においては、本体11に内蔵される電気回路から、蓋部20のメインパネル14が有するLCD3と21の制御(タッチパネル3Aと21Aの制御も含む)、並びに蓋部20のサブパネル15が有するLCD22の制御(タッチパネル22Aの制御も含む)、およびサブパネル16が有するLCD23の制御(タッチパネル23Aの制御も含む)が行われるようになっている。従って、本体11から、蓋部20のメインパネル14、さらには、サブパネル15および16に、配線を行う必要がある。
【0038】
そこで、図5を参照して、本体11から、メインパネル14、並びにサブパネル15および16への配線について説明する。
【0039】
図5は、図4において点線で囲んである部分の拡大図を示している。なお、図5において、メインブロック2の内部は、点線で示してある。
【0040】
ヒンジ部13は、軸31と軸受け部33とから構成されている。軸31は、メインパネル14の一辺に固定されており、その端部が、軸受け部33に設けられた穴に挿入されている。即ち、軸受け部33には、軸31の直径よりもやや大きい直径の穴が設けられており、その穴に、軸31の端部が挿入されている。従って、軸31は、軸受け部33において回転自在に支持されており、これにより、軸31に固定されているメインパネル14は、軸31を回動中心として回動可能になっている。
【0041】
ヒンジ部17も、軸31と同様に構成される軸32と、軸受け部33と同様に構成される軸受け部34とから構成されており、軸32は、サブパネル15の一辺に固定されている。従って、軸32は、軸受け部34において回転自在に支持され、これにより、軸32に固定されているサブパネル15は、軸32を回動中心として回動可能になっている。
【0042】
ヒンジ部13を構成する軸受け部33の内部の一部は空洞になっており、本体11の隅の部分に固定されている。本体11の軸受け部33が固定されている部分には、通し穴40があけられており、本体11が内蔵する電気回路としての回路ブロック43から延びる配線としてのフレキ(フレキシブルケーブル)146および147は、通し穴40を通って、軸受け部33の内部に到達している。
【0043】
また、軸受け部33に挿入されている軸31の端部の一部には、通し穴35が設けられており、さらに、軸31のメインパネル14と固定されている部分の一部には、通し穴36が設けられている。そして、軸31の内部は空洞になっており、軸受け部33の内部に到達しているフレキ146および147は、通し穴35、軸31の内部、および通し穴36を通って、メインパネル14の内部に到達している。
【0044】
メインパネル14の内部では、そのメインパネル14が内蔵する電気回路としての回路ブロック42に、フレキ147が接続されている。
【0045】
ヒンジ部17を構成する軸受け部34の内部も、軸受け部33と同様に、その一部が空洞になっており、メインパネル14の隅の部分に固定されている。メインパネル14の軸受け部34が固定されている部分には、通し穴39があけられており、メインパネル14内部に到達したフレキ146は、通し穴39を通って、軸受け部34の内部に到達している。
【0046】
軸受け部34に挿入されている軸32には、軸31と同様に、その端部の一部に、通し穴37が設けられており、さらに、サブパネル15と固定されている部分の一部に、通し穴38が設けられている。そして、軸32の内部は空洞になっており、軸受け部34の内部に到達しているフレキ146は、通し穴37、軸32の内部、および通し穴39を通って、サブパネル15の内部に到達している。
【0047】
サブパネル15の内部では、そのサブパネル15が内蔵する電気回路としての回路ブロック41に、フレキ146が接続されている。
【0048】
以上のようにして、本体11が内蔵する回路ブロック43と、メインパネル14が内蔵する回路ブロック42、またはサブパネル15が内蔵する回路ブロック41とが、それぞれ電気的に接続されている。
【0049】
なお、本体11とサブパネル16との間も、本体11とサブパネル15との間と同様にして、電気的に接続されている。
【0050】
次に、ヒンジ部13において、軸31を、軸受け部33の穴に、単に挿入しただけの場合には、ユーザが蓋部20を回動しようとして、ある程度の力を加えたときに、軸31が、軸受け部33の穴から、容易に抜けてしまうおそれがある。
【0051】
そこで、ヒンジ部13は、図6に示すように構成されており、これにより、軸31が、軸受け部33の穴から、容易に抜けてしまうことを防止することができるようになっている。なお、図6においては、通し穴35および36の図示を省略してある。
【0052】
即ち、軸31の端部(軸受け部33の穴に挿入される部分)には、図6(A)の斜視図に示すように、軸31の表面に、略U字型に切り込みを入れ、残りの部分を振動可能に形成した係止部51が設けられている。従って、係止部51は、その一部分が、軸31と接続されており、軸31の内部方向に力が加えられることにより、その内部側に押し込められるが、力を加えることを停止すると、自らの弾性力によって元の状態に戻るようになっている。
【0053】
さらに、係止部51には、軸31と接続している一端と反対側の一端に、略三角形状の断面を有する凸部が形成されている。
【0054】
なお、軸31には、係止部51と180度反対側の位置にも、係止部51と同様の係止部が設けられている。
【0055】
一方、軸受け部33の穴の内部の一部には、図6(B)の断面図に示すように、軸31の係止部51に形成された凸部の高さよりも浅い深さの溝52が、その穴の内周に亘って設けられいる。
【0056】
軸31が、軸受け部33の穴に挿入されると、溝52のない部分では、係止部51が、軸受け部33の穴の内壁に接触することで、軸31の内部方向に押し込められる。そして、その後、係止部51が、溝52に到達すると、軸31の内部に押し込められた係止部51が、その弾性力によって、元の状態に戻ろうとして、係止部51に設けられた凸部が、溝52に嵌った状態となり、軸31が、軸受け部33の穴から容易に抜けない状態となる。
【0057】
ここで、溝52は、そこに係止部51の凸部が嵌ったときに、その凸部を、軸31の内部方向に、多少押し込めるような深さに形成されている。従って、係止部51に設けられた凸部が、溝52に嵌った状態では、係止部51は、軸31の内部側に多少押し込められた状態となる。
【0058】
従って、重力等の影響により、蓋部20が回動しようとして軸31に回転トルクが加えられた場合、軸31の係止部51に設けられた凸部と、溝52の内壁との間に、その回動を阻止する摩擦力が発生する。
【0059】
これにより、蓋部20が、本体11に対して任意の角度(0度乃至180度)に開かれた場合、その蓋部20の状態が、上述の摩擦力によって維持される。但し、この摩擦力は、蓋部20の自重により発生する回転トルクと同程度のものであり、ユーザによる蓋部20の回動動作を妨げるものではない。
【0060】
なお、ヒンジ部17を構成する軸32および軸受け部34も、図6に示したヒンジ部13における場合と同様に構成されている。また、ヒンジ部18も、図6のヒンジ部13と同様に構成されている。
【0061】
次に、図7乃至図10は、メインブロック2の他の構成例を示す外観図である。なお、図中、図1乃至図4に示した場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【0062】
ここで、図7は、メインブロック2の斜視図を示している。また、図8(A)は、メインブロック2の正面(上面)図を、図8(B)は、メインブロック2の上側の側面図を、図8(C)は、メインブロック2の下側の側面図を、図8(D)は、メインブロック2の左側の側面図を、図8(E)は、メインブロック2の右側の側面図を、それぞれ示している。さらに、図9は、メインブロック2の蓋部20を開いた状態の斜視図を示しており、図10は、さらに、蓋部20のサブパネル15と16を開いた状態の斜視図を示している。
【0063】
図8(B)に示すように、メインブロック2における本体11の上側の側面には、無線通信部63、アンテナ64、およびCCD(Charge Coupled Device)カメラ65が設けられている。
【0064】
無線通信部63は、例えば、赤外線等による無線通信を行う場合に、赤外線を発光し、また、赤外線を受光する。
【0065】
アンテナ64は、例えば、電波による無線通信を行う場合に、電波を放射し、また、電波を受信する。なお、アンテナ64では、電話による音声通話を行うための電波の送受信の他、例えば、ブルートゥース(Bluetooth(商標))その他の規格に準じた無線通信のための電波の送受信も行うことができるようになっている。
【0066】
CCDカメラ65は、そこに入射する光を受光して光電変換することで、その光に対応する画像信号を出力する。即ち、CCDカメラ65は画像の撮像を行う。
【0067】
なお、無線通信部63、アンテナ64、およびCCDカメラ65は、図2に示したメインブロック2にも設けられているが、その図示は省略してある。
【0068】
図7乃至図10に示したメインブロック2と、図1乃至図4に示したメインブロック2とは同様の機能を有する。
【0069】
但し、図7乃至図10に示したメインブロック2は、そのヒンジ機構が、図1乃至図4に示したメインブロック2における場合と異なっている。
【0070】
即ち、図7乃至図10に示したメインブロック2においては、蓋部20は、メインブロック2の右側の側面に設けられたヒンジ部71(図8(A)、図8(E)、図9、図10)を回動中心として回動するようになっている。また、サブパネル15は、メインパネル14の上部に設けられたヒンジ部72(図8(B)、図9、図10)を回動中心として回動し、サブパネル16は、メインパネル14の下部に設けられたヒンジ部73(図7、図8(C)、図9、図10)を回動中心として回動するようになっている。
【0071】
図11は、ヒンジ部71の分解図を示している。
【0072】
ヒンジ部71は、図11に示すように、本体11に固定されるヒンジ金具81、蓋部20に固定されるヒンジ金具83、両者に回転自在に結合される軸82から構成される。
【0073】
図12に示すように、ヒンジ金具81,83は、バネ用鋼板により形成され、その端部は、折り曲げられて(カーリングされて)筒状に形成されている。ヒンジ金具81とヒンジ金具83の穴径は、同一径となっている。軸82は、所定の長さをもつステンレス製の円柱であり、その軸径は、ヒンジ金具81,83の穴径よりも、若干大きく形成されている。軸82は、その両端がヒンジ金具81とヒンジ金具83にそれぞれ圧入される。
【0074】
なお、上述したように、軸82の軸径は、ヒンジ金具81,83の穴径よりも大きいので、軸82が圧入された場合、ヒンジ金具81,83の穴径は広げられ(弾性変形し)、ヒンジ金具81,83は、軸82を弾性的に、回転自在に支持する状態となる。
【0075】
この状態において、軸82は、ヒンジ金具81,83によって、完全には固定されておらず、重力等の影響により、蓋部20が回動しようとして軸82に回転トルクが加えられた場合、軸82とヒンジ金具81,83それぞれとの間に、その回動を阻止する摩擦力が発生する。
【0076】
したがって、蓋部20は、本体11に対して任意の角度(0度乃至180度)に開かれた場合、その蓋部20の状態が、上述の摩擦力によって維持される。但し、この摩擦力は、蓋部20の自重により発生する回転トルクと同程度のものであり、ユーザによる蓋部20の回動動作を妨げるものではない。
【0077】
なお、ヒンジ部72および73も、図11および図12に示したヒンジ部71と同様に構成されている。
【0078】
次に、図13乃至図15を参照して、メインブロック2に、ヒンジ部71乃至73を採用した場合の、本体11から、メインパネル14、並びにサブパネル15および16への配線について説明する。
【0079】
図が煩雑になるのを避けるため、図7乃至図10には図示していないが、メインブロック2には、図13に示すように、本体11と蓋部20とを結合するヒンジ部71を覆うヒンジカバー91が設けられている。
【0080】
また、蓋部20にも、図13に示すように、メインパネル14とサブパネル16とを結合するヒンジ部73を覆うヒンジカバー92が設けられている。
【0081】
なお、図示していないが、蓋部20には、さらに、メインパネル14とサブパネル15とを結合するヒンジ部72を覆うヒンジカバーも設けられている。
【0082】
図14は、メインブロック2を、図13において矢印Aで示す下側の側面の方向から見た場合の断面図を示している。
【0083】
本体11の内部には、各種の電気回路(電子回路)が形成された回路基板111が設けられており、この回路基板111は、本体11の上面に設けられたLCD12(タッチパネル12Aを含む)と、フレキ112を介して電気的に接続されている。
【0084】
また、回路基板111には、フレキ113が接続されており、このフレキ113は、本体11のヒンジ部71が固定されている側面に設けられた穴114を通って、一旦、外部に出た後、蓋部20のメインパネル14におけるヒンジ部71が固定されている側面に設けられた穴115を通って、メインパネル14の内部に到達している。そして、メインパネル14の内部では、フレキ113が、その上面に設けられたLCD3(タブレット3Aを含む)と、その裏面に設けられたLCD21(タブレット21Aを含む)に接続されている。これにより、メインパネル14のLCD3と21は、回路基板111と電気的に接続されている。
【0085】
ヒンジ部71を覆うヒンジカバー91は、穴114と115との間で外部に露出しているフレキ113を保護するような形で設けられており、これにより、フレキ113が、傷ついたりすること等を防止するようになっている。
【0086】
図15は、メインブロック2を、図13において矢印Bで示す右側の側面の方向から見た場合の断面図を示している。
【0087】
メインパネル14の内部に到達しているフレキ113(の一部)は、メインパネル14のヒンジ部73が固定されている側面に設けられた穴122を通って、一旦、外部に出ており、さらに、サブパネル16のヒンジ部73が固定されている側面に設けられた穴123を通って、サブパネル16の内部に到達している。そして、サブパネル16の内部では、フレキ113が、サブパネル16に設けられたLCD23(タッチパネル23Aを含む)に接続されている。これにより、サブパネル16のLCD23は、回路基板111と電気的に接続されている。
【0088】
ヒンジ部73を覆うヒンジカバー92は、穴122と123との間で外部に露出しているフレキ113を保護するような形で設けられており、これにより、フレキ113が、傷ついたりすること等を防止するようになっている。
【0089】
なお、フレキ113は、サブパネル15の内部にも、サブパネル16における場合と同様にして到達しており、これにより、サブパネル15に設けられたLCD22(タッチパネル22Aを含む)は、回路基板111と電気的に接続されている。
【0090】
次に、以上の実施の形態においては、PDAの時計バンド1の、メインブロック2の上側と下側に、それぞれ1つずくのLCD41と51を設けるようにしたが、時計バンド1には、さらに多くのLCDを設けることができる。
【0091】
そこで、図16および図17は、時計バンド1に、より多くのLCDを設けたPDAの外観構成例を示している。
【0092】
図16および図17の実施の形態では、時計バンド1の、メインブロック2の上側に、4つのLCD41,42,43,44が設けられており、メインブロック2の下側にも、4つのLCD51,52,53,54が設けられている。
【0093】
なお、図17(A)に示すように、時計バンド1の2つの端部それぞれには、留め具1Aと1Bがそれぞれ設けられている。時計バンド1をユーザの腕に巻き、留め具1Aと1Bが結合することにより、時計バンド1は、輪状になって、図16に示すように、ユーザの腕に装着された状態を維持する。
【0094】
図17(A)は、図16に示したように、時計バンド1がユーザの腕に装着された状態から、時計バンド1をはずし、蓋部20を閉じたまま、平面においた状態を示している。
【0095】
この場合、メインブロック2の蓋部20に設けられたLCD3の他、時計バンド1に設けられたLCD41乃至44、およびLCD51乃至54の、合計で、9個のLCDが上部に露出した状態となる。
【0096】
従って、この場合、この9個のLCD3,41乃至44、および51乃至54によって、ユーザに、情報の提示を行うことができる。
【0097】
なお、LCD42,43,44,52,53,54も、上述したLCD41や51と同様に、透明なタッチパネル4A2,4A3,4A4,5A2,5A3,5A4それぞれと一体的に構成されており、LCD42,43,44,52,53,54にボタンが表示され、そのボタンをユーザが操作した場合には、そのボタンに対する操作は、タッチパネル4A2,4A3,4A4,5A2,5A3,5A4によって、それぞれ検出される。
【0098】
図17(B)は、図17(A)に示した状態から、蓋部20を開き、さらに、サイドパネル15および16を開いた状態を示している。
【0099】
この場合、メインブロック2においては、LCD3に代わって、LCD12,21,22,23が上部に露出する。
【0100】
従って、この場合、時計バンド1に設けられたLCD41乃至44、およびLCD51乃至54、並びにメインブロック2に設けられたLCD12、およびLCD21乃至23の合計12個のLCDによって、ユーザに、情報の提示を行うことができる。
【0101】
次に、図18乃至図21は、メインブロック2のさらに他の構成例を示している。
【0102】
図18の実施の形態においては、蓋部20が閉じた状態において、図18(A)に示すように、本体11の上に、メインパネル14が位置し、メインパネル14の上に、サブパネル15および16が位置する形となるように、メインブロック2が構成されている。
【0103】
即ち、例えば、図2や図7の実施の形態においては、蓋部20が閉じた状態において、本体11の上に、サブパネル15および16が位置し、そのサブパネル15および16の上に、メインパネル14が位置するようになっていたが、図18の実施の形態では、メインパネル14の位置と、サブパネル15および16の位置とが入れ替わっている。このため、図18では、蓋部20が閉じた状態において、サブパネル15のLCD22と、サブパネル16のLCD23とが、上部に露出した状態となるようになっており、このLCD22および23が、例えば、図7に示したメインブロック2において、蓋部20が閉じた状態となっているときに上部に露出するLCD3を兼用するようになっている。
【0104】
さらに、図18の実施の形態では、本体11と蓋部20(のメインパネル14)とが、図18(A)に示すように、アーム部131とピン部131Aおよび131Bとからなる、いわゆるリンク構造によって結合されている。
【0105】
また、蓋部20におけるメインパネル14とサブパネル15とが、アーム部132とピン部132Aおよび132Bとからなるリンク構造によって結合されており、メインパネル14とサブパネル16とが、アーム部133とピン部133Aおよび133Bとからなるリンク構造によって結合されている。
【0106】
なお、図18において、メインブロック2の上側の側面には、アーム部131とピン部131Aおよび131Bとからなるリンク構造と同様のリンク構造が設けられている。また、メインブロック2の左側の側面には、アーム部132とピン部132Aおよび132Bとからなるリンク構造と同様のリンク構造と、アーム部133とピン部133Aおよび133Bとからなるリンク構造と同様のリンク構造が設けられている。
【0107】
アーム部131の両端には、それぞれピン部131Aおよび131Bが回転可能なように設けられている。そして、ピン部131Aは、蓋部20のメインパネル14における下側の側面の左下隅に挿入され、ピン部131Bは、本体11の下側の側面の中央下部に挿入されている。
【0108】
アーム部132の両端には、それぞれピン部132Aおよび132Bが回転可能なように設けられている。そして、ピン部132Aは、メインパネル14の右側の側面の右上隅に挿入され、ピン部132Bは、サブパネル15の右側の側面の中央上部に挿入されている。
【0109】
アーム部133の両端には、それぞれピン部133Aおよび133Bが回転可能なように設けられている。そして、ピン部133Aは、メインパネル14の右側の側面の左上隅に挿入され、ピン部133Bは、サブパネル16の右側の側面の中央上部に挿入されている。
【0110】
従って、蓋部20を、右方向にスライドさせるように移動させると、アーム部131は、ピン部131Aを回動中心として回動するとともに、ピン部131Bを回動中心として回動し、これにより、蓋部20は、図18(B)に示すように、本体11の右側の側面に隣接する位置に移動して、本体11の上面に設けられたLCD12が露出状態となる。
【0111】
さらに、サブパネル15を、上方向(奥行き方向)にスライドさせるように移動させると、アーム部132は、ピン部132Aを回動中心として回動するとともに、ピン部132Bを回動中心として回動し、サブパネル15は、図18(C)に示すように、メインパネルの上側の側面に隣接する位置に移動する。
【0112】
また、サブパネル16を、下方向(手前方向)にスライドさせるように移動させると、アーム部133は、ピン部133Aを回動中心として回動するとともに、ピン部133Bを回動中心として回動し、サブパネル16は、図18(C)に示すように、メインパネルの下側の側面に隣接する位置に移動する。
【0113】
以上により、メインパネル14の上面に設けられたLCD21が見える状態となる。
【0114】
なお、図18の実施の形態におけるメインブロック2では、図18(A)に示した状態から、先に、サブパネル15および16をスライドさせ、その後、メインパネル14、並びにサブパネル15および16の全体をスライドさせ、図18(C)に示した状態とすることも可能である。
【0115】
次に、図19を参照して、図18に示したようなリンク構造を採用した場合の配線について説明する。
【0116】
即ち、図19は、図18におけるメインパネル14の、ピン131Aが挿入される部分の拡大図を示している。
【0117】
メインパネル14には、ピン部131Aが挿入される穴144が設けられており、この穴144の径は、ピン部131Aの径よりも若干大きいものとされている。
【0118】
一方、ピン部131Aには、穴144に挿入される方の端部に、例えば、ゴムの等の弾性体からなる係止部143が設けられており、この係止部143の部分の径は、穴144の径よりも若干大きいものとされている。
【0119】
従って、ピン部131Aを、穴144に挿入しようとすると、その穴144に、係止部143が引っ掛かるが、係止部143は弾性体であるため、大きな力によって、ピン部131Aを、穴144に押し込めることによって、係止部143としての弾性体が変形して、穴144を通過する。係止部143は、穴144を通過して、メインパネル14の内部に到達すると、その弾性力によって元の状態に戻り、これにより、ピン部131Aは、穴144から、容易に抜けない状態となる。
【0120】
また、アーム131の内部、およびピン部131Aの内部は、空洞になっており、本体11から延びる配線であるフレキ145は、アーム131の内部、およびピン部131Aの内部を通って、メインパネル14に到達する。
【0121】
なお、図18に示した他のリンク構造も、図19で説明したのと同様に構成されており、これにより、本体11から、メインパネル14、さらには、サブパネル15および16への配線が可能となっている。
【0122】
次に、図20の実施の形態においては、本体11、並びに蓋部20を構成するメインパネル14、サブパネル15および16の位置関係は、図18の実施の形態における場合と同様になっている。従って、蓋部20が閉じた状態では、図20(A)に示すように、サブパネル15のLCD22、およびサブパネル16のLCD23は、上部に露出した状態となっている。
【0123】
但し、図20の実施の形態では、本体11とメインパネル14との結合構造、メインパネル14とサブパネル15との結合構造、およびメインパネル14とサブパネル16との結合構造として、リンク構造ではなく、図2や図7の実施の形態と同様に、ヒンジ構造が採用されている。
【0124】
従って、蓋部20が開かれると、図20(B)に示すように、蓋部20のメインパネル14に設けられたLCD21は上部に露出するが、蓋部20が閉じた状態において上面に露出しているサブパネル15のLCD22とサブパネル16のLCD23は、蓋部20が開かれることにより、図20(B)に示すように、下側を向いた状態となる。
【0125】
そして、さらに、サブパネル15および16を開くと、図20(C)に示すように、サブパネル15のLCD22とサブパネル16のLCD23は、上部に露出した状態になる。
【0126】
次に、図21の実施の形態においては、メインブロック2は、基本的には、図2や図7における場合と同様に構成されている。但し、図2や図7の実施の形態においては、サブパネル15と16は、その縦方向の長さが、メインパネル14の縦方向の長さの1/2弱程度になっていたが、図21の実施の形態では、サブパネル15と16の縦方向の長さが、メインパネル14の縦方向の長さと同程度(若干短い程度)となっている。従って、図21の実施の形態では、サブパネル15および16は、メインパネル14とほぼ同じ大きさとされている。
【0127】
図21のメインブロック2では、図21(A)に示す蓋部20が閉じた状態から、蓋部20を開くと、図21(B)に示すように、本体11に設けられたLCD12が露出し、さらに、サブパネル15および16を開くと、図21(C)に示すように、メインパネル14のLCD21、サブパネル15のLCD22、およびサブパネル16のLCD23が露出する。
【0128】
上述したように、図21の実施の形態では、サブパネル15および16は、メインパネル14とほぼ同じ大きさとされているため、サブパネル15のLCD21とサブパネル16のLCD23も、メインパネル14のLCD21とほぼ同じ大きさのものとなっている。
【0129】
従って、図21の実施の形態では、図2や図7等の実施の形態に比較して、LCD22および23に、より多くの表示、あるいは、より大きな表示を行うことが可能となる。
【0130】
なお、上述の実施の形態においては、蓋部20に、サブパネル15および16を設けるようにしたが、サブパネル15および16は、本体11に設けることも可能である。
【0131】
また、上述の場合には、蓋部20に2つのサブパネル15および16を設ける要にしたが、サブパネルは1つだけ設けるようにすることが可能である。
【0132】
さらに、サブパネルは、上側または下側に開くのではなく、右側等に開くように設けることが可能である。また、蓋部20には、上側に開くサブパネル15、下側に開くサブパネル16の他、右側に開くサブパネルを設けることも可能である。
【0133】
次に、図22は、図1乃至図21で説明したPDAを利用したPDAシステムの一実施の形態の構成例を示している。
【0134】
PDA101は、図1乃至図21で説明したPDAで、各種のデータ処理を行う他、公衆網104を介して、他のPDA103や、インターネット105、その他各種の通信端末106との間で通信を行うことができるようになっている。
【0135】
なお、各種の通信端末106としては、電話機(携帯電話機等を含む)や、ファクシミリ、コンピュータ等がある。
【0136】
さらに、PDA101は、ベース基地コンピュータ102との間で、各種のデータをやりとりするデータ通信を行うことができるようになっている。
【0137】
ここで、PDA101とベース基地コンピュータ102との間でやりとりされるデータとしては、例えば、画像データ(動画および静止画を含む)、音声データ(オーディオデータ)、メールアドレスや電話番号等の個人情報、プログラムその他のバイナリファイルやテキストファイル等の各種のファイル、公衆網104を介して、インターネット105や、PDA101と同様に構成される他のPDA103からダウンロードして蓄積した蓄積情報、その他各種の情報処理装置との間で送受信した送受信データ等がある。
【0138】
ベース基地コンピュータ102は、例えば、デスクトップ型またはノート型のコンピュータをベースに構成されており、PDA101のいわばベース基地となるようになっている。即ち、PDA101は、携帯に便利なように小型に構成されるため、より大型に構成することができるデスクトップ型またはノート型のコンピュータよりも性能が劣ったものとなっている。そこで、ベース基地コンピュータ102では、PDA101が有するデータを取得(受信)して処理し、その処理結果を、PDA101に提供(送信)したり、また、ベース基地コンピュータ102で、インターネット105等から取得したデータを、PDA101に提供すること等ができるようになっている。
【0139】
なお、ベース基地コンピュータ102は、PDA101のベース基地となり得る点を除けば、基本的な構成は、一般的なデスクトップ型またはノート型等のコンピュータと同様であり、従って、公衆網104を介して、インターネット105と接続したり、各種のプログラムの実行等を行うことが可能である。
【0140】
次に、図23は、PDA101のハードウェア構成例を示している。
【0141】
CPU(Central Processing Unit)202は、バス201に接続されており、そのバス201に接続されている各ブロックの制御等を行う。さらに、CPU202は、バス226を介して、ROM(Read Only Memory)203、およびRAM(Random Access Memory)204と接続されており、ROM203に記憶されているプログラムや、RAM204にロードされたプログラムを実行することで、上述の制御を含む各種の処理を行う。
【0142】
ROM203は、IPL(Initial Program Loading)のプログラム等の、起動に必要なプログラムを記憶している。RAM204は、バス226を介して、CPU202から転送されてくるプログラムやデータをロードし、また、CPU202の動作上必要なデータ等を一時記憶する。
【0143】
タッチパネルドライバ2051,2052,2053,2054,2055,2056,2057は、タッチパネル3A,4A1,5A1,12A,21A,22A,23Aをそれぞれドライブすることにより、タッチパネル3A,4A1,5A1,12A,21A,22A,23A上のタッチされた位置等を検出し、バス201を介して、CPU202に供給する。なお、図23においては、タッチパネルドライバ2051乃至2057を、まとめて、タッチパネルドライバ205と表してある。
【0144】
LCDドライバ2061,2062,2063,2064,2065,2066,2067は、バス201を介して供給される信号にしたがい、LCD3,41,51,12,21,22,23をそれぞれドライブすることにより、LCD3,41,51,12,21,22,23それぞれに、所定の画像を表示させる。なお、図23においては、LCDドライバ2061乃至2067を、まとめて、LCDドライバ206と表してある。
【0145】
アンプ207は、CCDカメラ65が出力する画像信号を増幅し、A/D(Analog/Digital)変換器210に供給する。アンプ208は、D/A(Digital/Analog)変換器212が出力する音声信号を増幅し、スピーカ10またはイヤフォンマイクジャック7に出力する。アンプ209は、マイク9またはイヤフォンマイクジャック7から入力される音声信号を増幅し、A/D変換器211に供給する。
【0146】
A/D変換器210は、アンプ207から供給されるアナログの画像信号をA/D変換し、ディジタルの画像データとして、MPEG(Moving Picture Experts Group)エンコーダ/デコーダ213に供給する。A/D変換器211は、アンプ209から供給されるアナログの音声信号をA/D変換し、ディジタルの音声データとして、ATRAC(Adaptive TRansform Acoustic Coding)エンコーダ/デコーダ214に供給する。D/A変換器212は、ATRACエンコーダ/デコーダ214から供給されるディジタルの音声データをD/A変換し、アナログの音声信号として、アンプ208に供給する。
【0147】
MPEGエンコーダ/デコーダ213は、A/D変換器210またはバス201から供給される画像データを、MPEGの規格に準拠して符号化し、その結果得られる符号化データを、バス201上に出力する。また、MPEGエンコーダ/デコーダ213は、バス201から供給される符号化データを、MPEGの規格に準拠して復号し、その結果得られる画像データを、バス201上に出力する。
【0148】
なお、MPEGエンコーダ/デコーダ213は、必要に応じて、A/D変換器210から供給される画像データを、特に処理を施さずに、そのままバス201上に出力することもできるようになっている。
【0149】
ATRACエンコーダ/デコーダ214は、A/D変換器211またはバス201から供給される音声データを、ATRACの規格に準拠して符号化し、その結果得られる符号化データを、バス201上に出力する。また、ATRACエンコーダ/デコーダ214は、バス201から供給される符号化データを、ATRACの規格に準拠して復号し、その結果得られる音声データを、バス201またD/A変換器212に出力する。
【0150】
なお、ATRACエンコーダ/デコーダ214は、必要に応じて、バス201からの音声データを、そのまま、D/A変換器212に出力するとともに、D/A変換器212からの音声データを、そのまま、バス201上に出力することもできるようになっている。
【0151】
HDD(Hard Disk Drive)215は、図示せぬHD(Hard Disk)を内蔵し、CPU202の制御の下、HDに記録されているデータ(プログラムを含む)を読み出して、バス201上に出力し、また、バス201から供給されるデータを、HDに書き込む。
【0152】
フラッシュメモリ216は、バス201に接続されており、PDAの電源をオフにしても記憶しておく必要のあるデータを、バス201を介して記憶する。即ち、例えば、フラッシュメモリ216は、例えば、PDAの電源がオフされる直前の内部状態を記憶する。これにより、PDAの電源が、再びオン状態になったときは、フラッシュメモリ216の記憶内容を参照することにより、PDAの内部状態を、その電源がオフされる直前の内部状態に戻すことができる。
【0153】
DRAM(Dynamic RAM)217は、バス201を介して供給されるデータ(例えば、符号化対象の画像データや音声データ、符号化した画像データや音声データなど)を一時記憶する。
【0154】
通信I/F(interface)218は、バス201に接続されており、無線(電波の他、赤外線等も含む)や有線による各種の通信を行うときのインタフェースとして機能する。
【0155】
即ち、通信I/F218は、アンテナ64から供給される受信信号に対して復調等の通信に必要な処理を施し、バス201に出力するとともに、バス201を介して供給されるデータに変調等の通信に必要な処理を施し、その結果得られる送信信号を、アンテナ64に供給する。
【0156】
さらに、通信I/F218は、コネクタ部8から供給されるデータを受信し、必要な処理を施して、バス201に出力するとともに、バス201を介して供給されるデータに所定の処理を施し、コネクタ部8に供給する。
【0157】
また、通信I/F218は、ドライバ219から供給されるデータを受信し、必要な処理を施して、バス201に出力するとともに、バス201を介して供給されるデータに所定の処理を施し、ドライバ219に供給する。
【0158】
ドライバ219、受光部220、および発光部221は、無線通信部63を構成しており、ドライバ219は、通信I/F219から供給されるデータに応じて、発光部221をドライブするとともに、受光部220から供給される信号からデータを抽出し、通信I/F218に供給する。受光部220は、例えば、赤外線を受光し、その受光量に応じた電気信号を、ドライバ219に供給する。発光部221は、ドライバ219によって駆動され、例えば、赤外線を発光する。
【0159】
バッテリ222は、PDA101を構成する各ブロックに対して、必要な電源を供給する。
【0160】
入力I/F223は、バス201に接続されており、外部からの操作入力に対するインタフェースとして機能する。即ち、入力I/F223は、操作部224やスイッチ部225からの信号を受信し、バス201上に出力する。
【0161】
スイッチ部225は、蓋部20の開閉の状態や、サブパネル15および16の開閉の状態を検知するスイッチ群で構成され、蓋部20、並びにサブパネル15および16の開閉の状態に応じた信号を、入力I/F223に供給する。
【0162】
操作部224は、図7等に示したジョグダイヤル6や、ホールドスイッチ61、電源スイッチ62等で構成され、それらの操作に応じた操作信号を、入力I/F223に供給する。
【0163】
次に、図24は、PDA101の機能的構成例を示している。なお、図23のPDA101のハードウエア構成と対応する部分については、適宜、同一の符号を付してある。
【0164】
RF(Radio Frequency)処理部231は、アンテナ64から供給される受信信号としてのRF信号を復調し、チャネル復号部232に供給する。また、RF処理部231は、チャネル符号化部223から供給される信号を変調してRF信号とし、アンテナ64に供給する。
【0165】
チャネル復号部232は、RF処理部231から供給される信号をチャネル復号し、エンコード/デコード部234や制御部239に供給する。チャネル符号化部233は、エンコード/デコード部234や制御部239から供給される信号をチャネル符号化し、RF処理部231に供給する。
【0166】
なお、RF処理部231、チャネル復号部232、およびチャネル符号化部233は、図23の通信I/F218に対応する。
【0167】
エンコード/デコード部234は、画像符号化部235、画像復号部236、音声符号化部237、および音声復号部238で構成されている。
【0168】
画像符号化部235は、制御部224の制御にしたがい、制御部224から供給される画像データを符号化し、制御部224またはチャネル符号化部233に供給する。画像復号部236は、チャネル復号部232または制御部239から供給される画像の符号化データを復号し、制御部239または表示制御部236に供給する。音声符号化部237は、アンプ209または制御部239から供給される音声データを符号化し、チャネル符号化部233または制御部239に供給する。音声復号部238は、チャネル復号部232または制御部239から供給される音声の符号化データを復号し、スピーカ208または制御部239に供給する。
【0169】
なお、エンコード/デコード部234は、図23のMPEGエンコーダ/デコーダ213やATRACエンコーダ/デコーダ214に対応し、さらには、CPU202がプログラムを実行することにより実現される。
【0170】
制御部239は、図23のCPU202がプログラムを実行することにより実現され、コネクタ部8を介してのデータのやりとりや、操作部224からの操作信号に対応した処理、その他の各種の処理(PDA101を構成する各ブロックの制御を含む)を行う。
【0171】
変復調部240は、制御部239から供給されるデータを変調し、無線通信部63に供給する。また、変復調部240は、無線通信部63から供給される信号を復調し、制御部239に供給する。なお、変復調部240は、図23の通信I/F218に対応する。
【0172】
メモリ241は、制御部239から供給されるデータ等を記憶し、また、記憶したデータを、制御部239に供給する。なお、本実施の形態では、メモリ241は、制御部239に接続されている他、コネクタ部8にも接続されている。また、メモリ241は、図23のフラッシュメモリ216やDRAM217等に対応する。
【0173】
アラーム部242は、例えば、バッテリ222の残容量を監視しており、いわゆるローバッテリ状態となると、制御部239に、その旨を知らせるようになっている。なお、アラーム部242は、例えば、図23のCPU202がプログラムを実行することにより実現される。
【0174】
開閉検出部243は、蓋部20の開閉や、サブパネル15および16の開閉を検知し、その検知結果を、制御部239に供給する。なお、開閉検出部243は、図23のスイッチ部225に対応する。
【0175】
表示制御部244は、制御部239の制御にしたがった画像や、画像復号部236から供給される画像を、表示部245に表示させる制御を行う。さらに、表示制御部244は、表示部245に表示されたボタン等に対する操作を検出し、その操作に対応する操作信号を、制御部239に供給する。また、表示制御部244は、制御部239からの信号を、必要に応じて、表示制御部251,252,253,254,255に供給するとともに、それらの表示制御部251乃至255それぞれからの信号を、制御部239に供給する。
【0176】
なお、表示制御部244は、図23のタッチパネルドライバ205およびLCDドライバ206に対応する。後述する表示制御部251乃至255も同様である。
【0177】
表示部245は、表示制御部244の制御にしたがって、画像を表示するとともに、その表示画面に対する操作を検出し、その操作された表示画面上の位置を表す信号を、表示制御部244に供給する。なお、表示部245は、本体11に一体的に設けられたLCD11およびタッチパネル12A(図10等)に対応する。
【0178】
表示制御部251は、制御部239から表示制御部244を介して供給される制御信号にしたがった画像を、表示部256または257に表示させる制御を行うとともに、表示部256または257に表示されたボタン等に対する操作を検出し、その操作に対応する操作信号を、表示制御部244を介して制御部239に供給する。表示部256と257は、表示制御部251の制御にしたがって、画像を表示するとともに、その表示画面に対する操作を検出し、その操作された表示画面上の位置を表す信号を、表示制御部251に供給する。なお、表示部256は、メインパネル14に一体的に設けられたLCD3およびタッチパネル3A(図7等)に対応し、表示部257は、メインパネル14に一体的に設けられたLCD21およびタッチパネル21A(図10等)に対応する。
【0179】
表示制御部252は、制御部239から表示制御部244を介して供給される制御信号にしたがった画像を、表示部258に表示させる制御を行うとともに、表示部258に表示されたボタン等に対する操作を検出し、その操作に対応する操作信号を、表示制御部244を介して制御部239に供給する。表示部258は、表示制御部252の制御にしたがって、画像を表示するとともに、その表示画面に対する操作を検出し、その操作された表示画面上の位置を表す信号を、表示制御部252に供給する。なお、表示部258は、サブパネル15に一体的に設けられたLCD22およびタッチパネル22A(図10等)に対応する。
【0180】
表示制御部253は、制御部239から表示制御部244を介して供給される制御信号にしたがった画像を、表示部259に表示させる制御を行うとともに、表示部259に表示されたボタン等に対する操作を検出し、その操作に対応する操作信号を、表示制御部244を介して制御部239に供給する。表示部259は、表示制御部253の制御にしたがって、画像を表示するとともに、その表示画面に対する操作を検出し、その操作された表示画面上の位置を表す信号を、表示制御部253に供給する。なお、表示部259は、サブパネル16に一体的に設けられたLCD23およびタッチパネル23A(図10等)に対応する。
【0181】
表示制御部254は、制御部239から表示制御部244を介して供給される制御信号にしたがった画像を、表示部260に表示させる制御を行うとともに、表示部260に表示されたボタン等に対する操作を検出し、その操作に対応する操作信号を、表示制御部244を介して制御部239に供給する。表示部260は、表示制御部254の制御にしたがって、画像を表示するとともに、その表示画面に対する操作を検出し、その操作された表示画面上の位置を表す信号を、表示制御部254に供給する。なお、表示部260は、サイドパネル4に一体的に設けられたLCD41およびタッチパネル4A1(図10等)に対応する。
【0182】
表示制御部255は、制御部239から表示制御部244を介して供給される制御信号にしたがった画像を、表示部261に表示させる制御を行うとともに、表示部261に表示されたボタン等に対する操作を検出し、その操作に対応する操作信号を、表示制御部244を介して制御部239に供給する。表示部261は、表示制御部255の制御にしたがって、画像を表示するとともに、その表示画面に対する操作を検出し、その操作された表示画面上の位置を表す信号を、表示制御部255に供給する。なお、表示部261は、サイドパネル5に一体的に設けられたLCD51およびタッチパネル5A1(図10等)に対応する。
【0183】
次に、図25は、図22のベース基地コンピュータ102の外観構成例を示す斜視図である。
【0184】
図25の実施の形態において、ベース基地コンピュータ102は、略平板形状をしており、手前側は、所定のテーパ角を有するテーパ形状になっている。そして、そのテーパ形状になっている部分には、ユーザによって操作されるキーボード301が配置されている。
【0185】
また、ベース基地コンピュータ201の上面のやや左側には、例えば、LCD等で構成される表示部302が設けられており、表示部302には、各種の情報が表示されるようになっている。
【0186】
さらに、ベース基地コンピュータ201の上面のやや右側には、PDA装着部303と無線通信部304が設けられている。
【0187】
PDA装着部303は、凹形状のスロットとなっており、そこには、PDA101のメインブロック2を装着することができるようになっている。また、PDA装着部303の内部には、後述する図26において図示してあるコネクタ部337が設けられている。PDA101のメインブロック2を、そのコネクタ部8(図7等)がPDA装着部303の凹部の底面に対向するように挿入して、PDA装着部303に装着すると、メインブロック2のコネクタ部8と、PDA装着部303のコネクタ部337とが電気的に接続され、これにより、PDA101(メインブロック2)と、ベース基地コンピュータ102とは、通信可能な状態となるようになっている。
【0188】
無線通信部304は、PDA101との間で、赤外線等による通信を行う際に、その赤外線等を送受信するようになっている。
【0189】
なお、その他、図25の実施の形態では、ベース基地コンピュータ102には、その右側の側面に、IEEE(Institute of Electrical and Electronics Engineers)1394の規格に準拠した通信を行う際に他の機器と接続されるIEEE1394端子305と、USB(Universal Serial Bus)の規格に準拠した通信を行う際に他の機器と接続されるUSB端子306が設けられている。IEEE1394端子305には、IEEE1394の規格に準拠した機器としての、例えば、ビデオカメラ等が接続される。また、USB端子306には、USBの規格に準拠した機器としての、例えば、マウス等が接続される。
【0190】
次に、図26は、ベース基地コンピュータ102のハードウエア構成例を示している。
【0191】
CPU312は、バス311に接続されており、そのバス311に接続されている各ブロックの制御等を行う。さらに、CPU312は、バス345を介して、ROM313、RAM314、およびフラッシュメモリ315と接続されており、ROM313に記憶されているプログラムや、RAM314にロードされたプログラムを実行することで、上述の制御を含む各種の処理を行う。
【0192】
ROM313は、IPLのプログラム等の、起動に必要なプログラムを記憶している。RAM314は、バス343を介して、CPU312から転送されてくるプログラムやデータをロードし、また、CPU312の動作上必要なデータ等を一時記憶する。フラッシュメモリ315は、例えば、BIOS(Basic Input Output Sytem)のプログラムを記憶している。即ち、本実施の形態では、書き換え可能なフラッシュメモリ315に、BIOSのプログラムが記憶されており、これにより、BIOSのバージョンアップ等に容易に対処することが可能となっている。
【0193】
LCD316よびLCDドライバ317は、表示部302を構成している。LCDドライバ316は、バス311を介して供給される信号にしたがい、LCD316をドライブすることにより、LCD316に所定の画像を表示させる。
【0194】
キーボードI/F318は、キーボード301とバス311との間のインタフェースとして機能し、キーボード301の操作に対応した操作信号を、バス311に出力する。
【0195】
USBインタフェース319は、USBの規格に準拠した通信インタフェースで、バス311からデータを受信し、USB端子306から送信するとともに、USB端子306からデータを受信し、バス311上に出力する。IEEE1394インタフェース320は、IEEE1394の規格に準拠した通信インタフェースで、バス311からデータを受信し、IEEE1394端子305から送信するとともに、IEEE1394端子305からデータを受信し、バス311上に出力する。
【0196】
PCMCIA(Personal Computer Memory Card International Association)ドライバ321は、バス311に接続されており、PCMCIAスロット322に装着されたPCカード(図示せず)を駆動する。PCMCIAスロット322には、例えば、フラッシュメモリカードやハードディスク、SCSIカード、LANカード、モデムカード等といったPCカードの着脱が可能となっている。なお、図25においては、PCMCIAスロット322の図示を省略してある。
【0197】
ATRACエンコーダ/デコーダ323は、A/D変換器324またはバス311から供給される音声データを、ATRACの規格に準拠して符号化し、その結果得られる符号化データを、バス311上の出力する。また、ATRACエンコーダ/デコーダ323は、バス311から供給される符号化データを、ATRACの規格に準拠して復号し、その結果得られる音声データを、バス311またD/A変換器325に出力する。
【0198】
なお、ATRACエンコーダ/デコーダ323は、必要に応じて、バス311からの音声データを、そのまま、D/A変換器325に出力するとともに、A/D変換器324からの音声データを、そのまま、バス311上の出力することもできるようになっている。
【0199】
A/D変換器324は、アンプ326から供給されるアナログの音声信号をA/D変換し、ディジタルの音声データとして、ATRACエンコーダ/デコーダ323に供給する。D/A変換器325は、ATRACエンコーダ/デコーダ323から供給するディジタルの音声データをD/A変換し、アナログの音声信号として、アンプ327に供給する。
【0200】
アンプ326は、マイク328またはマイクジャック330から入力される音声信号を増幅し、A/D変換器324に供給する。アンプ327は、D/A変換器325から供給される音声信号を増幅し、スピーカ329またはイヤフォンジャック331に供給する。
【0201】
マイク328は、音声を電気信号として音声信号に変換し、アンプ326に供給する。スピーカ329は、アンプ327からの音声信号に対応する音を出力する。マイクジャック330には、音声を入力するためのマイク等が接続され、イヤフォンジャック331には、音声を出力するためのイヤフォン等が接続される。なお、図25では、マイク328、スピーカ329、マイクジャック330、およびイヤフォンジャック331の図示を省略してある。
【0202】
CD-RW(Compact Disc ReWritable)ドライブ332は、図示せぬCD-RWをドライブし、バス311から供給されるデータを、CD-RWに書き込み、また、CD-RWからデータを再生して、バス311上に出力する。
【0203】
HDD333は、図示せぬHDを内蔵し、CPU312の制御の下、HDに記録されているデータ(プログラムを含む)を読み出して、バス311上に出力し、また、バス311から供給されるデータを、HDに書き込む。
【0204】
フラッシュメモリ334およびDRAM335は、バス311を介して供給されるデータを一時記憶する。
【0205】
通信I/F336は、バス311に接続されており、無線や有線による各種の通信を行うときのインタフェースとして機能する。
【0206】
即ち、通信I/F336は、アンテナ343から供給される受信信号に対して復調等の通信に必要な処理を施し、バス311に出力するとともに、バス311を介して供給されるデータに変調等の通信に必要な処理を施し、その結果得られる送信信号を、アンテナ343に供給する。
【0207】
さらに、通信I/F336は、PDA装着部303が有するコネクタ部337から供給されるデータを受信し、必要な処理を施して、バス311に出力するとともに、バス311を介して供給されるデータに所定の処理を施し、コネクタ部337に供給する。
【0208】
また、通信I/F336は、ドライバ338から供給されるデータを受信し、必要な処理を施して、バス311に出力するとともに、バス311を介して供給されるデータに所定の処理を施し、ドライバ338に供給する。
【0209】
コネクタ部337は、上述したように、図25に示したPDA装着部303としての凹部(スロット)の底面に設けられており、PDA101のコネクタ部8(図7等)が有する1以上のコネクタと接続される1以上のコネクタを有している。
【0210】
ドライバ338、受光部339、および発光部340は、無線通信部304を構成しており、ドライバ338は、通信I/F338から供給されるデータに応じて、発光部340をドライブするとともに、受光部339から供給される信号からデータを抽出し、通信I/F336に供給する。受光部339は、例えば、赤外線を受光し、その受光量に応じた電気信号を、ドライバ338に供給する。発光部340は、ドライバ338によって駆動され、例えば、赤外線を発光する。
【0211】
LAN(Local Area Network)ボード341には、例えば、イーサネット(登録商標)等のLANを構成するときに、LAN用のケーブルが接続され、LANボード341は、そのLAN用のケーブルとバス311との間で、データのやりとりを行う。モデム/TA/DSU(Terminal Adapter/Digital Service Unit)342には、PSTN(Public Switched Telephone Network)回線またはISDN(Integrated Service Digital Network)回線等の電話回線が接続され、モデム/TA/DSU342は、その電話回線とバス311との間で、データのやりとりを行う。
【0212】
アンテナ343は、通信I/F336からのデータを電波で送信するとともに、そこに送信されてくる電波を受信し、通信I/F336に供給する。これにより、アンテナ343では、例えば、ブルートゥース(Bluetooth(商標))その他の規格に準じた無線通信のための電波の送受信が行われる。なお、図25では、アンテナ343の図示を省略してある。
【0213】
充電回路344は、例えば、PDA101が、PDA装着部303に装着されたときに、そのPDA101が有するバッテリ222(図23、図24)の充電を行う。
【0214】
次に、図27は、ベース基地コンピュータ102の機能的構成例を示している。なお、図26のベース基地コンピュータ102のハードウエア構成と対応する部分については、適宜、同一の符号を付してある。
【0215】
制御部351は、図26のCPU312がプログラムを実行することにより実現され、各種の処理(ベース基地コンピュータ102を構成する各ブロックの制御を含む)を行う。
【0216】
即ち、制御部351は、例えば、操作部353からの操作信号に応じた処理を行う。また、制御部351は、例えば、画像データや音声データを、音声画像符号化復号部352に供給し、その画像データや音声データを符号化させる。さらに、制御部351は、例えば、画像や音声を符号化した符号化データを、音声画像符号化復号部352に供給し、その符号化データを、画像データや音声データに復号させる。さらに、制御部351は、例えば、無線によって送信すべきデータを、変復調部354に供給するとともに、変復調部354から供給されるデータを受信する。また、制御部351は、例えば、表示制御部355に、表示すべき画像データを供給する。さらに、制御部351は、例えば、メモリ357に対して、保持しておく必要のあるデータを供給して記憶させるとともに、メモリ357から必要なデータを読み出す。また、制御部351は、例えば、PDA装着部303が有するコネクタ部337を構成する1以上のコネクタのうちの、例えば、コネクタ3373や3374等、IEEE1394端子305、USB端子306を介して、必要なデータの送受信を行う。さらに、制御部351は、例えば、HDD333を制御することにより、データを書き込むとともに、必要なデータを読み出す。また、制御部351は、例えば、充電回路344を制御する。
【0217】
音声画像符号化復号部352は、制御部351から供給される画像データや音声データを符号化し、その結果得られる符号化データを、制御部351に供給する。また、音声画像符号化復号部352は、制御部351から供給される符号化データを復号し、その結果得られる画像データや音声データを、制御部351に供給する。
【0218】
なお、音声画像符号化復号部352は、図26のATRACエンコーダ/デコーダ323に対応し、さらには、CPU312がプログラムを実行することにより実現される。
【0219】
変復調部354は、制御部351から供給されるデータを変調し、無線通信部304に供給する。また、変復調部354は、無線通信部304から供給される信号を復調し、制御部351に供給する。なお、変復調部354は、図26の通信I/F336に対応する。
【0220】
表示制御部355は、制御部351から供給される画像データを表示部356に表示させる表示制御を行う。なお、表示制御部355は、図26のLCDドライバ317に対応する。
【0221】
表示部356は、表示制御部355による表示制御にしたがった表示を行う。なお、表示部356は、図26のLCD316に対応する。
【0222】
メモリ357は、制御部351から供給されるデータ等を記憶し、また、記憶したデータを、制御部351に供給する。なお、メモリ357は、図26のフラッシュメモリ334やDRAM335等に対応する。
【0223】
ここで、図27において、コネクタ3371,3372,3373,3374は、PDA装着部303が有するコネクタ部337を構成するコネクタで、コネクタ3371と3372は、充電回路344の+端子と−端子にそれぞれ接続されている。また、コネクタ3373および3374は、制御部351と接続されている。
【0224】
一方、PDA101が内蔵するバッテリ222の+端子と−端子は、PDA101に設けられたコネクタ部8(図23)を構成する1以上のコネクタの中のコネクタ81と82にそれぞれ接続されている。
【0225】
PDA101が、PDA装着部303に対して装着されたとき、PDA101側のコネクタ81と82は、ベース基地コンピュータ102側のコネクタ3371と3372にそれぞれ電気的に接続されるようになっており、これにより、PDA101が、PDA装着部303に対して装着されると、ベース基地コンピュータ102の充電回路344は、コネクタ81と3371、およびコネクタ82と3372を介して、PDA101のバッテリ222を充電する。
【0226】
次に、図28を参照して、PDA101が、ベース基地コンピュータ102のPDA装着部303に装着された場合の、PDA101とベース基地コンピュータ102との接続について説明する。
【0227】
PDA101のコネクタ部8は、図27に示したコネクタ81および82の他、図28に示すように、コネクタ83と84も有しており、コネクタ83は、制御部239に、コネクタ84は、メモリ241に、それぞれ接続されている。
【0228】
そして、コネクタ83と84は、PDA101が、ベース基地コンピュータ102のPDA装着部303に装着されると、そのコネクタ部337が有するコネクタ3373と3374にそれぞれ接続されるようになっている。
【0229】
上述したように、ベース基地コンピュータ102において、そのコネクタ部337のコネクタ3373および3374は、いずれも、制御部351と接続されており、従って、PDA101のコネクタ部8を構成するコネクタ83は、コネクタ3373を介して、また、コネクタ84は、コネクタ3374を介して、いずれも、ベース基地コンピュータ102の制御部351と接続される。
【0230】
その結果、PDA101においてコネクタ83に接続している制御部239は、コネクタ83と3373を介して、ベース基地コンピュータ102の制御部351と電気的に接続される。また、PDA101においてコネクタ84に接続しているメモリ241は、コネクタ84と3374を介して、ベース基地コンピュータ102の制御部351と電気的に接続される。
【0231】
従って、PDA101の制御部239と、ベース基地コンピュータ102の制御部351とは、コネクタ83と3373を介して、データのやりとりが可能な状態となる。さらに、PDA101の制御部239は、ベース基地コンピュータ102の制御部351にリクエストを出すことで、ベース基地コンピュータ102のメモリ357に対して、データの読み書きを行うことができ、逆に、ベース基地コンピュータ102の制御部351も、PDA101の制御部239にリクエストを出すことで、PDA101のメモリ241に対して、データの読み書きを行うことができる。
【0232】
また、ベース基地コンピュータ102の制御部351は、コネクタ3374と84を介して、PDA101の制御部239を介することなく、そのメモリ241に対して、直接、データの読み書きを行うことができる。
【0233】
即ち、PDA101が、ベース基地コンピュータ102のPDA装着部303に装着された場合には、PDA101のメモリ241は、ベース基地コンピュータ102の一部として機能するようになり、これにより、ベース基地コンピュータ102の制御部351は、PDA101のメモリ241を、あたかも、自身が有するメモリ357の一部であるかのようにアクセスすることができる。
【0234】
なお、PDA101と、ベース基地コンピュータ102とが、コネクタ部8および337を介して接続された場合には、PDA101の他のブロックを、ベース基地コンピュータ102の一部として機能させることが可能である。即ち、例えば、PDA101の制御部239を、ベース基地コンピュータ102の制御部351の一部として機能させることが可能である。
【0235】
次に、図23に示したPDA101は、他のPDA103や、通信可能な通信端末106(図22)との間で電話による音声通話を行うことができるようになっている。即ち、PDA101は、機能モードが、電話による音声通話を行う電話モードとされると、図29のフローチャートに示す通話処理および発呼処理を行う。
【0236】
そこで、まず最初に、図29(A)のフローチャートを参照して、通話処理について説明する。
【0237】
通話処理では、ステップS1において、通信I/F218(図23)は、通信モードを制御チャネルモードとして待機する。
【0238】
ここで、通信モードには、図示せぬ基地局等との間で、音声通話用の通話チャネルを使って音声を送受信することが可能な通話チャネルモード、データ送受信用のデータチャネルを使ってデータを送受信することが可能なデータチャネルモード、パイロット信号その他の制御用のデータを、制御用の制御チャネルを介してやりとりするだけで、他のチャネルによる送受信を行わない制御チャネルモード(いわゆる待ち受け状態となっているモード)などがあり、ステップS1では、通話モードが制御チャネルモードとされる。
【0239】
その後、例えば、制御チャネルを介して、着呼があったことを知らせる制御データが制御チャネルを介して送信されてきたり、あるいは、発呼を要求する操作が行われたことを表す操作信号が操作部224等から供給されるなどの何らかのイベントが生じると、ステップS2に進み、通信I/F218は、着呼があったかどうかを判定する。
【0240】
即ち、通信I/F218は、アンテナ64で常時受信されている制御チャネルのデータを監視しており、ステップS2では、その制御チャネルのデータに基づき、着呼があったかどうかを判定する。
【0241】
ステップS2において、着呼があったと判定された場合、通信I/F218は、その旨のメッセージを、バス201を介して、CPU202に供給する。CPU202は、着呼があった旨のメッセージを受信すると、バス201、ATRACエンコーダ/デコーダ214、D/A変換器212、およびアンプ208を介して、スピーカ10を制御し、着信音を出力させ、ステップS3に進む。
【0242】
ステップS3では、通信I/F218は、通信モードを、制御チャネルモードから、音声を送受信する通話チャネルを使用する通話チャネルモードに切り替え、ステップS4に進む。ステップS4では、CPU202は、ユーザが、オフフック状態とするように、操作部224等を操作したかどうかを判定し、しなかったと判定した場合、ステップS1に戻る。
【0243】
また、ステップS4において、操作部224等がオフフック状態とするように操作されたと判定された場合、ステップS5に進み、通信I/F218は、着信してきた相手との通信リンクを確立し、音声通話のための音声データの送受信を行う。
【0244】
これにより、マイク9に入力された音声は、アンプ209、A/D変換器211、ATRACエンコーダ/デコーダ214、バス201、および通信I/F218を介して、アンテナ64から、電波として送信される。また、電波として送信されてくる音声は、アンテナ64で受信され、通信I/F218、バス201、ATRACエンコーダ/デコーダ214、D/A変換器212、およびアンプ208を介して、スピーカ10から出力される。
【0245】
その後、ステップS6に進み、CPU202は、通話を終了するかどうか、即ち、PDA101のユーザが、操作部224をオンフック状態とするように操作したか、あるいは、通話相手がオンフック状態となったかを判定し、通話を終了しないと判定した場合、ステップS5に戻る。
【0246】
また、ステップS6において、通話を終了すると判定された場合、通信I/F218は、着信してきた相手との通信リンクを切断し、ステップS1に戻る。
【0247】
一方、ステップS2において、着呼がなかったと判定された場合、ステップS7に進み、通信I/F218は、発呼を要求するイベント(以下、適宜、発呼イベントという)が生じたかどうかを判定する。
【0248】
ここで、発呼イベントの発生については、図29(B)のフローチャートを参照して後述する。
【0249】
ステップS7において、発呼イベントがなかったと判定された場合、ステップS1に戻り、以下、同様の処理が繰り返される。
【0250】
また、ステップS7において、発呼イベントがあったと判定された場合、ステップS8に進み、通信I/F218は、通信モードを制御チャネルモードから通話チャネルモードに切り替え、発呼イベントとともに供給される、電話をかける相手の電話番号を、アンテナ64から送信する。
【0251】
その後、その電話番号に対応する通信相手がオフフック状態となると、通信I/F218は、その通信相手との通信リンクを確立し、ステップS9に進む。ステップS9では、通信I/F218は、ステップS5における場合と同様に、音声通話のための音声データの送受信を行う。
【0252】
その後、ステップS10に進み、CPU202は、ステップS6における場合と同様に、通話を終了するかどうかを判定し、通話を終了しないと判定した場合、ステップS9に戻る。
【0253】
また、ステップS10において、通話を終了すると判定された場合、通信I/F218は、通信相手との通信リンクを切断し、ステップS1に戻る。
【0254】
次に、図29(B)のフローチャートを参照して、発呼処理について説明する。
【0255】
PDA101(図23)のHDD215(あるいは、フラッシュメモリ216)は、ユーザがあらかじめ登録した電話番号と、その電話番号に対応する相手の名前等とが対応付けられた電話番号リストを記憶しており、電話モードにおいて、例えば、ユーザが、その電話番号リストを表示するように、操作部224を操作することによって、発呼処理が開始される。
【0256】
即ち、発呼処理では、まず最初に、ステップS21において、CPU202は、バス201を介して、HDD215に記憶された電話番号リストを読み出し、バス201を介して、LCDドライバ206に供給して、ステップS22に進む。
【0257】
ステップS22では、LCDドライバ206は、CPU202からの電話番号リストを、LCD3,41,51,12,21,22、または23に表示させる。
【0258】
ここで、以下、適宜、LCD3,41,51,12,21,22、または23を、LCD3等という。
【0259】
その後、ユーザが、LCD3等に表示された電話番号リストの中から、ある電話番号を選択すると、ステップS23に進み、CPU202は、そのユーザが選択した電話番号を、発呼する電話番号として認識する。
【0260】
ここで、LCD3等においては、電話番号リストが、カーソルとともに表示されるようになっている。このカーソルは、電話番号リスト上のある電話番号を指定するもので、操作部224(図23)としてのジョグダイヤル6(図7等)が回転操作されると、その指定する電話番号を変えるように移動するようになっている。さらに、カーソルが指定する電話番号については、ジョグダイヤル6が押圧操作されると、その電話番号の選択が確定されるようになっている。
【0261】
従って、ユーザが、ジョグダイヤル6を回転操作し、カーソルを、電話をかけたい相手の電話番号の位置に移動し、さらに、ジョグダイヤル6を押圧すると、ステップS23では、その電話番号(カーソルが指定している電話番号)が認識される。
【0262】
なお、電話番号リストに、多数の電話番号が登録されている場合には、そのすべての電話番号を、LCD3に、一度に表示することが困難であるが、この場合には、表示しきれない電話番号については、ジョグダイヤル6を回転操作することにより、電話番号リストがスクロールされて表示されるようになっている。
【0263】
また、電話番号の選択は、ジョグダイヤル6を操作する他、LCD3等に表示された電話番号リストの電話番号を、直接タッチすることによっても選択することができるようになっている。即ち、LCD3等に表示された電話番号リストの電話番号を、ユーザがタッチした場合、そのタッチの位置が、タッチパネル3A等およびタッチパネルドライバ205で検出され、その位置に表示されている電話番号が、ユーザが選択した電話番号として認識される。
【0264】
CPU202は、ステップS23において、ユーザが選択した電話番号を認識すると、ステップS24に進み、その電話番号を発呼イベント(発呼イベントを表すメッセージ)に対応付け、通信I/F218に供給し、発呼処理を終了する。
【0265】
図29(A)のフローチャートで説明したように、通信I/F218は、この発呼イベントが発生したことを、ステップS7で検出し、その発呼イベントに対応付けられている電話番号への発呼を行う。
【0266】
なお、ここでは、電話番号リストから、ユーザが選択した電話番号への発呼を行うようにしたが、発呼する電話番号は、ユーザが、直接入力することも可能である。
【0267】
即ち、LCD3等には、上述の図2に示したように、あるいは、後述する図36に示すように、電話番号を入力するためのダイヤルボタンを表示させ、そのダイヤルボタンに対する操作を、タッチパネル3A,4A1,5A1,12A,21A,22A、または23A(以下、適宜、タッチパネル3A等という)とタッチパネルドライバ205によって検出し、その検出したダイヤルボタンの操作に対応する電話番号への発呼を行うようにすることが可能である。
【0268】
次に、図23に示したPDA101は、他のPDA103や、通信可能な通信端末106(図22)、その他公衆網104上やインターネット105上のコンピュータ等との間で電子メールの送受信を行うことができるようになっている。即ち、PDA101は、機能モードが、電子メールの送受信を行う電子メールモードとされると、図30のフローチャートに示すメール送受信処理およびメール送信イベント処理を行う。
【0269】
そこで、まず最初に、図30(A)のフローチャートを参照して、メール送受信処理について説明する。
【0270】
メール送受信処理では、ステップS31において、通信I/F218(図23)は、通信モードを制御チャネルモードとして待機する。
【0271】
その後、何らかのイベントが生じると、ステップS32に進み、通信I/F218は、そのイベントが、電子メールの送信または受信に関するイベント(以下、適宜、メール送受信イベントという)であるかどうかを判定する。
【0272】
ここで、通信I/F218は、アンテナ64で常時受信されている制御チャネルのデータを監視しており、例えば、電子メールが送信されてきたことを知らせる制御データが制御チャネルを介して送信されてくると、メール受信イベントを発生する。また、CPU202は、電子メールの送信を要求する操作が行われたことを表す操作信号が操作部224等から供給されると、メール送信イベントを発生する。なお、メール送信イベントとメール受信イベントを、まとめて、メール送受信イベントというものとする。
【0273】
ステップS32において、発生したイベントが、メール送受信イベントでないと判定された場合、ステップS31に戻る。
【0274】
また、ステップS32において、発生したイベントが、メール送受信イベントであると判定された場合、ステップS33に進み、通信I/F218は、通信モードを、制御チャネルモードから、データを送受信するデータチャネルを使用するデータチャネルモードに切り替え、ステップS34に進む。ステップS34では、通信I/F218は、図示せぬ基地局等(のメールサーバ)との通信リンクを確立し、電子メールのデータの送受信を行う。
【0275】
これにより、例えば、メール送受信イベントが、電子メールが送信されてきたことを知らせる制御データが制御チャネルを介して送信されてきたことを表すもの(メール受信イベント)である場合には、通信I/F218は、基地局(のメールサーバ)に対して、電子メールを要求し、その要求に応じて、基地局から送信されてくる電子メールのデータを、アンテナ64を介して受信する。
【0276】
また、例えば、メール送受信イベントが、電子メールの送信を要求する操作が行われたことを表す操作信号が操作部224等から供給されたことを表すもの(メール送信イベント)である場合には、通信I/F218は、バス201を介して供給される電子メールのデータを、アンテナ64を介して、基地局(のメールサーバ)に送信する。
【0277】
その後、ステップS35に進み、CPU202は、電子メールのデータの送受信を終了したかどうか、即ち、基地局(のメールサーバ)に記憶されている自身宛の電子メールのデータをすべて受信したか、あるいは、送信が要求された電子メールのデータをすべて送信したかどうかを判定する。
【0278】
ステップS35において、電子メールのデータの送受信が終了していないと判定された場合、ステップS34に戻り、まだ送受信が行われていない電子メールのデータの送受信が続行される。
【0279】
また、ステップS35において、電子メールのデータの送受信が終了したと判定された場合、ステップS31に戻り、以下、同様の処理を繰り返す。
【0280】
次に、図30(B)のフローチャートを参照して、メール送信イベント処理について説明する。
【0281】
PDA101(図23)のHDD215(あるいは、フラッシュメモリ216)は、上述の電話番号リストの他、ユーザがあらかじめ登録した電子メールアドレスと、その電子メールアドレスに対応する相手の名前等とが対応付けられたメールアドレスリストを記憶しており、電子メールモードにおいて、例えば、ユーザが、そのメールアドレスリストを表示するように、操作部224等を操作することによって、メール送信イベント処理が開始される。
【0282】
即ち、メール送信イベント処理では、まず最初に、ステップS41において、CPU202は、バス201を介して、HDD215に記憶されたメールアドレスリストを読み出し、バス201を介して、LCDドライバ206に供給して、ステップS42に進む。
【0283】
ステップS42では、LCDドライバ206は、CPU202からのメールアドレスリストを、LCD3等に表示させる。
【0284】
その後、ユーザが、LCD3等に表示されたメールアドレスリストの中から、ある電子メールアドレスを選択すると、ステップS43に進み、CPU202は、そのユーザが選択した電子メールアドレスを、電子メールの宛先として認識する。
【0285】
ここで、LCD3等におけるメールアドレスリストの表示、またはそのメールアドレスリストからの電子メールアドレスの選択は、図29で説明した電話番号リストを表示する場合、または電話番号を選択する場合とそれぞれ同様に行われるようになっている。また、電子メールアドレスも、図29で説明した電話番号と同様に、ユーザが、直接入力することが可能である。
【0286】
なお、メールアドレスリストと電話番号リストとは、1つのリスト、即ち、ユーザの氏名等に、その電子メールアドレスと電話番号を対応付けたリストに一体化することが可能である。
【0287】
ステップS43において電子メールの宛先としての電子メールアドレスが認識されると、CPU202は、電子メールの本文となるテキストの入力を待って、ステップS44に進み、バス201を介して、LCDドライバ206を制御することにより、その入力されたテキストを、LCD3等に表示させる。
【0288】
ここで、電子メールの本文となるテキストの入力は、例えば、ユーザが、操作部224としてのジョグダイヤル6(図7等)の回転操作と押圧操作を行うことによって行われる。即ち、ジョグダイヤル6が回転操作されると、CPU202は、LDCドライバ206を制御することにより、その回転操作に対応して、LCD3等に、入力の対象となる文字をカーソルとともに表示させる。さらに、CPU202は、カーソルが、ある文字を指定している場合において、ジョグダイヤル6が押圧操作されると、その文字を、テキスト入力として確定する。
【0289】
また、電子メールの本文となるテキストの入力は、例えば、後述するように、ユーザが、LCD3等に表示されたボタン等を操作することによって行うこともできる。即ち、この場合、CPU202は、LCDドライバ206を制御することにより、LCD3等に、文字を入力するためのボタンを表示させる。そして、LCD3等に表示されたボタンを、ユーザがタッチすると、タッチパネル3A等およびタッチパネルドライバ205によって、ユーザがタッチしたボタンが検出され、そのボタンに対応する文字が、テキスト入力として確定される。
【0290】
なお、電子メールについては、いわゆるカーボンコピー先となる電子メールアドレスの指定や、電子メールに添付するファイルの指定なども行うことができるようになっており、そのような指定が行われた場合には、ステップS44では、LCD3等において、その指定を反映した表示が行われる。
【0291】
また、電子メールについては、テキストを入力するのと同様にして、既に入力されたテキストを編集することも可能であり、操作部224等が、そのような編集を行うように操作された場合には、ステップS44では、LCD3等において、その編集内容を反映した表示が行われる。
【0292】
その後、ステップS45に進み、CPU202は、電子メールの本文となるテキストの入力を終了したように、ユーザが操作部224等を操作したかどうかを判定し、そのような操作が行われていないと判定した場合、ステップS44に戻る。
【0293】
また、ステップS45において、電子メールの本文となるテキストの入力を終了したように、ユーザが操作部224等を操作したと判定された場合、ステップS46に進み、CPU202は、本文の入力が終了した電子メールの送信を指示するように、ユーザが操作部224等を操作したかどうかを判定する。
【0294】
ステップS46において、電子メールの送信が指示されていないと判定された場合、ユーザがメールアドレスリストを表示するように、操作部224等を操作するのを待って、ステップS41に戻る。
【0295】
なお、この場合、電子メールは、例えば、HDD215に記憶され、その後、任意のタイミング、またはユーザから指示があったときに送信される。
【0296】
一方、ステップS46において、電子メールの送信が指示されたと判定された場合、即ち、操作部224等からCPU202に対して、電子メールの送信を要求する操作信号が供給された場合、ステップS47に進み、CPU202は、メール送信イベントを、バス201を介して、通信I/F218に供給し、ユーザがメールアドレスリストを表示するように、操作部224等を操作するのを待って、ステップS41に戻る。
【0297】
図30(A)のフローチャートで説明したように、通信I/F218は、このメール送信イベントが発生したことを、ステップS32で検出し、電子メールの送信を行う。
【0298】
ここで、ステップS45において、電子メールの本文となるテキストの入力が終了したと判定されると、CPU202は、その電子メールに、その差出人として、PDA101のユーザの電子メールアドレスを含めるようになっている。なお、PDA101のユーザの電子メールアドレスは、そのユーザが、操作部224等を操作することによって、HDD215に記憶されているものとする。
【0299】
次に、図23に示したPDA101は、バイナリデータ等のデータの送受信を行うことができるようになっている。ここで、PDA101は、データの送受信を、基地局を介して行うこともできるし、基地局を介さずに、他のPDA103や通信可能な通信端末106(図22)との間で、直接行うことができるようにもなっている。PDA101は、機能モードが、各種のデータの送受信を、他のPDA103や通信可能な通信端末106との間で行うデータモードとされると、図31のフローチャートに示すデータ送受信処理およびデータ送信イベント処理を行う。
【0300】
そこで、まず最初に、図31(A)のフローチャートを参照して、データ送受信処理について説明する。
【0301】
データ送受信処理では、ステップS51において、通信I/F218(図23)は、通信モードを制御チャネルモードとして待機する。
【0302】
その後、何らかのイベントが生じると、ステップS52に進み、通信I/F218は、そのイベントが、データの送信または受信に関するイベント(以下、適宜、データ送受信イベントという)であるかどうかを判定する。
【0303】
ここで、通信I/F218は、アンテナ64で常時受信されている制御チャネルのデータを監視しており、例えば、データが送信されてきたことを知らせる制御データが制御チャネルを介して送信されてくると、データ受信イベントを発生する。また、CPU202は、データの送信を要求する操作が行われたことを表す操作信号が操作部224等から供給されると、データ送信イベントを発生する。なお、データ送信イベントとデータ受信イベントを、まとめて、データ送受信イベントというものとする。
【0304】
ステップS52において、発生したイベントが、データ送受信イベントでないと判定された場合、ステップS51に戻る。
【0305】
また、ステップS52において、発生したイベントが、データ送受信イベントであると判定された場合、ステップS53に進み、通信I/F218は、通信モードを、制御チャネルモードからデータチャネルを使用するデータチャネルモードに切り替え、ステップS54に進む。ステップS54では、通信I/F218は、他のPDA103等との間で、データの送受信を行う。
【0306】
これにより、例えば、データ送受信イベントが、データが送信されてきたことを知らせる制御データが制御チャネルを介して送信されてきたことを表すもの(データ受信イベント)である場合には、通信I/F218は、他のPDA103等からデータチャネルを介して送信されてくるデータを、アンテナ64を介して受信する。
【0307】
また、例えば、メール送受信イベントが、データの送信を要求する操作が行われたことを表す操作信号が操作部224等から供給されたことを表すもの(データ送信イベント)である場合には、通信I/F218は、バス201を介して供給されるデータを、アンテナ64を介して、他のPDA103等に送信する。
【0308】
なお、ここでは、PDA101と他のPDA103等との間のデータの送受信を、アンテナ64を介して電波により行うようにしたが、PDA101と他のPDA103等との間のデータの送受信は、その他、例えば、無線通信部63を介することにより、赤外線によって行うことも可能である。また、PDA101とPDA103等との通信は、上述のように、電波や赤外線(その他電磁波等)により非接触で行う他、コネクタ部8(図23)を介して、有線により(接触した状態で)行うことも可能である。
【0309】
ステップS54において、データを受信した場合には、ステップS55,S56に順次進み、データを送信した場合には、ステップS55およびS56をスキップして、ステップS57に進む。
【0310】
ステップS55では、CPU202は、通信I/F218が受信したデータのデータ種別を判別する。即ち、本実施の形態では、データには、そのデータが、画像データや、音声データ、プログラム等のうちのどのデータ種別のものであるかや、そのデータが符号化されている場合には、どのような符号化方式で符号化されているのかといった情報を表すデータ識別子が付加されており、ステップS55では、CPU202は、通信I/F218が受信したデータに付加されているデータ識別子を参照することで、そのデータ種別を判別する。
【0311】
そして、ステップS56に進み、CPU202は、通信I/F218が受信したデータを、バス201を介して、HDD215に転送し、そのデータ種別に応じて記憶させて、ステップS57に進む。
【0312】
即ち、本実施の形態では、データは、その種別ごとに、例えば、別々のディレクトリまたはフォルダに分けて記憶される。
【0313】
なお、本実施の形態では、データは、ファイルとして記憶される。
【0314】
また、ここでは、受信したデータを、HDD215に記憶させるようにしたが、データは、その他、フラッシュメモリ216やDRAM217に記憶させることも可能である。
【0315】
さらに、受信したデータが、例えば、符号化されていない画像データや音声データである場合には、その画像データや音声データは符号化して、HDD215に記憶させることが可能である。ここで、画像データの符号化は、MPEGエンコーダ/デコーダ213で行うことができる。また、音声データの符号化は、ATRACエンコーダ/デコーダ214で行うことができる。さらに、画像データや音声データの符号化は、CPU202がプログラムを実行することにより、その他の符号化方式で行うことも可能である。
【0316】
ステップS57では、CPU202は、データの送受信を終了したかどうか、即ち、他のPDA103から送信されてくるデータのすべてを受信したか、あるいは、送信が要求されたデータのすべてを送信したかどうかを判定する。
【0317】
ステップS57において、データの送受信が終了していないと判定された場合、ステップS54に戻り、まだ送受信が行われていないデータの送受信が続行される。
【0318】
また、ステップS57において、データの送受信が終了したと判定された場合、ステップS51に戻り、以下、同様の処理を繰り返す。
【0319】
次に、図31(B)のフローチャートを参照して、データ送信イベント処理について説明する。
【0320】
データモードにおいて、例えば、ユーザが、そのメールアドレスリストを表示するように、操作部224等を操作することによって、データ送信イベント処理が開始される。
【0321】
即ち、データ送信イベント処理では、ステップS61乃至S63において、図30(B)のステップS41乃至S43における場合とそれぞれ同様の処理が行われ、これにより、CPU202は、データの送信先としての電子メールアドレスを認識する。
【0322】
なお、ここでは、データの送信先を表す情報として、電子メールアドレスを採用することとしたが、その送信先を、例えば、IP(Internet Protocol)アドレスや、MAC(Media Access Control)アドレス、ユーザID(Identification)等で特定することができる場合は、そのような情報を、データの送信先を表す情報として採用することが可能である。
【0323】
その後、ステップS64に進み、CPU202は、データリストを構成し、バス201を介して、LCDドライバ206に供給することにより、そのデータリストを、LCD3等に表示させる。
【0324】
即ち、CPU202は、HDD215にアクセスし、例えば、そこに記憶されている画像データや、音声データ、プログラム等のファイルのファイル名を取得する。さらに、CPU202は、そのファイル名をリスト形式にしたデータリストを構成し、このデータリストを、LCD3等に表示させる。
【0325】
データリストが、LCD3等に表示された後は、ステップS65に進み、CPU202は、そのデータリストの中から、いずれかのデータ(ここでは、ファイル名)が、ユーザによって選択されたかどうかを判定する。
【0326】
即ち、データリストについては、上述した、電話番号リストから電話番号を選択する場合や、メールアドレスリストから電子メールアドレスを選択する場合と同様にして、ユーザが操作部224としてのジョグダイヤル6(図7等)を操作すること等によって、そのデータリストから、データ(ファイル名)を選択することができるようになっており、ステップS65では、そのようにして、ユーザが、データリストの中から、いずれかのデータを選択したかどうかが判定される。
【0327】
ステップS65において、データが選択されていないと判定された場合、ステップS64に戻り、以下、同様の処理を繰り返す。
【0328】
また、ステップS65において、データが選択されたと判定された場合、ステップS66に進み、CPU202は、ステップS65で選択されたと判定されたデータ(以下、適宜、選択データという)の送信を指示するように、ユーザが操作部224等を操作したかどうかを判定する。
【0329】
ステップS66において、選択データの送信が指示されていないと判定された場合、ユーザがメールアドレスリストを表示するように、操作部224等を操作するのを待って、ステップS61に戻る。
【0330】
また、ステップS66において、選択データの送信が指示されたと判定された場合、即ち、操作部224等からCPU202に対して、選択データの送信を要求する操作信号が供給された場合、ステップS67に進み、CPU202は、データ送信イベントを、バス201を介して、通信I/F218に供給し、ユーザがメールアドレスリストを表示するように、操作部224等を操作するのを待って、ステップS61に戻る。
【0331】
図31(A)のフローチャートで説明したように、通信I/F218は、このデータ送信イベントが発生したことを、ステップS52で検出し、選択データの送信を行う。
【0332】
なお、選択データの送信は、図31(B)のステップS63で認識された電子メールアドレスを宛先として行われる。
【0333】
次に、図23に示したPDA101は、HDD215に記憶(記録)された画像データや音声データを再生することができるようになっている。即ち、PDA101は、機能モードが、画像データまたは音声データの再生を行うデータ再生モードとされると、図32のフローチャートに示すデータ再生処理を行う。
【0334】
なお、HDD215には、CCDカメラ65(図23)で撮像された画像データを、MPEGエンコーダ/デコーダ213、またはCPU202がプログラムを実行することにより実現されるエンコーダで符号化したものを記録しておくことができる。さらに、HDD215には、イヤフォンマイクジャック7やマイク9から入力された音声データを、ATRACエンコーダ/デコーダ214、またはCPU202がプログラムを実行することにより実現されるエンコーダで符号化したものを記録しておくことができる。また、HDD215には、図31(A)で説明したデータ送受信処理によって受信される画像データや音声データを符号化したものを記録しておくことができる。
【0335】
図32のデータ再生処理では、このようにしてHDD215に記録されているデータの再生が行われる。
【0336】
即ち、データ再生モードでは、ステップS71において、CPU202は、データリストの表示を要求するように、ユーザが、操作部224等を操作したかどうかを判定し、そのような操作がされていないと判定した場合、ステップS71に戻る。
【0337】
また、ステップS71において、データリストの表示を要求するように、ユーザが、操作部224等を操作したと判定された場合、ステップS72に進み、CPU202は、データリストを構成し、バス201を介して、LCDドライバ206に供給することにより、そのデータリストを、LCD3等に表示させる。
【0338】
即ち、CPU202は、HDD215にアクセスし、そこに記憶されている画像データと音声データのファイルのファイル名を取得する。さらに、CPU202は、そのファイル名をリスト形式にしたデータリストを構成し、このデータリストを、LCD3等に表示させる。
【0339】
データリストが、LCD3等に表示された後は、ステップS73に進み、CPU202は、そのデータリストの中から、いずれかのデータ(ここでは、ファイル名)が、ユーザによって選択されたかどうかを、図31(B)のステップS65における場合と同様にして判定する。
【0340】
ステップS73において、データが選択されていないと判定された場合、ステップS72に戻り、以下、同様の処理を繰り返す。
【0341】
また、ステップS73において、データが選択されたと判定された場合、CPU202は、さらに、その選択されたデータが画像データまたは音声データ(オーディオデータ)のうちのいずれであるかを判定し、選択されたデータが、画像データである場合には、ステップS74に進み、音声データである場合には、ステップS78に進む。
【0342】
ステップS74では、CPU202は、ステップS73で選択されたと判定された画像データ(のファイル)を、HDD215から読み出し、ステップS75に進む。ステップS75では、CPU202は、HDD215から読み出した画像データを復号する処理を行う。
【0343】
即ち、HDD215に記憶されている画像データは、上述したように符号化されており、ステップS75では、その符号化されている画像データが復号される。
【0344】
ここで、画像データの復号は、MPEGエンコーダ/デコーダ213、またはCPU202がプログラムを実行することにより実現されるデコーダによって行われる。
【0345】
ステップS75において画像データが復号されると、ステップS76に進み、CPU202は、その画像データを、バス201を介して、LCDドライバ206に供給し、LCD3等に表示させる。
【0346】
その後、ステップS77に進み、CPU202は、ステップS73で選択されたと判定された画像データすべての再生を終了したかどうかを判定し、まだ終了していないと判定した場合、ステップS74に戻って、以下、同様の処理を繰り返す。即ち、これにより、画像データの再生が続行される。
【0347】
また、ステップS77において、ステップS73で選択されたと判定された画像データすべての再生が終了したと判定された場合、ステップS71に戻り、以下、同様の処理が繰り返される。
【0348】
一方、ステップS78では、CPU202は、ステップS73で選択されたと判定された音声データ(のファイル)を、HDD215から読み出し、ステップS79に進む。ステップS79では、CPU202は、HDD215から読み出した音声データを復号する処理を行う。
【0349】
即ち、HDD215に記憶されている音声データは、上述したように符号化されており、ステップS79では、その符号化されている音声データが復号される。
【0350】
ここで、音声データの復号は、ATRACエンコーダ/デコーダ214、またはCPU202がプログラムを実行することにより実現されるデコーダによって行われる。
【0351】
ステップS79において音声データが復号されると、ステップS80に進み、CPU202は、その音声データを、バス201、ATRACエンコーダ/デコーダ214、D/A変換器212、およびアンプ208を介して、イヤフォンマイクジャック7またはスピーカ10に供給して出力させる。
【0352】
その後、ステップS81に進み、CPU202は、ステップS73で選択されたと判定された音声データすべての再生を終了したかどうかを判定し、まだ終了していないと判定した場合、ステップS78に戻って、以下、同様の処理を繰り返す。即ち、これにより、音声データの再生が続行される。
【0353】
また、ステップS81において、ステップS73で選択されたと判定された音声データすべての再生が終了したと判定された場合、ステップS71に戻り、以下、同様の処理が繰り返される。
【0354】
なお、ここでは、HDD215に記憶された画像データまたは音声データの再生を行うようにしたが、その他、HDD215に、インターネット105(図22)上の図示せぬサーバ等からダウンロードしてインストールしたプログラムが記録されている場合には、ステップS72において、そのプログラムのファイル名も含むデータリストを表示し、ユーザによって、プログラムが選択されたときには、そのプログラムを、CPU202に実行させることが可能である。
【0355】
また、ステップS73で選択されたと判定されたデータが、画像データと音声データの両方を含む場合には、ステップS74乃至S77およびステップS78乃至S81の処理は、並列して行われる。
【0356】
次に、図23に示したPDA101は、例えば、インターネット105(図22)上の図示せぬサーバ等から、いわゆるプッシュ型配信等によって、公衆網104を介して送信されてくる画像データや音声データ等のストリーミング再生を行うことができるようになっている。即ち、PDA101は、機能モードが、ストリーミング再生を行うストリーミング再生モードとされると、図33のフローチャートに示すストリーミング再生処理を行う。
【0357】
ストリーミング再生処理では、ステップS91において、通信I/F218(図23)は、通信モードを制御チャネルモードとして待機する。
【0358】
その後、制御チャネルによって、何らかのデータを送信する旨の制御データが送信されてくると、その制御データが、アンテナ64を介して、通信I/F218で受信され、ステップS92に進み、通信I/F218は、その制御データに基づき、ストリーミング再生用のデータ(以下、適宜、ストリーミングデータという)が送信されてくるのかどうかを判定する。
【0359】
ステップS92において、ストリーミングデータが送信されてくるのではないと判定された場合、ステップS91に戻り、以下、同様の処理を繰り返す。
【0360】
また、ステップS92において、ストリーミングデータが送信されてくると判定された場合、ステップS93に進み、通信I/F218は、通信モードを、制御チャネルモードからデータチャネルモードに切り替え、ステップS94に進む。ステップS94では、通信I/F218は、データチャネルによって送信されてくるストリーミングデータの受信を開始する。
【0361】
通信I/F218で受信されたストリーミングデータは、バス201を介して、DRAM217に供給されて一時記憶される。
【0362】
CPU202は、DRAM217においてストリーミングデータの記憶が開始されると、ステップS95に進み、CPU202は、DRAM217に記憶されたストリーミングデータのデータ種別を判別する。即ち、図31(A)のデータ送受信処理で説明した場合と同様に、ストリーミングデータには、そのストリーミングデータの種別等を表すデータ識別子が付加されており、ステップS95では、CPU202は、DRAM217に記憶されたストリーミングデータのデータ識別子を参照することで、そのデータ種別を判別する。
【0363】
そして、ステップS96に進み、CPU202は、DRAM217に記憶されたストリーミングデータが、画像データまたは音声データ(オーディオデータ)のうちのいずれであるかを、ステップS95で判別したデータ種別に基づいて判定する。
【0364】
ステップS96において、DRAM217に記憶されたストリーミングデータが、画像データであると判定された場合、ステップS97に進み、CPU202は、DRAM217に記憶された画像データを読み出し、その画像データを復号する処理を行う。
【0365】
即ち、ストリーミングデータは、例えば、MPEGその他の符号化方式で符号化されており、ステップS95では、その符号化されている画像データが復号される。
【0366】
ここで、画像データの復号は、MPEGエンコーダ/デコーダ213、またはCPU202がプログラムを実行することにより実現されるデコーダによって行われる。
【0367】
ステップS97において画像データが復号されると、ステップS98に進み、CPU202は、その画像データを、バス201を介して、LCDドライバ206に供給し、LCD3等に表示させる。
【0368】
その後、ステップS99に進み、CPU202は、DRAM217に記憶されたストリーミングデータ(ここでは、画像データ)のすべての再生が終了したかどうかを判定し、まだ、終了していないと判定した場合、ステップS97に戻り、以下、DRAM217に記憶されたストリーミングデータの復号、表示(再生)が続行される。
【0369】
また、ステップS99において、DRAM217に記憶されたストリーミングデータのすべての再生が終了したと判定された場合、ステップS91に戻り、以下、同様の処理が繰り返される。
【0370】
一方、ステップS96において、ストリーミングデータが音声データであると判定された場合、ステップS100に進み、CPU202は、DRAM217に記憶された音声データを読み出し、その音声データを復号する処理を行う。
【0371】
即ち、ストリーミングデータは、例えば、ATRACその他の符号化方式で符号化されており、ステップS100では、その符号化されている音声データが復号される。
【0372】
ここで、音声データの復号は、ATRACエンコーダ/デコーダ214、またはCPU202がプログラムを実行することにより実現されるデコーダによって行われる。
【0373】
ステップS100において音声データが復号されると、ステップS101に進み、CPU202は、その音声データを、バス201、ATRACエンコーダ/デコーダ214、D/A変換器212、およびアンプ208を介して、イヤフォンマイクジャック7またはスピーカ10に供給して出力させる。
【0374】
その後、ステップS102に進み、CPU202は、DRAM217に記憶されたストリーミングデータ(ここでは、音声データ)のすべての再生が終了したかどうかを判定し、まだ、終了していないと判定した場合、ステップS100に戻り、DRAM217に記憶されたストリーミングデータの復号、出力(再生)が続行される。
【0375】
また、ステップS102において、DRAM217に記憶されたストリーミングデータのすべての再生が終了したと判定された場合、ステップS91に戻り、以下、同様の処理が繰り返される。
【0376】
なお、ストリーミングデータが、画像データと音声データの両方を含む場合には、ステップS97乃至S99およびステップS100乃至S102の処理は、並列して行われる。
【0377】
次に、図23のPDA101は、図26のベース基地コンピュータ102との間で、各種のデータ(ファイル)のやりとりを行うことが可能となっている。
【0378】
そこで、図34および図35を参照して、PDA101とベース基地コンピュータ102との間でのファイルのやりとりの手順について説明する。
【0379】
なお、PDA101(図23)とベース基地コンピュータ102(図26)との間でのファイルのやりとりは、アンテナ64および343を介することによる電波での通信、コネクタ部8および337を介することによる有線での通信、並びに無線通信部63および304を介することによる赤外線での通信のうちのいずれによっても可能となっている。但し、ここでは、例えば、アンテナ64および343を介することによる電波での通信が行われることにより、PDA101とベース基地コンピュータ102との間で、ファイルのやりとりが行われるものとする。
【0380】
まず、図34を参照して、PDA101からベース基地コンピュータ102にファイルが送信される場合の手順について説明する。
【0381】
ベース基地コンピュータ102(図26)のCPU312(図27の制御部351に対応する)は、ユーザが、キーボード301(図27の操作部353に対応する)等を操作することによって、PDA101から受信するファイルを指定するのを待って(A1)、その指定されたファイルを、PDA101から受信すべきファイルとして選択する(A2)。このとき、PDA101(図23)のCPU202(図24の制御部239に対応)は、制御チャネルモードで待機している(B1)。
【0382】
なお、図34の実施の形態では、例えば、ベース基地コンピュータ102は、PDA101と通信することにより、既に、PDA101のHDD215が記憶しているファイルのファイル名の一覧を取得しているものとし、ユーザは、そのファイル名の一覧から、ファイルの指定(A1)を行うものとする。
【0383】
ベース基地コンピュータ102のCPU312は、PDA101から受信すべきファイルを選択した後、通信I/F336を制御することにより、アンテナ343を介し、PDA101に対して、その選択したファイルの受信を要求する受信要求信号を、その選択したファイルを識別する、例えば、ファイル名とともに送信する(A3)。
【0384】
ベース基地コンピュータ102からの受信要求信号は、PDA101において、アンテナ64を介して、通信I/F218で受信され(B2)、CPU202に供給される。
【0385】
PDA101のCPU202は、受信要求信号を受信すると、通信I/F218を制御することにより、ベース基地コンピュータ102に対して、認証処理を要求し、これにより、PDA101のCPU202と、ベース基地コンピュータ102のCPU312との間では、互いに正当な機器であるかどうかを確認する認証処理が行われる(A4,B3)。
【0386】
PDA101のCPU202と、ベース基地コンピュータ102のCPU312において、認証が成功すると、PDA101のCPU202は、通信I/F218を制御することにより、ファイルの受信を許可することを表す受信許可信号を、ベース基地コンピュータ102に送信する(B4)。
【0387】
なお、認証が失敗した場合には、以降の処理は行われず、従って、PDA101からベース基地コンピュータ102へのファイルの送信は行われない。
【0388】
PDA101から送信された受信許可信号は、ベース基地コンピュータ102において、アンテナ343を介して、通信I/F336で受信され(A5)、バス311を介して、CPU312に供給される。これにより、CPU312は、PDA101からファイルが送信されてくることを認識する。
【0389】
その後、PDA101のCPU202は、ベース基地コンピュータ102から受信要求信号とともに送信されてきたファイル名のファイルを、例えば、HDD215から読み出し、バス201を介して、通信I/F218に供給することで、そのファイルを、アンテナ64を介して、ベース基地コンピュータ102に送信させる(B5)。
【0390】
ベース基地コンピュータ102では、PDA101から送信されてくるファイルが、アンテナ343を介して、通信I/F336で受信される(A6)。通信I/F336は、受信したファイルを、バス311を介して、DRAM335に転送して一時記憶させ、CPU312は、このようにしてDRAM335に記憶されたファイルのファイル識別信号に基づき、そのファイルが、例えば、画像データ、音声データ、プログラム、テキストデータ等のうちのいずれのファイル種別のものであるかを判別する(A7)。
【0391】
即ち、ファイルには、そのファイル種別を表すファイル識別信号が付加されており、そのファイル識別信号を参照することにより、ファイル種別が判別される。
【0392】
そして、CPU312は、DRAM335に記憶されたファイルを、バス311を介して、HDD333に転送し、そのファイル種別に応じて記憶させる(A8)。
【0393】
即ち、本実施の形態では、ベース基地コンピュータ102は、ファイルを、そのファイル種別ごとに異なるディレクトリまたはフォルダに分けて、HDD333に記憶させるようになっている。
【0394】
次に、図35を参照して、ベース基地コンピュータ102からPDA101にファイルが送信される場合の手順について説明する。
【0395】
ベース基地コンピュータ102(図26)のCPU312(図27の制御部351に対応する)は、ユーザが、キーボード301(図27の操作部353に対応する)等を操作することによって、HDD333に記憶されたファイルの中から、PDA101に送信するファイルを指定するのを待って(A11)、その指定されたファイルを、PDA101に送信すべきファイルとして選択する(A12)。このとき、PDA101(図23)のCPU202(図24の制御部239に対応)は、制御チャネルモードで待機している(B11)。
【0396】
ベース基地コンピュータ102のCPU312は、PDA101に送信すべきファイルを選択した後、通信I/F336を制御することにより、アンテナ343を介し、PDA101に対して、その選択したファイルの送信を要求する送信要求信号を、その選択したファイルを識別する、例えば、ファイル名とともに送信する(A13)。
【0397】
ベース基地コンピュータ102からの送信要求信号は、PDA101において、アンテナ64を介して、通信I/F218で受信され(B12)、CPU202に供給される。
【0398】
PDA101のCPU202は、送信要求信号を受信すると、通信I/F218を制御することにより、ベース基地コンピュータ102に対して、認証処理を要求し、これにより、PDA101のCPU202と、ベース基地コンピュータ102のCPU312との間では、互いに正当な機器であるかどうかを確認する認証処理が行われる(A14,B13)。
【0399】
PDA101のCPU202と、ベース基地コンピュータ102のCPU312において、認証が成功すると、PDA101のCPU202は、通信I/F218を制御することにより、ファイルの送信を許可することを表す送信許可信号を、ベース基地コンピュータ102に送信する(B14)。
【0400】
なお、認証が失敗した場合には、図34における場合と同様に、以降の処理は行われず、従って、ベース基地コンピュータ102からPDA101へのファイルの送信は行われない。
【0401】
PDA101から送信された送信許可信号は、ベース基地コンピュータ102において、アンテナ343を介して、通信I/F336で受信され(A15)、バス311を介して、CPU312に供給される。これにより、CPU312は、PDA101からファイルの送信が許可されたことを認識する。
【0402】
その後、ベース基地コンピュータ102は、PDA101に対して送信要求信号とともに送信したファイル名のファイルを、例えば、HDD333から読み出し、バス311を介して、通信I/F336に供給することで、そのファイルを、アンテナ343を介して、PDA101に送信させる(A16)。
【0403】
PDA101では、ベース基地コンピュータ102から送信されてくるファイルが、アンテナ64を介して、通信I/F218で受信される(B15)。通信I/F218は、受信したファイルを、バス201を介して、DRAM217に転送して一時記憶させ、CPU202は、このようにしてDRAM217に記憶されたファイルのファイル識別信号に基づき、そのファイルが、例えば、画像データ、音声データ、プログラム、テキストデータ等のうちのいずれのファイル種別のものであるかを判別する(B16)。
【0404】
即ち、図34で説明したように、ファイルには、そのファイル種別を表すファイル識別信号が付加されており、そのファイル識別信号を参照することにより、ファイル種別が判別される。
【0405】
そして、CPU202は、DRAM217に記憶されたファイルを、バス201を介して、フラッシュメモリ216に転送し、そのファイル種別に応じて記憶させる(B17)。
【0406】
なお、PDA101においては、ファイルを、フラッシュメモリ216に記憶させるのではなく、HDD215に記憶させることも可能である。
【0407】
次に、PDA101における情報の表示方法について説明する。
【0408】
PDA101においては、例えば、図10に示したように、蓋部20を開き、さらに、サブパネル15と16を開くと、ほぼ同一平面上に、6つのLCD41,51,12,21,22,23が隣り合って配置される。
【0409】
そこで、PDA101には、例えば、図36に示すように、6つのLCD41,51,12,21乃至23を、1つの画面とみなして、その1つの画面に、1つの情報を表示することができる。
【0410】
即ち、図36は、PDA101の機能モードが電話モードとされた場合の、6つのLCD41,51,12,21乃至23の表示例を示している。
【0411】
図36の実施の形態においては、6つのLCD41,51,12,21乃至23を1つの画面として、その1画面に、PDA101を電話機として機能させるためのボタン群が表示されている。
【0412】
具体的には、図36では、LCD41には、オフフック状態とするためのオフフックボタンの全体が表示されており、LCD51には、電話番号を入力するダイヤルボタンのうち、数字「7」を入力するボタンの全体、数字「8」を入力するボタンの一部、記号「*」を入力するボタンの全体、および数字「0」を入力するボタンの一部が表示されている。さらに、LCD12には、数字「1」を入力するボタンの全体、数字「2」を入力するボタンの一部、数字「4」を入力するボタンの全体、および数字「5」を入力するボタンの一部が表示されており、LCD21には、数字「2」を入力するボタンの残りの部分、数字「3」を入力するボタンの全体、数字「5」を入力するボタンの残りの部分、および数字「6」を入力するボタンの全体が表示されている。また、LCD22には、オンフック状態とするためのオンフックボタンの全体が表示されており、LCD23には、数字「8」を入力するボタンの残りの部分、数字「9」を入力するボタンの全体、数字「0」を入力するボタンの残りの部分、および記号「#」を入力するボタンの全体が表示されている。
【0413】
なお、ダイヤルボタンのうち、数字を入力するボタンは、電子メールの本文等を記述するときに用いられるひらがなやアルファベット等を入力することもできるようになっている。
【0414】
LCD41,51,12,21,22,23に表示されたボタンが操作された場合、上述したように、そのボタンの操作は、LCD41,51,12,21,22,23それぞれと一体的に構成されているタッチパネル4A1,5A1,12A,21A,22A,23Aで検出される。
【0415】
従って、あるLCDに、その全体が表示されているボタンに対する操作は、そのLCDと一体的に構成されたタッチパネルで検出されるが、複数のLCDに亘って表示されているボタンに対する操作は、その複数のLCDそれぞれと一体的に構成されている複数のタッチパネルのいずれでも検出される。
【0416】
即ち、図36において、例えば、数字「1」を入力するボタンは、その全体がLCD12に表示されているから、そのボタンに対する操作は、LCD12と一体的に構成されているタッチパネル12Aで検出される。また、例えば、数字「2」を入力するボタンは、LCD12と21に亘って表示されているから、そのボタンに対する操作は、その操作位置によって、LCD12と一体的に構成されているタッチパネル12A、またはLCD21と一体的に構成されているタッチパネル21Aのいずれかで検出される。
【0417】
従って、ユーザは、LCD12に表示されている数字「2」を入力するボタンをタッチすることによっても、また、LCD21に表示されている数字「2」を入力するボタンの表示部分をタッチすることによっても、数字「2」の入力を行うことができる。
【0418】
以上のように、6つのLCD41,51,12,21乃至23に、それらを1つの画面として、1つの情報を表示する場合には、1つのLCDに表示する場合に比較して、情報を大きく表示することができ、操作性を向上させることができる。
【0419】
ここで、上述のように複数のLCDに、それらを1つの画面として、その1画面に情報を表示することを、以下、適宜、マルチスクリーン表示という。
【0420】
次に、6つのLCD41,51,12,21乃至23には、上述のように、それらの全体を1つの画面として、情報を表示する他、6つのLCD41,51,12,21乃至23それぞれを1つの画面として、各画面ごとに、1つの情報を表示することも可能である。
【0421】
即ち、図37は、6つのLCD41,51,12,21乃至23それぞれを1画面として、各画面ごとに、1つの情報を表示した表示例を示している。なお、図37の実施の形態では(後述する図38および図39においても同様)、LCDを模式的に描いてある。
【0422】
図37(A)の実施の形態においては、6つのLCD41,51,12,21乃至23それぞれに、メニューの各項目が表示されている。即ち、LCD41には、項目「ニュース」が、LCD51には、項目「音楽」が、LCD12には、項目「天気予報」が、LCD21には、項目「メール」が、LCD22には、項目「映画」が、LCD23には、項目「電話」が、それぞれ表示されている。
【0423】
図37(A)に示した状態において、ユーザが、例えば、項目「映画」が表示されたLCD22をタッチすると、そのタッチが、LCD22と一体的に構成されているタッチパネル22Aによって検出され、例えば、図37(B)に示すように、項目「映画」にリンクされている複数の情報それぞれが、やはり、6つのLCD41,51,12,21乃至23それぞれに表示される。
【0424】
即ち、図37(B)の実施の形態においては、6つのLCD41,51,12,21乃至23それぞれごとに、映画のタイトル#1乃至#6それぞれが表示されている。
【0425】
図37(B)に示した状態において、ユーザが、例えば、映画のタイトル#1が表示されたLCD41をタッチすると、そのタッチが、LCD41と一体的に構成されているタッチパネル4A1によって検出され、例えば、図37(C)に示すように、映画のタイトル#1にリンクされている複数の情報それぞれが、やはり、6つのLCD41,51,12,21乃至23それぞれに表示される。
【0426】
即ち、図37(C)の実施の形態では、LCD41には、「スタート」の文字が表されたボタン(以下、適宜、「スタート」ボタンという)が表示されている。また、LCD51,12,21乃至23それぞれには、タイトル#1の映画の監督、脚本家、主演俳優、助演俳優、インタビューの様子といった、その映画に関連する複数の画像それぞれが表示されている。
【0427】
図37(C)に示した状態において、ユーザが、例えば、「スタート」ボタンが表示されたLCD41をタッチすると、PDA101では、例えば、タイトル#1の映画の画像データの再生が開始され、その再生画像が、例えば、6つのLCD41,51,12,21乃至23を1画面として、マルチスクリーン表示される。
【0428】
また、図37(C)に示した状態において、ユーザが、例えば、映画の監督の画像が表示されたLCDをタッチすると、PDA101では、その監督の経歴や他の作品などの、その監督を紹介する情報の再生が開始され、例えば、6つのLCD41,51,12,21乃至23を1画面として、マルチスクリーン表示される。
【0429】
以上のように、6つのLCD41,51,12,21乃至23それぞれを1つの画面として、各画面ごとに、1つの情報を表示する場合には、各情報が、その情報ごとに異なるLCDに表示されることから、ユーザは、複数の情報から1つの情報を選択するときに、その情報が表示されているLCDを選択するような間隔で、情報の選択を行うことができる。
【0430】
即ち、マルチスクリーン表示の場合には、図36に示したように、ボタンが、2つのLCDに亘って表示されることがあり、この場合、その2つのLCDのボタンが表示された部分のいずれをタッチしても、そのボタンの操作が可能である。しかしながら、このように、1つのボタンが2つのLCDに亘って表示されている場合には、いわば、1つのボタンが、2つのLCDに対応していることになるから、ボタンとLCDの対応関係が一対一でないため、ユーザが操作を戸惑うことがあり得る。
【0431】
一方、図37に示したように、6つのLCD41,51,12,21乃至23それぞれを1つの画面として、各画面ごとに、1つの情報を表示する場合には、1つの情報と1つのLCDとの対応関係が一対一となっているため、1つのLCDに表示されている情報を、他のLCDに表示されている情報と区別しやすく、従って、ユーザは、所望の情報の選択操作を容易かつ正確に行うことができる。
【0432】
さらに、1つのLCDに1つの情報を表示する場合には、複数の情報を1つのLCDに表示する場合に比較して、情報を大きく表示することができ、従って、ユーザにとって分かりやすい情報表示を行うことが可能となる。
【0433】
なお、1つのLCDの画面を、複数領域に区切り、各領域に1つの情報を表示する場合には、見かけ上、図37に示した場合と同様の表示を行うことができる。しかしながら、1つのLCDを複数領域に区切ることによって、図37における場合と同じ大きさで情報を表示するには、その1つのLCDとして大型のものを採用する必要があり、装置全体が大型化する。さらに、1つのLCDを複数領域に区切って、各領域にボタンを表示する場合には、ユーザが、2つの領域の境界部分にタッチしたときに、その2つの領域のうちのいずれに表示されたボタンが操作されたのかの判断が困難となる。
【0434】
これに対して、図37の実施の形態のように、回動可能な複数のLCDごとに、1つの情報を表示する場合には、上述のような装置の大型化や、ユーザの操作の判断が困難となることを防止することができる。
【0435】
ここで、上述のように、複数のLCDの1つ1つに、1つの情報を表示することを、以下、適宜、ディレクトリ表示という。
【0436】
なお、6つのLCD41,51,12,21乃至23において、マルチスクリーン表示またはディレクトリ表示のいずれで、情報の表示を行うかは、ユーザが選択することができるようになっており、さらに、マルチスクリーン表示とディレクトリ表示との切り替えも可能になっている。
【0437】
即ち、図38は、図37に示したディレクトリ表示を切り替えて、マルチスクリーン表示とした表示例を示している。
【0438】
なお、図38(A)は、図37(A)のディレクトリ表示を、図38(B)は、図37(B)のディレクトリ表示を、図38(C)は、図37(C)のディレクトリ表示を、それぞれマルチスクリーン表示としたものである。
【0439】
次に、ディレクトリ表示は、例えば、図16および図17の実施の形態に示したように、時計バンド1に、多数のLCD41,42,43,44、並びにLCD51,52,53,54を設けた場合にも行うことが可能である。
【0440】
図39は、12個のLCD41乃至44,51乃至54,12,21乃至23によるディレクトリ表示の表示例を示している。
【0441】
即ち、図39は、電子メールの本文等を入力する場合の表示例を示しており、図39(A)の実施の形態では、LCD12には、既に入力された文字列「きの」が表示されている。そして、LCD44には、あ行を表す文字「あ」が、LCD43には、か行を表す文字「か」が、LCD42には、さ行を表す文字「さ」が、LCD41には、た行を表す文字「た」が、LCD22には、な行を表す文字「な」が、LCD21には、は行を表す文字「は」が、LCD23には、ま行を表す文字「ま」が、LCD51には、や行を表す文字「や」が、LCD52には、ら行を表す文字「ら」が、LCD53には、わ行を表す文字「わ」が、LCD54には、文字「ん」が、それぞれ表示されている。
【0442】
ユーザは、例えば、あ行の文字を入力しようとする場合、あ行を表す文字「あ」が表示されているLCD44をタッチする。この場合、LCD44と一体的に構成されているタッチパネル4A4(図17)において、LCD44へのタッチが検出され、CPU202(図23)は、その検出結果に基づき、LCD41乃至44,51乃至54,12,21乃至23の表示を、図39(B)に示すように変化させる。
【0443】
即ち、LCD12の表示は、図39(A)の状態のまま変化しないが、他のLCD41乃至44,51乃至54,21乃至23それぞれの表示は、あ行の文字を入力するため等の表示に変化する。
【0444】
具体的には、LCD44には、濁音を表す「てんてん」が、LCD43には、半濁音を表す「まる」が、LCD42には、長音を表す「ー」が、LCD41には、ア行の文字「あ」が、LCD22には、あ行の文字「い」が、LCD21には、あ行の文字「う」が、LCD23には、あ行の文字「え」が、LCD51には、あ行の文字「お」が、LCD52には、読点を入力するための「読点」が、LCD53には、句点を入力するための「句点」が、LCD54には、図39(A)の状態に戻ることを表す「戻る」が、それぞれ表示されている。
【0445】
ユーザは、例えば、文字「う」を入力しようとする場合、文字「う」が表示されているLCD21をタッチする。この場合、LCD21と一体的に構成されているタッチパネル21Aにおいて、そのタッチが検出され、その検出結果に基づき、CPU202(図23)は、LCD41乃至44,51乃至54,12,21乃至23の表示を、図39(C)に示すように変化させる。
【0446】
図39(C)においては、図39(B)における場合に比較して、LCD12の表示だけが変化しており、LCD12には、既に表示されていた文字列「きの」に、図39(B)の状態でタッチされたLCD21に表示されていた文字「う」を加えた文字列「きのう」が表示されている。
【0447】
但し、LCD12において、新たに表示された文字「う」は、既に表示されていた文字列「きの」とは区別する形で表示されており、まだ、その入力が未確定状態になっている。なお、図39(C)では、入力が確定している文字列「きの」は実線で、入力が未確定の文字「う」は点線で、それぞれ図示してある。
【0448】
ユーザは、入力が未確定の文字「う」の入力を確定する場合、図39(C)の状態において、文字列「きのう」が表示されているLCD12をタッチする。このタッチは、LCD12Aと一体的に構成されているタッチパネル12Aで検出され、これにより、文字「う」の入力が確定される。即ち、この場合、LCD12においては、文字「う」は、LCD12に既に表示されていた文字列「きの」と同一の表示状態とされる。
【0449】
なお、LCD12には、上述のように、確定ボタンとしての機能をもたせるとともに、仮名漢字変換を指示する機能をもたせることが可能であり、この場合、LCD12に対する操作位置によって、LCD12に表示された文字の仮名漢字変換や、入力の確定を行うようにすることが可能である。
【0450】
次に、例えば、図7乃至図15で説明したPDAは、LCD3,41,51,12,21乃至23の7個のLCDを有しているが、電源スイッチ62(図7等)がオン状態とされている場合に、その7個のLCD3,41,51,12,21乃至23のすべてをオン状態としておくのは、バッテリ222(図23)の電力消費の観点から好ましくない。
【0451】
即ち、7個のLCD3,41,51,12,21乃至23のうち、特に、LCD3,12,21乃至23の5つのLCDについては、常に露出状態(ユーザが、その表示を見ることができる状態)になっているわけではないため、常時オン状態にしておくのは、無駄な電力を消費することになる。
【0452】
そこで、PDA101(図23)では、蓋部20の状態、並びにサブパネル115および16の状態を、スイッチ部225で検出し、その検出結果に基づいて、CPU202が、LCD3,12,21乃至23のオン/オフ制御を行うようになっている。
【0453】
なお、常に露出しているLCD41および51(図16および図17の実施の形態では、41乃至44,51乃至54)については、例えば、ユーザが、そのオン/オフを手動で切り替えるようにすることもできるし、蓋部20とサブパネル15および16のすべてが開いている状態の場合のみオン状態とし、それ以外の場合は、オフ状態とするようにすること等も可能である。また、LCD41および51は、例えば、LCD3と連動してオン/オフするようにすることも可能である。
【0454】
次に、図40のフローチャートを参照して、蓋部20の状態とサブパネル115および16の状態に基づいてCPU202が行うLCD3,12,21乃至23のオン/オフ制御の処理について説明する。
【0455】
まず最初に、ステップS111において、CPU202は、操作部224(図23)を構成する電源スイッチ62(図7)がオン状態またはオフ状態のいずれの状態であるかを判定する。
【0456】
ステップS111において、電源スイッチ62がオフ状態であると判定された場合、ステップS112に進み、CPU202は、LCDドライバ206(図23)を制御して、LCD3,12,21乃至23のうちのオン状態になっているものすべてをオフ状態にさせ(例えば、LCDを構成するバックライトを消灯し)、ステップS111に戻る。
【0457】
ここで、CPU202は、LCDのオン/オフに連動して、タッチパネルドライバ205も制御し、対応するタッチパネル(オン/オフさせたLCDと一体的に構成されているタッチパネル)もオン/オフさせる(電源の供給を開始/停止させる)ようになっている。
【0458】
一方、ステップS111において、電源スイッチ62がオン状態であると判定された場合、ステップS113に進み、CPU202は、LCD3がオン状態になっていないときには、LCDドライバ206を制御することにより、LCD3をオン状態にし(例えば、LCDを構成するバックライトを点灯し)、ステップS114に進む。
【0459】
ステップS114では、CPU202が、スイッチ部225による蓋部20(図7)の開閉の状態の検出結果に基づいて、蓋部20が開いているかどうかを判定する。ステップS114において、蓋部20が開いていないと判定された場合、即ち、蓋部20が閉じており、LCD3だけが露出状態にあり、LCD12および21乃至23が収納状態(上側を向いていない状態)にある場合、ステップS115に進み、CPU202は、LCDドライバ206を制御することにより、LCD3がオフ状態になっているときはオン状態にし、さらに、LCD12および21乃至23のうちオン状態になっているものをオフ状態にして、ステップS111に戻る。
【0460】
また、ステップS114において、蓋部20が開いていると判定された場合、即ち、LCD3が収納状態(ユーザが見ることができない状態)となっており、LCD12(図9)が露出状態(上側を向いている状態)となっている場合、ステップS116に進み、CPU202は、LCDドライバ206を制御することにより、LCD3がオン状態になっているときはオフ状態にし、さらに、LCD12がオフ状態になっているときはオン状態にして、ステップS117に進む。
【0461】
ステップS117では、CPU202が、スイッチ部225によるサブパネル15(図9、図10)の開閉の状態の検出結果に基づいて、サブパネル15が開いているかどうかを判定する。ステップS117において、サブパネル15が開いていると判定された場合、即ち、サブパネル15が開いており、そこに設けられたLCD22(図10)が露出状態にある場合、ステップS118に進み、CPU202は、LCDドライバ206を制御することにより、LCD22がオフ状態になっているときはオン状態にして、ステップS120に進む。
【0462】
また、ステップS117において、サブパネル15が閉じていると判定された場合、即ち、サイドパネル15が閉じており、そこに設けられたLCD22が収納状態となっており、さらに、閉じた状態のサイドパネル15によって、メインパネル14に設けられたLCD21(図10)の一部(上半分)が隠された状態になっている場合、ステップS119に進み、CPU202は、LCDドライバ206を制御することにより、LCD21と22のうちのオン状態となっているものをオフ状態にして、ステップS120に進む。
【0463】
ステップS120では、CPU202が、スイッチ部225によるサブパネル16(図9、図10)の開閉の状態の検出結果に基づいて、サブパネル16が開いているかどうかを判定する。ステップS120において、サブパネル16が閉じていると判定された場合、即ち、サイドパネル16が閉じており、そこに設けられたLCD23が収納状態となっており、さらに、閉じた状態のサイドパネル16によって、メインパネル14に設けられたLCD21(図10)の一部(下半分)が隠された状態になっている場合、ステップS121に進み、CPU202は、LCDドライバ206を制御することにより、LCD21と23のうちのオン状態となっているものをオフ状態にして、ステップS111に戻る。
【0464】
また、ステップS120において、サブパネル16が開いていると判定された場合、即ち、サブパネル16が開いており、そこに設けられたLCD23(図10)が露出状態にある場合、ステップS122に進み、CPU202は、LCDドライバ206を制御することにより、LCD23がオフ状態になっているときはオン状態にして、ステップS123に進む。
【0465】
ステップS123では、CPU202が、スイッチ部225によるサブパネル15および16(図9、図10)の開閉の状態の検出結果に基づいて、サブパネル15と16の両方が開いているかどうかを判定する。ステップS123において、サブパネル15および16の両方、またはいずれか一方が閉じていると判定された場合、即ち、サイドパネル15と16のうちの少なくとも一方が閉じており、閉じた状態のサイドパネル15または16によって、メインパネル14に設けられたLCD21(図10)の少なくとも一部(上半分または下半分)が隠された状態になっている場合、ステップS124に進み、CPU202は、LCDドライバ206を制御することにより、LCD21がオン状態となっているときには、そのLCD21をオフ状態にして、ステップS111に戻る。
【0466】
また、ステップS123において、サブパネル15と16の両方が開いていると判定された場合、即ち、サブパネル15および16が開いており、サブパネル15と16それぞれに設けられたLCD22と23(図10)がそれぞれ露出状態にあり、さらに、メインパネル14に設けられたLCD21も露出状態にある場合、ステップS125に進み、CPU202は、LCDドライバ206を制御することにより、LCD21乃至23のうちのオフ状態になっているものをオン状態にして、ステップS111に戻る。
【0467】
次に、PDA101においては、図37で説明したように、複数である6つのLCD41,51,12,21乃至23それぞれごとに1つの情報を表示し、その6つのLCD41,51,12,21乃至23それぞれに表示された情報のうちのいずれかが選択された場合には、その選択された情報にリンクされている複数の情報それぞれを、6つのLCD41,51,12,21乃至23それぞれに表示させることを繰り返すことができる。
【0468】
従って、PDA101においては、ある一連の情報が、階層構造に構造化されている場合、上位階層の複数の情報を表示し、そのうちのいずれかの情報を、ユーザが選択したときには、その情報にリンクされている(対応付けられている)下位階層の情報を表示することを順次繰り返すことができ、この場合、ユーザは、比較的容易に所望の情報に辿り着く(所望の情報を検索する)ことができる。
【0469】
そこで、図41のフローチャートを参照して、そのような階層構造に構造化された情報の表示を制御する階層表示制御処理について説明する。
【0470】
例えば、ユーザが操作部224等(図23)を操作することにより、情報の表示を要求すると、その情報の表示の要求(以下、適宜、表示要求という)は、入力I/F223およびバス201を介して、CPU202に供給される。CPU202は、表示要求を受信すると、バス201を介して、HDD215にアクセスし、ステップS131において、表示要求によって要求されている情報を検索する。
【0471】
なお、ここでは、HDD215から情報を検索するようにしたが、情報は、その他、例えば、通信I/F218を介して、外部の装置(例えば、ベース基地コンピュータ102や、他のPDA103、インターネット105上の図示せぬサーバ、通信端末106等)と通信を行い、その外部の装置が有する記憶媒体(記録媒体)から検索するようにすることも可能である。
【0472】
CPU202は、HDD215から、表示要求によって要求されている情報を検索すると、ステップS132に進み、その情報が、階層構造を有するものであるかどうかを判定する。ステップS132において、HDD215から検索された情報が、階層構造を有するものではないと判定された場合、ステップS133乃至S136をスキップして、ステップS137に進む。ステップS137ではCPU202は、HDD215から検索した情報を、LCDドライバ206に供給し、LCD41,51,12,21乃至23に、HDD215から検索した情報を、例えば、図36で説明したマルチスクリーン表示させて、処理を終了する。
【0473】
一方、ステップS132において、HDD215から検索された情報が、階層構造を有するものであると判定された場合、ステップS133に進み、CPU202は、HDD215から検索した情報のうちの最上位階層の複数の情報を、LCDドライバ206に供給し、これにより、LCD41,51,12,21乃至23に、最上位階層の複数の情報を、図37で説明したように、ディレクトリ表示させ、ステップS134に進む。
【0474】
ステップS134では、CPU202は、ユーザが、LCD41,51,12,21乃至23のうちのいずれかをタッチすることにより、LCD41,51,12,21乃至23に表示されたいずれかの情報を選択したかどうかを判定する。
【0475】
なお、LCD41,51,12,21乃至23のうちのいずれかにタッチしたかどうかは、CPU202が、タッチパネルドライバ205の出力を監視することにより判定される。
【0476】
ステップS134において、LCD41,51,12,21乃至23に表示されたいずれの情報も選択されていないと判定された場合、ステップS134に戻る。
【0477】
また、ステップS134において、LCD41,51,12,21乃至23に表示されたいずれかの情報が選択されたと判定された場合、ステップS135に進み、CPU202は、その選択された情報の階層にリンクされている下位階層が存在するかどうかを判定する。
【0478】
ステップS135において、選択された情報の階層にリンクされている下位階層が存在すると判定された場合、ステップS136に進み、CPU202は、その下位階層の複数の情報を、LCDドライバ206に供給し、これにより、LCD41,51,12,21乃至23に、その下位階層の複数の情報をディレクトリ表示させ、ステップS134に戻り、以下、同様の処理を繰り返す。
【0479】
ここで、このステップS134乃至S136の処理が繰り返されることにより、LCD41,51,12,21乃至23には、順次、より下位階層の情報が表示されていく。
【0480】
一方、ステップS135において、ユーザが選択した情報の階層にリンクされている下位階層が存在しないと判定された場合、ステップS137に進み、CPU202は、LCDドライバ206を制御することにより、LCD41,51,12,21乃至23に、ユーザが選択した情報の内容をマルチスクリーン表示させ、処理を終了する。
【0481】
次に、図42は、階層構造に構造化された情報のフォーマットを示している。
【0482】
即ち、図42(A)は、最上位階層の情報を示しており、図42(B)は、その1つ下位の階層(2番目の階層)の情報を、図42(C)は、さらにその1つ下位の階層(3番目の階層)の情報を、それぞれ示している。
【0483】
各階層の情報は、階層情報、リンク情報、および表示情報で構成されている。
【0484】
階層情報は、情報の階層数を表す。図42の実施の形態では、階層情報は、最上位階層の階層情報を0として、下位の階層になるほど、その値が1ずつ増加するようになっている。
【0485】
リンク情報は、情報にリンクされているリンク先の情報を表す。
【0486】
表示情報は、LCD41,51,12,21乃至23に表示される画像データである。
【0487】
従って、例えば、いま、図42(A)の最上位階層の情報Info#0の表示情報に、メニュー画面の画像データが配置されている場合において、ユーザが、メニュー画面の表示を要求したときには、例えば、図37(A)に示したようなメニュー画面が、LCD41,51,12,21乃至23に表示される。
【0488】
さらに、ユーザが、図37(A)において項目「映画」が表示されたLCD22をタッチすることにより選択すると、図42(A)の最上位階層の情報Info#0のリンク情報において、項目「映画」にリンクされている図42(B)における2番目の階層の情報Info#1に配置されている表示情報が、LCD41,51,12,21乃至23に表示される。即ち、項目「映画」のリンク先の情報Info#1には、映画のタイトル情報(例えば、タイトルの画像データ)が、表示情報として配置されており、このタイトル情報が、LCD41,51,12,21乃至23に表示される。これにより、図37(B)に示したように、映画のタイトル#1乃至#6がディレクトリ表示される。
【0489】
そして、ユーザが、図37(B)の状態において、例えば、映画のタイトル#1が表示されたLCD41をタッチすることにより選択すると、図42(B)の2番目の階層の情報Info#1のリンク情報において、映画のタイトル#1にリンクされている図42(C)における3番目の階層の情報Info#2に配置されている表示情報が、LCD41,51,12,21乃至23に表示される。即ち、映画のタイトル#1のリンク先の情報Info#2には、映画の紹介情報(例えば、監督や主演俳優等の静止画の画像データ)が、表示情報として配置されており、この紹介情報が、LCD41,51,12,21乃至23に表示される。これにより、図37(C)に示したように、映画の監督や主演俳優等の画像がディレクトリ表示される。
【0490】
3番目の階層の情報Info#2において、そのリンク情報には、その紹介情報としての画像に表示されている監督や主演男優等のビデオクリップその他のデータがリンクされており、これにより、例えば、ユーザが、映画の監督が表示されているLCDをタッチすると、LCD41,51,12,21乃至23には、その監督のビデオクリップを再生した画像がマルチスクリーン表示される。
【0491】
以上のように、情報を階層構造に構成しておくことで、情報の検索を容易化することが可能となる。
【0492】
なお、階層構造に構成する情報としては、画像データやテキストデータ、さらには、音声データを採用することが可能である。なお、階層構造とする情報として音声データを採用する場合には、音声データそれ自体は、LCD41,51,12,21乃至23で表示することができないため、LCD41,51,12,21乃至23には、音声データに対応するテキスト(例えば、その音声データが楽曲のデータである場合には、その曲名など)等が表示される。但し、音声については、LCD41,51,12,21乃至23それぞれにスピーカを設け、その各スピーカから音声を出力するようにすることで、音声を、ディレクトリ表示に相当する方法で出力することが可能である。
【0493】
次に、図43は、PDA101と他のPDA103とが通信する様子を示している。同図に示すように、PDA101は、1つのPDA103と通信することもできるし、PDA103に他のPDAを加えた複数のPDAと通信することもできる。他のPDA103も同様である。
【0494】
PDA101や103は、このように、他の1以上のPDAと通信を行うことにより受信したデータに基づき、より品質の良いデータを得ることが可能となっている。
【0495】
即ち、図44は、PDA101と103との間で、データの送受信が行われる場合のPDA101と103の機能的構成例を示している。ここで、図44に示したPDA101の機能的構成は、例えば、CPU202(図23)がプログラムを実行することで実現される。PDA103の機能的構成も同様である。
【0496】
図44の実施の形態では、PDA101から103に対してデータが送信されるものとしてあり、従って、PDA101がデータを送信する送信装置として機能し、PDA103がそのデータを受信する受信装置として機能する。
【0497】
送信装置としてのPDA101は、送信処理部401から構成され、送信処理部401は、受信装置としてのPDA103に送信するデータとしての、例えば、画像データに対して所定の送信処理を施し、受信装置としてのPDA103に送信する。
【0498】
受信装置としてのPDA103は、送信装置としてのPDA101から送信されてくるデータを受信し、所定の受信処理を施し、画像データを得て出力する。
【0499】
なお、ここでは、PDA101から103に対してデータが送信されるものとしたが、PDA103から101に対してデータを送信することも可能であり、この場合、PDA103がデータを送信する送信装置として機能し、PDA101がそのデータを受信する受信装置として機能する。
【0500】
従って、PDA101および103は、送信装置として機能する場合もあるし、受信装置として機能する場合もあるので、いずれも、送信処理部401と受信処理部402の両方を有するが、図44においては、PDA101については、受信処理部402の図示を省略してあり、PDA103については、送信処理部401の図示を量略してある。そこで、以下では、特に断らない限り、PDA101を送信装置とするとともに、PDA103を受信装置として、説明を行う。
【0501】
図45は、図44の送信処理部401の第1の構成例を示している。
【0502】
図45の実施の形態では、送信処理部401は、符号化部411とイベント検出部412から構成されている。そして、符号化部411には、PDA103に送信する画像データが供給されるようになっており、イベント検出部412には、後述するリクエスト信号が供給されるようになっている。
【0503】
ここで、符号化部411に供給される画像データは、例えば、PDA101(図23)のCCDカメラ65で撮像されたものや、HDD215に記憶されているものである。さらに、ここでは、符号化部411に供給される画像データは、画質の良い高解像度の画像(以下、適宜、HD(High definition)画像という)であるとする。
【0504】
また、イベント検出部412に供給されるリクエスト信号は、受信装置としてのPDA103から送信されてくるもので、通信I/F218(図23)で受信されて、イベント検出部412に供給されるようになっている。
【0505】
符号化部411は、そこに供給されるHD画像データについて符号化等を行い、受信装置としてのPDA103に送信すべき送信データを得て出力する。この送信データは、通信I/F218(図23)を介して、受信装置としてのPDA103に送信される。
【0506】
イベント検出部412は、リクエスト信号を受信すると、そのリクエスト信号の受信をイベントとして検出し、イベントが発生したことを表すメッセージ(以下、適宜、イベントメッセージという)を、符号化部411に供給する。
【0507】
ここで、符号化部411は、図45に示すように、データ圧縮部421、送信制御部422、クラスタップ抽出部423、クラス分類部424、クラスコードデータベース425から構成される。
【0508】
符号化部411に供給されるHD画像データは、データ圧縮部421およびクラスタップ抽出部423に供給されるようになっており、データ圧縮部421は、そこに供給されるHD画像データを、例えば、その空間方向の画素数を間引く等して圧縮し、標準解像度または低解像度の画像(以下、適宜、SD(Standard Definition)画像という)データに変換する。SD画像データは、データ圧縮部421から送信制御部422に供給される。
【0509】
ここで、PDA101と103との間の通信が無線で行われるものとすると、その伝送帯域として、それほど広い帯域を確保することができないことがある。そのため、狭帯域であっても、高速なデータ伝送を行うことができるように、データ圧縮部421において、データ量の多いHD画像データを、データ量の少ないSD画像に変換(データ圧縮)するようになっている。
【0510】
送信制御部422には、データ圧縮部421からSD画像データが供給される他、クラスコードデータベース425からクラスコードが供給されるようになっている。さらに、送信制御部422は、イベント検出部412からイベントメッセージも供給されるようになっている。そして、送信制御部422は、基本的には、データ圧縮部421からのSD画像データを送信データとして選択して出力するが、イベント検出部412からイベントメッセージを受信すると、クラスコードデータベース425からのクラスコードを送信データとして選択して出力する。
【0511】
クラスタップ抽出部423は、そこに供給されるHD画像データの各画素(以下、適宜、HD画素という)を、順次、注目画素として、その注目画素をクラス分類するのに用いるHD画素を抽出し、クラスタップとして出力する。
【0512】
即ち、クラスタップ抽出部423は、注目画素を複数のうちのいずれかにクラスタリング(クラス分け)するのに用いるHD画素として、注目画素から空間的または時間的に近い幾つかのHD画素(例えば、注目画素を中心とする、水平方向×垂直方向の画素数が3×3のHD画素)を、そこに供給されるHD画像データから抽出し、クラスタップとして出力する。クラスタップ抽出部423が出力するクラスタップは、クラス分類部424に供給される。
【0513】
クラス分類部424は、クラスタップ抽出部423から供給される注目画素についてのクラスタップに基づいて、注目画素をクラス分類し、そのクラス分類の結果得られる、注目画素が属するクラスを表すクラスコードを出力する。
【0514】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【0515】
ADRCを用いる方法では、クラスタップを構成する画素の画素値が、KビットADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【0516】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算(量子化)される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、1ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され、これにより、各画素の画素値が1ビットとされる(2値化される)。そして、その1ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【0517】
なお、クラス分類では、例えば、クラスタップを構成する画素のレベル分布(画素値分布)のパターンを、そのままクラスコードとして出力することも可能であるが、この場合、クラスタップが、N個の画素で構成され、各画素に、Kビットが割り当てられているとすると、クラス分類によって得られるクラスコードの場合の数は、(2N)K通りとなり、画素のビット数Kに指数的に比例した膨大な数となる。
【0518】
従って、クラス分類は、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮する手法を利用するのが好ましい。
【0519】
クラスコードデータベース425は、クラス分類部424が出力するクラスコードを記憶する。
【0520】
ここで、クラス分類部424では、HD画像データの各HD画素を注目画素としてクラス分類が行われるから、クラスコードは、HD画素ごとに得られる。従って、クラスコードデータベース425には、HD画像データの各HD画素のクラスコードを画素値とする画像データが記憶されると考えることができ、このクラスコードで構成される画像を、以下、適宜、クラスコード画像という。
【0521】
以上のように構成される送信処理部401では、HD画像データから得られたSD画像データを送信する画像データ送信処理、そのHD画像データからクラスコード画像を生成するクラスコード生成処理、およびクラスコードデータベース425に記憶されたクラスコード画像を送信するクラスコード送信処理が行われるようになっている。
【0522】
そこで、図46のフローチャートを参照して、図45の送信処理部401で行われる画像データ送信処理、クラスコード生成処理、およびクラスコード送信処理について説明する。
【0523】
まず、図46(A)のフローチャートを参照して、図45の送信処理部401が行う画像データ送信処理について説明する。
【0524】
画像データ送信処理は、例えば、操作部224(図23)が、ユーザによって、画像データの送信を要求するように操作が行われると開始される。
【0525】
即ち、送信すべきHD画像データは、例えば、1フレーム単位で、符号化部411に供給されるようになっており、画像データ送信処理では、まず最初に、ステップS201において、符号化部411のデータ圧縮部421が、そのHD画像データを、SD画像データに変換することにより圧縮し、そのSD画像データを、送信制御部422に供給する。
【0526】
なお、ここでいう1フレームは、動画の一画面と考えることもできるし、静止画の1画面と考えることもできる。
【0527】
送信制御部422は、ステップS202において、データ圧縮部421からのSD画像データを選択し、送信データとして出力する。この送信データは、通信I/F218(図23)に供給され、例えば、アンテナ64から送信される。
【0528】
なお、ステップS202において、SD画像データを送信した後、次のSD画像データを送信するまでの間に余裕があるときには、同一フレームのSD画像データが繰り返し送信される。従って、ステップS202では、同一フレームのSD画像データが、1回以上送信される。
【0529】
その後、ステップS203に進み、データ圧縮部421は、次のフレーム(次に処理すべきフレーム)のHD画像データがあるかどうかを判定し、あると判定した場合、ステップS201に戻って、以下、同様の処理を繰り返す。
【0530】
また、ステップS203において、次のフレームのHD画像データがないと判定された場合、画像データ送信処理を終了する。
【0531】
なお、上述の場合には、ステップS202において、同一フレームのSD画像データが、複数回続けて送信されることがあるが、同一のSD画像データの送信(再送)は、後で行うことも可能である。即ち、SD画像データの再送は、一連のSD画像データの送信が終了した後に、その一連のSD画像データを再び送信することで行うことが可能である。
【0532】
次に、図46(B)のフローチャートを参照して図45の送信処理部401が行うクラスコード生成処理について説明する。
【0533】
クラスコード生成処理は、例えば、図46(A)に示した画像データ送信処理が開始されると開始される。
【0534】
即ち、クラスタップ抽出部423には、データ圧縮部421に供給されるのと同一のHD画像データが、例えば、1フレーム単位で供給されるようになっており、クラスタップ抽出部423は、まず最初に、ステップS211において、そこに供給された1フレームのHD画像データを構成する各HD画素を注目画素として、各注目画素についてクラスタップを抽出する。このクラスタップは、クラス分類部424に供給される。
【0535】
クラス分類部424は、クラスタップ抽出部423から、1フレームの各HD画素を注目画素とするクラスタップを受信すると、ステップS212において、各HD画素のクラスコードを、そのHD画素についてのクラスタップに基づいてクラス分類を行うことにより取得し、クラスコードデータベース425に供給する。
【0536】
クラスコードデータベース425は、ステップS213において、クラス分類部424から供給される1フレームのHD画像データを構成するHD画素それぞれについてのクラスコードからなる画像、即ち、クラスコード画像を記憶し、ステップS214に進む。
【0537】
ステップS214では、クラスタップ抽出部423が、次のフレームのHD画像データがあるかどうかを判定し、あると判定した場合、ステップS211に戻って、以下、同様の処理を繰り返す。
【0538】
また、ステップS214において、次のフレームのHD画像データがないと判定された場合、クラスコード生成処理を終了する。
【0539】
次に、図46(C)のフローチャートを参照して、図45の送信処理部401が行うクラスコード送信処理について説明する。
【0540】
クラスコード送信処理では、まず最初に、ステップS221において、送信制御部422が、所定のイベントが発生したかどうかを判定する。
【0541】
即ち、ここでは、例えば、受信装置としてのPDA103からリクエスト信号が送信されてきたことが、所定のイベントとして採用されており、ステップS221では、イベント検出部412がリクエスト信号を受信することにより、PDA103からリクエスト信号が送信されてきたというイベントが発生したことを表すイベントメッセージを、送信制御部422に供給したかどうかによって、所定のイベントが発生したかどうかが判定される。
【0542】
ステップS221において、所定のイベントが発生していないと判定された場合、ステップS221に戻り、所定のイベントが発生するまで待つ。
【0543】
そして、ステップS221において、所定のイベントが発生したと判定された場合、ステップS222に進み、送信制御部422は、クラスコード画像が、クラスコードデータベース425に記憶されているかどうかを判定する。
【0544】
ステップS222において、クラスコード画像が記憶されていないと判定された場合、ステップS221に戻り、以下、同様の処理が繰り返される。
【0545】
また、ステップS222において、クラスコード画像が記憶されていると判定された場合、ステップS223に進み、送信制御部422は、クラスコードデータベース425に記憶されたクラスコードを読み出し、送信データとして選択する。この送信データは、送信制御部422から通信I/F218(図23)に供給され、アンテナ64から送信される。
【0546】
送信制御部422は、ステップS223において、その処理の開始時に、クラスコードデータベース425に記憶されていたすべてのクラスコード画像の送信が終了すると、クラスコードデータベース425から、その送信が終了したクラスコード画像を削除し、ステップS222に戻る。そして、上述したように、ステップS222において、送信制御部422は、クラスコードデータベース425に、クラスコード画像が記憶されているかどうかを判定する。
【0547】
即ち、前回のステップS223の処理の開始時から、今回のステップS222の処理の開始時までの間に、クラス分類部424において得られた新たなクラスコード画像が、クラスコードデータベース425に記憶されている場合があるので、送信制御部422は、そのような新たなクラスコード画像が、クラスコードデータベース425に記憶されているかどうかを判定する。そして、その判定結果に基づき、以下、同様の処理が繰り返される。
【0548】
従って、クラスコード送信処理では、所定のイベントが発生すると、クラスコードデータベース425に記憶されるクラスコード画像がなくなるまで、クラスコード画像の送信が行われる。
【0549】
次に、図47は、図44の受信処理部402の第1の構成例を示している。
【0550】
図47の実施の形態では、受信処理部402は、復号部431、画質判定部432、およびリクエスト信号送信部433で構成されている。
【0551】
復号部431は、そこに供給される受信データを復号等し、SD画像データまたはHD画像データを得る。
【0552】
即ち、PDA103では、PDA101の送信処理部401から、図45および図46で説明したようにして送信されてくる送信データが、そのアンテナ64(図23)を介して、通信I/F218で受信され、その結果得られる受信データが、受信処理部402に供給される。
【0553】
受信処理部402では、通信I/F218からの受信データが、復号部431に供給され、復号部431は、この受信データを処理することにより、SD画像データまたはHD画像データを得る。
【0554】
画質判定部432は、復号部431で得られたSD画像データの画質を判定し、その判定結果をリクエスト信号送信部433に供給する。
【0555】
リクエスト信号送信部433は、画質判定部432によるSD画像データの画質の判定結果に基づき、クラスコード画像を要求するリクエスト信号を生成して出力する。このリクエスト信号は、通信I/F218(図23)に供給され、アンテナ64を介して、送信装置としてのPDA101に送信される。
【0556】
ここで、復号部431は、図47に示すように、受信制御部441、受信バッファ442、登録部443、ストレージ444、選択部445、クラスコードデータベース446、および適応処理部447から構成されている。
【0557】
受信制御部441は、受信データを受信し、その受信データがSD画像データである場合には、受信バッファ442に供給し、受信データがクラスコード画像である場合には、クラスコードデータベース446に供給する。
【0558】
受信バッファ442は、受信制御部441から供給されるSD画像データを一時記憶する。登録部443は、受信バッファ442に記憶されたSD画像データの各フレームを、ストレージ444に記憶(登録)させる制御を行う。ストレージ444は、登録部443の制御にしたがい、SD画像データを記憶する。このSD画像データは、ストレージ444から読み出され、選択部445に供給される。
【0559】
選択部445は、ストレージ444から供給されるSD画像データを選択し、LCDドライバ206(図23)に供給して、LCD3等に表示させる。但し、選択部445は、適応処理部447から、後述するようにしてHD画像データが出力される場合には、そのHD画像データを選択し、LCDドライバ206(図23)に供給して、LCD3等に表示させる。
【0560】
クラスコードデータベース446は、受信制御部441から供給されるクラスコード画像を記憶する。
【0561】
適応処理部447は、クラスコードデータベース446に記憶されたクラスコード画像を構成する各クラスコードを用いて、ストレージ444に記憶されたSD画像データに適応処理を施し、これにより、そのSD画像データの画質を向上させたHD画像データを得て、選択部445に供給する。
【0562】
ここで、適応処理では、SD画像を構成する画素(以下、適宜、SD画素という)と、所定のタップ係数との線形結合により、そのSD画像の空間解像度等を向上させたHD画像の画素の予測値を求めることで、そのSD画像の解像度を高くした画像が得られる。
【0563】
具体的には、例えば、いま、あるHD画像を教師データとするとともに、そのHD画像の解像度を劣化させたSD画像を生徒データとして、HD画像を構成する画素(以下、適宜、HD画素という)の画素値yの予測値E[y]を、幾つかのSD画素(SD画像を構成する画素)の画素値x1,x2,・・・の集合と、所定のタップ係数w1,w2,・・・の線形結合により規定される線形1次結合モデルにより求めることを考える。この場合、予測値E[y]は、次式で表すことができる。
【0564】
【0565】
式(1)を一般化するために、タップ係数wjの集合でなる行列W、生徒データxijの集合でなる行列X、および予測値E[yj]の集合でなる行列Y’を、
【数1】
で定義すると、次のような観測方程式が成立する。
【0566】
ここで、行列Xの成分xijは、i件目の生徒データの集合(i件目の教師データyiの予測に用いる生徒データの集合)の中のj番目の生徒データを意味し、行列Wの成分wjは、生徒データの集合の中のj番目の生徒データとの積が演算されるタップ係数を表す。また、yiは、i件目の教師データを表し、従って、E[yi]は、i件目の教師データの予測値を表す。なお、式(1)の左辺におけるyは、行列Yの成分yiのサフィックスiを省略したものであり、また、式(1)の右辺におけるx1,x2,・・・も、行列Xの成分xijのサフィックスiを省略したものである。
【0567】
式(2)の観測方程式に最小自乗法を適用して、HD画素の画素値yに近い予測値E[y]を求めることを考える。この場合、教師データとなるHD画素の真の画素値yの集合でなる行列Y、およびHD画素の画素値yに対する予測値E[y]の残差eの集合でなる行列Eを、
【数2】
で定義すると、式(2)から、次のような残差方程式が成立する。
【0568】
【0569】
この場合、HD画素の画素値yに近い予測値E[y]を求めるためのタップ係数wjは、自乗誤差
【数3】
を最小にすることで求めることができる。
【0570】
従って、上述の自乗誤差をタップ係数wjで微分したものが0になる場合、即ち、次式を満たすタップ係数wjが、HD画素の画素値yに近い予測値E[y]を求めるため最適値ということになる。
【0571】
【数4】
・・・(4)
【0572】
そこで、まず、式(3)を、タップ係数wjで微分することにより、次式が成立する。
【0573】
【数5】
・・・(5)
【0574】
式(4)および(5)より、式(6)が得られる。
【0575】
【数6】
・・・(6)
【0576】
さらに、式(3)の残差方程式における生徒データxij、タップ係数wj、教師データyi、および残差eiの関係を考慮すると、式(6)から、次のような正規方程式を得ることができる。
【0577】
【数7】
・・・(7)
【0578】
なお、式(7)に示した正規方程式は、行列(共分散行列)Aおよびベクトルvを、
【数8】
で定義するとともに、ベクトルWを、数1で示したように定義すると、式
で表すことができる。
【0579】
式(7)における各正規方程式は、生徒データxijおよび教師データyiのセットを、ある程度の数だけ用意することで、求めるべきタップ係数wjの数Jと同じ数だけたてることができ、従って、式(8)を、ベクトルWについて解くことで(但し、式(8)を解くには、式(8)における行列Aが正則である必要がある)、最適なタップ係数wjを求めることができる。なお、式(8)を解くにあたっては、例えば、掃き出し法(Gauss-Jordanの消去法)などを用いることが可能である。
【0580】
以上のように、生徒データと教師データを用いて、生徒データおよびタップ係数から教師データを求めるのに統計的な誤差(ここでは、例えば、自乗誤差)を最小にするタップ係数wjを求める学習をしておき、さらに、そのタップ係数wjを用い、式(1)により、教師データyに近い予測値E[y]を求めるのが適応処理である。
【0581】
なお、適応処理は、SD画像には含まれていないが、HD画像に含まれる成分が再現される点で、単なる補間とは異なる。即ち、適応処理では、式(1)だけを見る限りは、いわゆる補間フィルタを用いての単なる補間と同一に見えるが、その補間フィルタのタップ係数に相当するタップ係数wが、教師データyを用いての、いわば学習により求められるため、HD画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造(解像度創造)作用がある処理ということができる。
【0582】
なお、ここでは、線形一次予測(式(1))による適応処理について説明したが、適応処理では、2次以上の高次の予測演算を用いることも可能である。
【0583】
図48は、以上のような適応処理を行う、図47の適応処理部447の構成例を示している。
【0584】
バッファ451には、ストレージ444に記憶されたSD画像データが、例えば、1フレーム単位で供給されるようになっており、バッファ451は、そのSD画像データを一時記憶する。
【0585】
予測タップ抽出部452は、バッファ451に記憶されたSD画像データのフレームのうち、まだ処理していない最も古い(時間的に最も過去のフレーム)フレームを注目フレームとし、さらに、その注目フレームのSD画像データの画質を向上させたHD画像データを構成するHD画素を、順次、注目画素として、その注目画素の画素値を予測するのに用いるSD画素を、バッファ451に記憶されたSD画像データから抽出し、後段の積和演算部453で用いる予測タップとして出力する。
【0586】
即ち、予測タップ抽出部452は、注目画素の位置に対応するSD画像データの位置から空間的または時間的に近い位置にある幾つかのSD画素(例えば、水平方向×垂直方向の画素数が5×5のSD画素)を、予測タップとして抽出して出力する。
【0587】
積和演算部453は、予測タップ抽出部452が出力する注目画素についての予測タップと、後述する係数メモリ455から供給される注目画素のクラスのタップ係数とを用いて、式(1)の線形一次予測演算を行い、これにより、注目画素の画素値(HD画素の画素値の予測値)を求めて出力する。
【0588】
クラスコード読み出し部454は、クラスコードデータベース446(図47)に記憶されたクラスコード画像のうち、注目フレームのHD画像データから生成されたものを、注目クラスコード画像として読み出す。さらに、クラスコード読み出し部454は、注目クラスコード画像のクラスコードのうち、注目画素に対応するものを、係数メモリ455に対して、アドレスとして与える。
【0589】
ここで、図45の送信処理部401で生成されるクラスコード画像には、そのクラスコード画像に対応するHD画像のフレームを識別するフレーム識別情報が付加されるようになっており、クラスコード読み出し部454は、注目フレームに対応するクラスコード画像(注目フレームのHD画像データから生成されたクラスコード画像)を、そのフレーム識別情報に基づいて認識する。
【0590】
係数メモリ455は、学習用のHD画像データを教師データとするとともに、学習用のSD画像データを生徒データとして、HD画像データのHD画素がクラス分類され得るクラス(以下、適宜、HDクラスという)ごとに、式(8)に示した正規方程式をたてて解くことにより求められたHDクラスごとのタップ係数を記憶している。即ち、係数メモリ455は、各HDクラスに対応するアドレスに、そのHDクラスのタップ係数が記憶されている。そして、係数メモリ455は、クラスコード読み出し部454から供給される注目画素のクラスに対応するアドレスから、そのクラスのタップ係数を読み出し、積和演算部453に供給する。
【0591】
なお、クラスごとのタップ係数を求める学習を行う方法については、後述する。
【0592】
次に、図47の受信処理部402では、PDA101から送信されてくる画像データを処理する画像データ受信処理、PDA101にリクエスト信号を送信するリクエスト信号送信処理、および画像データの画質を向上させる適応処理が行われるようになっている。
【0593】
そこで、図49のフローチャートを参照して、図47の受信処理部402で行われる画像データ受信処理、リクエスト信号送信処理、および適応処理について説明する。
【0594】
まず最初に、図49(A)のフローチャートを参照して、画像データ受信処理について説明する。
【0595】
PDA101から送信されてくる送信データは、アンテナ64(図23)で受信され、通信I/F218を介して、受信データとして、受信制御部441に供給される。
【0596】
受信制御部441は、受信データがクラスコード画像である場合、そのクラスコード画像を、クラスコードデータベース446に供給して記憶させる。
【0597】
また、受信制御部441は、受信データがSD画像データである場合、そのSD画像データを受信バッファ442に供給して記憶させる。
【0598】
受信バッファ442におけるSD画像データの記憶が開始されると、画像データ受信処理が開始され、まず最初に、ステップS231において、登録部443は、受信バッファ442に記憶されたSD画像データのうち、最も古い(最も時間的に過去の)フレームを、注目フレームとして、その注目フレームのSD画像データを読み出し、その読み出したSD画像データを、受信バッファ442から削除する。さらに、ステップS231において、登録部443は、受信バッファ442から読み出た注目フレームのSD画像データと同一のフレームのSD画像データが、ストレージ444に既に記憶されているかどうかを判定する。
【0599】
ここで、図45の送信処理部401では、送信制御部422において、送信データとして出力されるSD画像データの各フレームに、そのフレームを識別する識別情報が付加されるようになっており、登録部443は、そのフレーム識別情報を参照することで、受信バッファ442から読み出したSD画像データと同一フレームのSD画像データが、ストレージ444に記憶されているかどうかを判定する。
【0600】
なお、このように、受信処理部402において、同一フレームのSD画像データが複数存在しうるのは、図46(A)のフローチャートで説明したように、図45の送信処理部401が同一フレームのSD画像データを送信することがあるからである。
【0601】
ステップS231において、注目フレームと同一フレームのSD画像データが、ストレージ444に記憶されていないと判定された場合、ステップS232に進み、登録部443は、注目フレームのSD画像データを、ストレージ444に書き込み、ステップS236に進む。
【0602】
一方、ステップS231において、注目フレームと同一フレームのSD画像データが、ストレージ444に記憶されていると判定された場合、ステップS233に進み、登録部443は、ストレージ444に記憶されているSD画像データのうち、注目フレームと同一フレームのSD画像データを読み出し、ステップS234に進む。
【0603】
ステップS234では、登録部443は、注目フレームのSD画像データと、ステップS234で読み出した、注目フレームと同一フレームのSD画像データとを重み付け加算し、その重み付け加算値を画素値とする新たな注目フレームのSD画像データを生成する。
【0604】
即ち、登録部443は、注目フレームのSD画像データと、ストレージ444から読み出した、注目フレームと同一フレームのSD画像データとを位置あわせした上で、同一位置にある画素値どうしを重み付け加算し、その位置における新たな画素値を求める。
【0605】
ここで、ステップS234における重み付け加算においては、その重み付け加算に用いる重みを、例えば、ストレージ444から読み出したSD画像データの重み付け加算回数に基づいて決定することができる。
【0606】
即ち、ストレージ444に、注目フレームと同一のフレームのSD画像データが記憶されている場合、登録部443において、その注目フレームのSD画像データと、ストレージ444に記憶されているSD画像データとが重み付け加算され、その重み付け加算値を画素値とするSD画像データが、注目フレームのSD画像データとして、新たに、ストレージ444に上書きする形で記憶される。
【0607】
そこで、ストレージ444に記憶された、注目フレームと同一フレームのSD画像データが、Nフレーム分のSD画像データの重み付け加算値である場合には、ステップS234では、注目フレームのSD画像データの重みを1とするとともに、ストレージ444に記憶された注目フレームと同一フレームのSD画像データの重みをNとして、その2つのSD画像データの重み付け加算を行うようにすることができる。
【0608】
なお、重みの付け方は、上述の方法に限定されるものではない。
【0609】
登録部443は、注目フレームについて、受信バッファ442から読み出したSD画像データと、ストレージ444から読み出したSD画像データとの重み付け加算値としての新たなSD画像データを得ると、ステップS235に進み、その注目フレームの新たなSD画像データを、ストレージ444に供給し、そこに記憶されていた注目フレームと同一フレームのSD画像データに上書きする形で記憶させる。
【0610】
そして、ステップS236に進み、登録部443は、受信バッファ442に、まだ、SD画像データが記憶されているかどうかを判定し、記憶されていると判定した場合、ステップS231に戻り、次のフレーム(次に処理すべきフレーム)を新たに注目フレームとして、以下、同様の処理を繰り返す。
【0611】
一方、ステップS236において、受信バッファ442に、SD画像データが記憶されていないと判定された場合、処理を終了する。
【0612】
以上のように、画像データ受信処理では、同一フレームのSD画像データが重み付け加算されるため、画質を向上させたSD画像データを得ることが可能となる。
【0613】
即ち、PDA101から103に対して、SD画像データが送信される場合には、その送信中に、SD画像データにノイズが重畳したり、また、一部のデータが欠落したりすることがあり、このようなノイズの重畳やデータの欠落等は、SD画像データの画質を大きく劣化させる。そこで、登録部443は、上述のように、同一フレームのSD画像データどうしの重み付け加算を行うことで、その画質の劣化を改善する(画質が劣化した画像を基準とすれば、画質を向上させる)ようになっている。
【0614】
次に、図49(B)のフローチャートを参照して、リクエスト信号送信処理について説明する。
【0615】
リクエスト信号送信処理は、例えば、任意のタイミングで開始され、まず最初に、ステップS241において、画質判定部432が、ストレージ444に記憶されている各フレームのSD画像データを読み出し、各フレームのSD画像データの自己相関を演算する。
【0616】
そして、ステップS242に進み、ステップS241で計算した自己相関に基づいて、各フレームのSD画像データの画質を評価し、ステップS243に進む。
【0617】
ステップS243では、画質判定部432は、ステップS242での画質の評価結果に基づき、ストレージ444に記憶された各フレームのSD画像データが、ある程度画質の良いものとなっているかどうかを判定する。ステップS243において、ストレージ444に記憶された各フレームのSD画像データが、あまり画質の良いものとなっていないと判定された場合、ステップS244をスキップして、処理を終了する。
【0618】
また、ステップS243において、ストレージ444に記憶された各フレームのSD画像データが、ある程度画質の良いものとなっていると判定された場合、ステップS244に進み、画質判定部432は、リクエスト信号送信部433にリクエスト信号を出力させ、処理を終了する。
【0619】
このリクエスト信号は、上述したように、PDA101に送信され、リクエスト信号を受信したPDA101の送信処理部401(図45)では、上述したように、そのリクエスト信号をイベントとして、クラスコード画像が送信される。そして、PDA101から送信されてくるクラスコード画像は、上述したようにに、受信制御部441を介して、クラスコードデータベース446に供給されて記憶される。
【0620】
ここで、ステップS242では、例えば、SD画像データの自己相関が所定の閾値以上(より大)であるかどうかや、SD画像データの自己相関が所定の閾値以上であり、かつその所定の閾値以上の自己相関が、図49(A)の画像データ受信処理においてSD画像データの重み付け加算を行う前後で、ほとんど変化しないかどうか等を、SD画像の画質の評価基準として採用することができる。
【0621】
また、ステップS243では、上述の評価基準を満たす場合、即ち、SD画像データの自己相関が所定の閾値以上である場合や、SD画像データの自己相関が所定の閾値以上であり、かつその所定の閾値以上の自己相関が、図49(A)の画像データ受信処理においてSD画像データの重み付け加算を行う前後で、ほとんど変化しない場合に、ストレージ444に記憶された各フレームのSD画像データが、ある程度画質の良いものとなっていると判定するようにすることができる。
【0622】
なお、ここでは、SD画像データの画質を評価する評価値として、そのSD画像データの自己相関を用いることとしたが、他の評価値を用いることも可能である。
【0623】
即ち、SD画像データの画質を評価する評価値としては、その他、例えば、ストレージ444に記憶されたSD画像データの、図49(A)の画像データ受信処理で重み付け加算がされる前後のものどうしの相互相関などを採用することも可能である。この場合、画質判定部432では、重み付け加算前のSD画像データと、重み付け加算後のSD画像データとが必要となるが、重み付け加算前のSD画像データは、ストレージ444から読み出すことで取得し、重み付け加算後のSD画像データは、登録部443に要求することで取得する。
【0624】
なお、SD画像データの画質を評価する評価値として、上述のような相互相関を使用する場合も、例えば、SD画像データの自己相関を使用する場合と同様に、SD画像データの相互相関が所定の閾値以上であるかどうか等を、SD画像データの画質の評価基準として採用することが可能である。
【0625】
次に、図49(C)のフローチャートを参照して、適応処理について説明する。
【0626】
適応処理は、例えば、クラスコードデータベース446にクラスコード画像が記憶されると開始される。
【0627】
即ち、クラスコードデータベース446に、クラスコード画像が記憶されると、適応処理部447(図48)は、ストレージ444に記憶されたSD画像データを、順次読み出し、バッファ451に記憶させる。
【0628】
そして、予測タップ抽出部452は、バッファ451に記憶されたSD画像データのフレームのうち、まだ処理していない最も古い(時間的に最も過去のフレーム)フレームを注目フレームとする。さらに、予測タップ抽出部452は、ステップS251において、注目フレームのSD画像データの画質を向上させたHD画像データ(このHD画像データは、実際には存在しないが、存在するものと仮定される)を構成するHD画素の、まだ予測値を求めていないものの1つを、注目画素として、その注目画素の画素値を予測するのに用いるSD画素を、バッファ451に記憶されたSD画像データから抽出し、予測タップとして出力する。
【0629】
その後、ステップS252に進み、クラスコード読み出し部454は、クラスコードデータベース446(図47)に記憶されたクラスコード画像のうち、注目フレームのHD画像データから生成されたものを、注目クラスコード画像とし、その注目クラスコード画像のクラスコードのうち、注目画素に対応するものを読み出して、係数メモリ455に対して、アドレスとして与える。
【0630】
なお、クラスコード読み出し部454は、クラスコードデータベース446から読み出したクラスコードについては、例えば、その読み出し後、クラスコードデータベース446から削除する。
【0631】
係数メモリ455は、アドレスとしてのクラスコードを受信すると、ステップS253に進み、そのクラスコードに対応するクラスの予測タップを読み出し、積和演算部453に供給して、ステップS254に進む。
【0632】
ステップS254では、積和演算部453が、予測タップ抽出部452が出力する注目画素についての予測タップと、係数メモリ455から供給される注目画素のクラスのタップ係数とを用いて、式(1)の線形一次予測演算を行い、これにより、注目画素の画素値(HD画素の画素値の予測値)を求めて出力し、ステップS255に進む。
【0633】
ステップS255では、クラスコード読み出し部454が、クラスコードデータベース446に、クラスコードが、まだ記憶されているかどうかを判定し、まだ記憶されていると判定された場合、ステップS251に戻り、クラスコードデータベース446に記憶されているクラスコードのうちのいずれかに対応するHD画素を、新たに注目画素として、以下、同様の処理が繰り返される。
【0634】
また、ステップS255において、クラスコードデータベース446にクラスコードが記憶されていないと判定された場合、処理を終了する。
【0635】
以上のように、受信処理部402では、送信処理部401から送信されてくるSD画像データが蓄積され、重み付け加算により画質が改善されていく。
【0636】
さらに、SD画像データの画質が、ある程度改善されると、リクエスト信号が、送信処理部401に送信され、これにより、送信処理部401から送信されてくるクラスコード画像が、クラスコードデータベース446に記憶される。そして、そのクラスコード画像を用いて、SD画像データがHD画像データに変換される。
【0637】
従って、受信処理部402では、SD画像データの画質が、ある程度改善されると、そのことがトリガとなって、クラスコード画像が要求され、そのクラスコード画像に基づき、SD画像データの画質をさらに改善したHD画像データが得られることになる。即ち、SD画像データの画質の改善がトリガとなって、そのSD画像データが、より画質の良いHD画像データに変換される。
【0638】
従って、ユーザからすれば、画像の画質が、突然改善されることになる。
【0639】
なお、ここでは、SD画像データの画質(S/N(Signal/Noise)等)を、重み付け加算により改善し、SD画像データの画質が、ある程度良好になってから、そのSD画像データをHD画像データに変換するようにしたが、そのようなSD画像データの画質の改善を行わずに、HD画像データへの変換を行うことも可能である。
【0640】
但し、SD画像からHD画像への変換処理としての適応処理を行う適応処理部447(図48)で用いられる係数メモリ455に記憶されたタップ係数は、一般に、学習用のHD画像データを教師データとするとともに、そのHD画像データの解像度を単に劣化させたSD画像データを生徒データとして用いて、式(8)の正規方程式をたてて求められるものであるため、即ち、生徒データとしてのSD画像データは、データの欠落が生じたものや、ノイズが重畳されたものではないため、そのようなデータが欠落していたり、ノイズが重畳された画質が大きく劣化したSD画像データを対象に適応処理を行うと、十分に画質を改善したHD画像データを得ることが困難なことがある。
【0641】
このため、適応処理は、上述したように、画質が改善されたSD画像データ、即ち、ここでは、過去に受信したSD画像データを重み付け加算しながら蓄積したものを用いて行うのが望ましい。
【0642】
また、上述の場合には、画質判定部432において、SD画像データの自己相関や相互相関に基づいて、ストレージ444に記憶されたSD画像データの画質を判定するようにしが、SD画像の画質の判定は、ユーザに行ってもらうようにすることも可能である。
【0643】
即ち、LCD3等(図23)に、ストレージ444に記憶されたSD画像データを表示し、ユーザに、そのSD画像データの画質が良くなったと感じたときに、操作部224等(図23)を、画質が良くなったことを表すように操作してもらうようにすることができる。この場合、操作部224は、そのような操作がされたことを表す操作信号(以下、適宜、画質向上操作信号という)を、リクエスト信号送信部433に出力する。そして、リクエスト信号送信部433は、図47において点線で示すように、画質向上操作信号を受信すると、リクエスト信号を送信する。
【0644】
この場合も、送信処理部401(図45)から受信処理部402に対しては、クラスコード画像が送信されてくるので、受信処理部402では、やはり、SD画像データの画質をより向上させたHD画像データを得ることができる。即ち、この場合、外部入力としてのユーザの操作をトリガとして、SD画像がHD画像に変換されることになる。
【0645】
なお、その他、リクエスト信号送信部433では、例えば、受信装置としてのPDA103が、データの送受信を行ってない待ち受け状態にあるかどうかを判定し、待ち受け状態にあるときに、リクエスト信号を送信するようにすることが可能である。この場合、送信処理部401から受信処理部402に対しては、PDA103(受信処理部402)が待ち受け状態にあるときに、クラスコードが送信されることになる。
【0646】
また、図45の送信処理部401では、イベント検出部412において、リクエスト信号を検出する他、送信装置としてのPDA101が、データの送受信を行っていない待ち受け状態にあるかどうかを判定し、待ち受け状態にあるときに、イベントメッセージを出力するようにすることが可能である。この場合、送信処理部401から受信処理部402に対しては、PDA101(送信処理部401)が待ち受け状態にあるときに、クラスコードが送信されることになる。
【0647】
その他、送信処理部401から受信処理部402に対するクラスコードの送信は、送信装置としてのPDA101と、受信装置としてのPDA103のいずれもが待ち受け状態であることを、所定のイベントとして行うようにすることも可能である。
【0648】
次に、図50は、図44の送信処理部401の第2の構成例を示している。なお、図中、図45における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図50の送信処理部401は、ストレージ413、学習部414、タップ係数バッファ415、およびストレージ416が新たに設けられている他は、基本的に、図45における場合と同様に構成されている。
【0649】
ストレージ413には、符号化部411に供給されるのと同一のHD画像データが供給されるようになっており、ストレージ413は、そのHD画像データを一時記憶する。
【0650】
学習部414は、ストレージ413に新たに記憶されたHD画像データを、学習用の画像データとして、上述した式(8)の正規方程式をたてて解く学習を行うことにより、適応処理に用いられるタップ係数を取得する。このタップ係数は、タップ係数バッファ415に供給される。
【0651】
タップ係数バッファ415は、学習部414が出力するタップ係数を一時記憶する。なお、タップ係数バッファ415に記憶されたタップ係数は、例えば、送信制御部422において、クラスコードバッファ425に記憶されたクラスコードが送信されるのと同じタイミングで、そのクラスコードとともに送信される。
【0652】
ストレージ416は、学習部414がタップ係数の学習を行うにあたって、その学習の途中で得られる情報を一時記憶する。
【0653】
次に、図51は、図50の学習部414の構成例を示している。
【0654】
教師データメモリ461は、例えば、ストレージ413に新たに記憶されたHD画像データを、教師データとして記憶する。
【0655】
データ圧縮部462は、図50のデータ圧縮部421と同様にして、HD画像データを圧縮し、SD画像データを生成して出力する。
【0656】
生徒データメモリ463は、データ圧縮部462が出力するSD画像データを、生徒データとして記憶する。
【0657】
予測タップ抽出部464は、教師データメモリ461に記憶された教師データとしてのHD画像データを構成するHD画素を、順次、注目画素として、その注目画素について、図48の予測タップ抽出部452(後述する図54の予測タップ抽出部452)が構成するのと同一の予測タップを、生徒データメモリ463に記憶された生徒データとしてのSD画像データを構成するSD画素から生成し、足し込み部467に供給する。
【0658】
クラスタップ抽出部465は、注目画素について、図50のクラスタップ抽出部423が構成するのと同一のクラスタップを、教師データメモリ461に記憶された教師データとしてのHD画像データを構成するHD画素から構成し、クラス分類部466に出力する。
【0659】
クラス分類部466は、クラスタップ抽出部465から供給される注目画素についてのクラスタップに基づいて、図50のクラス分類部424における場合と同様にして、注目画素をクラス分類し、そのクラスを表すクラスコードを、足し込み部467に出力する。
【0660】
足し込み部467は、教師データメモリ461から、注目画素となっている教師データ(HD画素)を読み出し、予測タップ生成部464からの予測タップを構成する生徒データ、および注目画素としての教師データを対象とした足し込みを、ストレージ416(図50)の記憶内容を用いながら、クラス分類部466から供給されるクラスごとに行う。
【0661】
即ち、足し込み部467は、まず、クラス分類部466から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒データ)を用い、式(8)の行列Aにおける各コンポーネントとなっている、生徒データどうしの乗算(xinxim)と、サメーション(Σ)に相当する演算を行う。
【0662】
さらに、足し込み部467は、やはり、クラス分類部466から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒データ)および注目画素(教師データ)を用い、式(8)のベクトルvにおける各コンポーネントとなっている、生徒データと教師データの乗算(xinyi)と、サメーション(Σ)に相当する演算を行う。
【0663】
一方、ストレージ416は、足し込み部467において前回の学習までに求められた式(8)における行列Aのコンポーネントと、ベクトルvのコンポーネントを、クラスごとに記憶している。
【0664】
足し込み部467は、新たな学習用の画像データを用いて学習を行う場合、ストレージ416に記憶された、前回までの学習で求められた式(8)における行列Aのコンポーネントと、ベクトルvのコンポーネントを読み出し、その行列Aまたはベクトルvのコンポーネントに対して、新たな学習用の画像データから得られる教師データおよび生徒データを用いて計算される、対応するコンポーネントxinximまたはxinyiをそれぞれ足し込むことにより(行列A、ベクトルvにおけるサメーションで表される加算を行うことにより)、各クラスについて、式(8)に示した新たな正規方程式をたてる。
【0665】
従って、足し込み部467では、新たな学習用の画像データだけではなく、過去の学習に用いられた画像データにも基づいて、式(8)の正規方程式がたてられる。即ち、ストレージ416は、過去の学習において得られた行列Aおよびベクトルvのコンポーネントを蓄積しており、足し込み部467では、その蓄積された行列Aおよびベクトルvのコンポーネントをも用いて、式(8)の正規方程式がたてられる。
【0666】
なお、例えば、学習部414で、初めて学習が行われる場合おいては、ストレージ416には、前回の学習までに求められた行列Aとベクトルvのコンポーネントは記憶されていないため、式(8)の正規方程式は、いまある学習用の画像データだけを用いてたてられることになる。
【0667】
この場合、学習用の画像データのサンプル数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得る。
【0668】
そこで、ストレージ416には、あらかじめ用意された多数のHD画像データを学習用のデータとして学習を行うことにより得られた、クラスごとの行列Aのコンポーネントと、ベクトルvのコンポーネントを、初期値として記憶させておくようにすることができる。この場合、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることを防止することができる。
【0669】
足し込み部467は、新たな学習用の画像データから得られた行列Aおよびベクトルvのコンポーネントと、ストレージ416に記憶された行列Aおよびベクトルvのコンポーネントと用いて、新たに、クラスごとの行列Aおよびベクトルvのコンポーネントを求めると、それらのコンポーネントを、ストレージ416に供給し、上書きする形で記憶させる。
【0670】
さらに、足し込み部467は、新たに求めたクラスごとの行列Aおよびベクトルvのコンポーネントで構成される式(8)の正規方程式を、タップ係数決定部468に供給する。
【0671】
タップ係数決定部468は、足し込み部467から供給されるクラスごとの正規方程式を解くことにより、クラスごとに、タップ係数を求め、このクラスごとのタップ係数を、タップ係数バッファ415(図50)に供給して、上書きする形で記憶させる。
【0672】
なお、図51の学習部414では、クラスタップ抽出部465において、図50のクラスタップ抽出部423と同様に、HD画像データを構成するHD画素からクラスタップが生成され、さらに、クラス分類部466において、そのHD画素から構成されるクラスタップに基づいて、クラス分類が行われるから、タップ係数決定部468で得られるクラスごとのタップ係数は、HDクラスごとのタップ係数である。
【0673】
以上のように構成される送信処理部401では、図46で説明した画像データ送信処理、クラスコード生成処理、およびクラスコード送信処理の他、HDクラスごとのタップ係数を求める学習処理、およびそのHDクラスごとのタップ係数を送信するタップ係数送信処理が行われるようになっている。
【0674】
そこで、図52のフローチャートを参照して、図50の送信処理部401で行われる学習処理およびタップ係数送信処理について説明する。
【0675】
まず、図52(A)のフローチャートを参照して、図50の送信処理部401が行う学習処理について説明する。
【0676】
学習処理は、所定のタイミングで、学習部414(図51)において開始される。
【0677】
即ち、学習部414は、例えば、周期的に、あるいは、ストレージ413(図50)に、所定数フレーム以上の新たなHD画像データが記憶されると、学習処理を開始する。
【0678】
学習処理が開始されると、まず最初に、前回の学習から今回の学習までの間に、ストレージ413(図50)に新たに記憶されたHD画像データが、新たな学習用の画像データとして読み出され、教師データメモリ461に供給され、教師データとして記憶される。
【0679】
そして、ステップS261において、足し込み部467が、ストレージ416から、式(8)における行列Aのコンポーネントと、ベクトルvのコンポーネントを読み出し、ステップS262に進む。
【0680】
ステップS262では、データ圧縮部462が、教師データメモリ461に記憶された教師データを読み出し、SD画像データに変換する。このSD画像データは、生徒データメモリ463に供給され、生徒データとして記憶される。
【0681】
そして、ステップS263に進み、予測タップ抽出部461が、教師データメモリ416に記憶された教師データとしてのHD画素のうち、まだ注目画素としていないもののうちの1つを注目画素として、その注目画素について、生徒データメモリ463から生徒データとしての幾つかのSD画素を読み出すことにより、予測タップを生成する。
【0682】
さらに、ステップS263では、クラスタップ抽出部465が、注目画素について、教師データメモリ461から教師データとしての幾つかのHD画素を読み出すことにより、クラスタップを生成する。
【0683】
予測タップ抽出部464で生成された予測タップは、足し込み部467に供給され、クラスタップ抽出部465で生成されたクラスタップは、クラス分類部466に供給される。
【0684】
その後、ステップS264に進み、クラス分類部466が、クラスタップ抽出部465から供給されるクラスタップに基づき、注目画素をクラス分類し、その注目画素のクラスを表すクラスコードを、足し込み部467に供給する。
【0685】
そして、ステップS265に進み、足し込み部467は、教師データメモリ461から注目画素を読み出し、その注目画素と、予測タップ抽出部464からの予測タップを用いて、行列Aとベクトルvのコンポーネントを計算する。さらに、足し込み部467は、ステップS261でストレージ416(図50)から読み出した行列Aとベクトルvのコンポーネントのうち、クラス分類部466からのクラスコードに対応するものに対して、注目画素と予測タップから求められた行列Aとベクトルvのコンポーネントを足し込み、ステップS266に進む。
【0686】
ステップS266では、予測タップ抽出部464が、教師データメモリ461に、まだ、注目画素としていない教師データが存在するかどうかを判定し、存在すると判定した場合、ステップS263に戻り、まだ、注目画素とされていない教師データを、新たに注目画素として、以下、同様の処理が繰り返される。
【0687】
また、ステップS266において、教師データメモリ461に、注目画素としていない教師データが存在しないと判定された場合、足し込み部467は、それまでに得られているクラスごとの行列Aおよびベクトルvのコンポーネントで構成される式(8)の正規方程式を、タップ係数決定部468に供給し、ステップS267に進む。
【0688】
ステップS267では、足し込み部467は、タップ係数決定部468に供給したクラスごとの行列Aおよびベクトルvのコンポーネントを、ストレージ416にも供給し、上書きする形で記憶させ、ステップS268に進む。
【0689】
ステップS268では、タップ係数決定部468は、足し込み部467から供給される各クラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数を求める。さらに、ステップS268では、タップ係数決定部468は、各クラスごとのタップ係数を、タップ係数バッファ415に供給して上書きする形で記憶させ、学習処理を終了する。
【0690】
次に、図52(B)のフローチャートを参照して、図50の送信処理部401が行うタップ係数送信処理について説明する。
【0691】
タップ係数送信処理では、まず最初に、ステップS271において、送信制御部401が、図46(C)のステップS221における場合と同様にして、所定のイベントが発生したかどうかを判定し、所定のイベントが発生していないと判定した場合、ステップS271に戻り、所定のイベントが発生するまで待つ。
【0692】
そして、ステップS271において、所定のイベントが発生したと判定された場合、ステップS272に進み、送信制御部422は、クラス(HDクラス)ごとのタップ係数が、タップ係数バッファ415に記憶されているかどうかを判定する。
【0693】
ステップS272において、HDクラスごとのタップ係数が記憶されていないと判定された場合、ステップS271に戻り、以下、同様の処理が繰り返される。
【0694】
また、ステップS272において、HDクラスごとのタップ係数が記憶されていると判定された場合、ステップS273に進み、送信制御部422は、タップ係数バッファ415に記憶されたクラスコードを読み出し、送信データとして選択する。この送信データは、送信制御部422から通信I/F218(図23)に供給され、アンテナ64から送信される。
【0695】
送信制御部422は、ステップS223において、タップ係数バッファ415に記憶されていたすべてのHDクラスごとのタップ係数の送信が終了すると、ステップS271に戻り、以下、同様の処理を繰り返す。
【0696】
次に、図53は、図44の受信処理部402の第2の構成例を示している。即ち、図53は、送信処理部401が図50に示したように構成される場合の受信処理部402の構成例を示している。
【0697】
なお、図中、図47における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図53の受信処理部402は、適応処理部447に代えて適応処理部448が設けられている他は、基本的に、図47における場合と同様に構成されている。
【0698】
但し、図53の実施の形態においては、図50の送信処理部401から、SD画像データおよびHDクラスを表すクラスコードの他、HDクラスごとのタップ係数が送信されてくる場合があり、HDクラスごとのタップ係数が送信されてきた場合には、受信制御部441は、そのHDクラスごとのタップ係数を、適応処理部448に供給するようになっている。
【0699】
適応処理部448は、受信制御部441から供給されるタップ係数を用いて、図48の適応処理部447における場合と同様の処理(適応処理)を行い、これにより、HD画像データを生成する(予測する)ようになっている。
【0700】
即ち、図54は、図53の適応処理部448の構成例を示している。なお、図中、図48の適応処理部447における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図54の適応処理部448は、登録部456が新たに設けられている他は、図48の適応処理部447と同様に構成されている。
【0701】
登録部456は、受信制御部441(図53)から供給されるHDクラスごとのタップ係数を受信し、係数メモリ455に上書きする形で記憶させる。
【0702】
従って、図48の実施の形態では、固定の、HDクラスごとのタップ係数を用いて適応処理が行われるようになっていたが、図54の実施の形態では、図50の送信処理部401から、新たなHDクラスごとのタップ係数が送信されてくると、その新たなHDクラスごとのタップ係数によって、係数メモリ455の記憶内容が更新され、その新たなHDクラスごとのタップ係数を用いて適応処理が行われる。
【0703】
図50の送信処理部401では、上述したように、新たなHD画像データを、新たな学習用の画像データとして、タップ係数が更新されるから、そのタップ係数は、SD画像を、より、HD画像に近い画像に変換するものとなっていく。従って、図53の受信処理部402では、そのようなタップ係数を用いて、適応処理が行われるので、より画質の良いHD画像を得ることが可能となる。
【0704】
なお、図45および図50のデータ圧縮部421、並びに図51のデータ圧縮部462では、HD画像データの空間方向の画素数を間引く等することによって、SD画像データを生成するようにしたが、その他、SD画像データは、例えば、HD画像データの時間方向の画素数を間引く等して生成することも可能である。
【0705】
次に、図55は、図44の送信処理部401の第3の構成例を示している。
【0706】
図55の実施の形態では、送信処理部401において、画像データがベクトル量子化されることにより符号化されて送信されるようになっている。
【0707】
即ち、ベクトル化部501には、CCDカメラ65(図23)で撮像された画像データや、HDD215に記憶された画像データが供給される。ベクトル化部501は、そこに供給される画像データをベクトル化する。即ち、ベクトル化部501は、例えば、そこに供給される各フレームの画像データを、水平方向×垂直方向の画素数が、例えば、3×3画素のブロックにブロック化し、そのブロックの9画素(3×3画素)の画素値を所定の順番で並べたものを、ベクトルのコンポーネントとするベクトル(以下、適宜、画像ベクトルという)を生成する。ベクトル化部501において得られた画像ベクトルは、ベクトル量子化部502および差分演算部504に供給される。
【0708】
ベクトル量子化部502は、コードブック記憶部509に記憶されたコードブックを参照し、ベクトル化部501から供給される画像ベクトルをベクトル量子化する。
【0709】
即ち、ベクトル量子化部502は、コードブック記憶部509に記憶されたコードブックに登録されているすべてのコードベクトルと、ベクトル化部501からの画像ベクトルとの距離を計算し、その距離を最小にするコードベクトルに対応するコードを、ベクトル量子化結果として出力する。ベクトル量子化部502が出力するコードは、ローカルデコード部503、エントロピー符号化部505、および更新部506に供給される。
【0710】
ローカルデコード部503は、ベクトル量子化部502から供給されるコードを、コードブック記憶部509に記憶されたコードブック(ベクトル量子化部502がベクトル量子化に用いたのと同一のコードブック)を用いてベクトル逆量子化する。即ち、ローカルデコード部503は、コードブック記憶部509に記憶されたコードブックにおいて、ベクトル量子化部502が出力するコードに対応するコードベクトルを、ベクトル逆量子化結果として出力する。このベクトル逆量子化結果としてのコードベクトルは、ローカルデコード部503から差分演算部504に供給される。
【0711】
差分演算部504は、ベクトル化部501から供給される画像ベクトルと、ローカルデコード部503から供給される、その画像ベクトルをベクトル量子化し、さらにベクトル逆量子化して得られるコードベクトルとの差分を計算し、その結果得られるベクトル(以下、適宜、差分ベクトルという)を、エントロピー符号化部505および更新部506に供給する。
【0712】
エントロピー符号化部505は、ベクトル量子化部502から供給される、画像ベクトルのベクトル量子化結果としてのコードと、差分演算部504から供給される、その画像ベクトルについて得られた差分ベクトルとをエントロピー符号化し、送信データとして出力する。この送信データは、通信I/F218(図23)を介して、受信処理部402(受信装置としてのPDA103)に送信される。
【0713】
なお、差分ベクトルは、上述のように、エントロピー符号化部505においてエントロピー符号化されるため、差分ベクトルが0となる頻度が高い場合には、送信データ量のデータ量を低減することができる。即ち、ベクトル量子化部502が、コードブック記憶部509に記憶されたコードブックを用いて行うベクトル量子化(符号化)による量子化誤差が0となる頻度が高い場合には、送信データのデータ量を低減することができる。このことは、同一画質の画像を得るための送信データのデータ量が少なくなることを意味するから、見方を変えて、送信データのデータ量が一定であると仮定すれば、上述のデータ量の低減する分だけ、画質を向上させることができることと等価である。
【0714】
更新部506は、ベクトル量子化部502から供給されるコードと、差分演算部504から供給される差分ベクトルとに基づいて、コードブックデータベース507に記憶されたコードブックを更新する。なお、更新部506には、選択部508から、コードブック記憶部509に記憶されているコードブック、即ち、現在のベクトル量子化に用いられているコードブックを特定する情報(後述するコードブック番号)が供給されるようになっており、更新部506は、そのコードブック番号に基づいて、更新対象のコードブックを特定する。
【0715】
コードブックデータベース507は、画像ベクトルをベクトル量子化するのに用いられる1以上のコードブックを記憶している。
【0716】
なお、コードブックデータベース507は、コードブックの初期値として、例えば、あらかじめ用意された学習用の多量の画像データを用い、LBG(Linde Buzo Gray)アルゴリズム等によって求められたコードブックを記憶しており、更新部506は、その初期値のコードブックを、後述するように、適宜更新していく。
【0717】
また、コードブックデータベース507は、1以上のコードブックを記憶するが、その記憶方法としては、例えば、最初に、初期値のコードブックを1以上記憶しておくようにしても良いし、また、最初は、初期値のコードブックを1つだけ記憶しておき、その後、必要に応じて、その初期値のコードブックをコピーするようにしても良い。
【0718】
選択部508には、選択情報が供給されるようになっており、選択部508は、その選択情報にしたがい、コードブックデータベース507に記憶された1以上のコードブックの中から、ベクトル量子化に用いるものを選択する。そして、選択部508は、その選択したコードブックを、コードブックデータベース507から読み出し、コードブック記憶部509に供給して上書きする形で記憶させる。
【0719】
ここで、選択情報としては、例えば、ユーザ入力や、通信相手の情報、ベクトル化部501に供給されるのと同一の画像データ等を採用することができる。ユーザ入力は、ユーザが操作部224(図23)等を操作することにより与えられる。また、通信相手の情報は、送信装置としてのPDA101が、受信装置としてのPDA103と通信を開始するときに、受信装置としてのPDA103から送信されることにより、アンテナ64および通信I/F218(図23)を介して与えられる。さらに、ベクトル化部501に供給されるのと同一の画像データは、CCDカメラ65やHDD215(図23)から与えられる。
【0720】
選択部508は、ユーザ入力が、選択情報として与えられる場合、そのユーザ入力にしたがって、コードブックデータベース507に記憶された1以上のコードブックから、1つのコードブックを選択する。従って、この場合、ベクトル量子化部502では、ユーザが指示したコードブックを用いて、画像データのベクトル量子化が行われることになる。
【0721】
また、選択部508は、通信相手の情報が、選択情報として与えられる場合、その通信相手の情報にしたがって、コードブックデータベース507に記憶された1以上のコードブックから、1つのコードブックを選択する。従って、この場合、ベクトル量子化部502では、通信相手によって異なる(一人の通信相手ごとに異なる、あるいは、複数のユーザをグループとし、グループごとに異なる)コードブックを用いて、画像データのベクトル量子化が行われることになる。
【0722】
さらに、選択部508は、画像データが、選択情報として与えられる場合、その画像データにしたがって、コードブックデータベース507に記憶された1以上のコードブックから、1つのコードブックを選択する。従って、この場合、ベクトル量子化部502では、画像データの特性(例えば、画像データの絵柄を表すアクティビティや、明るさ、動きなど)ごとに異なるコードブックを用いて、その画像データのベクトル量子化が行われることになる。
【0723】
なお、選択部508は、コードブックデータベース507に記憶された1以上のコードブックから、1つのコードブックを選択し、コードブック記憶部509に記憶させるとき、即ち、ベクトル量子化部502でベクトル量子化に用いられるコードブックを変更するとき、その変更後のコードブック(コードブックデータベース507から選択したコードブック)を特定するコードブック番号を、更新部506に供給する。
【0724】
以上のように構成される送信処理部401では、画像データをベクトル量子化して送信する画像データ送信処理、そのベクトル量子化に用いるコードブックを選択するコードブック選択処理、およびコードブックデータベース507の記憶内容を更新する更新処理が行われる。
【0725】
そこで、まず、図56のフローチャートを参照して、図55の送信処理部401が行う画像データ送信処理とコードブック選択処理について説明する。
【0726】
まず最初に、図56(A)のフローチャートを参照して、画像データ送信処理について説明する。
【0727】
画像データ送信処理では、送信すべき画像データが、例えば、1フレーム単位で、ベクトル化部501に供給され、ベクトル化部501は、その画像データを受信する。
【0728】
そして、ステップS301において、ベクトル化部501は、そこに供給される1フレームの画像データをベクトル化する。即ち、ベクトル化部501は、1フレームの画像データを、例えば、3×3画素のブロックにブロック化し、そのブロックの9画素(3×3画素)の画素値を所定の順番で並べたものをコンポーネントとする画像ベクトルを生成する。ベクトル化部501において、1フレームの画像データについて得られた画像ベクトルは、ベクトル量子化部502および差分演算部504に供給される。
【0729】
なお、以下説明するステップS302乃至S305の処理は、1フレームの画像データについて得られた画像ベクトルそれぞれについて行われる。
【0730】
ベクトル量子化部502は、ベクトル化部501から画像ベクトルを受信すると、ステップS302において、その画像ベクトルを、コードブック記憶部509に記憶されたコードブックを用いてベクトル量子化し、その結果得られるコードを、ローカルデコード部503、エントロピー符号化部505、および更新部506に供給して、ステップS303に進む。
【0731】
ステップS303では、ローカルデコード部503が、ベクトル量子化部502から供給されるコードを、コードブック記憶部509に記憶されたコードブックを用いてベクトル逆量子化し、その結果得られるコードベクトルを、差分演算部504に供給して、ステップS304に進む。
【0732】
ステップS304では、差分演算部504が、ベクトル化部501から供給される画像ベクトルと、ローカルデコード部503から供給されるコードベクトルとの差分を計算し、その結果得られる差分ベクトルを、エントロピー符号化部505および更新部506に供給して、ステップS305に進む。
【0733】
ステップS305では、エントロピー符号化部505が、ベクトル量子化部502から供給される、画像ベクトルのベクトル量子化結果としてのコードと、差分演算部504から供給される、その画像ベクトルについて得られた差分ベクトルとをエントロピー符号化し、送信データとして出力する。この送信データは、通信I/F218(図23)を介して、受信処理部402(受信装置としてのPDA103)に送信される。
【0734】
その後、ステップS306に進み、ベクトル化部501は、次のフレームの画像データがあるかどうかを判定し、あると判定した場合、ステップS301に戻り、以下、同様の処理が繰り返される。
【0735】
また、ステップS306において、次のフレームの画像データがないと判定された場合、処理を終了する。
【0736】
次に、図56(B)のフローチャートを参照して、コードブック選択処理について説明する。
【0737】
なお、コードブック選択処理は、例えば、画像データ送信処理(図56(A))が開始される直前に開始される。
【0738】
コードブック選択処理では、まず最初に、ステップS311において、選択部508が、コードブックデータベース507に記憶された1以上のコードブックの中から、デフォルトのコードブックを選択し、コードブック記憶部509に供給して記憶させる。
【0739】
ここで、デフォルトのコードブックとしては、例えば、上述した初期値のコードブックを採用することができる。
【0740】
その後、ステップS312に進み、選択部508は、選択情報が供給されたかどうかを判定し、供給されていないと判定した場合、ステップS313をスキップして、ステップS314に進む。
【0741】
また、ステップS312において、選択情報が供給されたと判定された場合、ステップS313に進み、選択部508は、その選択情報にしたがい、コードブックデータベース507に記憶された1以上のコードブックの中から、ベクトル量子化に用いるものを選択し、コードブック記憶部509に供給して記憶させる。
【0742】
そして、ステップS314に進み、選択部508は、今回のコードブック選択処理を開始した直後に開始された画像データ送信処理(図56(A))による画像データの送信が終了したかどうかを判定し、終了していないと判定した場合、ステップS312に戻り、以下、同様の処理を繰り返す。
【0743】
従って、この場合、画像データ送信処理による画像データの送信が行われている間に、選択部508に対して、新たな選択情報が供給されると、コードブック記憶部509に記憶されるコードブック、即ち、ベクトル量子化部502におけるベクトル量子化で用いられるコードブックが、その新たな選択情報に基づいて変更され得る。
【0744】
一方、ステップS314において、画像データの送信が終了したと判定された場合、処理を終了する。
【0745】
なお、図56(B)の実施の形態では、上述したように、画像データ送信処理による画像データの送信が行われている間に、選択部508に対して、新たな選択情報が供給された場合に、ベクトル量子化で用いられるコードブックが、その新たな選択情報に基づいて、随時変更され得るようにしたが、画像データ送信処理による画像データの送信が行われている間のコードブックの変更は、1回だけに制限することが可能である。即ち、コードブックの変更は、デフォルトのコードブックから、最初に供給された選択情報に基づくコードブックへの変更のみに制限することが可能である。
【0746】
次に、図55の送信処理部401において行われる、コードブックデータベース507の記憶内容を更新する更新処理について説明するが、その前に、コードブックデータベース507に記憶されているコードブックと、更新部506の構成について説明する。
【0747】
図57は、図55のコードブックデータベース507に記憶されているコードブックの例を示している。
【0748】
コードブックには、コードブック番号およびコードブックバージョンが付されている。
【0749】
コードブック番号は、そのコードブックを特定するユニークな番号であり、従って、コードブック番号によれば、コードブックが一意に特定される。コードブックバージョンは、そのコードブックのバージョンを表す情報であり、例えば、そのコードブックが更新された年月日および時刻と更新回数等で表される。
【0750】
図57の実施の形態において、コードブックは、一般のコードブックと同様に、コードnとコードベクトルVn(=(an,bn,・・・))とが対応付けられて構成されている。なお、図57の実施の形態では、コード(コードベクトル)の数は、n+1個とされており、コードとして、0からNまでの整数値が用いられている。
【0751】
さらに、図57の実施の形態のコードブックにおいては、各コード#nに、コードベクトルVnの他、前回の更新時までの頻度An、差分ベクトルの加算値Σ△n(=(a’n,b’n,・・・))、および前回の更新時から現在までの頻度Bnも対応付けられている。
【0752】
ここで、前回の更新時までの頻度Anとは、前回のコードブックの更新時までのベクトル量子化において、コード#nが、ベクトル量子化結果として出力された頻度を表す。
【0753】
また、差分ベクトルの加算値Σ△nは、前回のコードブックの更新が行われた直後からいままでのベクトル量子化において、コード#nのベクトル量子化結果が得られたときの差分ベクトル△nの総和を表す。
【0754】
さらに、前回の更新時から現在までの頻度Bnは、前回のコードブックの更新が行われた直後からいままでのベクトル量子化において、コード#nが、ベクトル量子化結果として出力された頻度を表す。
【0755】
なお、前回の更新時までの頻度An、差分ベクトルの加算値Σ△n、および前回の更新時から現在までの頻度Bnは、そのコードブックを用いて行われたベクトル量子化についてのものであり、他のコードブックを用いて行われたベクトル量子化についての前回の更新時までの頻度An、差分ベクトルの加算値Σ△n、および前回の更新時から現在までの頻度Bnは、その、他のコードブックに登録される。
【0756】
また、初期値のコードブックについては、前回の更新時までの頻度An、差分ベクトルの加算値Σ△n、および前回の更新時から現在までの頻度Bnは、例えば、すべて0とされている。
【0757】
次に、図58は、図55の更新部506の構成例を示している。
【0758】
更新部506は、図58に示すように、データ更新部521とコードブック更新部522とから構成される。
【0759】
データ更新部521には、選択部508から、コードブック記憶部509に記憶されているコードブック、即ち、ベクトル量子化部502で使用されているコードブックを特定する情報としてのコードブック番号が供給されるようになっている。さらに、データ更新部521には、ベクトル量子化部502が出力する画像ベクトルのベクトル量子化結果としてのコードも供給されるようになっている。また、データ更新部521には、差分演算部504が出力する、ベクトル量子化部502でベクトル量子化が行われた画像ベクトルについて求められた差分ベクトルも供給されるようになっている。
【0760】
そして、データ更新部521は、コードブックデータベース507に記憶された1以上のコードブックの中から、いまベクトル量子化に用いられているコードブックを、選択部508(図55)から供給されるコードブック番号によって特定する。さらに、データ更新部521は、その特定したコードブックを、注目コードブックとして、その注目コードブックの差分ベクトルの加算値Σ△n、および前回の更新時から現在までの頻度Bnを、ベクトル量子化部502からのコードと、差分演算部504からの差分ベクトルによって更新する。
【0761】
コードブック更新部522は、コードブックデータベース507に記憶された1以上のコードブックそれぞれを、各コードブックに記憶されている前回の更新時までの頻度An、差分ベクトルの加算値Σ△n、および前回の更新時から現在までの頻度Bnに基づいて更新し、その更新後のコードブックを、コードブックデータベース507に上書きする形で記憶させる。
【0762】
以上のように構成される更新部506で行われる更新処理は、コードブックデータベース507に記憶された差分ベクトルの加算値Σ△n、および前回の更新時から現在までの頻度Bnを更新するデータ更新処理と、コードブックのコードベクトルを、そのコードブックに登録されている前回の更新時までの頻度An、差分ベクトルの加算値Σ△n、および前回の更新時から現在までの頻度Bnに基づいて更新するコードブック更新処理とからなる。
【0763】
そこで、図59のフローチャートを参照して、データ更新処理とコードブック更新処理について説明する。
【0764】
まず最初に、図59(A)のフローチャートを参照して、データ更新処理について説明する。
【0765】
データ更新処理では、まず最初に、ステップS321において、データ更新部521が、選択部508(図55)からコードブック番号を受信したかどうかを判定する。
【0766】
ステップS321において、選択部508からコードブック番号を受信したと判定された場合、即ち、ベクトル量子化部502でのベクトル量子化に用いられるコードブックが変更された場合、ステップS322に進み、データ更新部521は、コードブックデータベース507に記憶された1以上のコードブックのうち、選択部508から供給されるコードブック番号によって特定されるコードブックを、注目コードブックとして、ステップS323に進む。
【0767】
また、ステップS321において、選択部508からコードブック番号を受信していないと判定された場合、即ち、ベクトル量子化部502でのベクトル量子化に用いられるコードブックが変更されず、従って、いままでのベクトル量子化で用いられていたものが、そのまま注目コードブックとされる場合、ステップS322をスキップして、ステップS323に進む。
【0768】
ステップS323では、データ更新部521は、ベクトル量子化部502(図55)から、画像ベクトルのベクトル量子化結果としてのコードが供給されるとともに、差分演算部504から、その画像ベクトルについて求められた差分ベクトルが供給されたかどうか判定する。
【0769】
ステップS323において、コードおよび差分ベクトルが供給されていないと判定された場合、ステップS321に戻り、以下、同様の処理を繰り返す。
【0770】
また、ステップS323において、コードおよび差分ベクトルが供給されたと判定された場合、ステップS324に進み、データ更新部521は、コードブックデータベース507の注目コードブックに登録された差分ベクトルの加算値Σ△n、および前回の更新時から現在までの頻度Bnを更新する。
【0771】
即ち、データ更新部521は、注目コードブックの、ベクトル量子化部502から供給されたコード#nのエントリを、注目エントリとして、その注目エントリにおける前回の更新時から現在までの頻度Bnを1だけインクリメントする。さらに、データ更新部521は、注目エントリにおける差分ベクトルの加算値Σ△nに、差分演算部504から供給された差分ベクトルを加算し、その加算値を、新たな差分ベクトルの加算値Σ△nとして、注目コードブックの注目エントリに上書きする。
【0772】
そして、ステップS321に戻り、以下、同様の処理が繰り返される。
【0773】
次に、図59(B)のフローチャートを参照して、コードブック更新処理について説明する。
【0774】
コードブック更新処理は、定期または不定期に、任意のタイミングで開始される。
【0775】
なお、コードブック更新処理において、現に更新の対象となっている注目コードブックについては、その内容の整合性を保つため、図59(A)のデータ更新処理の対象から除外される(いわゆる排他制御される)ようになっている。
【0776】
コードブック更新処理では、まず最初に、ステップS331において、コードブック更新部522が、コードブック番号を表す変数iを、例えば、1に初期化し、ステップS332に進む。ステップS332では、コードブック更新部522は、コードブックデータベース507に記憶された1以上のコードブックのうち、i番目のコードブックを、注目コードブックとして、ステップS333に進む。ステップS333では、コードブック更新部522が、注目コードブックにおけるコードを表す変数nを、例えば、0に初期化し、ステップS334に進む。
【0777】
ステップS334では、コードブック更新部522が、注目コードブックのコード#nのエントリを注目エントリとして、例えば、その注目エントリの前回の更新時までの頻度Anおよび前回の更新時から現在までの頻度Bnを重みとして用い、注目エントリのコードベクトルVnと、差分ベクトルの加算値Σ△nとを重み付け加算することにより、注目エントリのコードベクトルVnを更新する。
【0778】
即ち、コードブック更新部522は、例えば、次式にしたがって、注目エントリのコードベクトルVnを更新する。
【0779】
Vn=Vn+Bn×Σ△n/(An+Bn)
【0780】
そして、コードブック更新部522は、ステップS335に進み、注目エントリにおける前回の更新時までの頻度An、差分ベクトルの加算値Σ△n、および前回の更新時から現在までの頻度Bnを更新する。
【0781】
即ち、コードブック更新部522は、前回の更新時までの頻度Anと、前回の更新時から現在までの頻度Bnとを加算し、その加算値を、新たな前回の更新時までの頻度Anとする。さらに、コードブック更新部522は、差分ベクトルの加算値Σ△n、および前回の更新時から現在までの頻度Bnを、いずれも0に初期化し、ステップS336に進む。
【0782】
ステップS336では、コードブック更新部522は、注目コードブックにおけるコードを表す変数nが、その最大値であるNに等しいかどうかを判定する。ステップS336において、変数nがNに等しくないと判定された場合、ステップS337に進み、コードブック更新部522は、変数nを1だけインクリメントする。そして、ステップS334に戻り、以下、同様の処理が繰り返される。
【0783】
また、ステップS336において、変数nがNに等しいと判定された場合、即ち、注目コードブックのすべてのエントリを更新した場合、ステップS338に進み、変数iが、コードブックデータベース507に記憶されたコードブックの数を表すIに等しいかどうかを判定する。
【0784】
ステップS338において、変数iがIに等しくないと判定された場合、ステップS339に進み、コードブック更新部522は、変数iを1だけインクリメントする。そして、ステップS332に戻り、以下、同様の処理を繰り返す。
【0785】
一方、ステップS338において、変数iがIに等しいと判定された場合、即ち、コードブックデータベース507に記憶されたすべてのコードブックの更新が終了した場合、処理を終了する。
【0786】
なお、上述したように、コードブックデータベース507においては、最初は、初期値のコードブックを1つだけ記憶しておき、その後、必要に応じて、その初期値のコードブックをコピーすることが可能であるが、この場合は、そのコピー元となるコードブックを更新してしまうと、その後に、初期値のコードブックのコピーを生成することができなくなる。そこで、コピー元となるコードブックは、図59に示したデータ更新処理およびコードブック更新処理の対象外とされる。
【0787】
コードブックデータベース507に記憶されたコードブックは、上述のように、そのコードブックを用いて行われたベクトル量子化結果としてのコードと、そのコードに対応する差分ベクトル(そのコードが得られた画像ベクトルについて求められた差分ベクトル)とに基づいて更新されていくので、画質の向上を図ることが可能となる。
【0788】
即ち、ベクトル量子化部502でのベクトル量子化に用いられるコードブックは、上述したように、例えば、通信相手によって選択される。この場合、ベクトル量子化に用いられるコードブックは、通信相手ごとに異なり、従って、あるコードブックに注目すれば、その注目コードブックは、特定の通信相手に送信される画像データから得られるコードと差分ベクトルによって更新されることになる。
【0789】
その結果、注目コードブックは、特定の通信相手に送信することの多い画像の特性(例えば、周波数特性等)に応じて、差分ベクトルが0となる頻度が高くなるように更新されていくことになり、送信データのデータ量が低減されることになる。そして、この送信データのデータ量の低減により、上述したように、画質を向上させることができる。
【0790】
また、ベクトル量子化部502でのベクトル量子化に用いられるコードブックは、上述したように、例えば、そのベクトル量子化される画像データの絵柄を表すアクティビティによって選択される。この場合、ベクトル量子化に用いられるコードブックは、画像データの絵柄ごとに異なり、従って、あるコードブックに注目すれば、その注目コードブックは、特定の絵柄の画像データから得られるコードと差分ベクトルによって更新されることになる。
【0791】
その結果、注目コードブックは、特定の絵柄の画像について、差分ベクトルが0となる頻度が高くなるように更新されていくことになり、送信データのデータ量が低減されることになる。そして、この送信データのデータ量の低減により、上述したように、画質を向上させることができる。
【0792】
次に、図60は、図44の受信処理部402の第3の構成例を示している。即ち、図60は、送信処理部401が図55に示したように構成される場合の受信処理部402の構成例を示している。
【0793】
図55のエントロピー符号化部505が出力する送信データは、受信装置としてのPDA103のアンテナ64(図23)で受信され、通信I/F218を介して、エントロピー復号部531と、エラー検出部540に供給されるようになっている。
【0794】
エントロピー復号部531は、そこに供給される受信データを、コードと差分ベクトルにエントロピー復号し、コードを、ベクトル逆量子化部532および更新部539に供給するとともに、差分ベクトルを、加算部533および更新部539に供給する。
【0795】
ベクトル逆量子化部532は、エントロピー復号部531から供給されるコードを、コードブック記憶部538に記憶されたコードブックを用いてベクトル逆量子化する。即ち、ベクトル逆量子化部532は、コードブック記憶部538に記憶されたコードブックにおけるコードベクトルのうち、エントロピー復号部531からのコードに対応するものを、ベクトル逆量子化結果として出力する。ベクトル逆量子化部532が出力するベクトル逆量子化結果としてのコードベクトルは、加算部533に供給される。
【0796】
加算部533は、エントロピー復号部531から供給される差分ベクトルと、ベクトル逆量子化部432から供給されるコードベクトルとを加算し、これにより、元の画像ベクトルを復号する。この画像ベクトルは、エラー訂正部534に供給される。
【0797】
エラー訂正部534は、エラー検出部540から、画像ベクトルの符号化データとしてのコードや差分ベクトルについて、欠落等のエラーがある旨のエラーメッセージを受信すると、そのエラーを、コードブック記憶部538に記憶されたコードブックを参照して訂正する。そして、エラー訂正部534は、エラー訂正後の画像ベクトルを、スカラ化部535に供給する。
【0798】
スカラ化部535は、画像ベクトルの各コンポーネントを、画像の画素値として、元の位置に配置し、元の1フレームの画像データを構成するスカラ化を行い、その結果得られる画像データを出力する。
【0799】
コードブックデータベース536は、画像ベクトルをベクトル量子化して得られるコードをベクトル逆量子化するのに用いられる1以上のコードブックを記憶している。なお、コードブックデータベース536に記憶されたコードブックも、例えば、図57に示したのと同一フォーマットとされている。
【0800】
選択部537には、選択情報が供給されるようになっており、選択部537は、その選択情報にしたがい、コードブックデータベース536に記憶された1以上のコードブックの中から、ベクトル量子化に用いるものを選択する。そして、選択部537は、その選択したコードブックを、コードブックデータベース536から読み出し、コードブック記憶部538に供給して上書きする形で記憶させる。
【0801】
ここで、選択情報としては、例えば、ユーザ入力や、通信相手の情報、エントロピー復号部531が出力するコードと差分ベクトルから復号された画像データ等を採用することができる。ユーザ入力は、ユーザが操作部224(図23)等を操作することにより与えられる。また、通信相手の情報は、受信装置としてのPDA103が、送信装置としてのPDA101と通信を開始するときに、送信装置としてのPDA101から送信されることにより、アンテナ64および通信I/F218(図23)を介して与えられる。さらに、エントロピー復号部531が出力するコードと差分ベクトルから復号された画像データは、スカラ化部535からから与えられる。
【0802】
選択部537は、ユーザ入力が、選択情報として与えられる場合、そのユーザ入力にしたがって、コードブックデータベース536に記憶された1以上のコードブックから、1つのコードブックを選択する。従って、この場合、ベクトル逆量子化部532では、ユーザが指示したコードブックを用いて、ベクトル逆量子化が行われることになる。
【0803】
また、選択部537は、通信相手の情報が、選択情報として与えられる場合、その通信相手の情報にしたがって、コードブックデータベース536に記憶された1以上のコードブックから、1つのコードブックを選択する。従って、この場合、ベクトル逆量子化部532では、通信相手によって異なるコードブックを用いて、ベクトル逆量子化が行われることになる。
【0804】
さらに、選択部537は、画像データが、選択情報として与えられる場合、その画像データにしたがって、コードブックデータベース536に記憶された1以上のコードブックから、1つのコードブックを選択する。従って、この場合、ベクトル逆量子化部532では、復号される画像データの特性ごとに異なるコードブックを用いて、ベクトル逆量子化が行われることになる。
【0805】
なお、選択部537は、コードブックデータベース536に記憶された1以上のコードブックから、1つのコードブックを選択し、コードブック記憶部538に記憶させるとき、即ち、ベクトル逆量子化部532でベクトル量子化に用いられるコードブックを変更するとき、その変更後のコードブック(コードブックデータベース536から選択したコードブック)を特定するコードブック番号を、更新部539に供給する。
【0806】
更新部539は、図58の更新部539と同様に構成され、エントロピー復号部531から供給されるコードと差分ベクトルとに基づいて、コードブックデータベース536に記憶されたコードブックを更新する。なお、上述したように、更新部539には、選択部537から、コードブック記憶部538に記憶されているコードブック、即ち、現在のベクトル逆量子化に用いられているコードブックを特定する情報としてのコードブック番号が供給されるようになっており、更新部539は、そのコードブック番号に基づいて、更新対象のコードブックを特定する。
【0807】
なお、コードブックデータベース536も、図55のコードブックデータベース507と同様に、コードブックの初期値として、例えば、あらかじめ用意された学習用の多量の画像データを用い、LBGアルゴリズム等によって求められたコードブックを記憶しており、更新部539は、その初期値のコードブックを順次更新していく。
【0808】
また、コードブックデータベース536における、1以上のコードブックを記憶する記憶方法としては、図55のコードブックデータベース507における場合と同様に、最初に、初期値のコードブックを1以上記憶しておくようにしても良いし、また、最初は、初期値のコードブックを1つだけ記憶しておき、その後、必要に応じて、その初期値のコードブックをコピーするようにしても良い。
【0809】
エラー検出部540は、受信データに生じているデータの欠落等のエラーを有無を検出し、エラーを検出した場合には、その旨のエラーメッセージを、エラー訂正部534に出力する。
【0810】
なお、例えば、図55のエントロピー符号化部505は、送信データに、エラー検出用の符号(エラー検出符号)を付加するようになっており、エラー検出部540は、そのエラー検出符号に基づいて、エラーの有無を検出する。
【0811】
以上のように構成される受信処理部402では、受信データを受信して画像データに復号する画像データ受信処理、ベクトル逆量子化部532でのベクトル逆量子化に用いられるコードブックを選択するコードブック選択処理、およびコードブックデータベース536の記憶内容を更新する更新処理が行われる。
【0812】
但し、更新処理(データ更新処理とコードブック更新処理)は、更新部539において、エントロピー復号部531から供給されるコードおよび差分ベクトルを用いて、図59のフローチャートで説明した場合と同様に行われるため、その説明は省略する。
【0813】
そこで、図61のフローチャートを参照して、図60の受信処理部402が行う画像データ受信処理およびコードブック選択処理について説明する。
【0814】
まず最初に、図61(A)のフローチャートを参照して、画像データ受信処理について説明する。
【0815】
画像データ受信処理は、受信データが、エントロピー復号部531およびエラー検出部540に供給されると開始される。
【0816】
即ち、画像データ受信処理では、まず最初に、ステップS351において、エントロピー復号部531が、受信データをエントロピー復号し、その結果得られるコードと差分ベクトルを出力する。コードは、ベクトル逆量子化部532および更新部539に供給され、差分ベクトルは、加算部533および更新部539に供給される。
【0817】
ここで、更新部539では、このようにして、エントロピー復号部531から供給されるコードと差分ベクトルに基づいて、図59で説明したように、コードブックデータベース536のコードブックが更新される。
【0818】
従って、図55の送信処理部401と、図60の受信処理部402において、例えば、通信相手ごとに異なるコードブックが、ベクトル量子化とベクトル逆量子化それぞれに用いるコードブックとして選択されるとすると、あるユーザAのPDA101から、他のユーザBのPDA103に対して、画像データが送信される場合には、ユーザAのPDA101における送信処理部401では、ユーザBに対応するコードブックが、ベクトル量子化に用いられるとともに、ユーザBのPDA103における受信処理部402では、ユーザAに対応するコードブックが、ベクトル逆量子化に用いられることになる。
【0819】
その結果、送信処理部401(図55)の更新部506と、受信処理部402(図60)の更新部539とでは、ユーザAとBとの間で通信が行われるたびに、コードブックが、同じように更新される。即ち、ユーザAとBとの間では(他のユーザどうしの間でも同様)、基本的には、同一のコードブックを用いて、ベクトル量子化とベクトル逆量子化とがそれぞれ行われ、さらに、そのベクトル量子化で用いられるコードブックと、ベクトル逆量子化で用いられるコードブックとは、同一に更新されていく。
【0820】
そして、コードブックの更新は、図59で説明したように、データ量を低減するように、または画質を向上させるように行われるから、図60の受信処理部402では、画質の向上した画像データの復号を精度良く行うことができる。
【0821】
エントロピー復号部531において、例えば、1フレーム分の画像データについてのエントロピー復号が終了すると、ステップS352に進み、ベクトル量子化部532は、エントロピー復号部531から供給される1フレーム分のコードを、コードブック記憶部538に記憶されたコードブックを用いて、ベクトル逆量子化し、1フレーム分のコードそれぞれについて、コードベクトルを得る。このコードベクトルは、加算部533に供給される。
【0822】
加算部533は、ステップS353において、ベクトル逆量子化部532から供給される1フレーム分のコードベクトルそれぞれに、エントロピー復号部531から供給される1フレーム分の差分ベクトルの対応するものを加算することで、1フレーム分の画像ベクトルを復号する。加算部533において得られた1フレーム分の画像ベクトルは、順次、エラー訂正部534に供給される。
【0823】
エラー訂正部534は、ステップS354において、加算部533から供給される画像ベクトルに対して、後述するようなエラー訂正処理を施し、スカラ化部535に供給する。
【0824】
スカラ化部535は、ステップS355において、エラー訂正部534から供給される1フレーム分の画像ベクトルを、上述したようにスカラ化し、その結果得られる1フレームの画像データを出力して、ステップS356に進む。
【0825】
ステップS356では、エントロピー復号部531が、次のフレームの受信データが送信されてきたかどうかを判定し、送信されてきたと判定された場合、ステップS351に戻り、その次のフレームの受信データを対象に、以下、同様の処理が繰り返される。
【0826】
また、ステップS356において、次のフレームの受信データが送信されてきていないと判定された場合、処理を終了する。
【0827】
次に、図61(B)のフローチャートを参照して、コードブック選択処理について説明する。
【0828】
なお、コードブック選択処理は、例えば、画像データ受信処理(図61(A))が開始される直前に開始される。
【0829】
コードブック選択処理では、まず最初に、ステップS361において、選択部537が、コードブックデータベース536に記憶された1以上のコードブックの中から、デフォルトのコードブックを選択し、コードブック記憶部538に供給して記憶させる。
【0830】
ここで、デフォルトのコードブックとしては、例えば、上述した初期値のコードブックを採用することができる。
【0831】
その後、ステップS362に進み、選択部537は、選択情報が供給されたかどうかを判定し、供給されていないと判定した場合、ステップS363をスキップして、ステップS364に進む。
【0832】
また、ステップS362において、選択情報が供給されたと判定された場合、ステップS363に進み、選択部537は、その選択情報にしたがい、コードブックデータベース536に記憶された1以上のコードブックの中から、ベクトル量子化に用いるものを選択し、コードブック記憶部538に供給して記憶させる。
【0833】
そして、ステップS364に進み、選択部537は、今回のコードブック選択処理を開始した直後に開始された画像データ受信処理(図61(A))による画像データの受信が終了したかどうかを判定し、終了していないと判定した場合、ステップS362に戻り、以下、同様の処理を繰り返す。
【0834】
従って、この場合、画像データ受信処理による画像データの受信が行われている間に、選択部537に対して、新たな選択情報が供給されると、コードブック記憶部538に記憶されるコードブック、即ち、ベクトル逆量子化部532におけるベクトル逆量子化で用いられるコードブックが、その新たな選択情報に基づいて変更され得る。
【0835】
一方、ステップS364において、画像データの受信が終了したと判定された場合、処理を終了する。
【0836】
なお、図61(B)の実施の形態では、上述したように、画像データ受信処理による画像データの送信が行われている間に、選択部537に対して、新たな選択情報が供給された場合に、ベクトル逆量子化で用いられるコードブックが、その新たな選択情報に基づいて、随時変更され得るようにしたが、画像データ受信処理による画像データの受信が行われている間のコードブックの変更は、1回だけに制限することが可能である。即ち、コードブックの変更は、デフォルトのコードブックから、最初に供給された選択情報に基づくコードブックへの変更のみに制限することが可能である。
【0837】
次に、図62は、図60のエラー訂正部534の構成例を示している。
【0838】
加算部533が出力する画像ベクトルは、書き込み部550に供給されるようになっており、書き込み部550は、その画像ベクトルを、メモリ551に供給して書き込む。メモリ551は、書き込み部550から供給される画像ベクトルを記憶する。
【0839】
ここで、メモリ551は、例えば、少なくとも1フレーム分の画像ベクトルを記憶することのできる記憶容量を有している。
【0840】
また、画像ベクトルは、上述したように、例えば、3×3画素のブロックにおける9画素の画素値をコンポーネントとしたベクトルであるが、書き込み部550は、画像ベクトルを、その画像ベクトルとしてのブロックに対応するメモリ551のアドレスに書き込むようになっている。
【0841】
読み出し部552は、メモリ551に、例えば、1フレーム分の画像ベクトルが記憶されると、その1フレーム分の画像ベクトルを、メモリ551から読み出し、スカラ化部535(図60)に供給する。
【0842】
また、読み出し部552には、エラー検出部540(図60)からエラーメッセージが供給されるようになっており、読み出し部552は、そのエラーメッセージに基づき、部分ベクトル推定部553を制御する。
【0843】
即ち、エラー検出部540が出力するエラーメッセージには、エラーが生じている画像ベクトルとしてのブロックの位置を表す情報が含まれており、読み出し部552は、そのエラーが生じている画像ベクトル(以下、適宜、エラーベクトルという)について、後述する部分ベクトルを推定するように、部分ベクトル推定部553を制御する。
【0844】
部分ベクトル推定部553は、読み出し部552の制御にしたがい、エラーベクトルについて、例えば、図63に示すように、その一部のコンポーネントからなる部分ベクトルを推定する。
【0845】
即ち、いまの場合、画像ベクトルは、図63(A)に示すように、3×3画素からなるブロックを構成する9画素の画素値をコンポーネントとするベクトルであるから、画像ベクトル(画像ベクトルから得られたコードや差分ベクトル)が欠落等しているということは、図63(B)に示すように、その画像ベクトルとしてのブロックの3×3画素を復号することができなことになる。
【0846】
そこで、部分ベクトル推定部553では、図63(C)に示すように、エラーベクトルとしてのブロック(以下、適宜、エラーブロックという)の、他のブロックの画素と隣接する8画素を、その隣接する画素により補完する。
【0847】
即ち、図63(C)では、エラーブロックの3×3画素のうち、中心の画素p9を除く8画素p1乃至p8が、それぞれに隣接する他のブロックの画素によって補完されている。なお、中心の画素p9を除く8画素p1乃至p8のうち、他のブロックの1画素にのみ隣接するp2,p4,p6,p8には、例えば、それぞれに隣接する他のブロックの画素の画素値がコピーされる。また、他のブロックの2画素に隣接する画素p1,p3,p5,p7には、例えば、それぞれに隣接する他のブロックの2つの画素の平均値、またはいずれか一方の値がコピーされる。
【0848】
部分ベクトル推定部553は、以上のように、エラーベクトルについて、ブロックの中心の画素p9に対応するコンポーネントがないベクトル、即ち、本来ならば9画素の画素値をコンポーネントとするベクトルについて、ブロックの中心の画素p9に対応するコンポーネントがない部分ベクトルを生成する。そして、部分ベクトル推定部553は、その部分ベクトルを、エラーベクトルに対応する真の画像ベクトルの一部(部分ベクトル)の推定値として出力する。
【0849】
図62に戻り、部分ベクトル推定部553が出力する部分ベクトルは、画像ベクトル推定部554に供給される。
【0850】
画像ベクトル推定部554は、部分ベクトル推定部553からの部分ベクトルと、コードブック記憶部538に記憶されているコードブックとから、エラーベクトルに対応する真の画像ベクトルを推定することによりエラー訂正を行い、その推定した画像ベクトル(以下、適宜、推定ベクトルという)を、メモリ551の対応するアドレスに記憶させる。
【0851】
次に、図64のフローチャートを参照して、図62のエラー訂正部534が、図61(A)のステップS354において行うエラー訂正処理について説明する。
【0852】
エラー訂正処理では、まず最初に、ステップS371において、書き込み部550が、画像ベクトルが、加算部533(図60)から供給されたかどうかを判定する。ステップS371において、画像ベクトルが供給されたと判定された場合、ステップS372に進み、書き込み部550は、その画像ベクトルを、メモリ551に供給して記憶させ、ステップS375に進む。
【0853】
また、ステップS371において、画像ベクトルが供給されていないと判定された場合、ステップS373に進み、読み出し部552は、エラー検出部540からエラーメッセージが供給されたかどうかを判定する。
【0854】
ステップS373において、エラーメッセージが供給されていないと判定された場合、ステップS374をスキップして、ステップS375に進む。
【0855】
また、ステップS373において、エラーメッセージが供給されたと判定された場合、ステップS374に進み、読み出し部552は、そのエラーメッセージに基づき、エラーが生じているブロック(画像ベクトル)の位置(以下、適宜、エラー位置という)を認識し、その内蔵するメモリ(図示せず)に一時記憶する。
【0856】
そして、ステップS375に進み、読み出し部552は、1フレーム分の画像ベクトル(エラーベクトルを含む)が、メモリ551に記憶されたかどうかを判定する。
【0857】
ステップS375において、1フレーム分の画像ベクトルがメモリ551に記憶されていないと判定された場合、ステップS371に戻り、以下、同様の処理を繰り返す。
【0858】
また、ステップS375において、1フレーム分の画像ベクトルがメモリ551に記憶されたと判定された場合、ステップS376に進み、読み出し部552は、その内蔵するメモリに、エラー位置が記憶されているかどうかを判定する。
【0859】
ステップS376において、エラー位置が記憶されていると判定された場合、ステップS377に進み、読み出し部552は、その内蔵するメモリに記憶されている1以上のエラー位置のうちの1つを注目エラー位置とし、その注目エラー位置におけるエラーベクトルついて、部分ベクトルを推定するように、部分ベクトル推定部553を制御する。これにより、ステップS377では、部分ベクトル推定部553が、図63で説明したように、部分ベクトルを推定し、画像ベクトル推定部554に出力する。
【0860】
画像ベクトル推定部554は、ステップS378において、部分ベクトル推定部553からの部分ベクトルと、コードブック記憶部538(図60)に記憶されているコードブックとから、エラーベクトルに対応する真の画像ベクトルを推定するエラー訂正を行い、ステップS379に進み、そのエラー訂正により得られる推定ベクトルを、メモリ551の注目エラー位置に対応するアドレスに記憶させる。
【0861】
即ち、画像ベクトル推定部554は、部分ベクトルの各コンポーネント(ここでは、図63で説明したように、8つのコンポーネントそれぞれ)に対応するコンポーネントが、部分ベクトルの各コンポーネントに最も近似するコードベクトルを、コードブック記憶部538に記憶されているコードブックから抽出し、そのコードベクトルを、推定ベクトルとする。
【0862】
具体的には、画像ベクトル推定部554は、例えば、部分ベクトルの各コンポーネントと、コードブックのコードベクトルの対応するコンポーネントとの差分の自乗和を計算し、その自乗和を最小にするコードベクトルを検出する。そして、画像ベクトル推定部554は、そのコードベクトルを、注目エラー位置の画像ベクトルの推定ベクトルとし、メモリ551に書き込む。
【0863】
その後、読み出し部552は、注目エラー位置を、その内蔵するメモリから消去して、ステップS376に戻り、以下、エラー位置が、その内蔵するメモリに記憶されていない状態となるまで、ステップS376乃至S379の処理を繰り返す。
【0864】
一方、ステップS376において、エラー位置が記憶されていないと判定された場合、即ち、メモリ551に、1フレーム分の画像ベクトルがエラーのない状態(エラーの訂正がされた状態)で記憶された場合、ステップS380に進み、読み出し部551は、メモリ551から、その1フレーム分の画像ベクトルを読み出し、スカラ化部535(図60)に供給して、エラー訂正処理を終了する。
【0865】
なお、図55乃至図64で説明したようなコードブックを用いて符号化/復号を行って、データを送受信する通信は、PDA101と他のPDA103との間だけではなく、ベース基地コンピュータ102(図22)と、PDA103や、他の図示せぬベース基地コンピュータとの間で行うことも可能である。
【0866】
ところで、あるユーザAが、PDA101とベース基地コンピュータ102を所有し、他のユーザBが、PDA103を所有する場合には、ユーザAが、ユーザBのPDA103とデータのやりとりを、PDA101を用いて行うときもあれば、ベース基地コンピュータ102を用いて行うときもある。
【0867】
このように、PDA101またはベース基地コンピュータ102それぞれと、ユーザBのPDA103との間でデータのやりとりをすると、PDA101とベース基地コンピュータ102の両方に、ユーザBとの通信用のコードブックが生成される。
【0868】
しかしながら、PDA101と103との間でやりとりされるデータと、ベース基地コンピュータ102とPDA103との間でやりとりされるデータとは、同一であるとは限らず、むしろ異なるデータであることが多いため、PDA101とベース基地コンピュータ102とでは、ユーザBとの通信用のコードブックとして、異なるコードブックが生成される。
【0869】
そこで、図65に示すように、PDA101におけるコードブックと、ベース基地コンピュータ102におけるコードブックとは、統合して同一のコードブックとすることができるようになっている。
【0870】
即ち、いま、図65に示すように、PDA101が、図55に示した送信処理部401と、図50に示した受信処理部402とを有し、ベース基地コンピュータ102が、図55の送信処理部401と同一構成の送信処理部401’と、図50の受信処理部402と同一構成の受信処理部402’とを有するとした場合には、PDA101とベース基地コンピュータ102とが、上述したようにして通信を行うことで、それぞれが有するコードブックがやりとりされる。これにより、PDA101の送信処理部401とベース基地コンピュータ102の送信処理部401’とにおける対応するコードブックが、同一のコードブックに統合される。さらに、PDA101の受信処理部402とベース基地コンピュータ102の受信処理部402’とにおける対応するコードブックも、同一のコードブックに統合される。
【0871】
なお、2つのコードブックの統合方法としては、例えば、一方のコードブックのコードベクトルを、統合後のコードブックのコードベクトルとして採用する方法や、2つのコードブックのコードベクトルの平均値(平均ベクトル)を、統合後のコードブックのコードベクトルとして採用する方法その他がある。
【0872】
なお、図45乃至図65の実施の形態においては、画像の画質を向上させる場合について説明したが、図45乃至図65の実施の形態は、その他、例えば、音声の音質を向上させる場合にも適用可能である。
【0873】
次に、PDA101においては、他の1以上のPDAから、データを高品質化する高品質化データを取得し、その高品質化データと、既に有している高品質化データとに基づいて、新たな高品質化データを生成し、その新たな高品質化データによって、既に有している高品質化データを更新することができる。さらに、PDA101において、その更新後の高品質化データ(新たな高品質化データ)に基づき、データを処理し、より高品質なデータを求めることができる。
【0874】
図66は、そのようなPDA101の機能的構成例を示している。なお、ここでは、高品質化の対象とするデータを、音声データとして、以下、説明を行う。但し、高品質化の対象とするデータは、音声データ以外の、例えば画像データとすることも可能である。
【0875】
また、図66においては、図23のハードウエア構成と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【0876】
音声復号部600は、例えば、HDD215(図23)に記憶された、符号化されている音声データを復号し、復号音声データを、音質向上部601に供給する。
【0877】
音質向上部601は、学習部602から供給される高品質化データと、復号音声データとに基づき、その復号音声データの音質を向上させた音質向上データを求め、D/A変換器212に供給する。
【0878】
学習部602は、アンプ209から供給される音声データに基づき、学習を行うことで、高品質化データを求める。さらに、学習部602は、他の1以上のPDAから送信されてくる、後述する学習情報を受信し、必要に応じて、その学習情報にも基づいて学習を行うことで、新たな高品質化データを求める。そして、学習部602は、新たに求めた高品質化データを、音質向上部601に供給する。
【0879】
また、学習部602には、操作部224(図23)から操作信号が供給されるようになっている。学習部602は、操作部224からの操作信号が、他のPDAに対して、学習情報を要求する操作を表すものである場合、学習情報を要求するリクエスト信号を生成して出力する。このリクエスト信号は、通信I/F218(図23)を介して、例えば、アンテナ64から送信される。
【0880】
さらに、学習部602には、他のPDAからのリクエスト信号が供給されるようになっている。即ち、他のPDAがリクエスト信号を送信すると、そのリクエスト信号は、アンテナ64(図23)で受信され、通信I/F218を介して、学習部602に供給される。学習部602は、他のPDAからのリクエスト信号を受信すると、自身が有している学習情報を、通信I/F218およびアンテナ64を介して、リクエスト信号を送信してきた他のPDAに送信する。
【0881】
次に、図67は、図66の音質向上部601の構成例を示している。
【0882】
図67の実施の形態においては、音質向上部601は、例えば、上述した適応処理によって、音声復号部600からの復号音声データの音質を向上させるようになっており、従って、ここでは、高品質化データとして、タップ係数が用いられるようになっている。
【0883】
即ち、音声復号部600が出力する復号音声データは、バッファ611に供給されるようになっており、バッファ611は、そこに供給される復号音声データを一時記憶する。
【0884】
予測タップ抽出部612は、復号音声データの音質を向上させた音質向上データを、順次、注目データとして、その注目データの予測値を、式(1)の線形一次予測演算により求めるのに用いる予測タップを、バッファ611に記憶された復号音声データのうちの幾つかの音声サンプルを抽出することによって構成(生成)し、積和演算部616に供給する。
【0885】
なお、予測タップ抽出部612は、後述する図69の予測タップ抽出部624が構成するのと同一の予測タップを構成する。
【0886】
クラスタップ抽出部613は、バッファ611に記憶された復号音声データのうちの幾つかの音声サンプルを抽出することによって、注目データについて、クラスタップを構成(生成)し、クラス分類部614に供給する。
【0887】
なお、クラスタップ抽出部613は、後述する図69のクラスタップ抽出部625と同一のクラスタップを構成する。
【0888】
クラス分類部614は、クラスタップ抽出部613からのクラスタップを用いてクラス分類を行い、その結果得られるクラスコードを、係数メモリ615に供給する。
【0889】
なお、クラス分類部614は、後述する図69のクラス分類部626と同一のクラス分類を行う。
【0890】
係数メモリ615は、学習部602から供給される高品質化データとしてのクラスごとのタップ係数を、そのクラスに対応するアドレスに記憶する。さらに、係数メモリ615は、クラス分類部614から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を、積和演算部616に供給する。
【0891】
積和演算部616は、予測タップ抽出部612が出力する予測タップと、係数メモリ615が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式(1)に示した線形予測演算を行う。これにより、積和演算部616は、注目データとしての音質向上データ(の予測値)を求め、D/A変換器212(図66)に供給する。
【0892】
次に、図68のフローチャートを参照して、図67の音質向上部601の処理(音質向上処理)について説明する。
【0893】
バッファ611は、音声復号部600(図66)が出力する復号音声データを、順次記憶していく。
【0894】
そして、まず最初に、ステップS401において、予測タップ抽出部612が、復号音声データの音質を向上させた音質向上データのうち、例えば、時系列順で、まだ注目データとしていない最も過去の音声サンプルを、注目データとし、その注目データについて、バッファ611から復号音声データのうちの幾つかの音声サンプルを読み出すことにより、予測タップを構成して、積和演算部616に供給する。
【0895】
さらに、ステップS401では、クラスタップ抽出部613が、バッファ611に記憶された復号音声データのうちの幾つかの音声サンプルを読み出すことにより、注目データについて、クラスタップを構成し、クラス分類部614に供給する。
【0896】
クラス分類部614は、クラスタップ抽出部613からクラスタップを受信すると、ステップS402に進み、そのクラスタップを用いてクラス分類を行い、その結果得られるクラスコードを、係数メモリ615に供給して、ステップS403に進む。
【0897】
ステップS403では、係数メモリ615は、クラス分類部614からのクラスコードに対応するアドレスに記憶されているタップ係数を読み出し、積和演算部616に供給して、ステップS404に進む。
【0898】
ステップS404では、積和演算部616は、係数メモリ615が出力するタップ係数を取得し、そのタップ係数と、予測タップ抽出部612からの予測タップとを用いて、式(1)に示した積和演算を行い、音質向上データ(の予測値)を得る。
【0899】
以上のようにして得られた音質向上データは、積和演算部616から、D/A変換器212(図66)およびアンプ208を介して、スピーカ10等に供給され、これにより、スピーカ10等からは、高音質の音声が出力される。
【0900】
ステップS404の処理後は、ステップS405に進み、まだ、注目データとして処理すべき音質向上データがあるかどうかが判定され、あると判定された場合、ステップS401に戻り、以下、同様の処理が繰り返される。また、ステップS405において、注目データとして処理すべき音質向上データがないと判定された場合、処理を終了する。
【0901】
次に、図69は、図66の学習部602の構成例を示している。
【0902】
教師データメモリ621には、アンプ209(図66)が出力する音声データが、学習用のデータとして供給されるようになっており、教師データメモリ621は、その音声データを、学習の教師となる教師データとして一時記憶する。
【0903】
生徒データ生成部622は、教師データメモリ621に記憶された教師データとしての音声データから、学習の生徒となる生徒データを生成する。
【0904】
即ち、生徒データ生成部622は、音声符号化部622Eと音声復号部622Dとから構成されている。音声符号化部622Eは、音声復号部600(図66)における復号方式に対応する符号化方式によって音声データを符号化するもので、そのような符号化方式によって、教師データメモリ621に記憶された教師データを符号化し、符号化音声データを出力する。音声復号部622Dは、音声復号部600と同様に構成されており、音声符号化部622Eが出力する符号化音声データを復号し、その結果得られる復号音声データを、生徒データとして出力する。
【0905】
なお、ここでは、教師データを、符号化音声データに符号化し、さらに、その符号化音声データを復号することによって、生徒データを生成するようにしたが、その他、生徒データは、例えば、教師データとしての音声データを、ローパスフィルタによってフィルタリングすること等で、その音質を劣化させることによって生成すること等が可能である。
【0906】
生徒データメモリ623は、生徒データ生成部622の音声復号部622Dが出力する生徒データを一時記憶する。
【0907】
予測タップ抽出部624は、教師データメモリ621に記憶された教師データの音声サンプルを、順次、注目データとし、さらに、その注目データを予測するのに用いる生徒データとしての幾つかの音声サンプルを、生徒データメモリ623に記憶された生徒データから抽出することにより、予測タップ(注目データの予測値を求めるためのタップ)を生成する。この予測タップは、予測タップ抽出部624から足し込み部627に供給される。
【0908】
クラスタップ抽出部625は、注目データをクラス分けするクラス分類に用いる生徒データとしての幾つかの音声サンプルを、生徒データメモリ623に記憶された生徒データから抽出することにより、クラスタップ(クラス分類に用いるタップ)を生成する。このクラスタップは、クラスタップ抽出部625からクラス分類部626に供給される。
【0909】
ここで、予測タップやクラスタップを構成する音声サンプルとしては、例えば、注目データとなっている教師データの音声サンプルに対応する生徒データの音声サンプルに対して時間的に近い位置にある複数の生徒データとしての音声サンプルを用いることができる。
【0910】
また、予測タップとクラスタップを構成する音声サンプルとしては、同一の音声サンプルを用いることもできるし、異なる音声サンプルを用いることも可能である。
【0911】
クラス分類部626は、クラスタップ抽出部625からのクラスタップに基づき、注目データをクラス分類し、その結果得られるクラスに対応するクラスコードを、足し込み部627に出力する。
【0912】
なお、クラス分類部626におけるクラス分類の方法としては、例えば、上述した場合と同様に、ADRC等を採用することができる。
【0913】
足し込み部627は、教師データメモリ621から、注目データとなっている教師データの音声サンプルを読み出し、予測タップ抽出部624からの予測タップを構成する生徒データ、および注目データとしての教師データを対象とした足し込みを、コンポーネントデータベース630の記憶内容を必要に応じて用いながら、クラス分類部626から供給されるクラスごとに行う。
【0914】
即ち、足し込み部627は、基本的には、クラス分類部626から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒データ)を用い、式(8)の行列Aにおける各コンポーネントとなっている、生徒データどうしの乗算(xinxim)と、サメーション(Σ)に相当する演算を行う。
【0915】
さらに、足し込み部627は、やはり、クラス分類部626から供給されるクラスコードに対応するクラスごとに、予測タップ(生徒データ)および注目データ(教師データ)を用い、式(8)のベクトルvにおける各コンポーネントとなっている、生徒データと教師データの乗算(xinyi)と、サメーション(Σ)に相当する演算を行う。
【0916】
一方、コンポーネントデータベース630は、足し込み部627において前回の学習で求められた式(8)における行列Aのコンポーネントと、ベクトルvのコンポーネントを、クラスごとに記憶する。
【0917】
足し込み部627は、新たに入力された音声データを用いて学習を行う場合、コンポーネントデータベース630に記憶された、前回の学習で求められた式(8)における行列Aのコンポーネントと、ベクトルvのコンポーネントを読み出し、その行列Aまたはベクトルvのコンポーネントに対して、新たに入力された音声データから得られる教師データおよび生徒データを用いて計算される、対応するコンポーネントxinximまたはxinyiを足し込むことにより(行列A、ベクトルvにおけるサメーションで表される加算を行うことにより)、新たな行列Aとベクトルvのコンポーネントを求め、各クラスについて、式(8)に示した正規方程式をたてる。
【0918】
従って、足し込み部627では、新たに入力された音声データだけではなく、過去の学習に用いられた音声データにも基づいて、式(8)の正規方程式がたてられる。
【0919】
足し込み部627は、上述のようにして、新たに入力された音声データから得られた行列Aおよびベクトルvのコンポーネントと、コンポーネントデータベース630に記憶された行列Aおよびベクトルvのコンポーネントと用いて、新たに、クラスごとの行列Aおよびベクトルvのコンポーネントを求めると、それらのコンポーネントを、コンポーネントデータベース630に供給し、上書きする形で記憶させる。
【0920】
また、足し込み部627は、音声データが新たに入力されていない場合であっても、必要に応じて、コンポーネントデータベース630に記憶された各クラスの行列Aのコンポーネントと、ベクトルvのコンポーネントを読み出し、その行列Aまたはベクトルvのコンポーネントを用いて、各クラスについて、式(8)に示した正規方程式をたてる。
【0921】
即ち、コンポーネントデータベース630に記憶された式(8)における各クラスの行列Aのコンポーネントおよびベクトルvのコンポーネントは、足し込み部627において、新たに入力された音声データを用いて学習が行われることにより、上述したように、その学習の途中で得られる新たな各クラスの行列Aのコンポーネントおよびベクトルvのコンポーネントによって更新される(上書きされる)他、後述する統合部631により更新されるようにもなっている。
【0922】
このように、コンポーネントデータベース630に記憶された式(8)における各クラスの行列Aのコンポーネントおよびベクトルvのコンポーネントが、統合部631によって更新された場合には、足し込み部627は、コンポーネントデータベース630に記憶された、更新後の各クラスの行列Aのコンポーネントと、ベクトルvのコンポーネントを読み出し、その行列Aまたはベクトルvのコンポーネントを用いて、各クラスについて、式(8)に示した正規方程式をたてるようになっている。
【0923】
足し込み部627は、上述のようにして、クラスごとの行列Aおよびベクトルvのコンポーネントで構成される式(8)の正規方程式を新たにたてると、そのクラスごとの正規方程式を、タップ係数決定部628に供給する。
【0924】
タップ係数決定部628は、足し込み部627から供給されるクラスごとの正規方程式を解くことにより、クラスごとに、タップ係数を求め、このクラスごとのタップ係数を、高品質化データとして、タップ係数メモリ629に供給し、各クラスに対応するアドレスに、上書きする形で記憶させる。
【0925】
タップ係数メモリ629に記憶された高品質化データとしてのクラスごとのタップ係数は、音質向上部601(図66)に供給されるようになっている。
【0926】
コンポーネントデータベース630は、上述したように、クラスごとの式(8)における行列Aおよびベクトルvのコンポーネントを記憶する。
【0927】
統合部631は、他のPDAから送信されてくる、学習情報としての、クラスごとの式(8)における行列Aおよびベクトルvのコンポーネントを、アンテナ64(図23)および通信I/F218を介して受信する。そして、統合部631は、受信した各クラスの行列Aおよびベクトルvのコンポーネントと、コンポーネントデータベース630に記憶された各クラスの行列Aおよびベクトルvのコンポーネントと用いて、新たな各クラスの行列Aおよびベクトルvのコンポーネントを求める。
【0928】
即ち、統合部631は、他のPDAから各クラスの行列Aおよびベクトルvのコンポーネントを受信すると、コンポーネントデータベース630に記憶されている各クラスの行列Aのコンポーネントと、ベクトルvのコンポーネントを読み出し、その各クラスの行列Aまたはベクトルvのコンポーネントに対して、対応するクラスの、他のPDAから受信した行列Aまたはベクトルvのコンポーネントをそれぞれ足し込むことにより(行列A、ベクトルvにおけるサメーションで表される加算を行うことにより)、各クラスについて、新たな行列Aのコンポーネントと、ベクトルvのコンポーネントを求める。
【0929】
そして、統合部631は、各クラスについて求めた新たな行列Aおよびベクトルvのコンポーネントを、コンポーネントデータベース630に上書きする形で記憶させることにより、そのコンポーネントデータベース630に記憶されている各クラスの行列Aおよびベクトルvのコンポーネントを更新する。
【0930】
学習情報送信部632は、イベント検出部633からの要求に応じて、コンポーネントデータベース630から各クラスの行列Aおよびベクトルvのコンポーネントを読み出し、通信I/F218(図23)およびアンテナ64を介して、学習情報として送信する。
【0931】
ここで、上述の統合部631では、他のPDAにおける学習情報送信部632から送信されてくる学習情報としての各クラスの行列Aおよびベクトルvのコンポーネントが受信される。
【0932】
イベント検出部633は、他のPDAから、学習情報の送信を要求するリクエスト信号が送信されてくると、そのリクエスト信号が送信されてきたことを、所定のイベントして検出する。即ち、他のPDAから送信されてくるリクエスト信号は、アンテナ64(図23)を介して、通信I/F218で受信され、イベント検出部633に供給される。イベント検出部633は、このようにして供給されるリクエスト信号を検出すると、所定のイベントが発生したとして、コンポーネントデータベース630に記憶されている学習情報としての各クラスの行列Aおよびベクトルvのコンポーネントを送信するように、学習情報送信部632を制御する。
【0933】
リクエスト信号送信部634には、操作部224(図23)等から操作信号が供給されるようになっており、リクエスト信号送信部634は、学習情報を要求するように、操作部224の操作が行われたことを表す操作信号を受信すると、その操作信号の受信を、所定のイベントとして、学習情報を要求するリクエスト信号を、通信I/F218(図23)およびアンテナ64を介して送信する。
【0934】
ここで、このようにして送信されるリクエスト信号を受信した1以上の他のPDAでは、そのリクエスト信号の受信(検出)により所定のイベントが発生したとして、自身が有する学習情報としての各クラスの行列Aおよびベクトルvのコンポーネントの送信が行われる。そして、このようにして他の1以上のPDAから送信されてくる学習情報としての各クラスの行列Aおよびベクトルvのコンポーネントが、統合部631において受信されることになる。
【0935】
以上のように構成される学習部602では、新たに入力された音声データを用いて、クラスごとのタップ係数を求める学習処理、コンポーネントデータベース630に記憶された学習情報としての各クラスの行列Aおよびベクトルvのコンポーネントを送信する学習情報送信処理、および他のPDAから送信されてきた学習情報としての各クラスの行列Aおよびベクトルvのコンポーネントによって、コンポーネントデータベース630に記憶された学習情報を更新するコンポーネントデータ統合処理が行われるようになっている。
【0936】
そこで、図70のフローチャートを参照して、図69の学習部602が行う学習処理、学習情報送信処理、およびコンポーネントデータ統合処理について説明する。
【0937】
まず、図70(A)のフローチャートを参照して、学習処理について説明する。
【0938】
学習処理は、例えば、教師データメモリ621に、所定のデータ量以上の新たな音声データが記憶されると開始される。
【0939】
即ち、教師データメモリ621に、新たな音声データが、所定のデータ量以上記憶されると、ステップS411において、足し込み部627が、コンポーネントデータベース630に記憶されている各クラスの行列Aおよびベクトルvのコンポーネントを読み出し、ステップS412に進む。
【0940】
ステップS412では、生徒データ生成部622が、教師データメモリ621に記憶された音声データを教師データとして、その教師データを読み出し、その教師データから生徒データを生成する。そして、生徒データ生成部622は、得られた生徒データを、生徒データメモリ623に供給して記憶させ、ステップS413に進む。
【0941】
ステップS413では、予測タップ抽出部624は、教師データメモリ621に記憶された教師データとしての音声サンプルのうち、まだ注目データとしていないものの1つを注目データとして、その注目データについて、生徒データメモリ623に記憶された生徒データとしての音声サンプルの幾つかを読み出すことにより、予測タップを生成して、足し込み部627に供給する。
【0942】
さらに、ステップS413では、クラスタップ抽出部625が、予測タップ抽出部624における場合と同様にして、注目データについて、クラスタップを生成し、クラス分類部626に供給する。
【0943】
ステップS413の処理後は、ステップS414に進み、クラス分類部626が、クラスタップ抽出部625からのクラスタップに基づいて、クラス分類を行い、その結果得られるクラスコードを、足し込み部627に供給する。
【0944】
そして、ステップS415に進み、足し込み部627は、教師データメモリ621から注目データを読み出し、その注目データと、予測タップ抽出部624からの予測タップを用いて、行列Aとベクトルvのコンポーネントを計算する。さらに、足し込み部627は、コンポーネントデータベース630から読み出した行列Aとベクトルvのコンポーネントのうち、クラス分類部626からのクラスコードに対応するものに対して、注目データと予測タップから求められた行列Aとベクトルvのコンポーネントを足し込み、これにより、新たな行列Aとベクトルvのコンポーネントを求めて、ステップS416に進む。
【0945】
ステップS416では、予測タップ抽出部624が、教師データメモリ621に、まだ、注目データとしていない教師データが存在するかどうかを判定し、存在すると判定した場合、ステップS413に戻り、まだ、注目データとされていない教師データを、新たに注目データとして、以下、同様の処理が繰り返される。
【0946】
また、ステップS416において、教師データメモリ621に、注目データとしていない教師データが存在しないと判定された場合、ステップS417に進み、足し込み部627は、ステップS413乃至S416の処理を繰り返すことにより得られた新たな各クラスの行列Aとベクトルvのコンポーネントを、コンポーネントデータベース310に上書きする形で記憶させる。さらに、足し込み部627は、新たな各クラスの行列Aおよびベクトルvのコンポーネントで構成される式(8)の正規方程式を、タップ係数決定部628に供給し、ステップS418に進む。
【0947】
ステップS418では、タップ係数決定部628は、足し込み部627から供給される各クラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数を求める。さらに、ステップS418では、タップ係数決定部628は、各クラスごとのタップ係数を、タップ係数メモリ629に供給し、上書きする形で記憶させ、処理を終了する。
【0948】
次に、図70(B)のフローチャートを参照して、学習情報送信処理について説明する。
【0949】
学習情報送信処理では、まず最初に、ステップS431において、イベント検出部633が、所定のイベントが発生したかどうかを判定し、発生していないと判定した場合、ステップS431に戻る。
【0950】
また、ステップS431において、所定のイベントが発生したと判定された場合、即ち、イベント検出部633が、他のPDAから送信されてきたリクエスト信号を受信した場合、イベント検出部633は、学習情報を送信するように、学習情報送信部632を制御し、ステップS432に進む。
【0951】
ステップS432では、学習情報送信部632は、イベント検出部633の制御にしたがい、コンポーネントデータベース630から、学習情報としての各クラスの行列Aとベクトルvのコンポーネントを読み出し、ステップS433に進む。
【0952】
ステップS433では、学習情報送信部632は、コンポーネントデータベース630から読み出した学習情報としての各クラスの行列Aとベクトルvのコンポーネントを、イベント検出部633が受信したリクエスト信号を送信してきた他のPDAに送信する。そして、ステップS431に戻り、以下、同様の処理が繰り返される。
【0953】
次に、図70(C)のフローチャートを参照して、コンポーネントデータ統合処理について説明する。
【0954】
コンポーネントデータ統合処理では、まず最初に、ステップS441において、リクエスト信号送信部634が、学習情報を要求する旨の操作信号の受信を、所定のイベントとして、そのような所定のイベントが発生したかどうかを判定し、発生していないと判定した場合、ステップS441に戻る。
【0955】
また、ステップS441において、所定のイベントが発生したと判定された場合、即ち、ユーザによって、学習情報を要求するように、操作部224(図23)が操作され、その旨を表す操作信号を、リクエスト信号送信部634が受信した場合、ステップS442に進み、リクエスト信号送信部634は、任意の1以上のPDA宛に、学習情報を要求するリクエスト信号を送信する(例えば、ブロードキャストする)。
【0956】
そして、ステップS443に進み、統合部631は、ステップS442で送信されたリクエスト信号に応じて、他のPDAから学習情報が送信されてきたかどうかを判定する。
【0957】
ステップS443において、学習情報が送信されてきたと判定された場合、ステップS444に進み、統合部631は、その学習情報を受信し、その内蔵するメモリ(図示せず)に一時記憶して、ステップS445に進む。
【0958】
また、ステップS443において、学習情報が送信されてきていないと判定された場合、ステップS445に進み、統合部631は、リクエスト信号送信部634が、ステップS442でリクエスト信号を送信してから所定時間が経過したかどうかを判定する。
【0959】
ステップS445において、リクエスト信号を送信してから、まだ、所定時間が経過していないと判定された場合、ステップS443に戻り、以下、同様の処理が繰り返される。
【0960】
また、ステップS445において、リクエスト信号を送信してから所定時間が経過したと判定された場合、ステップS446に進み、統合部631は、ステップS444において記憶した学習情報としての各クラスの行列Aとベクトルvのコンポーネントと、コンポーネントデータベース630に記憶されている各クラスの行列Aとベクトルvのコンポーネントとを、クラスごとに加算し、新たな各クラスの行列Aとベクトルvのコンポーネントを求める。さらに、ステップS446において、統合部631は、新たな各クラスの行列Aとベクトルvのコンポーネントを、コンポーネントデータベース630に上書きすることで、その更新を行い、ステップS447に進む。
【0961】
ステップS447では、足し込み部627が、コンポーネントデータベース630から、新たな各クラスの行列Aおよびベクトルvのコンポーネントを読み出し、そのコンポーネントで構成される式(8)の正規方程式をたてて、タップ係数決定部628に供給する。さらに、ステップS447では、タップ係数決定部628が、足し込み部627から供給された各クラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数を求め、タップ係数メモリ629に供給して、上書きする形で記憶させる。そして、ステップS441に戻り、以下、同様の処理が繰り返される。
【0962】
以上のように、学習部602では、新たに入力された音声データの他、過去の学習に用いられた音声データに基づく学習処理が行われるので、ユーザが発話を行うほど、学習が進行したタップ係数が求められることになる。従って、音質向上部601において、そのようなタップ係数を用いて、復号音声データを処理することにより、より音質の向上した音声データ(音質向上データ)を得ることが可能となる。
【0963】
さらに、学習部602では、1以上の他のPDAから収集した学習情報としての各クラスの行列Aおよびベクトルvのコンポーネントにより、コンポーネントデータベース630に記憶された各クラスの行列Aおよびベクトルvのコンポーネントが更新されていく。そして、そのような更新された各クラスの行列Aおよびベクトルvのコンポーネントからたてられた式(8)の正規方程式を解くことで、タップ係数が求められる。従って、音質向上部601において、そのようなタップ係数を用いて、復号音声データを処理することにより、やはり、より音質の向上した音声データを得ることが可能となる。
【0964】
さらに、学習部602では、上述したように、1以上の他のPDAから、学習情報としての各クラスの行列Aおよびベクトルvのコンポーネントが収集されるため、音質の向上した音声データを得るためのタップ係数を、迅速に得ることができる。
【0965】
即ち、式(8)の正規方程式を、ユーザから入力された音声データだけを用いてたてる場合には、入力された音声データのサンプル数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、上述のように、1以上の他のPDAから、学習情報としての各クラスの行列Aおよびベクトルvのコンポーネントを収集する場合には、各クラスについて、式(8)の正規方程式をたてるための行列Aとベクトルvのコンポーネントを、迅速に得ることができ、その結果、音質の向上した音声データを得るためのタップ係数を、迅速に得ることができる。
【0966】
また、複数のPDAどうしの間で、上述したように、それぞれが有する学習情報としての各クラスの行列Aおよびベクトルvのコンポーネントをやりとりすることで、その複数のPDAでは、同一音質で、かつ高音質の音声データを得ることができるようになる。
【0967】
なお、図69および図70の実施の形態では、リクエスト信号送信部634において、操作信号を受信した場合に、リクエスト信号を送信するようにしたが、リクエスト信号は、その他、例えば、定期的または不定期に、任意のタイミングで送信するようにすることが可能である。
【0968】
また、図66のPDA101においては、学習の途中で得られる各クラスの行列Aおよびベクトルvのコンポーネントを学習情報として、1以上の他のPDAとの間でやりとりするようにしたが、その他、例えば、タップ係数自体を学習情報としてやりとりすることも可能である。
【0969】
PDA101において、1以上の他のPDAとの間で、タップ係数をやりとりする場合には、タップ係数の更新は、例えば、自身が有しているタップ係数と、他のPDAから受信したタップ係数との重み付け加算等によって行うことが可能である。
【0970】
なお、この場合の重みとしては、タップ係数を求めるのに用いられた音声サンプル数を用いることができる。
【0971】
即ち、タップ係数を求めるためには、音声データから得られる教師データyiおよび生徒データxinを用いて計算される、行列Aのコンポーネントとなるxinximと、ベクトルvのコンポーネントとなるxinyiを足し込んでいく必要があるが、その足し込み回数(これは、教師データとなった音声サンプル数に等しい)を、重みとして用いることが可能である。
【0972】
この場合、例えば、PDA101が有しているタップ係数を、wa={wa1,wa2,wa3,・・・}と、そのタップ係数を求めるのに用いられた音声サンプル数を、αと、他のPDAから受信したタップ係数を、wb={wb1,wb2,wb3,・・・}と、そのタップ係数を求めるのに用いられた音声サンプル数を、βと、それぞれするとき、新たなタップ係数は、式(αwa+βwb)/(α+β)で求められることになる。
【0973】
さらに、PDA101において、1以上の他のPDAとの間で、タップ係数をやりとりする場合には、タップ係数の更新は、例えば、自身がタップ係数を有していないクラスのタップ係数を、他のPDAから受信したタップ係数によって補完することにより行うことが可能である。
【0974】
即ち、PDA101において、式(8)の正規方程式を、そのユーザから入力された音声データだけを用いてたてる場合には、入力された音声データのサンプル数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、他のユーザのPDAにおいては、そのクラスについて十分な数の正規方程式が得られていることがあり得る。
【0975】
そこで、PDA101では、他のPDAとの間でタップ係数をやりとりすることで、自身だけでは得られなかったクラスのタップ係数を、他のPDAで得られたものによって補完するようにすることが可能である。
【0976】
以上、本発明をPDAに適用した場合について説明したが、本発明は、PDA以外の情報処理装置等にも適用可能である。
【0977】
なお、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。
【0978】
一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、PDA101やベース基地コンピュータ102にインストールされる。
【0979】
プログラムは、コンピュータに内蔵されている記録媒体としてのHDD215(図23)やHDD333(図26)に予め記録しておくことができる。
【0980】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【0981】
なお、プログラムは、上述したようなリムーバブル記録媒体からPDA101やベース基地コンピュータ102にインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、PDA101やベース基地コンピュータ102に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、PDA101やベース基地コンピュータ102に有線で転送し、PDA101やベース基地コンピュータ102では、そのようにして転送されてくるプログラムを、通信部108で受信してインストールすることができる。
【0982】
ここで、本明細書において、PDA101のCPU202(図23)や、ベース基地コンピュータ102のCPU312(図26)に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。
【0983】
また、プログラムは、1のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータ等に転送されて実行されるものであっても良い。
【0984】
【発明の効果】
以上の如く、本発明の表示装置によれば、より多くの情報を表示可能な小型の端末等を提供することが可能となる。
【図面の簡単な説明】
【図1】本発明を適用したPDA101の第1実施の形態の外観構成例を示す斜視図である。
【図2】PDA101のメインブロック2の第1の外観構成例を示す斜視図である。
【図3】蓋部20を開いた状態のメインブロック2の外観構成例を示す斜視図である。
【図4】蓋部20、並びにサブパネル15および16を開いた状態のPDA101の外観構成例を示す斜視図である。
【図5】PDA101における配線の状態を示す斜視図である。
【図6】ヒンジ部13の構成例を示す斜視図である。
【図7】PDA101のメインブロック2の第2の外観構成例を示す斜視図である。
【図8】メインブロック2の第2の外観構成例を示す上面図と側面図である。
【図9】蓋部20を開いた状態のメインブロック2の外観構成例を示す斜視図である。
【図10】蓋部20、並びにサブパネル15および16を開いた状態のPDA101の外観構成例を示す斜視図である。
【図11】ヒンジ部71を分解した状態を示す斜視図である。
【図12】ヒンジ部71を分解した状態のより詳細を示す斜視図である。
【図13】PDA101のメインブロック2の第3の外観構成例を示す斜視図である。
【図14】メインブロック2における配線の状態を示す断面図である。
【図15】メインブロック2における配線の状態を示す断面図である。
【図16】本発明を適用したPDA101の第2実施の形態の外観構成例を示す斜視図である。
【図17】PDA101の第2実施の形態の構成例を示す平面図である。
【図18】PDA101のメインブロック2の第4の外観構成例を示す斜視図である。
【図19】メインブロック2における配線の状態を説明するための斜視図である。
【図20】PDA101のメインブロック2の第5の外観構成例を示す斜視図である。
【図21】PDA101のメインブロック2の第6の外観構成例を示す斜視図である。
【図22】PDA101を用いたPDAシステムの一実施の形態の構成例を示す図である。
【図23】PDA101のハードウエア構成例を示すブロック図である。
【図24】PDA101の第1の機能的構成例を示すブロック図である。
【図25】ベース基地コンピュータ102の外観構成例を示す斜視図である。
【図26】ベース基地コンピュータ102のハードウエア構成例を示すブロック図である。
【図27】ベース基地コンピュータ102の機能的構成例を示すブロック図である。
【図28】PDA101とベース基地コンピュータ102とが接続された状態を示すブロック図である。
【図29】PDA101が行う通話処理と発呼処理を説明するフローチャートである。
【図30】PDA101が行うメール送受信処理およびメール送信イベント処理を説明するフローチャートである。
【図31】PDA101が行うデータ送受信処理およびデータ送信イベント処理を説明するフローチャートである。
【図32】PDA101が行うデータ再生処理を説明するフローチャートである。
【図33】PDA101が行うストリーミング再生処理を説明するフローチャートである。
【図34】PDA101からベース基地コンピュータ102に対してファイルが送信される場合の通信手順を説明する図である。
【図35】ベース基地コンピュータ102からPDA101に対してファイルが送信される場合の通信手順を説明するフローチャートである。
【図36】LCD41,51,12,21乃至23における画面の表示例を示す図である。
【図37】LCD41,51,12,21乃至23における画面の表示例を示す図である。
【図38】LCD41,51,12,21乃至23における画面の表示例を示す図である。
【図39】LCD41乃至44,51乃至54,12,21乃至23における画面の表示例を示す図である。
【図40】LCD3,12,21乃至23のオン/オフ制御の処理を説明するフローチャートである。
【図41】階層表示制御処理を説明するフローチャートである。
【図42】階層構造に構造化された情報のフォーマットを示す図である。
【図43】PDA101が、他のPDA103との間で通信を行っている状態を示す図である。
【図44】PDA101の第2の機能的構成例を示すブロック図である。
【図45】送信処理部401の第1の構成例を示すブロック図である。
【図46】送信処理部401が行う画像データ送信処理、クラスコード生成処理、およびクラスコード送信処理を説明するフローチャートである。
【図47】受信処理部402の第1の構成例を示すブロック図である。
【図48】適応処理部447の構成例を示すブロック図である。
【図49】受信処理部402が行う画像データ受信処理、リクエスト信号送信処理、および適応処理を説明するフローチャートである。
【図50】送信処理部401の第2の構成例を示すブロック図である。
【図51】学習部414の構成例を示すブロック図である。
【図52】送信処理部401が行う学習処理およびタップ係数送信処理を説明するフローチャートである。
【図53】受信処理部402の第2の構成例を示すブロック図である。
【図54】適応処理部448の構成例を示すブロック図である。
【図55】送信処理部401の第3の構成例を示すブロック図である。
【図56】送信処理部401が行う画像データ送信処理およびコードブック選択処理を説明するフローチャートである。
【図57】コードブックのフォーマットを示す図である。
【図58】更新部506(539)の構成例を示すブロック図である。
【図59】更新部506が行うデータ更新処理およびコードブック更新処理を説明するフローチャートである。
【図60】受信処理部402の第3の構成例を示すブロック図である。
【図61】受信処理部402が行う画像データ受信処理、およびコードブック選択処理を説明するフローチャートである。
【図62】エラー訂正部534の構成例を示すブロック図である。
【図63】部分ベクトル推定部553の処理を説明するための図である。
【図64】エラー訂正処理を説明するフローチャートである。
【図65】PDA101とべーす基地コンピュータ102との間で行われるコードブックの統合を説明するための図である。
【図66】PDA101の第3の機能的構成例を示すブロック図である。
【図67】音質向上部601の構成例を示すブロック図である。
【図68】音質向上処理を説明するフローチャートである。
【図69】学習部602の構成例を示すブロック図である。
【図70】学習部602で行われる学習処理、学習情報送信処理、およびコンポーネントデータ統合処理を説明するフローチャートである。
【符号の説明】
1 時計バンド, 2 メインブロック, 3 LCD, 3A タッチパネル, 4 サイドパネル, 41乃至44 LCD, 4A1乃至4A4 タッチパネル, 5 サイドパネル, 51乃至54 LCD, 5A1乃至5A4 タッチパネル, 6 ジョグダイヤル, 7 イヤフォンマイクジャック, 8 コネクタ部, 81乃至84 コネクタ, 9 マイク, 10 スピーカ, 11 本体, 12 LCD, 12A タッチパネル, 13 ヒンジ部, 14 メインパネル, 15,16 サブパネル, 17,18 ヒンジ部, 20 蓋部, 21 LCD, 21A タッチパネル, 22 LCD, 22A タッチパネル, 23 LCD, 23A タッチパネル, 31,32 軸,33,34 軸受け部, 35乃至40 通し穴, 41乃至43 回路ブロック, 51 係止部, 52 溝, 61 ホールドスイッチ, 62 電源スイッチ, 63 無線通信部, 64 アンテナ, 65 CCDカメラ, 71乃至73 ヒンジ部, 81 ヒンジ金具, 82 軸, 83 ヒンジ金具, 91,92 ヒンジカバー, 101 PDA, 102 ベース基地コンピュータ, 103 PDA, 104 公衆網, 105 インターネット, 111 回路基板, 112,113 フレキ, 114,115 穴, 131 アーム部, 131A,131B ピン部, 132 アーム部, 132A,132B ピン部, 133 アーム部, 133A,133B ピン部, 143 係止部, 144 穴, 145乃至147 フレキ, 201バス, 202 CPU, 203 ROM, 204 RAM, 205(2051乃至2057) タッチパネルドライバ, 206(2061乃至2067) LCDドライバ, 207乃至209 アンプ, 210,211 A/D変換器, 212 D/A変換器, 213 MPEGエンコーダ/デコーダ,214 ATRACエンコーダ/デコーダ, 215 HDD, 216 フラッシュメモリ, 217 DRAM, 218 通信I/F, 219 ドライバ, 220 受光部, 221 発光部, 222 バッテリ, 223 入力I/F, 224 操作部, 225 スイッチ部, 226 バス, 231 RF処理部, 232 チャネル復号部, 233 チャネル符号化部,234 エンコード/デコード部, 235 画像符号化部, 236 画像復号部, 237 音声符号化部, 238 音声復号部, 239 制御部,240 変復調部, 241 メモリ, 242 アラーム部, 243 開閉検出部, 244 表示制御部, 245 表示部, 251乃至255 表示制御部, 256乃至261 表示部, 301 キーボード, 302 表示部, 303 PDA装着部, 304 無線通信部, 305 IEEE1394端子, 306 USB端子, 311 バス, 312 CPU, 313 ROM, 314 RAM, 315 フラッシュメモリ, 316 LCD , 317 LCDドライバ, 318 キーボードI/F, 319 USBインタフェース, 320 IEEE1394インタフェース, 321 PCMCIAAドライバ,322 PCMCIAスロット, 323 ATRACエンコーダ/デコーダ, 324 A/D変換器, 325 D/A変換器, 326,327 アンプ, 328 マイク, 329 スピーカ, 330 マイクジャック, 331 イヤフォンジャック, 332 CD-RWドライブ, 333 HDD, 334フラッシュメモリ, 335 DRAM, 336 通信I/F, 337 コネクタ部, 3371乃至3374 コネクタ, 338 ドライバ, 339受光部, 340 発光部, 341 LANボード, 342 モデム/TA/DSU, 343 バス, 344 充電回路, 345 バス, 351制御部, 352 音声画像符号化復号部, 353 操作部, 354 変復調部, 355 表示制御部, 356 表示部, 357 メモリ, 401,401’ 送信処理部, 402,402’ 受信処理部, 411 符号化部, 412 イベント検出部, 413 ストレージ, 414 学習部,415 タップ係数バッファ, 416 ストレージ, 421 データ圧縮部, 422 送信制御部, 423 クラスタップ抽出部, 424 クラス分類部, 425 クラスコードデータベース, 431 復号部, 432 画質判定部, 433 リクエスト信号送信部, 441 受信制御部, 442 受信バッファ, 443 登録部, 444 ストレージ, 445 選択部, 446 クラスコードデータベース, 447,448 適応処理部, 451 バッファ, 452 予測タップ抽出部, 453 積和演算部, 454 クラスコード読み出し部, 455 係数メモリ, 456 登録部, 461 教師データメモリ, 462 データ圧縮部, 463 生徒データメモリ, 464 予測タップ抽出部, 465 クラスタップ抽出部, 466クラス分類部, 467 足し込み部, 468 タップ係数決定部, 501 ベクトル化部, 502 ベクトル量子化部, 503 ローカルデコード部, 504 差分演算部, 505 エントロピー符号化部, 506 更新部, 507 コードブックデータベース, 508 選択部, 509 コードブック記憶部, 521 データ更新部, 522 コードブック更新部, 531 エントロピー復号部, 532 ベクトル逆量子化部, 533 加算部, 534 エラー訂正部, 535 スカラ化部, 536 コードブックデータベース, 537 選択部, 538 コードブック記憶部, 539 更新部, 540 エラー検出部, 550 書き込み部, 551 メモリ,552 読み出し部, 553 部分ベクトル推定部, 554 画像ベクトル推定部, 600 音声復号部, 601 音質向上部, 602 学習部,611 バッファ, 612 予測タップ抽出部, 613 クラスタップ抽出部, 614 クラス分類部, 615 係数メモリ, 616 積和演算部, 621 教師データメモリ, 622 生徒データ生成部, 622D 音声復号部, 622E 音声符号化部, 623 生徒データメモリ, 624予測タップ抽出部, 625 クラスタップ抽出部, 626 クラス分類部, 627 足し込み部, 628 タップ係数決定部, 629 タップ係数メモリ, 630 コンポーネントデータベース, 631 統合部, 632学習情報送信部, 633 イベント検出部, 634 リクエスト信号送信部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a display device, and more particularly, to a display device capable of displaying more information in a small information processing device such as a PDA (Personal Digital Assistance).
[0002]
[Prior art]
In recent years, PDAs have been manufactured and sold by many manufacturers.
[0003]
[Problems to be solved by the invention]
By the way, since the PDA is a so-called palm-sized information processing apparatus, a small LCD (Liquid Crystal Display) or the like for displaying information is adopted. Therefore, it has been difficult to display a lot of information with a PDA.
[0004]
On the other hand, if a large LCD is used, a large amount of information can be displayed, but in this case, the PDA itself is also large and inconvenient to carry.
[0005]
The present invention has been made in view of such a situation, and is intended to provide a small PDA or the like capable of displaying more information.
[0006]
[Means for Solving the Problems]
The display device of the present invention is provided in the main body and is housed when the lid portion moves to the first position that covers the upper surface of the main body, and when the lid portion moves to the second position that opens the upper surface of the main body. The first display means exposed, the second display means provided on one of the main surfaces of the lid portion exposed in the same direction as the upper surface of the main body when moved to the first position, and moved to the second position Third display means provided on the other of the main surfaces of the lid portion exposed when Lid And a fourth display means provided on one of the main surfaces when the first display means and the third display means are moved together with the first display means and the third display means to a position where they can be visually recognized. A panel exposed in the same direction as the upper surface of the main body, a band to which the main body is attached, a band for wearing on the arm, and a position provided on the band and visible with the first, third, and fourth display means The 5th display means arranged and the 1st, 3rd, 4th, and 5th display means are arranged in the position where it can be visually recognized in the state where the band is worn on the arm, and is substantially rectangular as a whole. And a control means for displaying information in a certain display area.
[0007]
In the display device of the present invention, the first display means provided in the main body is stored when the lid portion moves to the first position covering the upper surface of the main body, and the lid portion opens the upper surface of the main body. Exposed when moved to
[0008]
DETAILED DESCRIPTION OF THE INVENTION
1 to 4 show an example of the external configuration of an embodiment of a PDA to which the present invention is applied.
[0009]
As shown in FIG. 1, the PDA is of a wrist watch type, and is configured by providing a
[0010]
The
[0011]
The
[0012]
Further, the
[0013]
The
[0014]
The PDA has various functions as will be described later, such as a telephone function, and the
[0015]
Note that the switching of the function mode is performed according to a user operation, or the PDA is performed based on a predetermined event.
[0016]
As shown in FIG. 2, a
[0017]
The
[0018]
The
[0019]
The
[0020]
The
[0021]
The
[0022]
A
[0023]
A hold switch 61 and a power switch 62 are provided on the left side surface of the main body 11. In FIG. 1 and the like, the hold switch 61 and the power switch 62 are not shown in order to avoid making the figure complicated.
[0024]
The hold switch 61 is operated to enable / disable the operation of buttons displayed on the
[0025]
The power switch 62 is operated when turning on / off the power of the PDA.
[0026]
A hinge portion 13 is provided at the upper and lower portions of the right end of the main body 11, and the
[0027]
As shown in FIG. 3, an
[0028]
The
[0029]
A hinge portion 17 is provided at the upper left end and the right end of the main panel 14, and a hinge portion 18 is provided at the lower left end and the right end thereof, respectively. The sub panel 15 is attached so as to be rotatable about the hinge portion 17 as a rotation center, and the sub panel 16 is attached so as to be rotatable about the hinge portion 18 as a rotation center.
[0030]
If the vertical direction is the vertical direction and the horizontal direction is the horizontal direction, the length of the sub-panels 15 and 16 in the horizontal direction is slightly shorter than the length of the main panel 14 in the horizontal direction. Further, the vertical length of the sub-panels 15 and 16 is about ½ or less of the vertical length of the main panel 14.
[0031]
The sub-panel 15 rotates about the hinge portion 17 as the center of rotation, and the sub-panel 16 rotates about the hinge portion 18 as the center of rotation to a position that is almost horizontal with the upper surface or the back surface of the main panel 14. As a result, the sub-panels 15 and 16 are opened as shown in FIG.
[0032]
As shown in FIG. 4, the
[0033]
The sub panel 15 has an LCD on the upper surface when the sub panel 15 is opened. 22 The sub-panel 16 also has an LCD on the upper surface when it is in an open state. 23 Is provided. Therefore, the
[0034]
Note that the
[0035]
As described above, in the
[0036]
On the other hand, when the
[0037]
By the way, in the
[0038]
Therefore, with reference to FIG. 5, wiring from the main body 11 to the main panel 14 and the sub panels 15 and 16 will be described.
[0039]
FIG. 5 shows an enlarged view of a portion surrounded by a dotted line in FIG. In FIG. 5, the inside of the
[0040]
The hinge portion 13 includes a shaft 31 and a bearing
[0041]
The hinge portion 17 is also composed of a
[0042]
A part of the inside of the bearing
[0043]
Further, a through
[0044]
Inside the main panel 14, a flexible cable 147 is connected to a
[0045]
Similarly to the bearing
[0046]
The
[0047]
Inside the sub panel 15, a
[0048]
As described above, the
[0049]
The main body 11 and the sub panel 16 are also electrically connected in the same manner as the main body 11 and the sub panel 15.
[0050]
Next, in the hinge portion 13, when the shaft 31 is simply inserted into the hole of the bearing
[0051]
Therefore, the hinge portion 13 is configured as shown in FIG. 6, thereby preventing the shaft 31 from easily coming out of the hole of the bearing
[0052]
That is, at the end of the shaft 31 (the portion inserted into the hole of the bearing portion 33), as shown in the perspective view of FIG. A locking
[0053]
Further, the engaging
[0054]
The shaft 31 is provided with a locking portion similar to the locking
[0055]
On the other hand, in a part of the inside of the hole of the bearing
[0056]
When the shaft 31 is inserted into the hole of the bearing
[0057]
Here, the
[0058]
Accordingly, when a rotational torque is applied to the shaft 31 due to the influence of gravity or the like when the
[0059]
Thereby, when the
[0060]
Note that the
[0061]
Next, FIGS. 7 to 10 are external views showing other configuration examples of the
[0062]
Here, FIG. 7 shows a perspective view of the
[0063]
As shown in FIG. 8B, a
[0064]
The
[0065]
For example, the
[0066]
The
[0067]
The
[0068]
The
[0069]
However, the
[0070]
That is, in the
[0071]
FIG. 11 shows an exploded view of the hinge portion 71.
[0072]
As shown in FIG. 11, the hinge portion 71 includes a hinge fitting 81 fixed to the main body 11, a hinge fitting 83 fixed to the
[0073]
As shown in FIG. 12, the
[0074]
As described above, the shaft diameter of the
[0075]
In this state, the
[0076]
Therefore, when the
[0077]
In addition, the
[0078]
Next, the wiring from the main body 11 to the main panel 14 and the sub panels 15 and 16 when the hinge portions 71 to 73 are employed in the
[0079]
Although not shown in FIGS. 7 to 10 in order to avoid complication of the drawing, the
[0080]
Further, as shown in FIG. 13, the
[0081]
Although not shown, the
[0082]
14 shows a cross-sectional view of the
[0083]
Inside the main body 11, a circuit board 111 on which various electric circuits (electronic circuits) are formed is provided. The circuit board 111 includes an LCD 12 (including a
[0084]
Further, a flexible board 113 is connected to the circuit board 111. The flexible board 113 passes through a
[0085]
The hinge cover 91 that covers the hinge portion 71 is provided in a shape that protects the flex 113 that is exposed to the outside between the
[0086]
FIG. 15 is a cross-sectional view of the
[0087]
The flex 113 (a part) reaching the inside of the main panel 14 has once gone out through the hole 122 provided on the side surface to which the
[0088]
The hinge cover 92 covering the
[0089]
Note that the flex 113 reaches the inside of the sub panel 15 in the same manner as in the sub panel 16, so that the LCD 22 (including the
[0090]
Next, in the above embodiment, one
[0091]
FIG. 16 and FIG. 17 show an example of an external configuration of a PDA in which more LCDs are provided on the
[0092]
In the embodiment of FIGS. 16 and 17, four
[0093]
Note that, as shown in FIG. 17A, fasteners 1A and 1B are provided at two ends of the
[0094]
FIG. 17A shows a state where the
[0095]
In this case, in addition to the
[0096]
Therefore, in this case, the nine
[0097]
LCD4 2 , 4 Three , 4 Four , 5 2 , 5 Three , 5 Four LCD4 mentioned above 1 And 5 1 Like the
[0098]
FIG. 17B shows a state in which the
[0099]
In this case, in the
[0100]
Therefore, in this case, the
[0101]
Next, FIG. 18 to FIG. 21 show still another configuration example of the
[0102]
In the embodiment shown in FIG. 18, the main panel 14 is located on the main body 11 and the sub-panel 15 is placed on the main panel 14 as shown in FIG. And the
[0103]
That is, for example, in the embodiment of FIGS. 2 and 7, the sub-panels 15 and 16 are located on the main body 11 with the
[0104]
Further, in the embodiment shown in FIG. 18, the main body 11 and the lid part 20 (the main panel 14 thereof) comprise a so-called link comprising an arm part 131 and
[0105]
Further, the main panel 14 and the sub panel 15 in the
[0106]
In FIG. 18, a link structure similar to the link structure including the arm part 131 and the pin parts 131 </ b> A and 131 </ b> B is provided on the upper side surface of the
[0107]
[0108]
[0109]
[0110]
Therefore, when the
[0111]
Further, when the sub panel 15 is moved so as to slide in the upward direction (depth direction), the arm portion 132 rotates about the
[0112]
Further, when the sub-panel 16 is moved so as to slide downward (frontward), the arm part 133 rotates about the
[0113]
Thus, the
[0114]
In the
[0115]
Next, with reference to FIG. 19, the wiring when the link structure as shown in FIG. 18 is adopted will be described.
[0116]
That is, FIG. 19 shows an enlarged view of a portion of the main panel 14 in FIG. 18 into which the
[0117]
The main panel 14 is provided with a hole 144 into which the
[0118]
On the other hand, the
[0119]
Therefore, when the
[0120]
In addition, the inside of the arm 131 and the inside of the
[0121]
The other link structure shown in FIG. 18 is also configured in the same manner as described with reference to FIG. 19, so that wiring from the main body 11 to the main panel 14 and further to the sub panels 15 and 16 is possible. It has become.
[0122]
Next, in the embodiment of FIG. 20, the positional relationship between the main panel 11 and the main panel 14 and the sub panels 15 and 16 constituting the
[0123]
However, in the embodiment of FIG. 20, the coupling structure between the main body 11 and the main panel 14, the coupling structure between the main panel 14 and the sub panel 15, and the coupling structure between the main panel 14 and the sub panel 16 are not link structures. Similar to the embodiment of FIGS. 2 and 7, a hinge structure is employed.
[0124]
Therefore, when the
[0125]
When the sub panels 15 and 16 are further opened, the
[0126]
Next, in the embodiment of FIG. 21, the
[0127]
In the
[0128]
As described above, in the embodiment of FIG. 21, the sub panels 15 and 16 are approximately the same size as the main panel 14, so the
[0129]
Therefore, in the embodiment of FIG. 21, it is possible to perform more display or larger display on the
[0130]
In the above-described embodiment, the sub-panels 15 and 16 are provided on the
[0131]
In the above-described case, it is necessary to provide the two sub-panels 15 and 16 in the
[0132]
Further, the sub-panel can be provided so as to open on the right side or the like instead of opening on the upper side or the lower side. In addition, the
[0133]
Next, FIG. 22 shows a configuration example of an embodiment of a PDA system using the PDA described in FIGS.
[0134]
The
[0135]
The
[0136]
Further, the
[0137]
Here, as data exchanged between the
[0138]
The
[0139]
The basic configuration of the
[0140]
Next, FIG. 23 shows a hardware configuration example of the
[0141]
A CPU (Central Processing Unit) 202 is connected to the
[0142]
The
[0143]
[0144]
[0145]
The amplifier 207 amplifies the image signal output from the
[0146]
The A /
[0147]
The MPEG encoder /
[0148]
The MPEG encoder /
[0149]
The ATRAC encoder /
[0150]
The ATRAC encoder /
[0151]
An HDD (Hard Disk Drive) 215 incorporates an HD (Hard Disk) (not shown), reads data (including a program) recorded on the HD under the control of the
[0152]
The
[0153]
A DRAM (Dynamic RAM) 217 temporarily stores data (for example, image data and audio data to be encoded, encoded image data and audio data, etc.) supplied via the
[0154]
A communication I / F (interface) 218 is connected to the
[0155]
That is, the communication I /
[0156]
Further, the communication I /
[0157]
The communication I /
[0158]
The
[0159]
The
[0160]
The input I /
[0161]
The
[0162]
The
[0163]
Next, FIG. 24 shows a functional configuration example of the
[0164]
An RF (Radio Frequency)
[0165]
The
[0166]
Note that the
[0167]
The encoding /
[0168]
The
[0169]
The encode /
[0170]
The
[0171]
The
[0172]
The
[0173]
For example, the
[0174]
The opening /
[0175]
The
[0176]
The
[0177]
The
[0178]
The
[0179]
The display control unit 252 controls the display unit 258 to display an image in accordance with a control signal supplied from the
[0180]
The display control unit 253 performs control for causing the display unit 259 to display an image according to a control signal supplied from the
[0181]
The display control unit 254 controls the display unit 260 to display an image according to a control signal supplied from the
[0182]
The
[0183]
Next, FIG. 25 is a perspective view showing an external configuration example of the
[0184]
In the embodiment of FIG. 25, the
[0185]
Further, a display unit 302 composed of, for example, an LCD or the like is provided on the left side of the upper surface of the
[0186]
Furthermore, a PDA mounting unit 303 and a
[0187]
The PDA mounting portion 303 is a concave slot in which the
[0188]
The
[0189]
In addition, in the embodiment of FIG. 25, the
[0190]
Next, FIG. 26 shows a hardware configuration example of the
[0191]
The
[0192]
The
[0193]
The
[0194]
The keyboard I /
[0195]
The
[0196]
A PCMCIA (Personal Computer Memory Card International Association)
[0197]
The ATRAC encoder /
[0198]
The ATRAC encoder /
[0199]
The A / D converter 324 A / D converts the analog audio signal supplied from the amplifier 326 and supplies the analog audio signal to the ATRAC encoder /
[0200]
The amplifier 326 amplifies the audio signal input from the
[0201]
The
[0202]
A CD-RW (Compact Disc ReWritable) drive 332 drives a CD-RW (not shown), writes data supplied from the
[0203]
The
[0204]
The
[0205]
The communication I /
[0206]
That is, the communication I /
[0207]
Further, the communication I /
[0208]
In addition, the communication I /
[0209]
As described above, the connector portion 337 is provided on the bottom surface of the recess (slot) as the PDA mounting portion 303 shown in FIG. 25, and includes one or more connectors included in the connector portion 8 (FIG. 7 and the like) of the
[0210]
The
[0211]
A LAN cable is connected to a LAN (Local Area Network)
[0212]
The antenna 343 transmits data from the communication I /
[0213]
For example, when the
[0214]
Next, FIG. 27 shows a functional configuration example of the
[0215]
The
[0216]
That is, the
[0217]
The audio image encoding /
[0218]
Note that the audio image encoding /
[0219]
The
[0220]
The
[0221]
The
[0222]
The
[0223]
Here, in FIG. 1 , 337 2 , 337 Three , 337 Four Is a connector constituting the connector portion 337 of the PDA mounting portion 303, and the connector 337 1 And 337 2 Are connected to the + terminal and the − terminal of the charging
[0224]
On the other hand, the + terminal and the − terminal of the
[0225]
When the
[0226]
Next, a connection between the
[0227]
The
[0228]
And
[0229]
As described above, in the
[0230]
As a result, the
[0231]
Therefore, the
[0232]
The
[0233]
That is, when the
[0234]
When the
[0235]
Next, the
[0236]
First, the call process will be described with reference to the flowchart of FIG.
[0237]
In the call processing, in step S1, the communication I / F 218 (FIG. 23) stands by using the communication mode as the control channel mode.
[0238]
Here, the communication mode includes a call channel mode in which voice can be transmitted / received to / from a base station (not shown) using a voice call channel, and data is transmitted using a data channel for data transmission / reception. Data channel mode that can transmit / receive data, pilot channel and other control data are exchanged only via the control channel for control, and control channel mode that does not transmit / receive by other channels (so-called standby state) In step S1, the call mode is set to the control channel mode.
[0239]
After that, for example, control data notifying that an incoming call has been received is transmitted via the control channel, or an operation signal indicating that an operation for requesting an outgoing call has been performed. When some event such as that supplied from the
[0240]
That is, the communication I /
[0241]
If it is determined in step S <b> 2 that there is an incoming call, the communication I /
[0242]
In step S3, the communication I /
[0243]
If it is determined in step S4 that the
[0244]
Thereby, the sound input to the
[0245]
Thereafter, the process proceeds to step S6, where the
[0246]
If it is determined in step S6 that the call is to be terminated, the communication I /
[0247]
On the other hand, if it is determined in step S2 that there is no incoming call, the process proceeds to step S7, and the communication I /
[0248]
Here, the occurrence of the call event will be described later with reference to the flowchart of FIG.
[0249]
If it is determined in step S7 that there is no call event, the process returns to step S1 and the same processing is repeated thereafter.
[0250]
If it is determined in step S7 that a call event has occurred, the process proceeds to step S8, and the communication I /
[0251]
Thereafter, when the communication partner corresponding to the telephone number enters an off-hook state, the communication I /
[0252]
Thereafter, the process proceeds to step S10, and the
[0253]
If it is determined in step S10 that the call is to be terminated, the communication I /
[0254]
Next, the calling process will be described with reference to the flowchart in FIG.
[0255]
HDD 215 (or flash memory 216) of PDA 101 (FIG. 23) stores a telephone number list in which a telephone number registered in advance by the user and the name of the other party corresponding to the telephone number are associated. In the telephone mode, for example, when the user operates the
[0256]
That is, in the calling process, first, in step S21, the
[0257]
In step S22, the
[0258]
Here, the
[0259]
Thereafter, when the user selects a certain telephone number from the telephone number list displayed on the
[0260]
Here, on the
[0261]
Therefore, when the user rotates the
[0262]
When a large number of telephone numbers are registered in the telephone number list, it is difficult to display all the telephone numbers on the
[0263]
The telephone number can be selected by operating the
[0264]
When the
[0265]
As described with reference to the flowchart of FIG. 29A, the communication I /
[0266]
Here, a call is made to the telephone number selected by the user from the telephone number list, but the telephone number to be called can also be directly input by the user.
[0267]
That is, on the
[0268]
Next, the
[0269]
First, the mail transmission / reception process will be described with reference to the flowchart of FIG.
[0270]
In the mail transmission / reception process, in step S31, the communication I / F 218 (FIG. 23) stands by with the communication mode as the control channel mode.
[0271]
Thereafter, when any event occurs, the process proceeds to step S <b> 32, and the communication I /
[0272]
Here, the communication I /
[0273]
If it is determined in step S32 that the generated event is not a mail transmission / reception event, the process returns to step S31.
[0274]
If it is determined in step S32 that the generated event is a mail transmission / reception event, the process proceeds to step S33, and the communication I /
[0275]
Thereby, for example, when the mail transmission / reception event is one indicating that the control data notifying that the electronic mail has been transmitted is transmitted via the control channel (mail reception event), the communication I / O F218 requests an e-mail from the base station (the mail server), and receives e-mail data transmitted from the base station via the
[0276]
Further, for example, when the mail transmission / reception event is one indicating that an operation signal indicating that an operation for requesting transmission of an e-mail has been performed is supplied from the
[0277]
Thereafter, the process proceeds to step S35, in which the
[0278]
If it is determined in step S35 that transmission / reception of e-mail data has not been completed, the process returns to step S34, and transmission / reception of e-mail data that has not been transmitted / received is continued.
[0279]
If it is determined in step S35 that the transmission / reception of e-mail data has been completed, the process returns to step S31, and the same processing is repeated thereafter.
[0280]
Next, the mail transmission event process will be described with reference to the flowchart of FIG.
[0281]
In the HDD 215 (or flash memory 216) of the PDA 101 (FIG. 23), in addition to the telephone number list described above, an email address registered in advance by the user and the name of the other party corresponding to the email address are associated with each other. In the e-mail mode, for example, when the user operates the
[0282]
That is, in the mail transmission event process, first, in step S41, the
[0283]
In step S42, the
[0284]
Thereafter, when the user selects a certain e-mail address from the e-mail address list displayed on the
[0285]
Here, the display of the mail address list on the
[0286]
The mail address list and the telephone number list can be integrated into one list, that is, a list in which the user's name is associated with the electronic mail address and the telephone number.
[0287]
When the e-mail address as the e-mail destination is recognized in step S43, the
[0288]
Here, the text that becomes the body of the e-mail is input by, for example, the user performing a rotation operation and a pressing operation of the jog dial 6 (FIG. 7 or the like) as the
[0289]
Further, for example, as will be described later, the user can input text as the body of the e-mail by operating a button or the like displayed on the
[0290]
For e-mail, it is possible to specify an e-mail address that is a so-called carbon copy destination, a file attached to the e-mail, etc., and when such specification is made In step S44, display reflecting the designation is performed on the
[0291]
In addition, for e-mail, it is possible to edit text that has already been input in the same manner as text input, and when the
[0292]
Thereafter, the process proceeds to step S45, where the
[0293]
If it is determined in step S45 that the user has operated the
[0294]
If it is determined in step S46 that transmission of an e-mail has not been instructed, the process returns to step S41 after waiting for the user to operate the
[0295]
In this case, the e-mail is stored in the
[0296]
On the other hand, if it is determined in step S46 that the transmission of an e-mail has been instructed, that is, if an operation signal requesting e-mail transmission is supplied from the
[0297]
As described with reference to the flowchart of FIG. 30A, the communication I /
[0298]
Here, if it is determined in step S45 that the input of the text that is the body of the e-mail has been completed, the
[0299]
Next, the
[0300]
First, data transmission / reception processing will be described with reference to the flowchart of FIG.
[0301]
In the data transmission / reception process, in step S51, the communication I / F 218 (FIG. 23) stands by with the communication mode as the control channel mode.
[0302]
Thereafter, when any event occurs, the process proceeds to step S52, and the communication I /
[0303]
Here, the communication I /
[0304]
If it is determined in step S52 that the event that has occurred is not a data transmission / reception event, the process returns to step S51.
[0305]
If it is determined in step S52 that the generated event is a data transmission / reception event, the process proceeds to step S53, and the communication I /
[0306]
Thereby, for example, when the data transmission / reception event indicates that the control data notifying that the data has been transmitted is transmitted via the control channel (data reception event), the communication I /
[0307]
Further, for example, when the mail transmission / reception event is an operation signal indicating that an operation for requesting data transmission has been performed (data transmission event) indicating that the operation signal is supplied from the
[0308]
Here, the data transmission / reception between the
[0309]
In step S54, when data is received, the process proceeds to steps S55 and S56 sequentially. When data is transmitted, steps S55 and S56 are skipped and the process proceeds to step S57.
[0310]
In step S55, the
[0311]
In step S56, the
[0312]
That is, in the present embodiment, data is stored separately for each type, for example, in separate directories or folders.
[0313]
In the present embodiment, data is stored as a file.
[0314]
In addition, here, the received data is stored in the
[0315]
Furthermore, when the received data is, for example, unencoded image data or audio data, the image data or audio data can be encoded and stored in the
[0316]
In step S57, the
[0317]
If it is determined in step S57 that data transmission / reception has not ended, the process returns to step S54, and data transmission / reception that has not yet been performed is continued.
[0318]
If it is determined in step S57 that the data transmission / reception has ended, the process returns to step S51, and the same processing is repeated thereafter.
[0319]
Next, data transmission event processing will be described with reference to the flowchart in FIG.
[0320]
In the data mode, for example, when the user operates the
[0321]
That is, in the data transmission event process, the same processes as in steps S41 to S43 in FIG. 30B are performed in steps S61 to S63, whereby the
[0322]
Here, the e-mail address is adopted as the information indicating the data transmission destination, but the transmission destination is, for example, an IP (Internet Protocol) address, a MAC (Media Access Control) address, or a user ID. When it can be specified by (Identification) or the like, such information can be adopted as information indicating a data transmission destination.
[0323]
Thereafter, the process proceeds to step S64, where the
[0324]
That is, the
[0325]
After the data list is displayed on the
[0326]
That is, for the data list, the user selects the jog dial 6 (FIG. 7) as the
[0327]
If it is determined in step S65 that no data has been selected, the process returns to step S64, and the same processing is repeated thereafter.
[0328]
If it is determined in step S65 that data has been selected, the process proceeds to step S66, and the
[0329]
If it is determined in step S66 that transmission of selection data is not instructed, the process returns to step S61 after waiting for the user to operate the
[0330]
If it is determined in step S66 that transmission of selection data is instructed, that is, if an operation signal for requesting transmission of selection data is supplied from the
[0331]
As described with reference to the flowchart of FIG. 31A, the communication I /
[0332]
The selection data is transmitted with the e-mail address recognized in step S63 of FIG. 31B as the destination.
[0333]
Next, the
[0334]
The
[0335]
In the data reproduction process of FIG. 32, the data recorded in the
[0336]
That is, in the data reproduction mode, in step S71, the
[0337]
If it is determined in step S71 that the user has operated the
[0338]
That is, the
[0339]
After the data list is displayed on the
[0340]
If it is determined in step S73 that no data is selected, the process returns to step S72, and thereafter the same processing is repeated.
[0341]
If it is determined in step S73 that the data has been selected, the
[0342]
In step S74, the
[0343]
That is, the image data stored in the
[0344]
Here, decoding of the image data is performed by an MPEG encoder /
[0345]
When the image data is decoded in step S75, the process proceeds to step S76, and the
[0346]
Thereafter, the process proceeds to step S77, where the
[0347]
If it is determined in step S77 that the reproduction of all the image data determined to have been selected in step S73 is completed, the process returns to step S71, and the same processing is repeated thereafter.
[0348]
On the other hand, in step S78, the
[0349]
That is, the audio data stored in the
[0350]
Here, decoding of the audio data is performed by an ATRAC encoder /
[0351]
When the audio data is decoded in step S79, the process proceeds to step S80, and the
[0352]
Thereafter, the process proceeds to step S81, where the
[0353]
If it is determined in step S81 that the reproduction of all the audio data determined to have been selected in step S73 is completed, the process returns to step S71, and the same processing is repeated thereafter.
[0354]
Here, the image data or the sound data stored in the
[0355]
If the data determined to be selected in step S73 includes both image data and audio data, the processes in steps S74 to S77 and steps S78 to S81 are performed in parallel.
[0356]
Next, the
[0357]
In the streaming playback process, in step S91, the communication I / F 218 (FIG. 23) stands by using the communication mode as the control channel mode.
[0358]
Thereafter, when control data indicating that some data is to be transmitted is transmitted through the control channel, the control data is received by the communication I /
[0359]
If it is determined in step S92 that streaming data is not transmitted, the process returns to step S91, and the same processing is repeated thereafter.
[0360]
If it is determined in step S92 that streaming data is transmitted, the process proceeds to step S93, and the communication I /
[0361]
The streaming data received by the communication I /
[0362]
When the storage of streaming data is started in the
[0363]
In step S96, the
[0364]
If it is determined in step S96 that the streaming data stored in the
[0365]
That is, the streaming data is encoded by, for example, MPEG or another encoding method, and in step S95, the encoded image data is decoded.
[0366]
Here, decoding of the image data is performed by an MPEG encoder /
[0367]
When the image data is decoded in step S97, the process proceeds to step S98, and the
[0368]
Thereafter, the process proceeds to step S99, where the
[0369]
If it is determined in step S99 that all playback of the streaming data stored in the
[0370]
On the other hand, if it is determined in step S96 that the streaming data is audio data, the process advances to step S100, and the
[0371]
That is, the streaming data is encoded by, for example, ATRAC or another encoding method, and in step S100, the encoded audio data is decoded.
[0372]
Here, decoding of the audio data is performed by an ATRAC encoder /
[0373]
When the audio data is decoded in step S100, the process proceeds to step S101, and the
[0374]
Thereafter, the process proceeds to step S102, where the
[0375]
If it is determined in step S102 that all the streaming data stored in the
[0376]
If the streaming data includes both image data and audio data, the processes in steps S97 to S99 and steps S100 to S102 are performed in parallel.
[0377]
Next, the
[0378]
A procedure for exchanging files between the
[0379]
Note that file exchange between the PDA 101 (FIG. 23) and the base base computer 102 (FIG. 26) is communication by radio waves via the
[0380]
First, a procedure when a file is transmitted from the
[0381]
The CPU 312 (corresponding to the
[0382]
34, for example, it is assumed that the
[0383]
After selecting a file to be received from the
[0384]
A reception request signal from the
[0385]
When receiving the reception request signal, the
[0386]
When the authentication is successful in the
[0387]
If the authentication fails, the subsequent processing is not performed, and accordingly, the file transmission from the
[0388]
The reception permission signal transmitted from the
[0389]
Thereafter, the
[0390]
In the
[0390]
That is, a file identification signal indicating the file type is added to the file, and the file type is discriminated by referring to the file identification signal.
[0392]
Then, the
[0393]
That is, in this embodiment, the
[0394]
Next, a procedure when a file is transmitted from the
[0395]
The CPU 312 (corresponding to the
[0396]
After selecting a file to be transmitted to the
[0397]
The transmission request signal from the
[0398]
When receiving the transmission request signal, the
[0399]
When the authentication is successful in the
[0400]
If the authentication fails, the subsequent processing is not performed as in the case of FIG. 34. Therefore, the file transmission from the
[0401]
The transmission permission signal transmitted from the
[0402]
Thereafter, the
[0403]
In the
[0404]
That is, as described with reference to FIG. 34, a file identification signal indicating the file type is added to the file, and the file type is determined by referring to the file identification signal.
[0405]
Then, the
[0406]
In the
[0407]
Next, a method for displaying information on the
[0408]
In the
[0409]
Therefore, the
[0410]
That is, FIG. 36 shows six
[0411]
In the embodiment of FIG. 36, six
[0412]
Specifically, in FIG. 1 Shows the entire off-hook button for setting the off-hook state, and the
[0413]
Of the dial buttons, a button for inputting a number can also input hiragana and alphabets used when describing the body of an e-mail.
[0414]
LCD4 1 , 5 1 , 12, 21, 22, 23, as described above, the operation of the button is performed on the
[0415]
Accordingly, an operation on a button that is entirely displayed on a certain LCD is detected by a touch panel integrated with the LCD, but an operation on a button displayed on a plurality of LCDs is Any of the plurality of touch panels configured integrally with each of the plurality of LCDs is detected.
[0416]
In other words, in FIG. 36, for example, the button for inputting the number “1” is entirely displayed on the
[0417]
Accordingly, the user touches the button for inputting the number “2” displayed on the
[0418]
As described above, the six
[0419]
Here, displaying information on one screen on a plurality of LCDs as described above is hereinafter referred to as multi-screen display as appropriate.
[0420]
Next, six LCD4 1 , 5 1 , 12, 21 to 23, as described above, the information is displayed on the entire screen as one screen, and six
[0421]
That is, FIG. 37 shows six
[0422]
In the embodiment of FIG. 37A, six
[0423]
In the state shown in FIG. 37A, when the user touches, for example, the
[0424]
That is, in the embodiment of FIG. 1 , 5 1 , 12, 21 to 23,
[0425]
In the state shown in FIG. 37 (B), the user displays, for example, the
[0426]
That is, in the embodiment of FIG. 1 Is displayed with a button (hereinafter referred to as “start” button as appropriate) in which characters of “start” are represented. LCD5 1 , 12, 21 to 23 display a plurality of images related to the movie, such as the director of the
[0427]
In the state shown in FIG. 37 (C), the user displays, for example, the
[0428]
Also, in the state shown in FIG. 37C, when the user touches the LCD on which, for example, an image of a movie director is displayed, the
[0429]
As described above, the six
[0430]
That is, in the case of multi-screen display, as shown in FIG. 36, a button may be displayed across two LCDs. In this case, any of the portions where the buttons of the two LCDs are displayed. Even if is touched, the button can be operated. However, when one button is displayed over two LCDs in this way, one button corresponds to two LCDs, so the correspondence between buttons and LCDs. Is not one-to-one, the user may be confused by the operation.
[0431]
On the other hand, as shown in FIG. 1 , 5 1 , 12, 21 to 23 as one screen, and one information is displayed for each screen, the correspondence between one information and one LCD is one-to-one. Information displayed on the LCD can be easily distinguished from information displayed on other LCDs, and thus the user can easily and accurately select desired information.
[0432]
Further, when one information is displayed on one LCD, the information can be displayed larger than when a plurality of information is displayed on one LCD. Can be done.
[0433]
When one LCD screen is divided into a plurality of areas and one piece of information is displayed in each area, it is possible to display the same display as that shown in FIG. However, in order to display information in the same size as in the case of FIG. 37 by dividing one LCD into a plurality of areas, it is necessary to adopt a large LCD as the single LCD, and the entire apparatus becomes large. . Furthermore, when one LCD is divided into a plurality of areas and a button is displayed in each area, when the user touches the boundary between the two areas, it is displayed in any of the two areas. It becomes difficult to determine whether the button has been operated.
[0434]
On the other hand, when one piece of information is displayed for each of a plurality of rotatable LCDs as in the embodiment of FIG. 37, the size of the device as described above is increased and the user's operation is determined. Can be prevented from becoming difficult.
[0435]
Here, as described above, displaying one piece of information on each of a plurality of LCDs is hereinafter referred to as directory display as appropriate.
[0436]
6 LCD4 1 , 5 1 , 12, 21 to 23, the user can select whether to display information in multi-screen display or directory display, and to switch between multi-screen display and directory display. Is also possible.
[0437]
That is, FIG. 38 shows a display example in which the directory display shown in FIG.
[0438]
38A shows the directory display of FIG. 37A, FIG. 38B shows the directory display of FIG. 37B, and FIG. 38C shows the directory display of FIG. Each display is a multi-screen display.
[0439]
Next, for example, as shown in the embodiment of FIG. 16 and FIG. 1 , 4 2 , 4 Three , 4 Four And LCD5 1 , 5 2 , 5 Three , 5 Four It is also possible to carry out even when provided.
[0440]
FIG. 39 shows 12
[0441]
That is, FIG. 39 shows a display example when inputting the text of the e-mail, etc. In the embodiment of FIG. 39A, the character string “Kino” already input is displayed on the
[0442]
For example, when the user wants to input a character on the line, the
[0443]
That is, the display on the
[0444]
Specifically, LCD4 Four In the LCD4 Three In the LCD4, “maru” representing a semi-turbid sound is displayed. 2 In the LCD4, "-" representing a long sound is displayed on the LCD4. 1 The character “A” in line A, the character “I” in line A on the
[0445]
For example, when the user wants to input the character “U”, the user touches the
[0446]
In FIG. 39C, only the display on the
[0447]
However, on the
[0448]
When confirming the input of the character “U” whose input is not yet determined, the user touches the
[0449]
As described above, the
[0450]
Next, for example, the PDA described with reference to FIGS. 1 , 5 1 , 12, 21 to 23, when the power switch 62 (FIG. 7 etc.) is turned on, the seven
[0451]
That is, seven
[0452]
Therefore, in PDA 101 (FIG. 23), the state of
[0453]
[0454]
Next, the on / off control processing of the
[0455]
First, in step S111, the
[0456]
If it is determined in step S111 that the power switch 62 is off, the process proceeds to step S112, where the
[0457]
Here, the
[0458]
On the other hand, if it is determined in step S111 that the power switch 62 is in the on state, the process proceeds to step S113, and the
[0459]
In step S114, the
[0460]
If it is determined in step S114 that the
[0461]
In step S117, the
[0462]
If it is determined in step S117 that the sub-panel 15 is closed, that is, the side panel 15 is closed, the
[0463]
In step S120, the
[0464]
If it is determined in step S120 that the sub-panel 16 is open, that is, if the sub-panel 16 is open and the LCD 23 (FIG. 10) provided in the sub-panel 16 is exposed, the process proceeds to step S122, and the
[0465]
In step S123, the
[0466]
If it is determined in step S123 that both the subpanels 15 and 16 are open, that is, the subpanels 15 and 16 are open, and the
[0467]
Next, in the
[0468]
Accordingly, in the
[0469]
Therefore, a hierarchical display control process for controlling the display of information structured in such a hierarchical structure will be described with reference to the flowchart of FIG.
[0470]
For example, when a user requests display of information by operating the
[0471]
In this example, information is searched from the
[0472]
When the
[0473]
On the other hand, if it is determined in step S132 that the information retrieved from the
[0474]
In step S134, the
[0475]
LCD4 1 , 5 1 , 12, 21 to 23 is determined by the
[0476]
In step S134, the
[0477]
In step S134, the
[0478]
If it is determined in step S135 that there is a lower hierarchy linked to the selected information hierarchy, the process advances to step S136, and the
[0479]
Here, by repeating the processes of steps S134 to S136, the
[0480]
On the other hand, if it is determined in step S135 that there is no lower hierarchy linked to the hierarchy of the information selected by the user, the process proceeds to step S137, and the
[0481]
Next, FIG. 42 shows a format of information structured in a hierarchical structure.
[0482]
That is, FIG. 42 (A) shows the information of the highest hierarchy, FIG. 42 (B) shows the information of the next lower hierarchy (second hierarchy), and FIG. The information of the next lower hierarchy (third hierarchy) is shown.
[0483]
Information of each hierarchy is composed of hierarchy information, link information, and display information.
[0484]
The hierarchy information represents the number of information layers. In the embodiment of FIG. 42, the hierarchical information is such that the hierarchical information of the highest hierarchy is 0, and the value increases by 1 as the hierarchy becomes lower.
[0485]
The link information represents link destination information linked to the information.
[0486]
Display information is LCD4 1 , 5 1 , 12, 21 to 23 are image data to be displayed.
[0487]
Therefore, for example, when the image data of the menu screen is arranged in the display information of the top-level
[0488]
Further, when the user selects by touching the
[0489]
Then, in the state of FIG. 37 (B), the user displays, for example, the
[0490]
In the
[0491]
As described above, the information can be easily searched by configuring the information in a hierarchical structure.
[0492]
Note that image data, text data, and audio data can be employed as information configured in a hierarchical structure. When audio data is adopted as information having a hierarchical structure, the audio data itself is displayed on the
[0493]
Next, FIG. 43 shows how the
[0494]
Thus, the
[0495]
That is, FIG. 44 shows a functional configuration example of the
[0496]
In the embodiment of FIG. 44, data is transmitted from the
[0497]
The
[0498]
The
[0499]
Here, data is assumed to be transmitted from the
[0500]
Accordingly, since the
[0501]
FIG. 45 illustrates a first configuration example of the
[0502]
In the embodiment of FIG. 45, the
[0503]
Here, the image data supplied to the encoding unit 411 is, for example, one captured by the
[0504]
Further, the request signal supplied to the
[0505]
The encoding unit 411 performs encoding or the like on the HD image data supplied thereto, and obtains and outputs transmission data to be transmitted to the
[0506]
When the
[0507]
Here, the encoding unit 411 includes a
[0508]
The HD image data supplied to the encoding unit 411 is supplied to the
[0509]
Here, if communication between the
[0510]
In addition to the SD image data supplied from the
[0511]
The class
[0512]
That is, the class
[0513]
The
[0514]
Here, as a method of classifying, for example, ADRC (Adaptive Dynamic Range Coding) or the like can be employed.
[0515]
In the method using ADRC, pixel values of pixels constituting the class tap are subjected to K-bit ADRC processing, and the class of the pixel of interest is determined according to the ADRC code obtained as a result.
[0516]
In the K-bit ADRC, for example, the maximum value MAX and the minimum value MIN of the pixel values constituting the class tap are detected, and DR = MAX-MIN is set as the local dynamic range of the set, and the dynamic range DR Based on this, the pixels making up the class tap are requantized to K bits. That is, the minimum value MIN is subtracted from the pixel value of each pixel constituting the class tap, and the subtracted value is DR / 2. K Divide by (quantize). A bit string obtained by arranging the pixel values of the K-bit pixels constituting the class tap in a predetermined order is output as an ADRC code. Therefore, when a class tap is subjected to, for example, 1-bit ADRC processing, the pixel value of each pixel constituting the class tap is an average of the maximum value MAX and the minimum value MIN after the minimum value MIN is subtracted. By dividing by the value, the pixel value of each pixel is made 1 bit (binarized). Then, a bit string in which the 1-bit pixel values are arranged in a predetermined order is output as an ADRC code.
[0517]
In class classification, for example, a level distribution pattern (pixel value distribution) of pixels constituting a class tap can be output as a class code as it is, but in this case, the class tap has N pixels. And K bits are assigned to each pixel, the number of class codes obtained by class classification is (2 N ) K As a result, the number is exponentially proportional to the number K of pixels.
[0518]
Therefore, it is preferable to use a method for compressing the class tap information amount by the above-described ADRC processing or vector quantization for class classification.
[0519]
The
[0520]
Here, in the
[0521]
In the
[0522]
46, the image data transmission process, class code generation process, and class code transmission process performed by the
[0523]
First, the image data transmission processing performed by the
[0524]
The image data transmission process is started, for example, when the operation unit 224 (FIG. 23) is operated by the user so as to request transmission of image data.
[0525]
That is, the HD image data to be transmitted is supplied to the encoding unit 411, for example, in units of frames. In the image data transmission process, first, in step S201, the encoding unit 411 The
[0526]
Note that one frame here can be considered as one screen of a moving image or one screen of a still image.
[0527]
In step S202, the
[0528]
In step S202, when there is a margin between the transmission of the SD image data and the transmission of the next SD image data, the SD image data of the same frame is repeatedly transmitted. Accordingly, in step S202, SD image data of the same frame is transmitted one or more times.
[0529]
Thereafter, the process proceeds to step S203, in which the
[0530]
If it is determined in step S203 that there is no HD image data of the next frame, the image data transmission process ends.
[0531]
In the above-described case, in step S202, SD image data of the same frame may be continuously transmitted a plurality of times. However, transmission (retransmission) of the same SD image data can be performed later. It is. That is, the retransmission of the SD image data can be performed by transmitting the series of SD image data again after the transmission of the series of SD image data is completed.
[0532]
Next, class code generation processing performed by the
[0533]
The class code generation process is started, for example, when the image data transmission process shown in FIG.
[0534]
That is, the same HD image data supplied to the
[0535]
When the
[0536]
In step S213, the
[0537]
In step S214, the class
[0538]
If it is determined in step S214 that there is no HD image data of the next frame, the class code generation process ends.
[0539]
Next, the class code transmission processing performed by the
[0540]
In the class code transmission process, first, in step S221, the
[0541]
That is, here, for example, the fact that a request signal has been transmitted from the
[0542]
If it is determined in step S221 that a predetermined event has not occurred, the process returns to step S221 and waits until a predetermined event occurs.
[0543]
If it is determined in step S221 that a predetermined event has occurred, the process proceeds to step S222, and the
[0544]
If it is determined in step S222 that the class code image is not stored, the process returns to step S221, and the same processing is repeated thereafter.
[0545]
If it is determined in step S222 that a class code image is stored, the process proceeds to step S223, and the
[0546]
In step S223, the
[0547]
That is, a new class code image obtained in the
[0548]
Therefore, in the class code transmission process, when a predetermined event occurs, the class code image is transmitted until there are no more class code images stored in the
[0549]
Next, FIG. 47 illustrates a first configuration example of the
[0550]
In the embodiment of FIG. 47, the
[0551]
The
[0552]
That is, in the
[0553]
In the
[0554]
The image
[0555]
The request
[0556]
Here, as shown in FIG. 47, the
[0557]
The
[0558]
The
[0559]
The
[0560]
The
[0561]
The
[0562]
Here, in the adaptive processing, the pixels of the HD image in which the spatial resolution of the SD image is improved by linear combination of the pixels constituting the SD image (hereinafter, appropriately referred to as SD pixels) and a predetermined tap coefficient. By obtaining the predicted value, an image in which the resolution of the SD image is increased can be obtained.
[0563]
Specifically, for example, a certain HD image is used as teacher data, and an SD image with degraded resolution of the HD image is used as student data, and pixels constituting the HD image (hereinafter, referred to as HD pixels as appropriate) The predicted value E [y] of the pixel value y of the pixel value x is the pixel value x of several SD pixels (pixels constituting an SD image). 1 , X 2 , ... and a predetermined tap coefficient w 1 , W 2 Consider a linear primary combination model defined by the linear combination of. In this case, the predicted value E [y] can be expressed by the following equation.
[0564]
[0565]
To generalize equation (1), tap coefficient w j A matrix W consisting of ij And a predicted value E [y j ] A matrix Y ′ consisting of a set of
[Expression 1]
Then, the following observation equation holds.
[0566]
Here, the component x of the matrix X ij Is a set of i-th student data (i-th teacher data y i The j-th student data in the set of student data used for the prediction of j Represents a tap coefficient by which a product with the jth student data in the student data set is calculated. Y i Represents the i-th teacher data, and thus E [y i ] Represents the predicted value of the i-th teacher data. Note that y on the left side of Equation (1) is the component y of the matrix Y. i The suffix i is omitted, and x on the right side of Equation (1) 1 , X 2 ,... Are also components x of the matrix X ij The suffix i is omitted.
[0567]
Consider that the least square method is applied to the observation equation of Equation (2) to obtain a predicted value E [y] close to the pixel value y of the HD pixel. In this case, a matrix Y composed of a set of true pixel values y of HD pixels serving as teacher data and a matrix E composed of a set of residuals e of predicted values E [y] with respect to the pixel values y of HD pixels,
[Expression 2]
From the equation (2), the following residual equation is established.
[0568]
[0569]
In this case, the tap coefficient w for obtaining the predicted value E [y] close to the pixel value y of the HD pixel j Is the square error
[Equation 3]
Can be obtained by minimizing.
[0570]
Therefore, the above square error is converted to the tap coefficient w. j When the value differentiated by 0 is 0, that is, the tap coefficient w satisfying the following equation: j However, this is the optimum value for obtaining the predicted value E [y] close to the pixel value y of the HD pixel.
[0571]
[Expression 4]
... (4)
[0572]
Therefore, first, the equation (3) is changed to the tap coefficient w. j Is differentiated by the following equation.
[0573]
[Equation 5]
... (5)
[0574]
From equations (4) and (5), equation (6) is obtained.
[0575]
[Formula 6]
... (6)
[0576]
Furthermore, the student data x in the residual equation of equation (3) ij , Tap coefficient w j , Teacher data y i And residual e i Considering this relationship, the following normal equation can be obtained from the equation (6).
[0577]
[Expression 7]
... (7)
[0578]
In addition, the normal equation shown in Expression (7) has a matrix (covariance matrix) A and a vector v,
[Equation 8]
And the vector W is defined as shown in
Can be expressed as
[0579]
Each normal equation in equation (7) is the student data x ij And teacher data y i By preparing a certain number of sets, a tap coefficient w to be obtained j Therefore, by solving equation (8) with respect to vector W (however, to solve equation (8), matrix A in equation (8) is regular). Necessary), the optimal tap coefficient w j Can be requested. In solving the equation (8), for example, a sweeping method (Gauss-Jordan elimination method) or the like can be used.
[0580]
As described above, using the student data and the teacher data, the tap coefficient w that minimizes a statistical error (here, square error, for example) is obtained from the student data and the tap coefficient. j And learning the tap coefficient w j The adaptive process is to obtain the predicted value E [y] close to the teacher data y by using the equation (1).
[0581]
The adaptive processing is not included in the SD image, but is different from simple interpolation in that a component included in the HD image is reproduced. That is, in the adaptive processing, as long as only the expression (1) is seen, it looks the same as simple interpolation using a so-called interpolation filter, but the tap coefficient w corresponding to the tap coefficient of the interpolation filter uses the teacher data y. In other words, since it is obtained by learning, the components included in the HD image can be reproduced. From this, it can be said that the adaptive process is a process having an image creation (resolution creation) effect.
[0582]
Although the adaptive processing based on linear primary prediction (Equation (1)) has been described here, it is possible to use second-order or higher-order prediction calculations in the adaptive processing.
[0583]
FIG. 48 shows a configuration example of the
[0584]
For example, the SD image data stored in the
[0585]
The prediction
[0586]
That is, the prediction
[0587]
The product-
[0588]
The class
[0589]
Here, frame identification information for identifying a frame of an HD image corresponding to the class code image is added to the class code image generated by the
[0590]
The coefficient memory 455 uses the learning HD image data as teacher data, and the learning SD image data as student data, and a class in which HD pixels of the HD image data can be classified (hereinafter referred to as HD class as appropriate). For each, a tap coefficient for each HD class obtained by building and solving the normal equation shown in Expression (8) is stored. That is, the coefficient memory 455 stores the tap coefficient of the HD class at the address corresponding to each HD class. The coefficient memory 455 reads the tap coefficient of the class from the address corresponding to the class of the pixel of interest supplied from the class
[0591]
A method for performing learning for obtaining the tap coefficient for each class will be described later.
[0592]
Next, in the
[0593]
Therefore, the image data reception process, request signal transmission process, and adaptation process performed by the
[0594]
First, image data reception processing will be described with reference to the flowchart in FIG.
[0595]
Transmission data transmitted from the
[0596]
When the received data is a class code image, the
[0597]
In addition, when the reception data is SD image data, the
[0598]
When the storage of the SD image data in the
[0599]
Here, in the
[0600]
As described above with reference to the flowchart of FIG. 46A, the
[0601]
If it is determined in step S231 that the SD image data of the same frame as the target frame is not stored in the
[0602]
On the other hand, when it is determined in step S231 that SD image data of the same frame as the target frame is stored in the
[0603]
In step S234, the
[0604]
That is, the
[0605]
Here, in the weighted addition in step S234, the weight used for the weighted addition can be determined based on, for example, the weighted addition count of the SD image data read from the
[0606]
That is, when SD image data of the same frame as the target frame is stored in the
[0607]
Therefore, when the SD image data of the same frame as the target frame stored in the
[0608]
Note that the weighting method is not limited to the method described above.
[0609]
When the
[0610]
In step S236, the
[0611]
On the other hand, if it is determined in step S236 that the SD image data is not stored in the
[0612]
As described above, in the image data reception process, SD image data of the same frame is weighted and added, so that it is possible to obtain SD image data with improved image quality.
[0613]
That is, when SD image data is transmitted to the
[0614]
Next, request signal transmission processing will be described with reference to the flowchart in FIG.
[0615]
For example, the request signal transmission process is started at an arbitrary timing. First, in step S241, the image
[0616]
Then, the process proceeds to step S242, the image quality of the SD image data of each frame is evaluated based on the autocorrelation calculated in step S241, and the process proceeds to step S243.
[0617]
In step S243, the image
[0618]
If it is determined in step S243 that the SD image data of each frame stored in the
[0619]
This request signal is transmitted to the
[0620]
Here, in step S242, for example, whether or not the autocorrelation of the SD image data is equal to or greater than (or greater than) a predetermined threshold, or whether or not the autocorrelation of the SD image data is equal to or greater than the predetermined threshold. Whether or not the autocorrelation changes substantially before and after the weighted addition of the SD image data in the image data reception process of FIG. 49A can be adopted as an evaluation standard for the image quality of the SD image.
[0621]
In step S243, when the above evaluation criteria are satisfied, that is, when the autocorrelation of the SD image data is greater than or equal to a predetermined threshold, or when the autocorrelation of the SD image data is greater than or equal to the predetermined threshold, When the autocorrelation equal to or higher than the threshold value hardly changes before and after the weighted addition of the SD image data in the image data receiving process of FIG. 49A, the SD image data of each frame stored in the
[0622]
Although the autocorrelation of the SD image data is used here as the evaluation value for evaluating the image quality of the SD image data, other evaluation values can be used.
[0623]
That is, as the evaluation value for evaluating the image quality of the SD image data, for example, the SD image data stored in the
[0624]
Note that when the cross-correlation as described above is used as the evaluation value for evaluating the image quality of the SD image data, for example, as in the case of using the auto-correlation of the SD image data, the cross-correlation of the SD image data is predetermined. Whether or not the threshold value is equal to or greater than the threshold value can be adopted as an evaluation standard for the image quality of the SD image data.
[0625]
Next, the adaptation process will be described with reference to the flowchart in FIG.
[0626]
The adaptation process is started when a class code image is stored in the
[0627]
That is, when the class code image is stored in the
[0628]
Then, the prediction
[0629]
Thereafter, the process proceeds to step S252, and the class
[0630]
The class
[0631]
When the coefficient memory 455 receives the class code as the address, the process proceeds to step S253, reads the prediction tap of the class corresponding to the class code, supplies it to the product-
[0632]
In step S254, the product-
[0633]
In step S255, the class
[0634]
If it is determined in step S255 that no class code is stored in the
[0635]
As described above, in the
[0636]
Further, when the image quality of the SD image data is improved to some extent, a request signal is transmitted to the
[0637]
Accordingly, in the
[0638]
Therefore, for the user, the image quality of the image is suddenly improved.
[0639]
In this case, the image quality of the SD image data (S / N (Signal / Noise), etc.) is improved by weighted addition, and the SD image data is converted into an HD image after the image quality of the SD image data is improved to some extent. Although conversion to data is performed, conversion to HD image data can be performed without improving the image quality of the SD image data.
[0640]
However, the tap coefficient stored in the coefficient memory 455 used in the adaptive processing unit 447 (FIG. 48) that performs the adaptive process as the conversion process from the SD image to the HD image generally uses the learning HD image data as the teacher data. In addition, since the SD image data obtained by simply degrading the resolution of the HD image data is used as student data, the normal equation of equation (8) is obtained, that is, SD as student data. Since the image data is not the one with missing data or noise superimposed on it, it is suitable for SD image data with such data missing or with greatly deteriorated image quality with noise superimposed. When processing is performed, it may be difficult to obtain HD image data with sufficiently improved image quality.
[0641]
For this reason, as described above, the adaptive processing is desirably performed using SD image data with improved image quality, that is, here accumulated SD image data received in the past while being weighted and added.
[0642]
In the above case, the image
[0643]
That is, when the SD image data stored in the
[0644]
Also in this case, since the class code image is transmitted from the transmission processing unit 401 (FIG. 45) to the
[0645]
In addition, the request
[0646]
In addition, in the
[0647]
In addition, transmission of a class code from the
[0648]
Next, FIG. 50 illustrates a second configuration example of the
[0649]
The same HD image data as that supplied to the encoding unit 411 is supplied to the
[0650]
The
[0651]
The
[0652]
The
[0653]
Next, FIG. 51 illustrates a configuration example of the
[0654]
The teacher data memory 461 stores, for example, HD image data newly stored in the
[0655]
The
[0656]
The
[0657]
The prediction
[0658]
The class
[0659]
Based on the class tap for the target pixel supplied from the class
[0660]
The adding
[0661]
That is, the adding
[0662]
Further, the adding
[0663]
On the other hand, the
[0664]
In the case of performing learning using new learning image data, the adding
[0665]
Therefore, in the
[0666]
For example, when learning is performed for the first time in the
[0667]
In this case, there may be a class in which the number of normal equations necessary for obtaining the tap coefficient cannot be obtained due to an insufficient number of samples of learning image data.
[0668]
Therefore, the
[0669]
The adding
[0670]
Further, the adding
[0671]
The tap
[0672]
In the
[0673]
In the
[0674]
Therefore, the learning process and the tap coefficient transmission process performed by the
[0675]
First, the learning process performed by the
[0676]
The learning process is started in the learning unit 414 (FIG. 51) at a predetermined timing.
[0677]
That is, the
[0678]
When the learning process is started, first, HD image data newly stored in the storage 413 (FIG. 50) between the previous learning and the current learning is read as new learning image data. Is supplied to the teacher data memory 461 and stored as teacher data.
[0679]
In step S261, the adding
[0680]
In step S262, the
[0681]
In step S263, the prediction tap extraction unit 461 selects one of the HD pixels as the teacher data stored in the
[0682]
Further, in step S263, the class
[0683]
The prediction tap generated by the prediction
[0684]
Thereafter, the process proceeds to step S264, where the
[0685]
In step S265, the adding
[0686]
In step S266, the prediction
[0687]
If it is determined in step S266 that there is no teacher data that is not a pixel of interest in the teacher data memory 461, the adding
[0688]
In step S267, the
[0689]
In step S268, the tap
[0690]
Next, the tap coefficient transmission processing performed by the
[0691]
In the tap coefficient transmission process, first, in step S271, the
[0692]
If it is determined in step S271 that a predetermined event has occurred, the process proceeds to step S272, and the
[0693]
If it is determined in step S272 that the tap coefficient for each HD class is not stored, the process returns to step S271, and the same processing is repeated thereafter.
[0694]
If it is determined in step S272 that the tap coefficient for each HD class is stored, the process proceeds to step S273, and the
[0695]
When the transmission of the tap coefficients for all HD classes stored in the
[0696]
Next, FIG. 53 shows a second configuration example of the
[0697]
In the figure, portions corresponding to those in FIG. 47 are denoted by the same reference numerals, and description thereof will be omitted below as appropriate. That is, the
[0698]
However, in the embodiment of FIG. 53, the tap coefficient for each HD class may be transmitted in addition to the SD image data and the class code representing the HD class from the
[0699]
The
[0700]
That is, FIG. 54 shows a configuration example of the
[0701]
The
[0702]
Therefore, in the embodiment of FIG. 48, adaptive processing is performed using a fixed tap coefficient for each HD class. However, in the embodiment of FIG. 54, the
[0703]
In the
[0704]
The
[0705]
Next, FIG. 55 illustrates a third configuration example of the
[0706]
In the embodiment of FIG. 55, the
[0707]
That is, the
[0708]
The
[0709]
That is, the
[0710]
The
[0711]
The
[0712]
The
[0713]
Since the difference vector is entropy-encoded in the
[0714]
The update unit 506 updates the code book stored in the code book database 507 based on the code supplied from the
[0715]
The code book database 507 stores one or more code books used for vector quantization of image vectors.
[0716]
The code book database 507 stores, as an initial value of the code book, for example, a code book obtained by an LBG (Linde Buzo Gray) algorithm using a large amount of image data for learning prepared in advance. The update unit 506 updates the initial value code book as appropriate, as will be described later.
[0717]
The code book database 507 stores one or more code books. For example, the code book database 507 may store one or more initial value code books at first, Initially, only one initial value code book may be stored, and then the initial value code book may be copied as necessary.
[0718]
Selection information is supplied to the
[0719]
Here, as the selection information, for example, user input, communication partner information, the same image data supplied to the
[0720]
When a user input is given as selection information, the
[0721]
In addition, when information on a communication partner is given as selection information, the
[0722]
Furthermore, when image data is given as selection information, the
[0723]
Note that the
[0724]
In the
[0725]
First, image data transmission processing and codebook selection processing performed by the
[0726]
First, the image data transmission process will be described with reference to the flowchart of FIG.
[0727]
In the image data transmission process, image data to be transmitted is supplied to the
[0728]
In step S301, the
[0729]
Note that the processing in steps S302 to S305 described below is performed for each image vector obtained for one frame of image data.
[0730]
When the
[0731]
In step S303, the
[0732]
In step S304, the
[0733]
In step S305, the
[0734]
Thereafter, the process proceeds to step S306, where the
[0735]
If it is determined in step S306 that there is no image data for the next frame, the process ends.
[0736]
Next, the code book selection process will be described with reference to the flowchart in FIG.
[0737]
Note that the code book selection process is started immediately before the image data transmission process (FIG. 56A) is started, for example.
[0738]
In the code book selection process, first, in step S311, the
[0739]
Here, as the default codebook, for example, the above-described initial value codebook can be adopted.
[0740]
Thereafter, the process proceeds to step S312, and the
[0741]
If it is determined in step S312 that selection information has been supplied, the process proceeds to step S313, and the
[0741]
In step S314, the
[0743]
Therefore, in this case, if new selection information is supplied to the
[0744]
On the other hand, if it is determined in step S314 that the transmission of the image data has ended, the process ends.
[0745]
In the embodiment of FIG. 56B, as described above, new selection information is supplied to the
[0746]
Next, update processing for updating the storage contents of the code book database 507 performed in the
[0747]
FIG. 57 shows an example of a code book stored in the code book database 507 of FIG.
[0748]
The code book has a code book number and a code book version.
[0749]
The code book number is a unique number that identifies the code book. Therefore, according to the code book number, the code book is uniquely identified. The code book version is information indicating the version of the code book, and is represented by, for example, the date and time when the code book is updated, the number of times of update, and the like.
[0750]
In the embodiment of FIG. 57, the code book is a code n and a code vector V in the same way as a general code book. n (= (A n , B n ,...)) Are associated with each other. In the embodiment of FIG. 57, the number of codes (code vectors) is n + 1, and integer values from 0 to N are used as codes.
[0751]
Further, in the code book of the embodiment of FIG. 57, each code #n includes a code vector V n And frequency A until the last update n , Addition value of difference vector Σ △ n (= (A ' n , B ' n , ...)), and frequency B from the last update to the present n Are also associated.
[0752]
Here, frequency A until the last update A n Represents the frequency with which code #n is output as a vector quantization result in vector quantization until the previous codebook update.
[0753]
Also, the addition value Σ △ of the difference vector n Is the difference vector Δ when the vector quantization result of code #n is obtained in the vector quantization from immediately after the previous codebook update to the present. n Represents the sum of
[0754]
Furthermore, the frequency B from the last update to the present n Represents the frequency with which code #n is output as a vector quantization result in the vector quantization from immediately after the previous codebook update to the present.
[0755]
Frequency A until the last update A n , Addition value of difference vector Σ △ n , And frequency B from the last update to the present n Is for vector quantization performed using the codebook, and the frequency A until the previous update of vector quantization performed using another codebook. n , Addition value of difference vector Σ △ n , And frequency B from the last update to the present n Is registered in the other codebook.
[0756]
For the default codebook, the frequency A until the last update n , Addition value of difference vector Σ △ n , And frequency B from the last update to the present n Are all set to 0, for example.
[0757]
Next, FIG. 58 shows a configuration example of the update unit 506 of FIG.
[0758]
As shown in FIG. 58, the update unit 506 includes a
[0759]
The
[0760]
Then, the
[0761]
The code
[0762]
The updating process performed by the updating unit 506 configured as described above is performed by adding the difference vector ΣΔ stored in the codebook database 507. n , And frequency B from the last update to the present n Data update processing for updating the code book, and the code vector of the code book, the frequency A up to the last update time registered in the code book n , Addition value of difference vector Σ △ n , And frequency B from the last update to the present n Codebook update processing to be updated based on the above.
[0763]
Therefore, the data update process and the code book update process will be described with reference to the flowchart of FIG.
[0764]
First, the data update process will be described with reference to the flowchart in FIG.
[0765]
In the data update process, first, in step S321, the
[0766]
If it is determined in step S321 that the code book number has been received from the
[0767]
If it is determined in step S321 that the code book number has not been received from the
[0768]
In step S323, the
[0769]
If it is determined in step S323 that the code and the difference vector are not supplied, the process returns to step S321, and the same processing is repeated thereafter.
[0770]
If it is determined in step S323 that the code and the difference vector have been supplied, the process proceeds to step S324, and the
[0771]
That is, the
[0772]
Then, the process returns to step S321, and the same processing is repeated thereafter.
[0773]
Next, the code book update process will be described with reference to the flowchart in FIG.
[0774]
The code book update process is started at an arbitrary timing periodically or irregularly.
[0775]
In the code book update process, the target code book that is currently the target of update is excluded from the target of the data update process of FIG. 59A (so-called exclusive control) in order to maintain the consistency of the contents. To be).
[0776]
In the code book update process, first, in step S331, the code
[0777]
In step S334, the code
[0778]
That is, the code
[0779]
V n = V n + B n × Σ △ n / (A n + B n )
[0780]
Then, the code
[0781]
That is, the code
[0782]
In step S336, the code
[0783]
If it is determined in step S336 that the variable n is equal to N, that is, if all entries of the target codebook are updated, the process proceeds to step S338, and the variable i is stored in the codebook database 507. It is determined whether it is equal to I representing the number of books.
[0784]
If it is determined in step S338 that the variable i is not equal to I, the process proceeds to step S339, and the code
[0785]
On the other hand, if it is determined in step S338 that the variable i is equal to I, that is, if the update of all the codebooks stored in the codebook database 507 is completed, the process ends.
[0786]
As described above, in the code book database 507, only one initial value code book can be stored at first, and then the initial value code book can be copied as necessary. However, in this case, if the code book that is the copy source is updated, a copy of the code book of the initial value cannot be generated thereafter. Therefore, the code book serving as the copy source is excluded from the data update process and code book update process shown in FIG.
[0787]
As described above, the code book stored in the code book database 507 includes a code as a result of vector quantization performed using the code book and a difference vector corresponding to the code (the image from which the code is obtained). Therefore, it is possible to improve the image quality.
[0788]
That is, as described above, the code book used for vector quantization in the
[0789]
As a result, the codebook of interest is updated so that the frequency at which the difference vector becomes 0 is increased according to the characteristics (for example, frequency characteristics) of the image that is often transmitted to a specific communication partner. Thus, the data amount of the transmission data is reduced. As described above, the image quality can be improved by reducing the data amount of the transmission data.
[0790]
In addition, as described above, the code book used for vector quantization in the
[0791]
As a result, the codebook of interest is updated so that the frequency at which the difference vector becomes 0 is increased for an image of a specific pattern, and the data amount of transmission data is reduced. As described above, the image quality can be improved by reducing the data amount of the transmission data.
[0792]
Next, FIG. 60 illustrates a third configuration example of the
[0793]
The transmission data output from the
[0794]
The
[0795]
The vector
[0796]
The adding
[0797]
When the
[0798]
The
[0799]
The code book database 536 stores one or more code books used for vector inverse quantization of a code obtained by vector quantization of an image vector. Note that the code book stored in the code book database 536 has the same format as that shown in FIG. 57, for example.
[0800]
Selection information is supplied to the
[0801]
Here, as the selection information, for example, user input, communication partner information, image data decoded from the code output from the
[0802]
When a user input is given as selection information, the
[0803]
Further, when information on the communication partner is given as selection information, the
[0804]
Furthermore, when image data is given as selection information, the
[0805]
Note that the
[0806]
The update unit 539 is configured in the same manner as the update unit 539 in FIG. 58, and updates the code book stored in the code book database 536 based on the code and the difference vector supplied from the
[0807]
Similarly to the code book database 507 in FIG. 55, the code book database 536 uses, for example, a large amount of learning image data prepared in advance as a code book initial value, and a code obtained by the LBG algorithm or the like. A book is stored, and the update unit 539 sequentially updates the codebook of the initial value.
[0808]
Further, as a storage method for storing one or more codebooks in the codebook database 536, as in the case of the codebook database 507 in FIG. 55, first, one or more initial value codebooks are stored. Alternatively, only one initial value codebook may be stored at first, and then the initial value codebook may be copied as necessary.
[0809]
The error detection unit 540 detects the presence / absence of an error such as missing data that has occurred in the received data. If an error is detected, the error detection unit 540 outputs an error message to that effect to the
[0810]
For example, the
[0811]
In the
[0812]
However, the update process (data update process and code book update process) is performed in the update unit 539 using the code and the difference vector supplied from the
[0813]
The image data reception process and codebook selection process performed by the
[0814]
First, the image data reception process will be described with reference to the flowchart in FIG.
[0815]
The image data reception process is started when the received data is supplied to the
[0816]
That is, in the image data reception process, first, in step S351, the
[0817]
Here, the update unit 539 updates the code book in the code book database 536 as described with reference to FIG. 59 based on the code and the difference vector supplied from the
[0818]
Therefore, in the
[0819]
As a result, the update unit 506 of the transmission processing unit 401 (FIG. 55) and the update unit 539 of the reception processing unit 402 (FIG. 60) each time a communication is performed between the users A and B, Will be updated in the same way. That is, between the users A and B (same between other users), basically, the same codebook is used to perform vector quantization and vector inverse quantization, respectively, The code book used in the vector quantization and the code book used in the vector inverse quantization are updated in the same way.
[0820]
As described with reference to FIG. 59, the code book is updated so as to reduce the data amount or improve the image quality. Therefore, the
[0821]
In the
[0822]
In step S353, the
[0823]
In step S <b> 354, the
[0824]
In step S355, the
[0825]
In step S356, the
[0826]
If it is determined in step S356 that the received data of the next frame has not been transmitted, the process ends.
[0827]
Next, the code book selection process will be described with reference to the flowchart in FIG.
[0828]
Note that the code book selection process is started immediately before the image data reception process (FIG. 61A) is started, for example.
[0829]
In the code book selection process, first, in step S361, the
[0830]
Here, as the default codebook, for example, the above-described initial value codebook can be adopted.
[0831]
Thereafter, the process proceeds to step S362, and the
[0832]
If it is determined in step S362 that the selection information has been supplied, the process proceeds to step S363, and the
[0833]
In step S364, the
[0834]
Therefore, in this case, when new selection information is supplied to the
[0835]
On the other hand, if it is determined in step S364 that the reception of the image data has been completed, the process ends.
[0836]
In the embodiment of FIG. 61B, as described above, new selection information is supplied to the
[0837]
Next, FIG. 62 shows a configuration example of the
[0838]
The image vector output from the adding
[0839]
Here, for example, the
[0840]
Further, as described above, the image vector is a vector having, for example, a pixel value of 9 pixels in a 3 × 3 pixel block as a component, but the
[0841]
For example, when an image vector for one frame is stored in the
[0841]
Further, an error message is supplied from the error detection unit 540 (FIG. 60) to the reading unit 552, and the reading unit 552 controls the partial
[0843]
That is, the error message output from the error detection unit 540 includes information indicating the position of the block as an image vector in which an error has occurred, and the reading unit 552 has an image vector in which the error has occurred (hereinafter referred to as an image vector). The partial
[0844]
The partial
[0845]
That is, in this case, as shown in FIG. 63 (A), the image vector is a vector whose component is a pixel value of 9 pixels constituting a block of 3 × 3 pixels. The fact that the obtained code or difference vector is missing means that the 3 × 3 pixels of the block as the image vector cannot be decoded as shown in FIG.
[0846]
Therefore, in the partial
[0847]
That is, in FIG. 63 (C), out of the 3 × 3 pixels of the error block, the
[0848]
As described above, the partial
[0849]
Returning to FIG. 62, the partial vector output from the partial
[0850]
The image
[0851]
Next, the error correction processing performed by the
[0852]
In the error correction process, first, in step S371, the
[0853]
If it is determined in step S371 that no image vector is supplied, the process proceeds to step S373, and the reading unit 552 determines whether an error message is supplied from the error detection unit 540.
[0854]
If it is determined in step S373 that no error message is supplied, step S374 is skipped and the process proceeds to step S375.
[0855]
If it is determined in step S373 that an error message has been supplied, the process proceeds to step S374, and the reading unit 552 determines the position of the block (image vector) in which the error has occurred (hereinafter, as appropriate) based on the error message. The error position is recognized and temporarily stored in a built-in memory (not shown).
[0856]
In step S375, the reading unit 552 determines whether an image vector (including an error vector) for one frame is stored in the
[0857]
If it is determined in step S375 that the image vector for one frame is not stored in the
[0858]
If it is determined in step S375 that the image vector for one frame has been stored in the
[0859]
If it is determined in step S376 that the error position is stored, the process proceeds to step S377, and the reading unit 552 selects one of the one or more error positions stored in the built-in memory as the target error position. And the partial
[0860]
In step S378, the image
[0861]
That is, the image
[0862]
Specifically, the image
[0863]
Thereafter, the reading unit 552 erases the target error position from the built-in memory, and returns to step S376. Hereinafter, steps S376 to S379 are performed until the error position is not stored in the built-in memory. Repeat the process.
[0864]
On the other hand, when it is determined in step S376 that the error position is not stored, that is, when the image vector for one frame is stored in the
[0865]
Note that communication for performing transmission / reception of data by performing encoding / decoding using the code book as described in FIGS. 55 to 64 is not only performed between the
[0866]
When a certain user A owns the
[0867]
As described above, when data is exchanged between the
[0868]
However, the data exchanged between the
[0869]
Therefore, as shown in FIG. 65, the code book in the
[0870]
That is, as shown in FIG. 65, the
[0871]
As an integration method of two code books, for example, a code vector of one code book is adopted as a code vector of an integrated code book, or an average value (average vector) of code vectors of two code books ) As the code vector of the integrated codebook.
[0872]
In the embodiment shown in FIGS. 45 to 65, the case where the image quality is improved has been described. However, the embodiment shown in FIGS. 45 to 65 is also applicable to the case where the sound quality of sound is improved. Applicable.
[0873]
Next, in the
[0874]
FIG. 66 shows a functional configuration example of such a
[0875]
In FIG. 66, portions corresponding to the hardware configuration of FIG. 23 are denoted by the same reference numerals, and description thereof will be omitted below as appropriate.
[0876]
For example, the
[0877]
The sound
[0878]
The
[0879]
Further, an operation signal is supplied to the
[0880]
Furthermore, the
[0881]
Next, FIG. 67 shows a configuration example of the sound
[0882]
In the embodiment of FIG. 67, the sound
[0883]
That is, the decoded audio data output from the
[0884]
The prediction
[0885]
Note that the prediction
[0886]
The class
[0887]
The class
[0888]
The
[0889]
The
[0890]
The coefficient memory 615 stores the tap coefficient for each class as the quality enhancement data supplied from the
[0891]
The product-
[0892]
Next, processing (sound quality improvement processing) of the sound
[0893]
The
[0894]
First, in step S401, among the sound quality improvement data in which the prediction
[0895]
Further, in step S401, the class
[0896]
Upon receiving the class tap from the class
[0897]
In step S403, the coefficient memory 615 reads the tap coefficient stored in the address corresponding to the class code from the
[0898]
In step S404, the product-
[0899]
The sound quality improvement data obtained as described above is supplied from the product-
[0900]
After the process of step S404, the process proceeds to step S405, and it is determined whether there is still sound quality improvement data to be processed as the attention data. If it is determined that there is, the process returns to step S401, and the same process is repeated thereafter. It is. If it is determined in step S405 that there is no sound quality improvement data to be processed as attention data, the process ends.
[0901]
Next, FIG. 69 shows a configuration example of the
[0902]
The
[0903]
The student data generation unit 622 generates student data to be a student of learning from voice data as teacher data stored in the
[0904]
That is, the student data generation unit 622 includes a
[0905]
Here, the student data is generated by encoding the teacher data into the encoded voice data and further decoding the encoded voice data. However, the student data is, for example, the teacher data Can be generated by, for example, filtering the sound data with a low-pass filter to deteriorate the sound quality.
[0906]
The
[0907]
The prediction
[0908]
The class
[0909]
Here, as the audio samples constituting the prediction tap and the class tap, for example, a plurality of students that are close in time to the audio sample of the student data corresponding to the audio sample of the teacher data that is the attention data Audio samples as data can be used.
[0910]
In addition, as the audio samples constituting the prediction tap and the class tap, the same audio sample can be used, or different audio samples can be used.
[0911]
The
[0912]
As a class classification method in the
[0913]
The adding
[0914]
That is, the adding
[0915]
Further, the adding
[0916]
On the other hand, the
[0917]
When learning using newly input speech data, the adding
[0918]
Therefore, in the
[0919]
As described above, the adding
[0920]
Further, the adding
[0921]
That is, the components of the matrix A and the vector v of each class in the equation (8) stored in the
[0922]
As described above, when the components of the matrix A and the vector v of each class in Expression (8) stored in the
[0923]
As described above, when the
[0924]
The tap
[0925]
The tap coefficient for each class as the quality-enhanced data stored in the
[0926]
As described above, the
[0927]
The
[0928]
That is, when the
[0929]
Then, the
[0930]
In response to a request from the
[0931]
Here, the
[0932]
When a request signal requesting transmission of learning information is transmitted from another PDA, the
[0933]
The request signal transmission unit 634 is supplied with an operation signal from the operation unit 224 (FIG. 23) or the like, and the request signal transmission unit 634 operates the
[0934]
Here, in one or more other PDAs that have received the request signal transmitted in this way, it is assumed that a predetermined event has occurred due to the reception (detection) of the request signal, and each class of learning information that it has Transmission of the components of the matrix A and the vector v is performed. Then, the components of the matrix A and the vector v of each class as learning information transmitted from one or more other PDAs in this way are received by the
[0935]
In the
[0936]
Then, with reference to the flowchart of FIG. 70, the learning process, learning information transmission process, and component data integration process which the
[0937]
First, the learning process will be described with reference to the flowchart in FIG.
[0938]
The learning process is started, for example, when new voice data of a predetermined data amount or more is stored in the
[0939]
That is, when new audio data is stored in the
[0940]
In step S412, the student data generation unit 622 reads out the teacher data using the voice data stored in the
[0941]
In step S413, the prediction
[0942]
Further, in
[0943]
After the processing of step S413, the process proceeds to step S414, where the
[0944]
In step S415, the adding
[0945]
In step S416, the prediction
[0946]
If it is determined in step S416 that there is no teacher data that is not the target data in the
[0947]
In step S418, the tap
[0948]
Next, the learning information transmission process will be described with reference to the flowchart in FIG.
[0949]
In the learning information transmission process, first, in step S431, the
[0950]
When it is determined in step S431 that a predetermined event has occurred, that is, when the
[0951]
In step S432, the learning
[0952]
In step S433, the learning
[0953]
Next, component data integration processing will be described with reference to the flowchart in FIG.
[0954]
In the component data integration process, first, in step S441, whether or not such a predetermined event has occurred, with the request signal transmission unit 634 receiving the operation signal requesting the learning information as a predetermined event. If it is determined that it has not occurred, the process returns to step S441.
[0955]
When it is determined in step S441 that a predetermined event has occurred, that is, the operation unit 224 (FIG. 23) is operated so as to request learning information by the user, If the request signal transmission unit 634 has received, the process proceeds to step S442, where the request signal transmission unit 634 transmits (for example, broadcasts) a request signal requesting learning information to any one or more PDAs.
[0956]
In step S443, the
[0957]
If it is determined in step S443 that the learning information has been transmitted, the process proceeds to step S444, where the
[0958]
If it is determined in step S443 that the learning information has not been transmitted, the process proceeds to step S445, where the
[0959]
If it is determined in step S445 that the predetermined time has not elapsed since the transmission of the request signal, the process returns to step S443, and the same processing is repeated thereafter.
[0960]
If it is determined in step S445 that the predetermined time has elapsed since the request signal was transmitted, the process proceeds to step S446, where the integrating
[0961]
In step S447, the adding
[0962]
As described above, the
[0964]
Further, in the
[0964]
Further, as described above, the
[0965]
That is, when the normal equation of equation (8) is established using only the voice data input from the user, the tap coefficient is obtained due to the insufficient number of samples of the input voice data. As described above, the components of the matrix A and the vector v of each class as learning information are collected from one or more other PDAs as described above. In this case, for each class, it is possible to quickly obtain the components of the matrix A and the vector v for establishing the normal equation of the equation (8), and as a result, to obtain voice data with improved sound quality. The tap coefficient can be obtained quickly.
[0966]
In addition, as described above, by exchanging the components of the matrix A and the vector v of each class as learning information that each PDA has, the plurality of PDAs have the same sound quality and high quality. Sound data with sound quality can be obtained.
[0967]
In the embodiment of FIGS. 69 and 70, the request signal transmission unit 634 transmits a request signal when an operation signal is received. It is possible to transmit at an arbitrary timing periodically.
[0968]
In addition, in the
[0969]
When the tap coefficient is exchanged with one or more other PDAs in the
[0970]
Note that as the weight in this case, the number of audio samples used to obtain the tap coefficient can be used.
[0971]
That is, in order to obtain the tap coefficient, the teacher data y obtained from the voice data i And student data x in X, which is a component of matrix A, computed using in x im And x which is a component of the vector v in y i However, it is possible to use the number of times of addition (which is equal to the number of voice samples that became teacher data) as a weight.
[0972]
In this case, for example, the tap coefficient of the
[0973]
Furthermore, when the tap coefficient is exchanged with one or more other PDAs in the
[0974]
That is, in the
[0975]
Therefore, in the
[0976]
The case where the present invention is applied to a PDA has been described above, but the present invention can also be applied to an information processing apparatus other than a PDA.
[0977]
The series of processes described above can be performed by hardware or software.
[0978]
When a series of processing is performed by software, a program constituting the software is installed in the
[0979]
The program can be recorded in advance in an HDD 215 (FIG. 23) or an HDD 333 (FIG. 26) as a recording medium built in the computer.
[0980]
Alternatively, the program is temporarily or permanently stored on a removable recording medium such as a flexible disk, CD-ROM (Compact Disc Read Only Memory), MO (Magneto Optical) disk, DVD (Digital Versatile Disc), magnetic disk, and semiconductor memory. Can be stored (recorded). Such a removable recording medium can be provided as so-called package software.
[0981]
The program is installed on the
[0982]
Here, in this specification, the processing steps describing the program for causing the CPU 202 (FIG. 23) of the
[0983]
The program may be processed by one CPU, or may be distributedly processed by a plurality of CPUs. Furthermore, the program may be transferred to a remote computer or the like and executed.
[0984]
【The invention's effect】
As above, According to the display device of the present invention, more information can be displayed. It is possible to provide a small terminal or the like.
[Brief description of the drawings]
FIG. 1 is a perspective view showing an external configuration example of a first embodiment of a
2 is a perspective view showing a first external configuration example of a
FIG. 3 is a perspective view showing an external configuration example of the
FIG. 4 is a perspective view showing an external configuration example of a
5 is a perspective view showing a state of wiring in the
FIG. 6 is a perspective view illustrating a configuration example of a hinge unit 13;
7 is a perspective view showing a second external configuration example of the
8 is a top view and a side view showing a second external configuration example of the
FIG. 9 is a perspective view showing an external configuration example of the
10 is a perspective view showing an external configuration example of a
FIG. 11 is a perspective view showing a state in which a hinge part 71 is disassembled.
FIG. 12 is a perspective view showing more details in a state where the hinge part 71 is disassembled.
13 is a perspective view showing a third external configuration example of the
14 is a cross-sectional view showing a state of wiring in the
15 is a cross-sectional view showing a state of wiring in the
FIG. 16 is a perspective view showing an example of the external configuration of a second embodiment of a
17 is a plan view showing a configuration example of a second embodiment of the
18 is a perspective view showing a fourth external configuration example of the
FIG. 19 is a perspective view for explaining a state of wiring in the
20 is a perspective view showing a fifth external configuration example of the
21 is a perspective view showing a sixth external configuration example of the
22 is a diagram illustrating a configuration example of an embodiment of a PDA system using the
23 is a block diagram illustrating a hardware configuration example of the
24 is a block diagram showing a first functional configuration example of a
25 is a perspective view showing an example of an external configuration of a
26 is a block diagram illustrating a hardware configuration example of the
27 is a block diagram illustrating a functional configuration example of a
FIG. 28 is a block diagram showing a state where the
FIG. 29 is a flowchart illustrating call processing and call processing performed by the
30 is a flowchart for explaining mail transmission / reception processing and mail transmission event processing performed by the
FIG. 31 is a flowchart for explaining data transmission / reception processing and data transmission event processing performed by the
32 is a flowchart for explaining data reproduction processing performed by the
FIG. 33 is a flowchart illustrating streaming playback processing performed by the
34 is a diagram illustrating a communication procedure when a file is transmitted from the
35 is a flowchart illustrating a communication procedure when a file is transmitted from the
FIG. 36 LCD4 1 , 5 1 , 12, 21 to 23 are diagrams showing display examples of screens.
FIG. 37 LCD4 1 , 5 1 , 12, 21 to 23 are diagrams showing display examples of screens.
FIG. 38 LCD4 1 , 5 1 , 12, 21 to 23 are diagrams showing display examples of screens.
FIG. 39 LCD4 1 Thru 4 Four , 5 1 5 Four , 12, 21 to 23 are diagrams showing display examples of screens.
FIG. 40 is a flowchart illustrating an on / off control process for
FIG. 41 is a flowchart illustrating a hierarchy display control process.
FIG. 42 is a diagram illustrating a format of information structured in a hierarchical structure.
43 is a diagram showing a state in which a
44 is a block diagram showing a second functional configuration example of the
45 is a block diagram illustrating a first configuration example of a
FIG. 46 is a flowchart for describing image data transmission processing, class code generation processing, and class code transmission processing performed by the
47 is a block diagram illustrating a first configuration example of a
48 is a block diagram illustrating a configuration example of an
FIG. 49 is a flowchart for describing image data reception processing, request signal transmission processing, and adaptation processing performed by the
50 is a block diagram illustrating a second configuration example of the
51 is a block diagram illustrating a configuration example of a
FIG. 52 is a flowchart for describing learning processing and tap coefficient transmission processing performed by the
53 is a block diagram illustrating a second configuration example of the
54 is a block diagram illustrating a configuration example of an
55 is a block diagram illustrating a third configuration example of the
FIG. 56 is a flowchart for describing image data transmission processing and codebook selection processing performed by the
Fig. 57 is a diagram illustrating a format of a code book.
58 is a block diagram illustrating a configuration example of an update unit 506 (539). FIG.
FIG. 59 is a flowchart for describing data update processing and codebook update processing performed by the update unit 506;
60 is a block diagram illustrating a third configuration example of the
FIG. 61 is a flowchart for describing image data reception processing and codebook selection processing performed by the
62 is a block diagram illustrating a configuration example of an
Fig. 63 is a diagram for describing processing of a partial
FIG. 64 is a flowchart for describing error correction processing;
FIG. 65 is a diagram for explaining codebook integration performed between the
66 is a block diagram showing a third functional configuration example of the
67 is a block diagram illustrating a configuration example of a sound
FIG. 68 is a flowchart illustrating sound quality improvement processing.
69 is a block diagram illustrating a configuration example of a
FIG. 70 is a flowchart for describing learning processing, learning information transmission processing, and component data integration processing performed in a
[Explanation of symbols]
1 watch band, 2 main block, 3 LCD, 3A touch panel, 4 side panel, 4 1 Thru 4 Four LCD, 4A 1 To 4A Four Touch panel, 5 side panel, 5 1 5 Four LCD, 5A 1 To 5A Four Touch panel, 6 Jog dial, 7 Earphone microphone jack, 8 Connector part, 8 1 8 Four Connector, 9 microphone, 10 speaker, 11 main body, 12 LCD, 12A touch panel, 13 hinge part, 14 main panel, 15, 16 sub-panel, 17, 18 hinge part, 20 lid part, 21 LCD, 21A touch panel, 22 LCD, 22A Touch panel, 23 LCD, 23A touch panel, 31, 32 axis, 33, 34 bearing part, 35 to 40 through hole, 41 to 43 circuit block, 51 locking part, 52 groove, 61 hold switch, 62 power switch, 63 wireless communication Part, 64 antenna, 65 CCD camera, 71 to 73 hinge part, 81 hinge fitting, 82 axis, 83 hinge fitting, 91, 92 hinge cover, 101 PDA, 102 base base computer, 103 PDA, 104 public network, 105 Internet 111, circuit board, 112, 113 flexible, 114, 115 holes, 131 arm part, 131A, 131B pin part, 132 arm part, 132A, 132B pin part, 133 arm part, 133A, 133B pin part, 143 locking Part, 144 holes, 145 to 147 flexible, 201 bus, 202 CPU, 203 ROM, 204 RAM, 205 (205 1 To 205 7 Touch panel driver, 206 (206 1 To 206 7 LCD driver, 207 to 209 amplifier, 210, 211 A / D converter, 212 D / A converter, 213 MPEG encoder / decoder, 214 ATRAC encoder / decoder, 215 HDD, 216 Flash memory, 217 DRAM, 218 Communication I / F, 219 driver, 220 light receiving unit, 221 light emitting unit, 222 battery, 223 input I / F, 224 operation unit, 225 switch unit, 226 bus, 231 RF processing unit, 232 channel decoding unit, 233 channel encoding unit, 234 encoding / decoding unit, 235 image encoding unit, 236 image decoding unit, 237 audio encoding unit, 238 audio decoding unit, 239 control unit, 240 modulation / demodulation unit, 241 memory, 242 alarm unit, 243 open / close detection unit, 244 display Control unit, 245 display unit, 251 to 255 display control unit, 256 to 261 display unit, 301 keyboard, 302 display unit, 303 PDA mounting unit, 304 wireless communication unit, 305 IEEE1394 terminal, 306 USB terminal, 311 bus, 312 CPU, 313 ROM , 314 RAM, 315 flash memory, 316 LCD, 317 LCD driver, 318 keyboard I / F, 319 USB interface, 320 IEEE1394 interface, 321 PCMCIAA driver, 322 PCMCIA slot, 323 ATRAC encoder / decoder, 324 A / D converter, 325 D / A converter, 326,327 amplifier, 328 microphone, 329 speaker, 330 microphone jack, 331 earphone jack, 332 CD-RW drive, 333 HDD, 334 flash Memory, 335 DRAM, 336 communication I / F, 337 connector, 337 1 Thru 337 Four Connector, 338 driver, 339 light receiving unit, 340 light emitting unit, 341 LAN board, 342 modem / TA / DSU, 343 bus, 344 charging circuit, 345 bus, 351 control unit, 352 audio image encoding / decoding unit, 353 operation unit, 354 modulation / demodulation unit, 355 display control unit, 356 display unit, 357 memory, 401, 401 ′ transmission processing unit, 402, 402 ′ reception processing unit, 411 encoding unit, 412 event detection unit, 413 storage, 414 learning unit, 415 Tap coefficient buffer, 416 storage, 421 data compression unit, 422 transmission control unit, 423 class tap extraction unit, 424 class classification unit, 425 class code database, 431 decoding unit, 432 image quality determination unit, 433 request signal transmission unit, 441 reception Control unit, 44 2 reception buffer, 443 registration unit, 444 storage, 445 selection unit, 446 class code database, 447, 448 adaptive processing unit, 451 buffer, 452 prediction tap extraction unit, 453 product-sum operation unit, 454 class code reading unit, 455 coefficient Memory, 456 registration unit, 461 teacher data memory, 462 data compression unit, 463 student data memory, 464 prediction tap extraction unit, 465 class tap extraction unit, 466 class classification unit, 467 addition unit, 468 tap coefficient determination unit, 501 Vectorization unit, 502 Vector quantization unit, 503 Local decoding unit, 504 Difference operation unit, 505 Entropy coding unit, 506 Update unit, 507 Codebook database, 508 selection unit, 509 Codebook storage unit, 521 Data update unit, 522 code book update unit, 531 entropy decoding unit, 532 vector inverse quantization unit, 533 addition unit, 534 error correction unit, 535 scalarization unit, 536 code book database, 537 selection unit, 538 code book storage unit , 539 updating unit, 540 error detection unit, 550 writing unit, 551 memory, 552 reading unit, 553 partial vector estimation unit, 554 image vector estimation unit, 600 speech decoding unit, 601 sound quality improvement unit, 602 learning unit, 611 buffer, 612 prediction tap extraction unit, 613 class tap extraction unit, 614 class classification unit, 615 coefficient memory, 616 product-sum operation unit, 621 teacher data memory, 622 student data generation unit, 622D speech decoding unit, 622E speech encoding unit, 623 Student day Data memory, 624 prediction tap extraction unit, 625 class tap extraction unit, 626 class classification unit, 627 addition unit, 628 tap coefficient determination unit, 629 tap coefficient memory, 630 component database, 631 integration unit, 632 learning information transmission unit, 633 Event detection unit, 634 Request signal transmission unit
Claims (38)
前記本体に設けられ、前記蓋部が前記本体の上面を覆う第1の位置に移動したときに収納され、前記蓋部が前記本体の上面を開放する第2の位置に移動したときに露出する第1の表示手段と、
前記第1の位置に移動したときに前記本体の上面と同じ方向に露出する前記蓋部の主面の一方に設けられる第2の表示手段と、
前記第2の位置に移動したときに露出する前記蓋部の主面の他方に設けられる第3の表示手段と、
前記蓋部に対して移動可能に取り付けられ、前記第1の表示手段及び前記第3の表示手段と共に主面の一方が視認可能な位置に移動されたときに前記主面の一方に設けられる第4の表示手段が前記本体の上面と同じ方向に露出されるパネルと、
前記本体が取り付けられる、腕に装着するためのバンドと、
前記バンドに設けられ、前記第1、第3、及び第4の表示手段と共に視認可能な位置に配される第5の表示手段と、
前記バンドが腕に装着されている状態で前記第1、第3、第4、及び第5の表示手段が視認可能な位置に配置され、全体としてほぼ矩形形状である表示領域に情報を表示する制御手段と
を備えることを特徴とする表示装置。A portable display comprising a main body and a lid portion movably attached to the main body so as to cover the upper surface of the main body, which is one of the main surfaces of the main body, and having a plurality of display means for displaying information A device,
It is provided in the main body, is accommodated when the lid portion moves to a first position that covers the upper surface of the main body, and is exposed when the lid portion moves to a second position that opens the upper surface of the main body. First display means;
Second display means provided on one of the main surfaces of the lid exposed in the same direction as the upper surface of the main body when moved to the first position;
Third display means provided on the other main surface of the lid portion exposed when moved to the second position;
A first movably attached to the lid and provided on one of the main surfaces together with the first display means and the third display means when one of the main surfaces is moved to a position where it can be visually recognized. A panel in which four display means are exposed in the same direction as the upper surface of the main body;
A band to which the main body is attached to be worn on an arm;
A fifth display means provided on the band and disposed at a position where the first, third, and fourth display means can be visually recognized;
The first, third, fourth, and fifth display means are disposed at positions where the band can be viewed with the band worn on the arm, and display information in a display area that is substantially rectangular as a whole. And a control means.
ことを特徴とする請求項1に記載の表示装置。Movably mounted relative to the body or lid, according to claim 1, further comprising another panel having a sixth display means for exposing the top surface when moving to the predetermined position Display device.
前記本体の一端に回動自在に取り付けられており、
第1の位置に移動したときに閉じた状態となり、前記第1と第3の表示手段を、その第1と第3の表示手段が対向するように収納するとともに、前記第2の表示手段を露出させ、
前記第2の位置に移動したときに開いた状態となり、前記第1と第3の表示手段を露出させる
ことを特徴とする請求項1に記載の表示装置。The lid is
It is pivotally attached to one end of the main body,
When the first display device is moved to the first position, the first and third display devices are stored so that the first and third display devices face each other, and the second display device is disposed. To expose
The display device according to claim 1, wherein the display device is opened when moved to the second position to expose the first and third display means.
ことを特徴とする請求項3に記載の表示装置。The display device according to claim 3, wherein the first display unit is provided on an upper surface of the main body so as to be exposed when the lid portion is in an open state.
前記第3の表示手段は、前記蓋部の裏面に設けられている
ことを特徴とする請求項3に記載の表示装置。The second display means is provided on the upper surface of the lid when the lid is in a closed state,
The display device according to claim 3, wherein the third display unit is provided on a back surface of the lid.
前記蓋部の一端に回動自在に取り付けられており、
前記蓋部が前記第2の位置に移動した状態において回動可能状態となる
ことを特徴とする請求項1に記載の表示装置。The panel is
It is pivotally attached to one end of the lid ,
The display device according to claim 1, wherein the display device is rotatable in a state where the lid portion is moved to the second position.
ことを特徴とする請求項6に記載の表示装置。The display device according to claim 6, wherein the fourth display unit is provided on a back surface of the panel when the panel is in a closed state.
前記蓋部の一端に回動自在に取り付けられており、
開いた状態に回動されることにより、前記第4の表示手段を露出させ、
閉じた状態に回動されることにより、前記第4の表示手段を収納する
ことを特徴とする請求項1に記載の表示装置。The panel is
It is pivotally attached to one end of the lid,
By rotating to the open state, the fourth display means is exposed,
The display device according to claim 1, wherein the fourth display unit is accommodated by being rotated to a closed state.
ことを特徴とする請求項8に記載の表示装置。The display device according to claim 8, wherein the third display unit is exposed when the lid portion is moved to the second position and the panel is opened.
前記ヒンジ機構は、
前記本体に固定された第1のヒンジ金具と、
前記蓋部に固定された第2のヒンジ金具と、
前記第1と第2のヒンジ金具に、両端が圧入される軸と
を有し、
前記第1のヒンジ金具と軸、および第2のヒンジ金具と軸は、回転自在とされている
ことを特徴とする請求項1に記載の表示装置。The lid is attached to the main body through a hinge mechanism so as to be freely rotatable.
The hinge mechanism is
A first hinge fitting fixed to the body;
A second hinge fitting fixed to the lid,
The first and second hinge brackets have shafts on which both ends are press-fitted,
The display device according to claim 1, wherein the first hinge fitting and the shaft and the second hinge fitting and the shaft are rotatable.
ことを特徴とする請求項10に記載の表示装置。The display device according to claim 10, wherein the first and second hinge fittings are formed of curled spring steel plates.
前記ヒンジ機構は、
前記本体に固定された第1のヒンジ金具と、
前記蓋部に固定された第2のヒンジ金具と、
前記第1と第2のヒンジ金具に、両端が圧入される軸と
を有し、
前記第1のヒンジ金具と軸、および第2のヒンジ金具と軸は、回転自在とされている
ことを特徴とする請求項1に記載の表示装置。The panel is rotatably attached to the lid portion via a hinge mechanism.
The hinge mechanism is
A first hinge fitting fixed to the body;
A second hinge fitting fixed to the lid,
The first and second hinge brackets have shafts on which both ends are press-fitted,
The display device according to claim 1, wherein the first hinge fitting and the shaft and the second hinge fitting and the shaft are rotatable.
ことを特徴とする請求項12に記載の表示装置。The display device according to claim 12, wherein the first and second hinge fittings are formed of a curled spring steel plate.
ことを特徴とする請求項1に記載の表示装置。The display device according to claim 1, wherein one piece of information is displayed on each of the first, third, fourth, and fifth display units.
ことを特徴とする請求項14に記載の表示装置。The control means performs a directory display for displaying the first, third, fourth, and fifth display means and the menu items in a one-to-one correspondence when displaying a plurality of menu items. The display device according to claim 14.
ことを特徴とする請求項1に記載の表示装置。The display device according to claim 1, wherein information is displayed on the first, third, fourth, and fifth display units with all of them as one screen.
ことを特徴とする請求項16に記載の表示装置。When the control means displays a plurality of menu items, the first, third, fourth, and fifth display means do not correspond to the menu items in a one-to-one correspondence with the menu items. The display device according to claim 16, wherein multi-screen display is performed to display over two or more display units of the third, fourth, and fifth display units.
前記蓋部の状態に応じて、前記第1乃至第5の表示手段を制御する制御手段と
をさらに備える
ことを特徴とする請求項1に記載の表示装置。Detecting means for detecting the state of the lid,
The display device according to claim 1, further comprising: a control unit that controls the first to fifth display units according to a state of the lid.
前記パネルの状態に応じて、前記第1乃至第5の表示手段を制御する制御手段と
をさらに備える
ことを特徴とする請求項1に記載の表示装置。Detecting means for detecting a state of the panel;
The display device according to claim 1, further comprising: a control unit that controls the first to fifth display units according to a state of the panel.
ことを特徴とする請求項1に記載の表示装置。The display device according to claim 1, further comprising a communication unit that communicates with a communicable communication device.
ことを特徴とする請求項20に記載の表示装置。The display device according to claim 20, further comprising destination input means for inputting a destination of a communication partner.
ことを特徴とする請求項20に記載の表示装置。The display device according to claim 20, wherein the communication unit functions as a telephone for performing a voice call.
前記音声通話において受信した音声を出力する音声出力手段と
をさらに備えることを特徴とする請求項22に記載の表示装置。Voice input means for inputting voice to be transmitted in the voice call;
The display device according to claim 22, further comprising voice output means for outputting voice received in the voice call.
ことを特徴とする請求項20に記載の表示装置。The display device according to claim 20, wherein the communication unit transmits and receives data.
ことを特徴とする請求項24に記載の表示装置。The display device according to claim 24, further comprising transmission / reception data selection means for selecting data to be transmitted or received.
ことを特徴とする請求項24に記載の表示装置。The display device according to claim 24, wherein the communication unit transmits and receives image data or audio data.
ことを特徴とする請求項24に記載の表示装置。The display device according to claim 24, wherein the communication unit transmits and receives an electronic mail.
ことを特徴とする請求項27に記載の表示装置。The display device according to claim 27, further comprising message input means for inputting the e-mail message.
ことを特徴とする請求項1に記載の表示装置。The display device according to claim 1, further comprising data storage means for storing data.
ことを特徴とする請求項29に記載の表示装置。The display device according to claim 29, wherein the data storage means stores image data or audio data.
ことを特徴とする請求項29に記載の表示装置。30. The display device according to claim 29, further comprising reproducing means for reproducing data stored in the data storage means.
ことを特徴とする請求項31に記載の表示装置。32. The display device according to claim 31, further comprising reproduction data selection means for selecting data to be reproduced.
前記プログラムを実行する実行手段をさらに備える
ことを特徴とする請求項29に記載の表示装置。The data storage means stores a program to be executed by a computer,
30. The display device according to claim 29, further comprising execution means for executing the program.
ことを特徴とする請求項20に記載の表示装置。The display device according to claim 20, wherein the communication unit performs communication in contact with the communication device or in a non-contact manner.
前記通信手段と前記通信装置が通信を行うことにより、前記通信装置が、前記バッテリの充電を行う
ことを特徴とする請求項20に記載の表示装置。The battery is further provided as a power source,
The display device according to claim 20, wherein the communication device charges the battery when the communication unit and the communication device communicate with each other.
ことを特徴とする請求項20に記載の表示装置。The display device according to claim 20, further comprising authentication means for performing authentication with the communication device.
前記情報処理装置に装着されたときに、前記情報処理装置の一部として機能する
ことを特徴とする請求項1に記載の表示装置。It is configured to be detachable from an information processing device that performs information processing,
The display device according to claim 1, wherein the display device functions as a part of the information processing device when attached to the information processing device.
前記メモリは、前記表示装置が前記情報処理装置に装着されたときに、前記情報処理装置のメモリの一部として機能する
ことを特徴とする請求項に37記載の表示装置。A memory for storing data;
The display device according to claim 37, wherein the memory functions as a part of a memory of the information processing device when the display device is attached to the information processing device.
Priority Applications (10)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001344236A JP4144212B2 (en) | 2001-11-09 | 2001-11-09 | Display device |
US10/290,440 US7453936B2 (en) | 2001-11-09 | 2002-11-07 | Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system |
KR1020020069282A KR101007438B1 (en) | 2001-11-09 | 2002-11-08 | Transmitting apparatus and method, receiving apparatus and method, recording medium, and transmitting/receiving system |
NO20025361A NO20025361L (en) | 2001-11-09 | 2002-11-08 | Transmitter and transmitter method, receiver device and receiver method, program and recording medium, and transmitter / receiver system |
CNB021606080A CN1318997C (en) | 2001-11-09 | 2002-11-09 | Transmitting and receiving apparatus and method, program and recording medium and transmitting/receiving system |
EP02257808A EP1311126A2 (en) | 2001-11-09 | 2002-11-11 | Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system |
US11/581,159 US7817863B2 (en) | 2001-11-09 | 2006-10-13 | Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system |
KR1020100074574A KR101059313B1 (en) | 2001-11-09 | 2010-08-02 | Transmitting apparatus and method, receiving apparatus and method, recording medium, and transmitting/receiving system |
KR1020100074631A KR101057934B1 (en) | 2001-11-09 | 2010-08-02 | Transmitting apparatus and method, receiving apparatus and method, recording medium, and transmitting/receiving system |
US12/849,064 US8014635B2 (en) | 2001-11-09 | 2010-08-03 | Transmitting apparatus and method, receiving apparatus and method, program and recording medium, and transmitting/receiving system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001344236A JP4144212B2 (en) | 2001-11-09 | 2001-11-09 | Display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003150273A JP2003150273A (en) | 2003-05-23 |
JP4144212B2 true JP4144212B2 (en) | 2008-09-03 |
Family
ID=19157791
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001344236A Expired - Fee Related JP4144212B2 (en) | 2001-11-09 | 2001-11-09 | Display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4144212B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101221428B1 (en) * | 2004-07-20 | 2013-01-11 | 김시환 | Portable Display Device |
JP2007299215A (en) * | 2006-04-28 | 2007-11-15 | Toshiba Corp | Information reproduction device, information reproduction system, and information reproduction program |
JP5229083B2 (en) | 2009-04-14 | 2013-07-03 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
JP5606686B2 (en) | 2009-04-14 | 2014-10-15 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
CA2937557A1 (en) | 2014-02-28 | 2015-09-03 | Apple Inc. | Product demonstration fixture for a portable electronic device |
WO2018159280A1 (en) * | 2017-02-28 | 2018-09-07 | 株式会社日立国際電気 | Wireless communication device and portable wireless device |
KR102522623B1 (en) * | 2022-09-01 | 2023-04-17 | 주식회사 플레이바이웰 | Toys using lcd display and polarizing film |
-
2001
- 2001-11-09 JP JP2001344236A patent/JP4144212B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003150273A (en) | 2003-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101057934B1 (en) | Transmitting apparatus and method, receiving apparatus and method, recording medium, and transmitting/receiving system | |
KR100777480B1 (en) | Information processing apparatus and method, information processing system and medium | |
US6990489B2 (en) | Information processing apparatus, system and method, and recording medium | |
CN1235392C (en) | Index image generation device | |
KR100797224B1 (en) | Information processing device | |
CN100409228C (en) | Stand alone printer with hardware / software interfaces for sharing multimedia processing | |
JP2008010008A (en) | Display device, display method, program, and recording medium | |
JP4144212B2 (en) | Display device | |
JP4022806B2 (en) | Display device, display method, program, and recording medium | |
JP4038810B2 (en) | Transmission device and transmission method, reception device and reception method, program and recording medium, and transmission / reception system | |
JP4038811B2 (en) | Data processing system, encoding device and encoding method, decoding device and decoding method, program, and recording medium | |
JP4735610B2 (en) | Receiving apparatus and method, program, and recording medium | |
JP2006217529A (en) | Image display system and device | |
CN1549550A (en) | Intelligent information server and controlling method | |
JP2006078750A (en) | Portable information processor, information presentation method and information presentation program | |
KR100442060B1 (en) | Method for recording sound and image using a wire and wireless telecommunication network and system therefor | |
KR100651943B1 (en) | Method of Making Name Card and Displaying Name Card Using Multimedia Contents in The Cellular Phone | |
JP4284932B2 (en) | Information processing apparatus, information processing method, recording medium, and program | |
JP4683250B2 (en) | Image processing apparatus, image processing method, program, and program recording medium | |
JP4665330B2 (en) | Information processing apparatus and method, recording medium, and program | |
JP2003242013A (en) | Method, system, and program for data synchronization | |
JP2004274427A (en) | Communication system and communication method, transmission apparatus and method, and reception apparatus and method | |
US20060291658A1 (en) | Portable terminal having function of coupling and reproducing multimedia files and method thereof | |
JP2002118666A (en) | Unit and method for information processing, video recording system and program storage medium | |
JP2007272556A (en) | System and method for providing musical composition data by terminals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070529 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070730 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070806 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071214 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080212 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080304 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080502 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080512 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080527 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080609 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110627 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120627 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130627 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |