JP2001092434A - 情報処理装置、画像生成方法及びプログラム格納媒体 - Google Patents

情報処理装置、画像生成方法及びプログラム格納媒体

Info

Publication number
JP2001092434A
JP2001092434A JP26775499A JP26775499A JP2001092434A JP 2001092434 A JP2001092434 A JP 2001092434A JP 26775499 A JP26775499 A JP 26775499A JP 26775499 A JP26775499 A JP 26775499A JP 2001092434 A JP2001092434 A JP 2001092434A
Authority
JP
Japan
Prior art keywords
image
frequency analysis
audio signal
selected image
composite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP26775499A
Other languages
English (en)
Inventor
Taku Mitsui
卓 三井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP26775499A priority Critical patent/JP2001092434A/ja
Priority to US09/664,682 priority patent/US6985854B1/en
Publication of JP2001092434A publication Critical patent/JP2001092434A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Studio Circuits (AREA)
  • Facsimiles In General (AREA)

Abstract

(57)【要約】 【課題】画像を音声と関連付けて表示する情報処理装置
を得る。 【解決手段】音声の変化に基づいて選択画像Psel を切
り替えるとともに、音声の変化に基づいて周波数解析画
像Pspc と選択画像Psel の合成方法を変更する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は情報処理装置、画像
生成方法及びプログラム記録媒体に関し、例えばスペク
トラムアナライザ画像と背景画像を合成して表示する情
報処理装置に適用して好適なものである。
【0002】
【従来の技術】従来、パーソナルコンピュータのアプリ
ケーションプログラムにおいて、予め登録された複数の
画像を所定時間間隔毎に切り換えて表示するスライドシ
ョープログラムがある。また、画像表示中に音楽をBG
Mとして出力したり、画像の切り換え時に効果音を鳴ら
す等の、音声出力を併用したスライドショープログラム
がある。
【0003】
【発明が解決しようとする課題】ところが、このような
スライドショープログラムでは画像データと音声データ
は独立して扱われており、音声データの変化が画像デー
タの表示に影響を与える等の相互的な表示が行われてい
ないという問題があった。
【0004】本発明は以上の点を考慮してなされたもの
で、画像を音声と関連付けて表示する情報処理装置、画
像生成方法及びプログラム格納媒体を提案しようとする
ものである。
【0005】
【課題を解決するための手段】かかる課題を解決するた
め本発明においては、音声信号を取得する音声信号取得
手段と、取得した音声信号を周波数解析する音声信号解
析手段と、周波数解析の結果に基づいて所定の周波数解
析画像を生成する周波数解析画像生成手段と、取得した
音声信号のレベルに基づいて複数の登録画像のうちの1
枚を選択画像として切り替えて選択する選択画像切替手
段と、周波数解析画像と選択画像とを合成して合成画像
を生成して表示する合成画像表示手段とを設けた。
【0006】音声信号のレベルに基づいて選択画像を切
り替えて周波数解析画像と合成することにより、音声信
号の変化に応じて変化する合成画像を生成することがで
きる。
【0007】また本発明においては、周波数解析画像の
画素と選択画像の対応する画素とを論理演算して合成画
像を生成することにより、音声信号のレベル変化に遅れ
ることなく変化する合成画像を生成することができる。
【0008】また本発明においては、音声信号のレベル
に基づいて周波数解析画像と上記選択画像との合成方法
を変更することにより、音声信号の変化に応じて変化す
る合成画像を生成することができる。
【0009】
【発明の実施の形態】以下図面について、本発明の一実
施の形態を詳述する。
【0010】(1)ノートブック型パーソナルコンピュ
ータの構成 図1において、1は全体として本発明の情報処理装置を
構成するノートブック型パーソナルコンピュータ(以
下、これをノートパソコンと呼ぶ)を示し、本体2と当
該本体2に対して開閉自在に取り付けられた表示部3と
によって構成されている。
【0011】本体2には、その上面に各種文字や記号及
び数字等を入力するための複数の操作キー4、マウスカ
ーソルの移動に用いられるスティック式ポインティング
デバイス(以下、これを単にスティックと呼ぶ)5、通
常のマウスにおける左ボタン及び右ボタンに相当する左
クリックボタン5A及び右クリックボタン5B、マウス
カーソルをスクロールボタンに合わせることなくスクロ
ールバーを操作するためのセンタボタン5C、内蔵スピ
ーカ6及び表示部3に設けられたCCD(Charge Couple
d Device) カメラ23用のシャッタボタン7が設けられ
ている。
【0012】表示部3には、正面にLCD(Liquid Crys
tal Display)でなる液晶ディスプレイ21が設けられて
おり、正面の中央上端部にCCDカメラ23を備えた撮
像部22が表示部3に対して回動自在に取り付けられて
いる。
【0013】すなわち撮像部22は、表示部3の正面方
向及び背面方向との間の180度の角度範囲内で回動
し、当該角度範囲内の任意の位置で位置決めし得るよう
になされている。また撮像部22には、CCDカメラ2
3のフォーカス調整を行う調整リング25が設けられて
おり、当該CCDカメラ23によって所望の撮像対象を
撮像する際のフォーカス調整を調整リング25の回転操
作によって容易に行い得るようになされている。
【0014】また表示部3には、撮像部22の左隣近傍
にマイクロフォン24が設けられており、当該マイクロ
フォン24を介して表示部3の背面側からも集音し得る
ようになされている。
【0015】さらに表示部3には、マイクロフォン24
の左隣近傍にツメ13が設けられると共に、当該ツメ1
3と対応する本体2の所定位置に孔部8が設けられてお
り、表示部3を本体2に閉塞した状態でツメ13が孔部
8に嵌合されてロックするようになされている。
【0016】本体2は、前側面にスライドレバー9が設
けられており、当該スライドレバー9をスライドするこ
とにより、孔部8に嵌合されたツメ13のロックを解除
して表示部3を本体2に対して展開し得るようになされ
ている。また本体2の前側面には、複数の吸気孔11が
設けられている。
【0017】さらに本体2の右側面には、排気孔12、
PCMCIA(Personal Computer Memory Card Interna
tional Association) 規格のPC(Personal Computer)
カードに対応したPCカードスロット14及びモジュラ
ージャック用のモデム端子15が設けられている。
【0018】一方、図2に示すように本体2の左側面に
は、スライド式の電源スイッチ40、4ピン対応のIE
EE(Institute of Electrical and Electronics Engin
eers) 1394端子41、USB(Universal Serial Bu
s)端子42、外部ディスプレイ用コネクタ46、マイク
ロフォン用入力端子43、ヘッドフォン端子44及びI
rDA(Infrared Data Association) 準拠の赤外線ポー
ト45が設けられている。
【0019】さらに図3に示すように、本体2の後側面
には外部電源コネクタ16が設けられており、底面には
バッテリパック(図示せず)を取り外すためのスライド
式取り外しレバー18と、動作を中断して電源投入時の
環境を再構成するためのリセットスイッチ19が設けら
れている。なお、バッテリパックはバッテリコネクタ1
7に対して着脱自在に接続される。
【0020】かかる構成に加えて本体2の上面(図1)
には、右端部においてバックスペースキーに相当する操
作キー4Aとエンターキーに相当する操作キー4Bとの
間に、当該操作キー4A及び4Bと同一高さになるよう
にジョグダイヤル30が組み込まれている。
【0021】ここでジョグダイヤル30とは、ダイヤル
の回転操作及び押圧操作によってシステムセッティング
や各種アプリケーションソフトウェアにおける種々の機
能を容易に実現し得る操作性の優れたユーザインターフ
ェースである。
【0022】このジョグダイヤル30は、図4に示すよ
うに平目模様の円板状操作つまみ218が本体2の外装
ケース32から僅かに突出した状態で取り付けられてお
り、円板状操作つまみ218による矢印a方向又はb方
向への回転操作に対応して所定の処理を実行すると共
に、矢印c方向への押圧操作に対応して所定の処理を実
行するようになされている。
【0023】このときジョグダイヤル30は、円板状操
作つまみ218が本体2の外装ケース32から僅かに突
出されるように装着されていることにより、ユーザが突
出した円板状操作つまみ218の周側面218Aを外装
ケース32(図4)に指を這わしながら容易に操作し得
るようになされている。なお円板状操作つまみ218
は、剛性が保てればその厚さを薄くすることができ、こ
れにより本体2の薄型化に十分対応し得るようになされ
ている。
【0024】次に、ノートパソコン1の回路構成につい
て図5を用いて詳細に説明する。ノートパソコン1の本
体2においては、当該本体2における各種機能を統括的
に制御するCPU(Central Processing Unit) 50がホ
ストバス52に接続されており、当該CPU50によっ
てRAM(Random Access Memory)53にロードされた各
種プログラムやアプリケーションソフトウェアに応じた
処理を、クロックジェネレータ60から与えられるシス
テムクロックに基づいて所定の動作速度で実行すること
により各種機能を実現し得るようになされている。
【0025】またホストバス52には、キャッシュメモ
リ51が接続されており、CPU50が使用するデータ
をキャッシュし、高速アクセスを実現し得るようになさ
れている。
【0026】このホストバス52は、PCI(Periphera
l Component Interconnect) バス55とホスト−PCI
ブリッジ54を介して接続されており、当該PCIバス
55にはビデオコントローラ56、IEEE(Institute
of Electrical and Electronics Engineers) 1394
インターフェース57、ビデオキャプチャ処理チップ8
3及びPC(Personal Computer) カードインターフェー
ス58が接続されている。
【0027】ここでホスト−PCIブリッジ54は、C
PU50とビデオコントローラ56、ビデオキャプチャ
処理チップ83、IEEE1394インターフェース5
7及びPCカードインターフェース58との間で行われ
る各種データの授受を制御すると共に、メモリバス59
を介して接続されたRAM53のメモリコントロールを
行うようになされている。
【0028】またホスト−PCIブリッジ54は、ビデ
オコントローラ56とAGP(Accelerated Graphics Po
rt) に沿った信号線を介して接続されており、これによ
りホスト−PCIブリッジ54及びビデオコントローラ
56間で画像データを高速転送し得るようになされてい
る。
【0029】ビデオキャプチャ処理チップ83は、シリ
アルバスでなるI2 Cバス82(一般的にSM(System
Management) バスとも呼ばれている)と接続されてお
り、当該I2 Cバス82を介してCCD(Charge Couple
d Device) カメラ23で撮像された画像データが供給さ
れると、これを内蔵のフレームメモリ(図示せず)に一
旦格納し、JPEG(Joint Photographic Experts Grou
p)規格に従って画像圧縮処理を施すことによりJPEG
画像データを生成した後、当該JPEG画像データを再
度フレームメモリに格納するようになされている。
【0030】そしてビデオキャプチャ処理チップ83
は、CPU50からの要求に応じてフレームメモリに格
納されているJPEG画像データをバスマスタ機能を用
いてRAM53へ直接転送した後、JPEG画像(静止
画)データ又はMotionJPEG画像(動画)デー
タとしてハードディスクドライブ(HDD)67へ転送
する。
【0031】ビデオコントローラ56は、CCD(Charg
e Coupled Device) カメラ23によって撮像された画像
データや、ビデオキャプチャ処理チップ83のJPEG
画像データに対して所定のグラフィックス処理を施した
後、内蔵のVRAM(Video Random Access Memory)に格
納して適宜読み出し、液晶ディスプレイ21に出力して
表示させるようになされている。
【0032】またビデオコントローラ56は、適時供給
される各種アプリケーションソフトウェアに基づく画像
データを液晶ディスプレイ21に出力することにより、
複数のウィンドウ画面を表示し得るようになされてい
る。
【0033】PCカードインターフェース58は、オプ
ション機能を追加するときにPCカードを介して適宜装
着されるようになされており、PCカードを介して例え
ばCD−ROMドライブやDVDドライブ等の外部デバ
イスと接続し得るようになされている。
【0034】IEEE1394インターフェース57
は、IEEE1394端子41と直結されており、当該
IEEE1394端子41を介して他のコンピュータ装
置やディジタルビデオカメラ等の外部デバイスと接続し
得るようになされている。
【0035】PCIバス55は、ISA(Industrial St
andard Architecture)バス65とPCI−ISAブリッ
ジ66を介して接続されており、当該PCI−ISAブ
リッジ66にはHDD67及びUSB(Universal Seria
l Bus)端子42が接続されている。
【0036】ここでPCI−ISAブリッジ66は、I
DE(Integrated Drive Electronics)インターフェー
ス、コンフィギュレーションレジスタ、RTC(Real-Ti
me Clock) 回路及びUSBインターフェース等によって
構成されており、クロックジェネレータ60から与えら
れるシステムクロックを基にIDEインターフェースを
介してHDD67の制御を行う。
【0037】HDD67のハードディスクには、Window
s98(商標) 等のOS(Operating System)、電子メールプ
ログラム、オートパイロットプログラム、ジョグダイヤ
ルユーティリティプログラム、ジョグダイヤルドライ
バ、キャプチャーソフトウェア及びディジタル地図ソフ
トウェア、さらにこれ以外の各種アプリケーションソフ
トウェアが記憶されており、起動処理の過程で適時RA
M53に転送される。
【0038】またPCI−ISAブリッジ66は、US
B端子42を介して接続される図示しないフロッピー
(登録商標)ディスクドライブ、プリンタ及びUSBマ
ウス等の外部デバイスを、USBインターフェースを介
して制御すると共に、ISAバス65に接続されるモデ
ム69及びサウンドコントローラ70の制御を行う。
【0039】モデム69は、モデム端子15から図示し
ない公衆電話回線及びインターネットを介してインター
ネットサービスプロバイダ(以下、これをプロバイダと
呼ぶ)に接続し、当該プロバイダとの間でアクセスする
ようになされている。
【0040】サウンドコントローラ70は、マイクロフ
ォン24から取り込まれた音声信号をディジタル変換し
て音声データを生成し、これをCPU50に出力すると
ともに、CPU50から供給される音声データをアナロ
グ変換して音声信号を生成し、これを内蔵スピーカ6を
介して外部に出力する。
【0041】またISAバス65には、I/O(In/Out)
コントローラ73が接続されており、電源供給充電制御
回路85を介して外部電源コネクタ84から電力の供給
を受け、電源スイッチ40がオンされたときに各回路へ
電力の供給を行う。なお、ここでもI/Oコントローラ
73は、クロックジェネレータ60から供給されるシス
テムクロックを基に動作する。
【0042】また電源供給充電制御回路85は、I/O
コントローラ73によって制御され、バッテリコネクタ
17(図3)に接続されたバッテリパック86の充電を
制御する。
【0043】このI/Oコントローラ73はマイクロコ
ントローラ、I/Oインターフェース、CPU、ROM
及びRAM等によって構成されており、フラッシュメモ
リ79に格納されているBIOS(Basic Input/Output
System) に基づいてOSやアプリケーションソフトウェ
アと液晶ディスプレイ21やHDD67等の各種周辺機
器との間におけるデータの入出力を制御する。
【0044】またI/Oコントローラ73は、赤外線ポ
ート45と接続されており、例えば他のコンピュータ装
置との間で赤外線通信を実行し得るようになされてい
る。さらにI/Oコントローラ73は、反転スイッチ7
7と接続されており、CCDカメラ23の撮像部22が
液晶ディスプレイ21の背面側方向に180度回転され
たとき反転スイッチ77がオンされ、その旨をPCI−
ISAブリッジ66及びホスト−PCIブリッジ54を
介してCPU50に通知する。
【0045】さらにI/Oコントローラ73は、全押し
/半押しスイッチ78と接続されており、本体2の上面
に設けられたシャッタボタン7が半押し状態にされたと
き全押し/半押しスイッチ78がオンされ、その旨をC
PU50に通知すると共に、シャッタボタン7が全押し
状態にされたとき全押し/半押しスイッチ78がオンさ
れ、その旨をCPU50に通知する。
【0046】すなわちCPU50は、HDD67のハー
ドディスクからキャプチャーソフトウェアをRAM53
上に立ち上げた状態で、ユーザによってシャッタボタン
7が半押し状態にされると静止画像モードに入り、CC
Dカメラ23を制御して静止画像のフリーズを実行し、
全押し状態にされるとフリーズされた静止画像データを
取り込みビデオコントローラ56に送出する。
【0047】これに対してCPU50は、キャプチャー
ソフトウェアを立ち上げない状態で、ユーザによってシ
ャッタボタン7が全押し状態にされると動画像モードに
入り、最大60秒程度までの動画像を取り込みビデオコ
ントローラ56に送出するようになされている。
【0048】ところでI/Oコントローラ73のROM
には、ウェイクアッププログラム、キー入力監視プログ
ラム、LED制御プログラム及びジョグダイヤル状態監
視プログラム、その他種々の制御プログラムが格納され
ている。
【0049】ここでジョグダイヤル状態監視プログラム
は、HDD67のハードディスクに格納されているジョ
グダイヤルユーティリティプログラムと関連したプログ
ラムであり、ジョグダイヤル30が回転操作又は押圧操
作されたか否かを監視するためのものである。
【0050】ウェイクアッププログラムは、PCI−I
SAブリッジ66内のRTC回路から供給される現在時
刻が予め設定した開始時刻になると、CPU50によっ
て所定の処理を実行するように制御されたプログラムで
あり、キー入力監視プログラムは操作キー4及び、その
他の各種キースイッチからの入力を監視するプログラム
である。
【0051】LED制御プログラムは、電源ランプP
L、電池ランプBL、メッセージランプML等のLED
(Light Emitting Diode)でなる各種ランプの点灯を制御
するプログラムである。
【0052】またI/Oコントローラ73のRAMに
は、ウェイクアッププログラム用の設定時刻レジスタ、
キー入力監視プログラム用のキー入力監視レジスタ、L
ED制御プログラム用のLED制御レジスタ及びジョグ
ダイヤル状態監視プログラム用のI/Oレジスタ、その
他の各種プログラム用のレジスタが設けられている。
【0053】設定時刻レジスタは、ウェイクアッププロ
グラムで用いるためにユーザが予め任意に設定した開始
時刻の時間情報を格納するようになされている。従って
I/Oコントローラ73は、ウェイクアッププログラム
に基づいてRTC回路から供給される現在時刻が任意に
設定した開始時刻になったか否かを判別し、開始時刻に
なったときにはその旨をCPU50に通知する。これに
よりCPU50は、開始時刻になったとき予め設定され
た所定のアプリケーションソフトウェアを立ち上げ、当
該アプリケーションソフトウェアに従って所定の処理を
実行する。
【0054】キー入力監視レジスタは、操作キー4、ス
ティック5、左クリックボタン5A、右クリックボタン
5B及びセンタボタン5Cの入力に基づいて操作キーフ
ラグを格納するようになされている。
【0055】従ってI/Oコントローラ73は、キー入
力監視プログラムに基づいて例えばスティック5による
ポインティング操作や、左クリックボタン5A、右クリ
ックボタン5B及びセンタボタン5Cのクリック操作が
行われたか否かを操作キーフラグの状態に基づいて判別
し、ポインティング操作やクリック操作が行われたとき
にはその旨をCPU50に通知する。
【0056】ここでポインティング操作とは、スティッ
ク5を指で上下左右に押圧操作することによりマウスカ
ーソルを所望の位置に移動する操作のことであり、クリ
ック操作とは左クリックボタン5A又は右クリックボタ
ン5Bを指で素早く押して離す操作のことである。
【0057】これによりCPU50は、ポインティング
操作によるマウスカーソルの移動やクリック操作に応じ
た所定の処理を実行する。
【0058】LED制御レジスタは、電源ランプPL、
電池ランプBL、メッセージランプML等のLEDでな
る各種ランプの点灯状態を示す点灯フラグを格納するよ
うになされている。
【0059】従ってI/Oコントローラ73は、例えば
ジョグダイヤル30の押圧操作によりCPU50がHD
D67のハードディスクから電子メールプログラムを読
み出してRAM53上で立ち上げ、当該電子メールプロ
グラムに従って電子メールを受け取ったとき点灯フラグ
を格納すると共に、当該点灯フラグに基づいてLED8
1を制御することによりメッセージランプMLを点灯す
る。
【0060】ジョグダイヤル状態監視プログラム用のI
/Oレジスタは、ジョグダイヤル30に対して行われた
回転操作及び押圧操作に応じてそれぞれ回転操作フラグ
及び押圧操作フラグを格納するようになされている。
【0061】従ってI/Oコントローラ73は、回転検
出部88を介して接続されたジョグダイヤル30の回転
操作及び押圧操作により複数のメニュー項目の中からユ
ーザ所望のメニュー項目が選択されたとき、I/Oレジ
スタに回転操作フラグ及び押圧操作フラグを格納すると
共に、その旨をCPU50に通知する。
【0062】これによりCPU50は、HDD67から
読み出してRAM53上で起動中のジョグダイヤルユー
ティリティプログラムに従って、ジョグダイヤル30の
回転操作及び押圧操作によって決定されたメニュー項目
に該当するアプリケーションソフトウェアを立ち上げて
所定の処理を実行する。
【0063】ここでI/Oコントローラ73は、電源ス
イッチ40がオフでOSが起動していない状態であっ
も、電源供給充電制御回路85の制御によってジョグダ
イヤル状態監視プログラムに基づいて常時動作してお
り、専用キーを設けることなく省電力状態又は電源オフ
時においてもジョグダイヤル30の押圧操作によってユ
ーザ所望のアプリケーションソフトウェアやスクリプト
ファイルを起動し得るようになされている。
【0064】ところでI/Oコントローラ73は、I2
Cバス82と接続されており、操作キー4やジョグダイ
ヤル30によって設定したCCDカメラ23に対する各
種設定パラメータをI2 Cバス82を介して供給するこ
とにより、CCDカメラ23におけるカメラ電源のオン
/オフを制御したり、CCDカメラ23における明るさ
やコントラストを調整するようになされている。
【0065】(2)スペクトラムアナライザプログラム またノートパソコン1においてCPU50は、HDD6
7に格納されているスペクトラムアナライザプログラム
(以下、これをスペアナプログラムと呼ぶ)に基づい
て、予め登録された音楽データをHDD67から読み出
してスピーカ24から再生するとともに、当該音楽デー
タの音声を所定の帯域毎に周波数解析し、当該解析結果
に基づいて、帯域毎の信号レベルを示すスペクトラムア
ナライザ画像(以下、これをスペアナ画像と呼ぶ)Psp
c を生成する。
【0066】そしてCPU50は、予め登録された複数
の静止画画像データ(以下、これを登録画像Preg と呼
ぶ)をHDD67から読み出し、当該読み出した複数の
登録画像Preg のうちの1枚を選択画像Psel として選
択し、さらに当該選択画像Psel とスペアナ画像Pspc
とを合成して合成画像Pcompを生成し液晶ディスプレイ
21に表示する。このときCPU50は、音楽データの
解析結果に基づいて選択画像Psel を変更するととも
に、選択画像Psel とスペアナ画像Pspc の合成方法を
変更する。
【0067】すなわちCPU50は、ユーザによるスペ
アナプログラムの開始操作に応じて、図6に示すスペク
トラムアナライザ処理手順を開始する。
【0068】CPU50はRT1で処理を開始し、ステ
ップSP1においてCPU50は初期化処理を行い、H
DD67に記憶されている複数の登録画像Preg をRA
M53に読み出し、当該読み出した複数の登録画像Pre
g のうちの一枚を選択画像Psel として選択するととも
に、後述する4種類の画像の合成方法のうちの一つを選
択する。そしてCPU50は、HDD67から音楽デー
タを読み出して再生を開始する。
【0069】ステップSP2において、音声信号取得手
段としてのCPU50は、再生中の音楽データの音声を
取り込み(以下、これをキャプチャと呼ぶ)、次のステ
ップSP3に移る。
【0070】ステップSP3において、音声信号解析手
段としてのCPU50は、キャプチャした音声をFFT
(Fast Fourier Transform:高速フーリエ変換)を用い
て周波数解析し、次のステップSP4に移る。
【0071】ステップSP4において、周波数解析画像
生成手段としてのCPU50は、周波数解析結果に基づ
いてスペアナ画像を生成する。すなわち図7はスペアナ
画像Pspc を示し、6本のインジケータf1〜f6が表
示されている。
【0072】インジケータf1〜f6はそれぞれ14個
の表示ブロックBlkで構成されており、下から9個の
表示ブロックBlkは緑色で表示されるとともに、上か
ら5個の表示ブロックBlkは赤色で表示される。ま
た、インジケータf1〜f6の背景は黒で表示される。
【0073】インジケータf1〜f6はそれぞれ対応す
る周波数帯域の信号レベルを表しており、再生中の音声
に応じて各インジケータの高さが変動する。すなわち、
インジケータf1は0〜500[Hz]の帯域(周波数帯N
o.1)の信号強度を表し、インジケータf2は500
[Hz]〜1[kHz] の帯域(周波数帯No.2)の信号強度
を表し、インジケータf3は1〜2[kHz] の帯域(周波
数帯No.3)の信号強度を表している。また、インジ
ケータf4は2〜4[kHz] の帯域(周波数帯No.4)
の信号強度を表し、インジケータf5は4〜8[kHz] の
帯域(周波数帯No.5)の信号強度を表し、インジケ
ータf6は8〜16[kHz] の帯域(周波数帯No.6)
の信号強度を表している。
【0074】ステップSP5において、選択画像切替手
段としてのCPU50は、周波数帯No.1の信号レベ
ルが所定の閾値以上であるか否かを判断する。ステップ
SP5において否定結果が得られた場合、このことは周
波数帯No.1の信号レベルが所定の閾値未満であるこ
とを表しており、CPU50はステップSP7に移る。
【0075】これに対してステップSP5において肯定
結果が得られた場合、このことは周波数帯No.1の信
号レベルが所定の閾値以上であることを表しており、C
PU50はステップSP6に進む。ステップSP6にお
いて、CPU50は複数の登録画像Preg のうちの一枚
をランダムに選択してこれを選択画像Psel とし、ステ
ップSP7に移る。
【0076】ここで、周波数帯No.1は音楽における
ドラムやベース等の低音領域に相当する。このためCP
U50は、再生中の音楽データにおけるドラムやベース
等の低音をトリガとして選択画像Psel を切り替える。
【0077】ステップSP7においてCPU50は、周
波数帯No.5の信号レベルが所定の閾値以上であるか
否かを判断する。ステップSP7において否定結果が得
られた場合、このことは周波数帯No.5の信号レベル
が所定の閾値未満であることを表しており、CPU50
はステップSP9に移る。
【0078】これに対してステップSP7において肯定
結果が得られた場合、このことは周波数帯No.5の信
号レベルが所定の閾値以上であることを表しており、C
PU50はステップSP8に進む。ステップSP8にお
いて、CPU50は4種類ある画像の合成方法のうちの
一つをランダムに選択する。
【0079】ここで、周波数帯No.5は音楽における
ボーカル等の中高音領域に相当する。このためCPU5
0は、再生中の音楽データにおけるボーカル等をトリガ
として画像の合成方法を切り替える。
【0080】すなわち図8(A)は、OR(論理和)を
用いた画像の合成を示し、それぞれ24ビットカラー
(R、G、Bそれぞれ8ビットずつ)で表現された選択
画像Psel 及びスペアナ画像Pspc の対応する画素毎に
おいて、対応するビット毎に論理和を行うことにより合
成画像Pcompを生成する。例えば、図9に示す選択画像
Pseとスペアナ画像Pspc (図7)を論理和を用いて合
成した場合、図10(A)に示す合成画像Pcompが生成
される。この合成画像Pcompにおいて、スペアナ画像P
spc の背景部に対応する部分は選択画像Psel の絵柄が
そのまま表示され、スペアナ画像Pspc の緑色のインジ
ケータに対応する部分は、選択画像Pselの緑成分が強
調され、スペアナ画像Pspc の赤色のインジケータに対
応する部分は、選択画像Psel の赤成分が強調された絵
柄になる。
【0081】図8(B)は、XOR(排他的論理和)を
用いた画像の合成を示し、選択画像Psel 及びスペアナ
画像Pspc の対応する画素毎において、対応するビット
毎に排他的論理和を行うことにより合成画像Pcompを生
成する。すなわち図10(B)はXORによる合成画像
Pcompを示し、スペアナ画像Pspc の背景部に対応する
部分は選択画像Psel の絵柄がそのまま表示され、スペ
アナ画像Pspc の緑色のインジケータに対応する部分
は、選択画像Psel の緑成分がビット反転され、スペア
ナ画像Pspc の赤色のインジケータに対応する部分は選
択画像Psel の赤成分がビット反転される。
【0082】図8(C)はAND(論理積)を用いた画
像の合成を示し、選択画像Psel 及びスペアナ画像Psp
c の対応する画素毎において、対応するビット毎に論理
積を行うことにより合成画像Pcompを生成する。すなわ
ち図10(C)はANDによる合成画像Pcompを示し、
スペアナ画像Pspc の背景部に対応する部分は黒く表示
され、スペアナ画像Pspc の緑色のインジケータに対応
する部分は、選択画像Psel の緑成分のみが表示され、
スペアナ画像Pspc の赤色のインジケータに対応する部
分は、選択画像Psel の赤成分のみが表示される。
【0083】図8(D)は、反転ANDを用いた画像の
合成を示し、反転させた選択画像Psel 及びスペアナ画
像Pspc の対応する画素毎において、対応するビット毎
に論理積を行うことにより合成画像Pcompを生成する。
すなわち図10(D)は反転ANDによる合成画像Pco
mpを示し、スペアナ画像Pspc の背景部に対応する部分
は黒く表示され、スペアナ画像Pspc の緑色のインジケ
ータに対応する部分は、反転した選択画像Psel の緑成
分のみが表示され、スペアナ画像Pspc の赤色のインジ
ケータに対応する部分は、反転した選択画像Psel の赤
成分のみが表示される。
【0084】かかる論理演算による画像の合成は、画像
合成の手法として一般に用いられているアルファブレン
ディング等に比べて計算量が少なく、画像合成を高速に
処理することができる。このため、音楽のリズムが速く
選択画像Psel や合成方法が高速で切り替わる場合にお
いても、リズムの変化に追従した選択画像Psel を生成
することができる。
【0085】ステップSP9において、合成画像表示手
段としてのCPU50は、選択画像Psel とスペアナ画
像Pspc を合成して合成画像Pcompを生成し、次のステ
ップSP10に移る。
【0086】ステップSP10において、合成画像表示
手段としてのCPU50は、生成した合成画像Pcompを
液晶ディスプレイ21に所定時間表示した後、ステップ
SP2に戻る。
【0087】かくしてCPU50は、再生中の音楽デー
タのドラムやベース等の低音をトリガとして選択画像P
sel を切り替えるとともに、ボーカル等をトリガとして
画像の合成方法を切り替えて合成画像Pcompを表示す
る。
【0088】(3)実施の形態における動作及び効果 以上の構成において、ノートパソコン1のCPU50は
スペクトラムアナライザプログラムを実行し、再生中の
音楽データを所定の帯域毎に周波数解析してスペアナ画
像Pspc を生成する。
【0089】そしてCPU50は、複数の登録画像Pre
g のうちの1枚を選択画像Psel として選択し、当該選
択画像Psel とスペアナ画像Pspc とを論理演算を用い
て合成し、合成画像Pcompとして液晶ディスプレイ21
に表示する。
【0090】このときCPU50は、音楽データの低音
領域の変化に基づいて選択画像Psel を切り替えるとと
もに、音楽データの中高音領域の変化に基づいて画像の
合成方法を切り替える。
【0091】以上の構成によれば、選択画像Psel 及び
画像の合成方法を音楽データの変化に基づいて切り替え
ることにより、音楽データの変化に応じて不規則に変化
する合成画像Pcompを表示することができるとともに、
合成処理時間が短い論理演算を用いて選択画像Psel と
スペアナ画像Pspc とを合成することにより、音楽デー
タの変化に遅れることなく選択画像Psel を変化させる
ことができる。
【0092】(4)他の実施の形態 なお上述の実施の形態においては、HDD67内に格納
された音楽データに基づいて選択画像Psel 及び画像の
合成方法を切り替えたが、本発明はこれに限らず、例え
ばマイクロフォン24から入力した音楽や、ノートパソ
コン1に接続したCD−ROMドライブで再生した音楽
CDの音楽等、さまざまな音源による音楽に基づいて選
択画像Psel 及び画像の合成方法を切り替えるようにし
ても良い。
【0093】また上述の実施の形態においては、音楽デ
ータに基づいて選択画像Psel 及び画像の合成方法を切
り替えたが、本発明はこれに限らず、例えば波の音等の
自然の音や、あるいは人間の声等、さまざまな音に基づ
いて選択画像Psel 及び画像の合成方法を切り替えるよ
うにしても良い。
【0094】また上述の実施の形態においては、静止画
でなる登録画像Preg とスペアナ画像Pspc とを合成し
て合成画像Pcompを生成したが、本発明はこれに限ら
ず、例えば動画像とスペアナ画像Pspc とを合成して合
成画像Pcompを生成するようにしても良い。
【0095】また上述の実施の形態においては、再生中
の音楽データの低音をトリガとして選択画像Psel を切
り替えるようにしたが、本発明はこれに限らず、例えば
中音をトリガとして用いる等、音楽データの様々な変化
をトリガとして用いて選択画像Psel を切り替えるよう
にしてもよい。さらに、選択画像Psel の切り替えの際
に、ワイプやディフューズ等の映像特殊効果を施すよう
にしてもよい。
【0096】さらに上述の実施の形態においては、CP
U50がHDD67のハードディスクに予め格納された
スペクトラムアナライザプログラムに基づいて、合成画
像Pcompを生成して表示する場合について述べたが、本
発明はこれに限らず、スペクトラムアナライザプログラ
ムの記録されたプログラム格納媒体をインストールする
ことにより、上述の合成画像Pcompの表示を行うように
しても良い。
【0097】このように上述した一連の処理を実行する
スペクトラムアナライザプログラムをノートパソコン1
にインストールし、当該ノートパソコン1によって実行
可能な状態とするために用いられるプログラム格納媒体
としては、例えばフロッピーディスク、CD−ROM(C
ompact Disc-Read Only Memory) 、DVD(Digital Vid
eo Disc)等のパッケージメディアのみならず、プログラ
ムが一時的もしくは永続的に格納される半導体メモリや
磁気ディスク等で実現してもよい。また、これらプログ
ラム格納媒体にプログラムを格納する手段としては、ロ
ーカルエリアネットワークやインターネット、ディジタ
ル衛星放送等の有線及び無線通信媒体を利用してもよ
く、ルータやモデム等の各種通信インターフェースを介
在させて格納するようにしても良い。
【0098】さらに上述の実施の形態においては、本発
明の情報処理装置をノートブック型パーソナルコンピュ
ータ1に適用するようにした場合について述べたが、本
発明はこれに限らず、デスクトップ型のパーソナルコン
ピュータに適用するようにしても良い。
【0099】
【発明の効果】上述のように本発明によれば、音声の変
化に基づいて選択画像を切り替えるとともに、音声の変
化に基づいて周波数解析画像と選択画像の合成方法を変
更することにより、音声の変化に応じて変化する合成画
像を生成して表示することができる。
【図面の簡単な説明】
【図1】本発明によるノートブック型パーソナルコンピ
ュータの全体構成を示す略線図である。
【図2】本体の左側面の構成を示す側面図である。
【図3】本体の後側面及び底面の構成を示す略線図であ
る。
【図4】本体に取り付けられているジョグダイヤルの外
観を示す略線図である。
【図5】ノートブック型パーソナルコンピュータの回路
構成を示すブロック図である。
【図6】スペクトラムアナライザプログラムの処理手順
を示すフローチャートである。
【図7】スペクトラムアナライザ画像を示す略線図であ
る。
【図8】画像の合成方法を示す略線図である。
【図9】選択画像を示す略線図である。
【図10】合成画像を示す略線図である。
【図11】合成画像を示す略線図である。
【符号の説明】
1……ノートパソコン、2……本体、3……表示部、2
1……液晶ディスプレイ、50……CPU、53……R
AM、67……HDD。
フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G09G 5/36 510 H04N 1/387 5/377 1/00 102A H04N 1/387 5/265 // H04N 1/00 102 G06F 15/40 370B 5/265 15/403 310Z G09G 5/36 520M Fターム(参考) 5B075 ND06 PP03 PP07 PQ02 5C023 AA18 AA37 AA38 BA11 BA15 CA03 CA04 CA05 DA08 5C062 AC05 AC24 AC29 AE11 5C076 AA12 AA13 5C082 AA01 AA11 AA21 AA22 AA24 BA16 BA20 BA27 BB25 BB42 CA56 CB01 DA61 DA87 MM09 MM10

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】音声信号を取得する音声信号取得手段と、 上記取得した音声信号を周波数解析する音声信号解析手
    段と、 上記周波数解析の結果に基づいて所定の周波数解析画像
    を生成する周波数解析画像生成手段と、 上記取得した音声信号のレベルに基づいて、複数の登録
    画像のうちの1枚を選択画像として切り替えて選択する
    選択画像切替手段と、 上記周波数解析画像と上記選択画像とを合成して合成画
    像を生成して表示する合成画像表示手段とを具えること
    を特徴とする情報処理装置。
  2. 【請求項2】上記合成画像表示手段は、上記周波数解析
    画像の画素と上記選択画像の対応する画素とを論理演算
    することにより上記合成画像を生成することを特徴とす
    る請求項1に記載の情報処理装置。
  3. 【請求項3】上記合成画像表示手段は、上記取得した音
    声信号のレベルに基づいて、上記周波数解析画像と上記
    選択画像との合成方法を変更することを特徴とする請求
    項1に記載の情報処理装置。
  4. 【請求項4】音声信号を取得する音声信号取得ステップ
    と、 上記取得した音声信号を周波数解析する音声解析ステッ
    プと、 上記周波数解析の結果に基づいて所定の周波数解析画像
    を生成する周波数解析画像生成ステップと、 上記取得した音声信号のレベルに基づいて、複数の登録
    画像のうちの1枚を選択画像として切り替えて選択する
    選択画像切替ステップと、 上記周波数解析画像と上記選択画像とを合成して合成画
    像を生成して表示する合成画像表示ステップとを具える
    ことを特徴とする画像生成方法。
  5. 【請求項5】上記合成画像表示ステップは、上記周波数
    解析画像の画素と上記選択画像の対応する画素とを論理
    演算することにより上記合成画像を生成することを特徴
    とする請求項4に記載の画像生成方法。
  6. 【請求項6】上記合成画像表示ステップは、上記取得し
    た音声信号のレベルに基づいて、上記周波数解析画像と
    上記選択画像との合成方法を変更することを特徴とする
    請求項4に記載の画像生成方法。
  7. 【請求項7】音声信号を取得する音声信号取得ステップ
    と、 上記取得した音声信号を周波数解析する音声解析ステッ
    プと、 上記周波数解析の結果に基づいて所定の周波数解析画像
    を生成する周波数解析画像生成ステップと、 上記取得した音声信号のレベルに基づいて、複数の登録
    画像のうちの1枚を選択画像として切り替えて選択する
    選択画像切替ステップと、 上記周波数解析画像と上記選択画像とを合成して合成画
    像を生成して表示する合成画像表示ステップとからなる
    ことを特徴とするプログラムを情報処理装置に実行させ
    るプログラム格納媒体。
  8. 【請求項8】上記合成画像表示ステップは、上記周波数
    解析画像の画素と上記選択画像の対応する画素とを論理
    演算することにより上記合成画像を生成することを特徴
    とする請求項7に記載のプログラム格納媒体。
  9. 【請求項9】上記合成画像表示ステップは、上記取得し
    た音声信号のレベルに基づいて、上記周波数解析画像と
    上記選択画像との合成方法を変更することを特徴とする
    請求項7に記載のプログラム格納媒体。
JP26775499A 1999-09-21 1999-09-21 情報処理装置、画像生成方法及びプログラム格納媒体 Pending JP2001092434A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP26775499A JP2001092434A (ja) 1999-09-21 1999-09-21 情報処理装置、画像生成方法及びプログラム格納媒体
US09/664,682 US6985854B1 (en) 1999-09-21 2000-09-19 Information processing device, picture producing method, and program storing medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26775499A JP2001092434A (ja) 1999-09-21 1999-09-21 情報処理装置、画像生成方法及びプログラム格納媒体

Publications (1)

Publication Number Publication Date
JP2001092434A true JP2001092434A (ja) 2001-04-06

Family

ID=17449128

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26775499A Pending JP2001092434A (ja) 1999-09-21 1999-09-21 情報処理装置、画像生成方法及びプログラム格納媒体

Country Status (2)

Country Link
US (1) US6985854B1 (ja)
JP (1) JP2001092434A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004287285A (ja) * 2003-03-24 2004-10-14 Sony Corp 画像表示装置及び画像表示方法
US6894715B2 (en) * 2001-06-16 2005-05-17 Eric Harold Henrikson Mixing video signals for an audio and video multimedia conference call
JP2006153923A (ja) * 2004-11-25 2006-06-15 Sony Corp 画像閲覧装置および画像閲覧方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6233389B1 (en) * 1998-07-30 2001-05-15 Tivo, Inc. Multimedia time warping system
US20080234847A1 (en) * 2007-03-19 2008-09-25 Hsuan-Lang Lin Glasses-type media player
JP5086877B2 (ja) * 2008-04-11 2012-11-28 シャープ株式会社 固体撮像素子およびその製造方法、電子情報機器
JP2009260718A (ja) * 2008-04-17 2009-11-05 Nikon Corp 画像再生装置及び画像再生処理プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4260299A (en) * 1979-05-25 1981-04-07 The Gleason Works Cutting tools having compound cutting faces
US5153829A (en) * 1987-11-11 1992-10-06 Canon Kabushiki Kaisha Multifunction musical information processing apparatus
JPH01296169A (ja) * 1988-05-24 1989-11-29 Sony Corp スペクトラムアナライザ
US5194996A (en) * 1990-04-16 1993-03-16 Optical Radiation Corporation Digital audio recording format for motion picture film
SG49883A1 (en) * 1991-01-08 1998-06-15 Dolby Lab Licensing Corp Encoder/decoder for multidimensional sound fields
US6490359B1 (en) * 1992-04-27 2002-12-03 David A. Gibson Method and apparatus for using visual images to mix sound
US5647027A (en) * 1994-10-28 1997-07-08 Lucent Technologies Inc. Method of image enhancement using convolution kernels
US5734794A (en) * 1995-06-22 1998-03-31 White; Tom H. Method and system for voice-activated cell animation
JPH09162660A (ja) * 1995-12-13 1997-06-20 Rohm Co Ltd オーディオ用スペクトラム表示装置およびオーディオ装置
US5974387A (en) * 1996-06-19 1999-10-26 Yamaha Corporation Audio recompression from higher rates for karaoke, video games, and other applications
US6003000A (en) * 1997-04-29 1999-12-14 Meta-C Corporation Method and system for speech processing with greatly reduced harmonic and intermodulation distortion

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6894715B2 (en) * 2001-06-16 2005-05-17 Eric Harold Henrikson Mixing video signals for an audio and video multimedia conference call
JP2004287285A (ja) * 2003-03-24 2004-10-14 Sony Corp 画像表示装置及び画像表示方法
JP2006153923A (ja) * 2004-11-25 2006-06-15 Sony Corp 画像閲覧装置および画像閲覧方法
JP4622479B2 (ja) * 2004-11-25 2011-02-02 ソニー株式会社 再生装置および再生方法
US8321789B2 (en) 2004-11-25 2012-11-27 Sony Corporation Image browsing apparatus and image browsing method

Also Published As

Publication number Publication date
US6985854B1 (en) 2006-01-10

Similar Documents

Publication Publication Date Title
JP2001075712A (ja) 情報処理装置及び情報処理方法並びにプログラム格納媒体
US7511948B2 (en) Screen display method of information processing device, information processing device and its program
US20060020900A1 (en) Information processing apparatus
WO2019128593A1 (zh) 搜索音频的方法和装置
US8098851B2 (en) User interface for network audio mixers
JP2001209615A (ja) 認証装置及び認証方法、プログラム格納媒体並びに情報処理装置
CN113157358B (zh) 显示装置控制方法及显示装置
CN1755586A (zh) 信息处理装置和冷却方法
US20110064319A1 (en) Electronic apparatus, image display method, and content reproduction program
CN1825428A (zh) 无线终端装置和卡拉ok***
JP2002084406A (ja) 画像転送装置及び方法、ファイル転送装置及び方法、並びにプログラム格納媒体
JP2007323629A (ja) コンピュータ及びその節電方法
JP2001092434A (ja) 情報処理装置、画像生成方法及びプログラム格納媒体
JP2002116859A (ja) 情報処理装置、命令認識処理方法及びプログラム格納媒体
JP2001092444A (ja) 情報処理装置及び情報処理方法並びにプログラム格納媒体
CN111340916A (zh) 图片编辑方法、装置、存储介质及终端
JP4441835B2 (ja) 情報処理装置
JP5550446B2 (ja) 電子機器及び動画像生成方法
JP2001092552A (ja) 情報処理装置及び情報処理方法並びにプログラム格納媒体
JP2001092478A (ja) 情報処理装置、情報処理方法及びプログラム格納媒体
JP4072345B2 (ja) ファイル記録制御装置、ファイル管理システム、ファイル管理方法、記録媒体及びプログラム
JP2001195047A (ja) 情報処理装置、表示制御方法及びプログラム格納媒体
JP2001092983A (ja) 情報処理装置、画像描画方法及びプログラム格納媒体
CN101272454B (zh) 快速影像撷取***
JP2002082750A (ja) 情報処理装置、項目表示方法及びプログラム格納媒体