JPH10261099A - Image processor - Google Patents
Image processorInfo
- Publication number
- JPH10261099A JPH10261099A JP6271697A JP6271697A JPH10261099A JP H10261099 A JPH10261099 A JP H10261099A JP 6271697 A JP6271697 A JP 6271697A JP 6271697 A JP6271697 A JP 6271697A JP H10261099 A JPH10261099 A JP H10261099A
- Authority
- JP
- Japan
- Prior art keywords
- image
- balloon
- data
- character
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Landscapes
- Studio Circuits (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、例えば、イラスト
風の似顔絵を電子的に作成して表示する電子手帳や電子
玩具、あるいはページャー等に用いて好適な画像処理装
置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus suitable for use in, for example, an electronic notebook, an electronic toy, or a pager for electronically creating and displaying a portrait like an illustration.
【０００２】[0002]
【従来の技術】近年、イラスト風の似顔絵（以下、これ
を顔画像と称す）を電子的に作成して表示する電子手帳
や電子玩具、あるいはページャー等が知られている。こ
の種の製品にあっては、「目」、「鼻」、「口」や「輪
郭」等の顔の各部位を描画する各種パーツ画像データを
ＲＯＭに登録しておき、これらの中から各部位毎にパー
ツ画像データを選択して読み出し、所望の容貌の顔画像
を形成する画像処理装置が具備されている。2. Description of the Related Art In recent years, an electronic notebook, an electronic toy, a pager, and the like for electronically creating and displaying an illustration-like portrait (hereinafter referred to as a face image) have been known. In this type of product, various parts image data for drawing each part of the face such as “eyes”, “nose”, “mouth”, and “contour” are registered in the ROM, and from among these, An image processing apparatus is provided which selects and reads out part image data for each part and forms a face image having a desired appearance.
【０００３】ところで、近年では、この画像処理装置が
作成した顔画像にメッセージを添えて画面表示する態様
も案出されている。例えば、ページャーに適用した場
合、発信人の似顔絵として作成された顔画像に、伝言す
べきメッセージ文を吹き出し形式で表示することが提案
されている。なお、この吹き出し形式によるメッセージ
文の表示とは、漫画やアニメなどで多用される表現形式
として知られており、あたかも顔画像からメッセージが
発せられているように見える、という視覚的な効果を狙
っている。In recent years, a mode has been devised in which a face image created by the image processing apparatus is displayed on a screen together with a message. For example, when applied to a pager, it has been proposed to display a message to be transmitted in a balloon format on a face image created as a portrait of a caller. The display of the message text in the balloon format is known as an expression format frequently used in comics and animations, and aims at a visual effect that a message appears to be emitted from a face image. ing.
【０００４】[0004]
【発明が解決しようとする課題】さて、上述した従来の
画像処理装置にあっては、作成した顔画像について吹き
出し形式によるメッセージ文を表示させる場合、マウス
やキーボードあるいはキーパッド等の入力操作子を用い
て「吹出し」の形状を選択したり、選択した「吹出し」
の内部に表示する文字やその大きさ・形状を一々指定し
なければならず、操作が煩わしいという問題がある。そ
こで本発明は、このような事情に鑑みてなされたもの
で、極めて簡単な操作で各種の「吹き出し」態様を入力
することができる画像処理装置を提供することを目的と
している。In the above-described conventional image processing apparatus, when displaying a message in a balloon format with respect to a created face image, an input operator such as a mouse, a keyboard, or a keypad is used. Use to select the shape of “Blowout” or select “Blowout”
There is a problem that the characters to be displayed inside the character and the size and shape of the character must be specified one by one, and the operation is troublesome. The present invention has been made in view of such circumstances, and has as its object to provide an image processing apparatus capable of inputting various “speech balloon” modes with a very simple operation.
【０００５】[0005]
【課題を解決するための手段】上記目的を達成するた
め、請求項１に記載の発明では、入力される音声に対応
した形態の吹き出し画像を形成する吹き出し画像形成手
段と、入力される音声を言語認識し、認識された言語を
それぞれ文字画像に変換する文字画像形成手段と、この
文字画像形成手段により形成された文字画像の表示態様
を、入力される音声に応じて異ならせて前記吹き出し画
像中に表示する表示制御手段とを具備することを特徴と
する。According to a first aspect of the present invention, there is provided a balloon image forming means for forming a balloon image in a form corresponding to an input voice, and A character image forming means for recognizing a language and converting each recognized language into a character image; and a display mode of the character image formed by the character image forming means, which is changed in accordance with an input voice to generate the balloon image. Display control means for displaying the information inside.
【０００６】また、請求項２に記載の発明では、各種形
態の吹き出しを形成する複数の吹き出し画像データを記
憶する吹き出し画像記憶手段と、入力される音声の音量
に対応付けられた吹き出し画像データを、前記吹き出し
画像記憶手段から読み出して吹き出し画像を形成する吹
き出し画像形成手段と、入力される音声を言語認識し、
認識された言語をそれぞれ文字画像に変換する文字画像
形成手段と、この文字画像形成手段により形成された文
字画像の表示態様を、入力される音声の音量に応じて異
ならせて前記吹き出し画像中に表示する表示制御手段と
を具備することを特徴としている。According to the second aspect of the present invention, a balloon image storage means for storing a plurality of balloon image data forming balloons of various forms, and a balloon image data associated with a sound volume of an input sound. A balloon image forming unit that reads from the balloon image storage unit to form a balloon image, and language-recognizes an input voice;
Character image forming means for converting each recognized language into a character image, and displaying the character image formed by the character image forming means in the balloon image by changing the display mode according to the volume of the input voice. Display control means for displaying.
【０００７】さらに、請求項３に記載の発明では、各種
形態の吹き出しを形成する複数の吹き出し画像データを
記憶する吹き出し画像記憶手段と、入力される音声の音
程に対応付けられた吹き出し画像データを、前記吹き出
し画像記憶手段から読み出して吹き出し画像を形成する
吹き出し画像形成手段と、入力される音声を言語認識
し、認識された言語をそれぞれ文字画像に変換する文字
画像形成手段と、この文字画像形成手段により形成され
た文字画像の表示態様を、入力される音声の音程に応じ
て異ならせて前記吹き出し画像中に表示する表示制御手
段とを具備することを特徴としている。Further, according to the third aspect of the present invention, balloon image storage means for storing a plurality of balloon image data forming balloons of various forms, and balloon image data associated with a pitch of an input voice are stored. A balloon image forming unit that reads a balloon image from the balloon image storage unit to form a balloon image, a character image forming unit that recognizes a language of an input voice and converts each recognized language into a character image, And a display control unit for changing the display mode of the character image formed by the unit in accordance with the pitch of the input voice and displaying the character image in the balloon image.
【０００８】請求項４に記載の発明では、各種形態の吹
き出しを形成する複数の吹き出し画像データを記憶する
吹き出し画像記憶手段と、入力される音声の音量および
音程に対応付けられた吹き出し画像データを、前記吹き
出し画像記憶手段から読み出して吹き出し画像を形成す
る吹き出し画像形成手段と、入力される音声を言語認識
し、認識された言語をそれぞれ文字画像に変換する文字
画像形成手段と、この文字画像形成手段により形成され
た文字画像の表示態様を、入力される音声の音量および
音程に応じて異ならせて前記吹き出し画像中に表示する
表示制御手段とを具備することを特徴とする。According to the fourth aspect of the invention, balloon image storage means for storing a plurality of balloon image data for forming balloons of various forms, and balloon image data associated with the volume and pitch of the input voice. A balloon image forming unit that reads a balloon image from the balloon image storage unit to form a balloon image, a character image forming unit that recognizes a language of an input voice and converts each recognized language into a character image, And a display control means for changing the display mode of the character image formed by the means in accordance with the volume and the pitch of the input voice and displaying the character image in the balloon image.
【０００９】上記請求項１〜４のいずれかに従属する請
求項５に記載の発明によれば、前記表示制御手段が異な
らせる表示態様は、文字画像の大きさおよび表示色のい
ずれか一方、あるいは両方であることを特徴とする。ま
た、請求項２〜４のいずれかに従属する請求項６に記載
の発明によれば、前記表示制御手段は、音量あるいは音
程のいずれか一方、もしくは両方に応じて１語毎の文字
画像の大きさを可変制御することを特徴とする。According to the fifth aspect of the present invention, the display control means makes the display mode different from one of a character image size and a display color. Alternatively, they are both. Further, according to the invention described in claim 6 which depends on any one of claims 2 to 4, the display control means may control a character image of each word in accordance with one or both of a volume and a pitch. The size is variably controlled.
【００１０】本発明では、吹き出し画像形成手段が入力
される音声に対応した形態の吹き出し画像を形成し、文
字画像形成手段が入力される音声を言語認識し、認識さ
れた言語をそれぞれ文字画像に変換すると、表示制御手
段が文字画像の表示態様を、入力される音声に応じて異
ならせて前記吹き出し画像中に表示する。これにより、
音声入力という極めて簡単な操作で各種の「吹き出し」
態様を入力することが可能となる。また、入力される音
声の内容によっては、「吹き出し」態様で感情表現する
ことも可能になる。According to the present invention, the balloon image forming means forms a balloon image in a form corresponding to the input voice, the character image forming means recognizes the language of the input voice, and converts the recognized language into a character image. After the conversion, the display control means changes the display mode of the character image in the balloon image in accordance with the input voice. This allows
Various "speech balloons" with extremely simple operation of voice input
It becomes possible to input an aspect. Also, depending on the content of the input voice, it is possible to express emotions in a “speech balloon” mode.
【００１１】[0011]
【発明の実施の形態】本発明による画像処理装置は、イ
ラスト風の似顔絵を電子的に作成して表示する電子手帳
や電子玩具、あるいはページャー、ＰＤＡ（携帯情報端
末）などに適用され得る。以下では、本発明の実施の形
態である画像処理装置を、実施例として図面を参照して
説明する。DESCRIPTION OF THE PREFERRED EMBODIMENTS An image processing apparatus according to the present invention can be applied to an electronic notebook or an electronic toy that electronically creates and displays an illustration-like portrait, a pager, a PDA (Personal Digital Assistant), and the like. Hereinafter, an image processing apparatus according to an embodiment of the present invention will be described as an example with reference to the drawings.
【００１２】Ａ．実施例の構成 （１）全体構成 図１は、本発明の実施例による画像処理装置１の全体構
成を示すブロック図である。この画像処理装置１は、後
述する構成要素１０〜１９に基づき生成されるコンポジ
ットビデオ信号ＳVを、ディスプレイ装置２に供給す
る。ディスプレイ装置２は、例えば通常のテレビジョン
受像機、あるいはＶＤＴ（ビデオ・ディスプレイ・ター
ミナル）であり、画像処理装置１側から供給されるコン
ポジットビデオ信号ＳVに応じた画像を画面表示する。A. 1. Configuration of Embodiment (1) Overall Configuration FIG. 1 is a block diagram showing the overall configuration of an image processing apparatus 1 according to an embodiment of the present invention. The image processing apparatus 1, a composite video signal S V is generated on the basis of the components 10 to 19 described later, and supplies to the display apparatus 2. Display device 2, for example, ordinary television receivers, or a VDT (video display terminal), the screen displays an image corresponding to the composite video signal S V fed from the image processing apparatus 1 side.
【００１３】画像処理装置１において、１０は、電源ス
イッチや動作モード切り替えスイッチ等の各種操作スイ
ッチを備えるコントローラであり、ユーザーのスイッチ
操作に応じた操作信号を発生する。１１はコントローラ
１０が発生する操作信号に応じて装置各部を制御するＣ
ＰＵであり、その動作については後述する。なお、ＣＰ
Ｕ１１は図示されていないＤＭＡコントローラ等の周辺
装置を含み、ＤＭＡ転送し得るように構成されている。
１２はＲＯＭであり、ＣＰＵ１１にロードされる各種プ
ログラムの他、顔画像や吹き出し画像（後述する）を表
示するための画像データや、データテーブルが記憶され
ており、そのメモリ構成については後述する。In the image processing apparatus 1, reference numeral 10 denotes a controller provided with various operation switches such as a power switch and an operation mode changeover switch, and generates an operation signal corresponding to a switch operation by a user. Reference numeral 11 denotes a C that controls each unit of the apparatus according to an operation signal generated by the controller 10.
This is a PU, and its operation will be described later. Note that CP
U11 includes a peripheral device such as a DMA controller (not shown) and is configured to be able to perform DMA transfer.
Reference numeral 12 denotes a ROM, which stores various programs loaded into the CPU 11, image data for displaying a face image and a balloon image (described later), and a data table. The memory configuration will be described later.
【００１４】１３はＣＰＵ１１のワークエリアとして用
いられるＲＡＭであり、各種レジスタ・フラグデータを
一時記憶する記憶エリアの他、後述する音量データ、音
程データおよび音声認識データを格納する記憶エリアを
備えている。このＲＡＭ１３のメモリ構成については追
って述べる。１４はＣＰＵ１１の指示の下に表示制御す
るビデオ・ディスプレイ・プロセッサ（以下、ＶＤＰと
称す）であり、ＶＲＡＭ１５にＤＭＡ転送される各種画
像データを表示データ（ＲＧＢデータ）に変換して出力
する。Reference numeral 13 denotes a RAM used as a work area of the CPU 11, which has a storage area for temporarily storing various register / flag data, and a storage area for storing later-described volume data, pitch data, and voice recognition data. . The memory configuration of the RAM 13 will be described later. Reference numeral 14 denotes a video display processor (hereinafter, referred to as VDP) that controls display under the instruction of the CPU 11, and converts various image data DMA-transferred to the VRAM 15 into display data (RGB data) and outputs the display data.
【００１５】ＶＲＡＭ１５は、ＣＰＵ１１の指示により
ＲＡＭ１３側からＤＭＡ転送される顔画像や吹き出し画
像を形成する画像データを一時記憶する。１６はエンコ
ーダであり、上述したＶＤＰ１４から出力される表示デ
ータ（ＲＧＢデータ）をコンポジットビデオ信号ＳVに
変換して出力し、ディスプレイ装置２に供給する。１７
は音声入力時に使用するマイクロフォンである。１８は
マイクロフォン１７から出力されるユーザーの音声信号
を所定のサンプリング周波数でサンプリングしてなる音
声データを発生するＡ／Ｄ変換器である。The VRAM 15 temporarily stores image data for forming a face image and a balloon image which are DMA-transferred from the RAM 13 in accordance with an instruction from the CPU 11. 16 is an encoder, and converts the display data output from VDP14 described above (RGB data) into a composite video signal S V, and supplies to the display apparatus 2. 17
Is a microphone used for voice input. Reference numeral 18 denotes an A / D converter that generates audio data obtained by sampling a user's audio signal output from the microphone 17 at a predetermined sampling frequency.
【００１６】１９は、上記Ａ／Ｄ変換器１８から供給さ
れる音声データに基づき、音声認識、音量検出および音
程検出の各処理を施し、その結果をＣＰＵ１１に出力す
るデジタル・シグナル・プロセッサ（以下、ＤＳＰと略
称する）である。このＤＳＰ１９は、内部メモリに格納
されるマイクロプログラムに基づき、音声認識部１９
ａ、音量検出部１９ｂおよび音程検出部１９ｃの各機能
を具現する。A digital signal processor (hereinafter, referred to as 19) performs voice recognition, volume detection and pitch detection processing based on the audio data supplied from the A / D converter 18, and outputs the results to the CPU 11. , DSP). This DSP 19 is based on a microprogram stored in an internal memory,
a, each function of the volume detector 19b and the pitch detector 19c.
【００１７】音声認識部１９ａは、ユーザーが発した音
声について、音素あるいは音節などの認識単位毎に、パ
ーコール分析等の手法により特徴パラメータを抽出し、
この抽出した時系列の特徴パラメータからなる入力パタ
ーンを、予め登録される各単語毎の標準パターン群につ
いてパターンマッチングさせ、最も類似度の高い標準パ
ターンに対応付けられた単語あるいは文節を音声認識結
果として出力する。また、音量検出部１９ｂおよび音程
検出部１９ｃでは、こうした音声認識を行っている過程
で、Ａ／Ｄ変換器１８より出力される音声データから時
系列の振幅値および発声ピッチを抽出して出力する。The speech recognition unit 19a extracts a feature parameter of the speech uttered by the user for each recognition unit such as a phoneme or a syllable by a method such as Percoll analysis.
The input pattern consisting of the extracted time-series feature parameters is subjected to pattern matching for a standard pattern group for each word registered in advance, and a word or a phrase associated with the standard pattern having the highest similarity is used as a speech recognition result. Output. In the process of performing such voice recognition, the volume detector 19b and the pitch detector 19c extract and output time-series amplitude values and utterance pitches from the voice data output from the A / D converter 18. .
【００１８】上記構成によれば、コントローラ１０の操
作に応じて選択されたパーツ画像により所望の容貌の顔
画像が形成される一方、この形成された顔画像に付随し
て表示される「吹き出し」の形状や、この「吹き出し」
内部に表示する文字およびその大きさ・表示色がユーザ
ーの音声入力により自動的に決定されて吹き出し表示が
行われる。つまり、本発明では、ユーザーが発する音声
に従って各様な「吹き出し」態様を実現することを要旨
としている。According to the above configuration, a face image having a desired appearance is formed by the part image selected in accordance with the operation of the controller 10, and a "speech balloon" displayed along with the formed face image. Shape and this "speech balloon"
Characters to be displayed inside and their sizes and display colors are automatically determined by a user's voice input, and balloon display is performed. In other words, the gist of the present invention is to realize various “speech balloons” according to the voice uttered by the user.
【００１９】（２）ＲＯＭ１２のメモリ構成 次に、図２を参照して上述したＲＯＭ１２のメモリ構成
について説明する。図２において、ＫＧは顔画像データ
記憶エリアであり、「髪」、「輪郭」、「目」、「鼻」
および「口」等の顔の各部位毎に複数種の画像データが
格納されている。したがって、ユーザーが「髪」、「輪
郭」、「目」、「鼻」および「口」等の顔の各部位毎に
所望の画像データを選択することで、各様な容貌あるい
は表情の顔画像を形成し得るようになっている。(2) Memory Configuration of ROM 12 Next, the memory configuration of the ROM 12 will be described with reference to FIG. In FIG. 2, KG is a face image data storage area, and includes “hair”, “contour”, “eyes”, and “nose”.
In addition, a plurality of types of image data are stored for each part of the face such as the "mouth". Therefore, the user selects desired image data for each part of the face, such as “hair”, “contour”, “eyes”, “nose”, and “mouth”, so that face images having various appearances or expressions can be obtained. Can be formed.
【００２０】ＦＧは、吹き出し画像データ記憶エリアで
あり、各種形状の吹き出し枠を描画する吹き出し画像デ
ータＦＧ（１）〜ＦＧ（Ｎ）から構成される。これら吹
き出し画像データＦＧ（１）〜ＦＧ（Ｎ）は、後述する
吹き出し形状選択テーブルＦＳＴにより指定される。Ｆ
Ｔ（１）〜ＦＴ（Ｎ）は、それぞれ吹き出し枠内に表示
する文字の形状や大きさを指定する文字種変換テーブル
である。すなわち、音声入力されたメッセージ（文字
列）を、後述する音声表示モード処理によって吹き出し
枠内に表示する際に、これら文字種変換テーブルＦＴ
（１）〜ＦＴ（Ｎ）を参照し、当該メッセージを形成す
る各文字の形状や大きさを指定する。これら文字種変換
テーブルＦＴ（１）〜ＦＴ（Ｎ）は、後述する文字種選
択テーブルＭＳＴにより指定される。FG is a balloon image data storage area and is composed of balloon image data FG (1) to FG (N) for rendering balloon frames of various shapes. These balloon image data FG (1) to FG (N) are designated by a balloon shape selection table FST described later. F
T (1) to FT (N) are character type conversion tables for designating the shape and size of characters to be displayed in the balloon frame, respectively. That is, when a message (character string) input by voice is displayed in a balloon frame by voice display mode processing described later, the character type conversion table FT is used.
With reference to (1) to FT (N), the shape and size of each character forming the message are designated. These character type conversion tables FT (1) to FT (N) are designated by a character type selection table MST described later.
【００２１】吹き出し形状選択テーブルＦＳＴは、後述
する音量平均データおよび音程平均データに対応させて
上述した吹き出し画像データＦＧ（１）〜ＦＧ（Ｎ）の
いずれかを選択するための２次元データテーブルであ
る。すなわち、このテーブルＦＳＴでは、音声入力され
るメッセージの音量および音程に対応した形状の「吹き
出し」を選択するものであり、例えば、怒鳴るように音
声入力されたメッセージの場合、その音量および音程に
基づき、周縁がジグザグ状の吹き出し画像を選択する。
このようにすると、吹き出しの形状で”怒った”情感を
表現することが出来る。The balloon shape selection table FST is a two-dimensional data table for selecting any of the balloon image data FG (1) to FG (N) corresponding to the volume average data and the pitch average data described later. is there. That is, in the table FST, a "speech balloon" having a shape corresponding to the volume and the pitch of the message input by voice is selected. For example, in the case of a message input by voice such as bellowing, based on the volume and the pitch. Select a balloon image having a zigzag edge.
In this way, the feeling of "angry" can be expressed by the shape of the speech balloon.
【００２２】ＣＳＴは文字色選択テーブルであり、上記
テーブルＦＳＴと同様に、音量平均データおよび音程平
均データを読み出しアドレスとして、各種文字色を指定
する色コード変換テーブル（所謂、カラールックアップ
テーブル）をアサインしておき、音声入力されるメッセ
ージの音量および音程に対応した色コード変換テーブル
を用いて吹き出し内部に表示する文字色を指定する。文
字種選択テーブルＭＳＴは、音量平均データおよび音程
平均データに対応させて上述した文字種変換テーブルＦ
Ｔ（１）〜ＦＴ（Ｎ）のいずれかを選択するための２次
元データテーブルである。この文字種選択テーブルＭＳ
Ｔは、音声認識された単語毎に文字種変換テーブルＦＴ
（１）〜ＦＴ（Ｎ）のいずれかを選択する。CST is a character color selection table. Similar to the table FST, a color code conversion table (so-called color look-up table) for designating various character colors is set using the volume average data and the pitch average data as read addresses. Assignment is made, and a character color to be displayed inside the speech balloon is designated using a color code conversion table corresponding to the volume and pitch of the message to be input by voice. The character type selection table MST corresponds to the character type conversion table F corresponding to the volume average data and the pitch average data.
It is a two-dimensional data table for selecting any of T (1) to FT (N). This character type selection table MS
T is a character type conversion table FT for each speech-recognized word.
(1) Select one of FT (N).
【００２３】（３）ＲＡＭ１３のレジスタ構成 次に、図３を参照してＲＡＭ１３のレジスタ構成につい
て説明する。図において、レジスタＶＡＡＤＤは、デー
タエリアＶＡＤに格納される音量データＶＡＤ（１）〜
ＶＡＤ（Ｎ）のいずれかを指定するアドレスポインタレ
ジスタである。データエリアＶＡＤに格納される音量デ
ータＶＡＤ（１）〜ＶＡＤ（Ｎ）は、前述したＤＳＰ１
９の音量検出部１９ｂ（図１参照）から出力されるデー
タである。また、レジスタＶＦＡＤＤは、データエリア
ＶＦＤに格納される音程データＶＦＤ（１）〜ＶＦＤ
（Ｎ）のいずれかを指定するアドレスポインタレジスタ
である。この音程データＶＦＤ（１）〜ＶＦＤ（Ｎ）
は、ＤＳＰ１９の音程検出部１９ｃが発生するデータで
ある。さらに、レジスタＶＮＡＤＤは、データエリアＶ
ＮＤに格納される認識データＶＮＤ（１）〜ＶＮＤ
（Ｎ）のいずれかを指定するアドレスポインタレジスタ
である。認識データＶＦＤ（１）〜ＶＦＤ（Ｎ）とは、
ＤＳＰ１９の音声認識部１９ａが認識した単語を表わす
データである。(3) Register Configuration of RAM 13 Next, the register configuration of the RAM 13 will be described with reference to FIG. In the figure, a register VAADD stores volume data VAD (1) to VAD (1) stored in a data area VAD.
This is an address pointer register for specifying one of VAD (N). The volume data VAD (1) to VAD (N) stored in the data area VAD correspond to the DSP1 described above.
9 is data output from the volume detector 19b (see FIG. 1). The register VFADD stores pitch data VFD (1) to VFD stored in the data area VFD.
(N) is an address pointer register designating any of (N). The pitch data VFD (1) to VFD (N)
Is data generated by the pitch detector 19c of the DSP 19. Further, the register VNADD stores the data area V
Recognition data VND (1) to VND stored in ND
(N) is an address pointer register designating any of (N). The recognition data VFD (1) to VFD (N)
The data represents a word recognized by the voice recognition unit 19a of the DSP 19.
【００２４】ＶＡＲＥＧ，ＶＮＲＥＧおよびＶＦＲＥＧ
は、テンポラリレジスタであり、ＤＳＰ１９側から出力
される上記音量データＶＡＤ、音声認識データＶＮＤお
よび音程データＶＦＤを、それぞれ一時記憶する。Ｎは
データ個数を保持するレジスタ、ＳＶＦは音程データＶ
ＦＤ（１）〜ＶＦＤ（Ｎ）の累算値を保持するレジスタ
である。また、同様に、ＳＶＡは音量データＶＡＤ
（１）〜ＶＡＤ（Ｎ）の累算値を保持するレジスタであ
る。ＶＡおよびＶＮは、上記レジスタＳＶＡ、ＳＶＦに
それぞれ格納された累算値を、レジスタＮのデータ個数
で除算した結果となる平均音量データ、平均音程データ
を保持するレジスタである。VAREG, VNREG and VFREG
Is a temporary register for temporarily storing the volume data VAD, voice recognition data VND, and pitch data VFD output from the DSP 19 side. N is a register for holding the number of data, and SVF is pitch data V
This register holds the accumulated values of FD (1) to VFD (N). Similarly, SVA is the volume data VAD
This is a register for holding the accumulated values of (1) to VAD (N). VA and VN are registers for holding average volume data and average pitch data which are obtained by dividing the accumulated values respectively stored in the registers SVA and SVF by the number of data in the register N.
【００２５】Ｂ．実施例の動作 次に、図４〜図１４を参照して実施例の動作について説
明する。以下では、動作主体であるＣＰＵ１１が実行す
る「メインルーチン」、「音声入力モード処理ルーチ
ン」および「音声表示モード処理ルーチン」について順
次説明して行く。B. Next, the operation of the embodiment will be described with reference to FIGS. Hereinafter, the “main routine”, the “speech input mode processing routine”, and the “speech display mode processing routine” executed by the CPU 11, which is the operation subject, will be sequentially described.
【００２６】（１）メインルーチンの動作 まず、実施例に電源が投入されると、ＣＰＵ１１はＲＯ
Ｍ１２から対応する制御プログラムを読み出してロード
し、図４に示すステップＳＡ１に処理を進める。ステッ
プＳＡ１では、ＲＡＭ１３の各種レジスタ／フラグ類を
初期化する一方、ＶＤＰ１４およびＤＳＰ１９に対して
内部レジスタの初期化を指示する。そして、イニシャラ
イズ完了後に、ＣＰＵ１１はステップＳＡ２に処理を進
め、現在どの処理モードに設定されているかを判断す
る。(1) Operation of Main Routine First, when the power is turned on in the embodiment, the CPU 11
The corresponding control program is read from M12 and loaded, and the process proceeds to step SA1 shown in FIG. In step SA1, various registers / flags in the RAM 13 are initialized, while instructing the VDP 14 and the DSP 19 to initialize internal registers. After the initialization is completed, the CPU 11 advances the process to step SA2, and determines which processing mode is currently set.
【００２７】ここで、ユーザー操作により「入力モー
ド」が選択されると、ステップＳＡ３を介して後述する
「音声入力モード処理ルーチン」を実行し、一方、「表
示モード」が選択されると、ステップＳＡ４を介して後
述する「音声表示モード処理ルーチン」実行する。そし
て、いずれかのモード処理が完了すると、再びステップ
ＳＡ２に処理を戻す。Here, when the "input mode" is selected by a user operation, a "voice input mode processing routine" described later is executed through step SA3. On the other hand, when the "display mode" is selected, the step A "voice display mode processing routine" described later is executed via SA4. When one of the mode processes is completed, the process returns to step SA2.
【００２８】（２）音声入力モード処理ルーチンの動作 上記ステップＳＡ３を介して音声入力モード処理ルーチ
ンが実行されると、ＣＰＵ１１は図５に示すステップＳ
Ｂ１に処理を進め、前述したアドレスポインタレジスタ
ＶＮＡＤＤ，ＶＦＡＤＤおよびＶＡＡＤＤをゼロリセッ
トする。そして、次のステップＳＢ２に処理を進める
と、ＤＳＰ１９から出力される音量データＶＡＤ、音声
認識データＶＮＤおよび音程データＶＦＤを、それぞれ
一時記憶するテンポラリレジスタＶＡＲＥＧ，ＶＮＲＥ
ＧおよびＶＦＲＥＧをゼロリセットする。(2) Operation of the Voice Input Mode Processing Routine When the voice input mode processing routine is executed via the above-mentioned step SA3, the CPU 11 executes the step S shown in FIG.
The process proceeds to B1, and the address pointer registers VNADD, VFADD, and VAADD are reset to zero. Then, when the process proceeds to the next step SB2, temporary registers VAREG, VNRE for temporarily storing the volume data VAD, the voice recognition data VND, and the pitch data VFD output from the DSP 19, respectively.
Reset G and VFREG to zero.
【００２９】次いで、ステップＳＢ３に進むと、ＣＰＵ
１１はＤＳＰ１９に対して音声入力の開始を指示する。
これにより、ＤＳＰ１９では、マイクロフォン１７およ
びＡ／Ｄ変換器１８を介して入力される音声データに基
づき、前述した音声認識部１９ａ、音量検出部１９ｂお
よび音程検出部１９ｃがそれぞれ音声認識、音量検出お
よび音程検出する。そして、ステップＳＢ４では、音程
検出部１９ｃが出力する音程データＶＦＤをテンポラリ
レジスタＶＦＲＥＧにストアし、続くステップＳＢ５で
は、音量検出部１９ｂが出力する音量データＶＡＤをテ
ンポラリレジスタＶＡＲＥＧにストアする。Next, when the flow advances to step SB3, the CPU
Numeral 11 instructs the DSP 19 to start voice input.
Thereby, in the DSP 19, based on the voice data input via the microphone 17 and the A / D converter 18, the above-described voice recognition unit 19a, volume detection unit 19b, and pitch detection unit 19c perform voice recognition, volume detection, Detect the pitch. Then, in step SB4, the pitch data VFD output by the pitch detection section 19c is stored in the temporary register VFREG, and in the next step SB5, the volume data VAD output by the volume detection section 19b is stored in the temporary register VAREG.
【００３０】続いて、ステップＳＢ６では、音声認識部
１９ａにおいてなされるパターンマッチングにより、入
力された音声が単語として認識されるまで待機する。そ
して、認識が終了すると、ステップＳＢ６の判断結果が
「ＹＥＳ」となり、次のステップＳＢ７に処理を進め
る。ステップＳＢ７では、認識結果となる音声認識デー
タＶＮＤをテンポラリレジスタＶＮＲＥＧにストアす
る。次いで、ステップＳＢ８〜ＳＢ１０では、テンポラ
リレジスタＶＮＲＥＧ，ＶＦＲＥＧおよびＶＡＲＥＧに
それぞれ格納された音声認識データＶＮＤ、音程データ
ＶＦＤおよび音量データＶＡＤを、アドレスポインタレ
ジスタＶＮＡＤＤ，ＶＦＡＤＤおよびＶＡＡＤＤに対応
させて各々、データエリアＶＮＤ，ＶＦＤおよびＶＡＤ
にストアする。Subsequently, in step SB6, the process stands by until the input voice is recognized as a word by the pattern matching performed in the voice recognition unit 19a. When the recognition is completed, the result of the determination in step SB6 is “YES”, and the process proceeds to the next step SB7. In step SB7, the speech recognition data VND as the recognition result is stored in the temporary register VNREG. Next, in steps SB8 to SB10, the voice recognition data VND, the pitch data VFD, and the volume data VAD stored in the temporary registers VNREG, VFREG, and VAREG, respectively, are made to correspond to the address pointer registers VNADD, VFADD, and VAADD, respectively. VND, VFD and VAD
Store in
【００３１】この後、図６に示すステップＳＢ１１〜Ｓ
Ｂ１３に処理を進め、データエリアＶＮＤ，ＶＦＤおよ
びＶＡＤの格納アドレスを歩進させるべくアドレスポイ
ンタレジスタＶＮＡＤＤ，ＶＦＡＤＤおよびＶＡＡＤＤ
を１インクリメントする。そして、ステップＳＢ１４で
は、動作モード切り替えスイッチの操作により現モード
（音声入力モード）を強制終了するか否かを判断する。
ここで、当該スイッチが操作されない時には、判断結果
が「ＮＯ」となり、ステップＳＢ１５に進む。ステップ
ＳＢ１５では、アドレスポインタレジスタＶＮＡＤＤの
値が、レジスタＮに格納されるデータ個数を超えたか否
かを判断する。Thereafter, steps SB11 to SB11 shown in FIG.
The process proceeds to B13, and the address pointer registers VNADD, VFADD, and VAADD are used to increase the storage addresses of the data areas VND, VFD, and VAD.
Is incremented by one. In step SB14, it is determined whether or not the current mode (voice input mode) is forcibly terminated by operating the operation mode changeover switch.
Here, when the switch is not operated, the determination result is “NO”, and the process proceeds to Step SB15. In step SB15, it is determined whether or not the value of the address pointer register VNADD has exceeded the number of data stored in the register N.
【００３２】データ個数を超えていない場合には、上記
ステップＳＢ１５の判断結果が「ＮＯ」となり、前述し
たステップＳＢ３（図５参照）に処理を戻し、再びＤＳ
Ｐ１９側から出力される音声認識データＶＮＤ、音程デ
ータＶＦＤおよび音量データＶＡＤを取込むが、データ
個数を超えた時には、判断結果が「ＹＥＳ」となり、ス
テップＳＢ１６に処理を進め、音声表示モード（後述す
る）に遷移する。なお、上述のステップＳＢ１４の判断
結果が「ＹＥＳ」の場合、つまり、動作モード切り替え
スイッチの操作により現モード（音声入力モード）が強
制終了された時には、一意的にステップＳＢ１６に進
み、音声表示モードに遷移する。If the number of data has not been exceeded, the result of the determination in step SB15 is "NO", the process returns to step SB3 (see FIG. 5), and the DS
The voice recognition data VND, the pitch data VFD, and the volume data VAD output from the P19 side are taken in. When the number exceeds the number of data, the determination result is "YES", the process proceeds to Step SB16, and the voice display mode (described later) To). When the result of the determination in step SB14 is "YES", that is, when the current mode (voice input mode) is forcibly terminated by operating the operation mode changeover switch, the process uniquely proceeds to step SB16, and the voice display mode is set. Transitions to.
【００３３】（３）音声表示モード処理ルーチンの動作 さて、上述した音声入力モード処理によって、データエ
リアＶＮＤ，ＶＦＤおよびＶＡＤにそれぞれ音声認識デ
ータＶＮＤ（１）〜ＶＮＤ（Ｎ）、音程データＶＦＤ
（１）〜ＶＦＤ（Ｎ）および音量データＶＡＤ（１）〜
ＶＡＤ（Ｎ）が格納された場合、あるいは動作モード切
り替えスイッチの操作により音声入力モードが強制終了
された場合には、ＣＰＵ１１はステップＳＡ４（図４参
照）を介して図７に示す音声表示モード処理ルーチンを
実行してステップＳＣ１に処理を進める。(3) Operation of the voice display mode processing routine By the voice input mode processing described above, the voice recognition data VND (1) to VND (N) and the pitch data VFD are stored in the data areas VND, VFD and VAD, respectively.
(1) -VFD (N) and volume data VAD (1)-
When VAD (N) is stored, or when the voice input mode is forcibly terminated by operating the operation mode changeover switch, the CPU 11 performs the voice display mode processing shown in FIG. 7 through step SA4 (see FIG. 4). The routine is executed, and the process proceeds to step SC1.
【００３４】ステップＳＣ１では、上述した音声入力モ
ード処理によってデータエリアＶＡＤに格納された音量
データＶＡＤ（１）〜ＶＡＤ（Ｎ）を累算し、その累算
結果を、レジスタＮに格納されるデータ個数で除算して
平均音量データをレジスタＶＡにストアする音量平均算
出処理を実行する。以下、この音量平均算出処理ルーチ
ンの動作について図９を参照して詳述する。At step SC1, the sound volume data VAD (1) to VAD (N) stored in the data area VAD are accumulated by the above-described audio input mode processing, and the accumulation result is stored in the data stored in the register N. A volume average calculation process of dividing the number by the number and storing the average volume data in the register VA is executed. Hereinafter, the operation of the volume average calculation processing routine will be described in detail with reference to FIG.
【００３５】＜音量平均算出処理ルーチンの動作＞ＣＰ
Ｕ１１の処理がステップＳＣ１に進むと、図９に示す音
量平均算出処理ルーチンが実行され、ステップＳＤ１に
処理を進める。ステップＳＤ１では、レジスタＳＶＡを
ゼロリセットする一方、レジスタＶＡＡＤＤに「１」を
セットし、続くステップＳＤ２では、このアドレスポイ
ンタレジスタＶＮＡＤＤがデータエリアＶＡＤにおいて
指し示す音量データＶＡＤ（１）をレジスタＳＶＡにス
トアする。<Operation of Volume Average Calculation Routine> CP
When the process of U11 proceeds to step SC1, a volume average calculation process routine shown in FIG. 9 is executed, and the process proceeds to step SD1. In step SD1, the register SVA is reset to zero, while "1" is set in the register VAADD. In step SD2, the volume data VAD (1) indicated by the address pointer register VNADD in the data area VAD is stored in the register SVA. .
【００３６】次いで、ステップＳＤ３では、アドレスポ
インタレジスタＶＮＡＤＤの値を１インクリメントして
歩進させ、次のステップＳＤ４では、この歩進されたア
ドレスポインタレジスタＶＮＡＤＤの値がレジスタＮに
格納されるデータ個数より大であるか否か、つまり、全
ての音量データＶＡＤについて累算したかどうかを判断
する。ここで、全ての音量データＶＡＤについて累算が
完了していない時には、判断結果が「ＮＯ」となり、上
述のステップＳＤ２に処理を戻し、以後、全ての音量デ
ータＶＡＤを累算する迄、ステップＳＤ２〜ＳＤ４を繰
り返す。Next, in step SD3, the value of the address pointer register VNADD is incremented by one and the value is incremented. In the next step SD4, the incremented value of the address pointer register VNADD is the number of data stored in the register N. It is determined whether or not the volume is larger, that is, whether or not all the volume data VAD have been accumulated. Here, when the accumulation has not been completed for all the volume data VAD, the determination result is "NO", and the process returns to step SD2 described above. Repeat ~ SD4.
【００３７】そして、累算が完了すると、ステップＳＤ
４の判断結果が「ＹＥＳ」となり、次のステップＳＤ５
に処理を進め、レジスタＳＶＡに確保された音量データ
ＶＡＤ（１）〜ＶＡＤ（Ｎ）の累算値を、レジスタＮの
データ個数で除算し、これにより得られる平均音量デー
タをレジスタＶＡにストアする。When the accumulation is completed, step SD
4 is "YES", and the next step SD5 is executed.
, The accumulated value of the volume data VAD (1) to VAD (N) secured in the register SVA is divided by the number of data in the register N, and the average volume data obtained thereby is stored in the register VA. .
【００３８】この後、ＣＰＵ１１は音量平均算出処理ル
ーチンを完了して音声表示モード処理ルーチンに復帰
し、図７に示すステップＳＣ２に処理を進める。ステッ
プＳＣ２では、上記ステップＳＣ１と同様に、データエ
リアＶＦＤに格納された音程データＶＦＤ（１）〜ＶＦ
Ｄ（Ｎ）の累算値をレジスタＮに格納されるデータ個数
で除算して得る平均音程データを、レジスタＶＦにスト
アする音程平均算出処理を実行する。以下、この音程平
均算出処理ルーチンの動作について図１０を参照して詳
述する。Thereafter, the CPU 11 completes the volume average calculation processing routine, returns to the audio display mode processing routine, and proceeds to step SC2 shown in FIG. In step SC2, similarly to step SC1, the pitch data VFD (1) to VFD (1) to VF stored in the data area VFD.
A pitch average calculation process of storing average pitch data obtained by dividing the accumulated value of D (N) by the number of data stored in the register N in the register VF is executed. Hereinafter, the operation of the pitch average calculation processing routine will be described in detail with reference to FIG.
【００３９】＜音程平均算出処理ルーチンの動作＞ＣＰ
Ｕ１１の処理がステップＳＣ２に進むと、図１０に示す
音程平均算出処理ルーチンが実行され、ステップＳＥ１
に処理を進める。ステップＳＥ１では、レジスタＳＶＦ
をゼロリセットする一方、レジスタＶＦＡＤＤに「１」
をセットし、続くステップＳＥ２では、このアドレスポ
インタレジスタＶＦＡＤＤがデータエリアＶＦＤにおい
て指し示す音程データＶＦＤ（１）をレジスタＳＶＦに
ストアする。<Operation of interval average calculation processing routine> CP
When the processing of U11 proceeds to step SC2, a pitch average calculation processing routine shown in FIG. 10 is executed, and step SE1 is executed.
Processing proceeds to In step SE1, the register SVF
Is reset to zero while “1” is set in the register VFADD.
In the subsequent step SE2, the pitch data VFD (1) indicated by the address pointer register VFADD in the data area VFD is stored in the register SVF.
【００４０】次いで、ステップＳＥ３では、アドレスポ
インタレジスタＶＦＡＤＤの値を１インクリメントして
歩進させ、次のステップＳＥ４では、この歩進されたア
ドレスポインタレジスタＶＦＡＤＤの値がレジスタＮに
格納されるデータ個数より大であるか否か、つまり、全
ての音程データＶＦＤについて累算したかどうかを判断
する。ここで、累算が完了していない時には、判断結果
が「ＮＯ」となり、上述のステップＳＥ２に処理を戻
し、以後、全ての音程データＶＦＤを累算する迄、ステ
ップＳＥ２〜ＳＥ４を繰り返す。そして、累算が完了す
ると、ステップＳＥ４の判断結果が「ＹＥＳ」となり、
次のステップＳＥ５に処理を進め、レジスタＳＶＦに確
保された音程データＶＦＤ（１）〜ＶＦＤ（Ｎ）の累算
値をレジスタＮのデータ個数で除算し、これにより得ら
れる平均音程データをレジスタＶＦにストアする。Next, in step SE3, the value of the address pointer register VFADD is incremented by one and the value is incremented. In the next step SE4, the incremented value of the address pointer register VFADD is the number of data stored in the register N. It is determined whether or not the value is larger, that is, whether or not all the pitch data VFD have been accumulated. Here, when the accumulation is not completed, the judgment result is "NO", and the process returns to the above-mentioned step SE2. Thereafter, the steps SE2 to SE4 are repeated until all the pitch data VFD are accumulated. When the accumulation is completed, the result of determination in step SE4 becomes "YES",
Proceeding to the next step SE5, the accumulated value of the pitch data VFD (1) to VFD (N) secured in the register SVF is divided by the number of data in the register N, and the average pitch data obtained thereby is stored in the register VF. Store in
【００４１】この後、ＣＰＵ１１は音程平均算出処理ル
ーチンを完了して音声表示モード処理ルーチンに復帰
し、図７に示すステップＳＣ３に処理を進める。ステッ
プＳＣ３では、ユーザー操作により指定された顔画像デ
ータを、ＲＯＭ１２の記憶エリアＫＧより読み出し、Ｖ
ＲＡＭ１５へＤＭＡ転送する。なお、ＶＲＡＭ１５にＤ
ＭＡ転送された顔画像データは、ディスプレイ装置２の
垂直帰線期間中において、ＶＤＰ１４で表示データ（Ｒ
ＧＢデータ）に変換された後、エンコーダ１６がこの表
示データ（ＲＧＢデータ）をコンポジットビデオ信号Ｓ
Vに変換してディスプレイ装置２に供給する。この結
果、顔画像がディスプレイ装置２に画面表示される。Thereafter, the CPU 11 completes the pitch average calculation processing routine, returns to the voice display mode processing routine, and advances the processing to step SC3 shown in FIG. At step SC3, the face image data designated by the user operation is read from the storage area KG of the ROM 12, and
DMA transfer to the RAM 15 is performed. Note that DRAM 15
The face image data transferred by MA is displayed on the VDP 14 by the VDP 14 during the vertical retrace period of the display device 2.
After converting the display data (RGB data) into a composite video signal S
It is converted to V and supplied to the display device 2. As a result, the face image is displayed on the display device 2 on the screen.
【００４２】次いで、ステップＳＣ４では、レジスタＶ
ＦおよびレジスタＶＡに格納した平均音量データおよび
平均音程データに基づき、前述した吹き出し形状選択テ
ーブルＦＳＴを参照し、吹き出し画像データＦＧ（１）
〜ＦＧ（Ｎ）のいずれかを指定する。そして、次のステ
ップＳＣ５では、指定された吹き出し画像データＦＧを
ＲＯＭ１２から読み出してＶＲＡＭ１５にＤＭＡ転送す
る。この結果、音声入力されたメッセージの音量および
音程に対応した形状の「吹き出し」が画面表示される。Next, at step SC4, the register V
Based on the F and the average volume data and average pitch data stored in the register VA, the balloon image data FG (1) is referred to by referring to the balloon shape selection table FST described above.
To FG (N). Then, in the next step SC5, the designated balloon image data FG is read from the ROM 12 and DMA-transferred to the VRAM 15. As a result, a "speech balloon" having a shape corresponding to the volume and pitch of the message input by voice is displayed on the screen.
【００４３】次に、ステップＳＣ６に進むと、ＣＰＵ１
１はレジスタＶＦおよびレジスタＶＡに格納される平均
音量データおよび平均音程データを読み出しアドレスと
して、前述した文字色選択テーブルＣＳＴから対応する
色コード変換テーブル（所謂、カラールックアップテー
ブル）を選択し、続くステップＳＣ７では、この選択し
た色コード変換テーブルをＶＤＰ１４にセットする。こ
れにより、ＶＤＰ１４では、音声入力されたメッセージ
の音量および音程に対応した色コード変換テーブルを用
いて、吹き出し内部に表示される文字色を指定する。Next, proceeding to step SC6, the CPU 1
1 selects the corresponding color code conversion table (so-called color look-up table) from the above-described character color selection table CST using the average volume data and average pitch data stored in the registers VF and VA as read addresses, and continues. In step SC7, the selected color code conversion table is set in the VDP 14. As a result, the VDP 14 specifies a character color to be displayed inside the speech balloon using the color code conversion table corresponding to the volume and pitch of the voice-input message.
【００４４】そして、図８に示すステップＳＣ８に進む
と、レジスタＶＦおよびレジスタＶＡに格納される平均
音量データおよび平均音程データに基づき、前述した文
字種選択テーブルＭＳＴを参照して文字種変換テーブル
ＦＴ（１）〜ＦＴ（Ｎ）のいずれかを選択する。次い
で、ステップＳＣ９では、アドレスポインタレジスタＶ
ＮＡＤＤを「１」にリセットし、続くステップＳＣ１０
では、上記レジスタＶＮＡＤＤに対応する音声認識デー
タをデータエリアＶＮＤ（図３参照）から読み出す一
方、読み出した音声認識データを、上述のステップＳＣ
８にて選択された文字種変換テーブルＦＴにより文字画
像データに変換する。Then, proceeding to step SC8 shown in FIG. 8, based on the average volume data and average pitch data stored in the registers VF and VA, the character type conversion table FT (1 ) To FT (N). Next, in step SC9, the address pointer register V
NADD is reset to “1”, and the following step SC10
Then, while reading the voice recognition data corresponding to the register VNADD from the data area VND (see FIG. 3), the read voice recognition data is
The data is converted into character image data by the character type conversion table FT selected in step 8.
【００４５】こうして音声認識された単語が、音声入力
時の音量および音程に応じた文字画像に変換されると、
ＣＰＵ１１はステップＳＣ１１に処理を進め、変換され
た文字画像データをＶＲＡＭ１５にＤＭＡ転送する。そ
して、次のステップＳＣ１２では、次の音声認識データ
をデータエリアＶＮＤから読み出すべく、アドレスポイ
ンタレジスタＶＮＡＤＤを１インリメントして歩進させ
る。続いて、ステップＳＣ１３では、歩進されたアドレ
スポインタレジスタＶＮＡＤＤの値がレジスタＮの値よ
り大きいか否か、つまり、全ての音声認識データを読み
出したか否かを判断する。When the word thus recognized is converted into a character image corresponding to the volume and pitch at the time of voice input,
The CPU 11 advances the process to step SC11, and transfers the converted character image data to the VRAM 15 by DMA. Then, in the next step SC12, the address pointer register VNADD is incremented by 1 to advance the next voice recognition data from the data area VND. Subsequently, in step SC13, it is determined whether or not the incremented value of the address pointer register VNADD is larger than the value of the register N, that is, whether or not all the voice recognition data has been read.
【００４６】ここで、全ての音声認識データを読み出し
ていない時には、判断結果が「ＮＯ」となり、ステップ
ＳＣ９に処理を戻し、上述した過程を繰り返す。一方、
全ての音声認識データを文字画像データに変換し終えた
場合には、判断結果が「ＹＥＳ」となり、ステップＳＣ
１４に処理を進める。ステップＳＣ１４では、ユーザー
によって動作モード切り替えスイッチが操作され、現モ
ード（音声表示モード）が強制終了される迄待機し、動
作モード切り替えスイッチが操作された時点で、次のス
テップＳＣ１５に進み、音声入力モードへ遷移する。Here, when all the speech recognition data has not been read out, the judgment result is "NO", the process returns to step SC9, and the above-mentioned process is repeated. on the other hand,
If all the speech recognition data has been converted to character image data, the determination result is “YES”, and the
The process proceeds to 14. In step SC14, the operation mode changeover switch is operated by the user to wait until the current mode (sound display mode) is forcibly terminated. When the operation mode changeover switch is operated, the process proceeds to next step SC15, in which the voice input is performed. Transition to the mode.
【００４７】このように、音声表示モード処理によれ
ば、音声入力した時の平均音量および平均音程に対応し
て「吹き出し」の形状を選定すると共に、この選定され
た「吹き出し」の中に表示する文字色およびその大きさ
を平均音量および平均音程に基づいて選択し、この選択
された文字色およびその大きさに従って、音声認識され
たメッセージを「吹き出し」中に文字表示するので、極
めて簡単な操作で各種の「吹き出し」態様を入力するこ
とが可能になる。したがって、例えば、音量および音程
共に大きくして「いっしょにあそぼうよ」なるメッセー
ジを音声入力した場合、図１１に図示する一例のよう
に、活発な気質を表現する「吹き出し」の形状となり、
その「吹き出し」の中の文字も大きく表示される。これ
に対し、例えば、音量および音程を低くして同様のメッ
セージを音声入力した場合には、図１２の一例のよう
に、大人しさを表現する「吹き出し」の形状となり、そ
の中の文字も小さく表示される。As described above, according to the voice display mode processing, the shape of the "speech balloon" is selected in accordance with the average volume and the average pitch at the time of voice input, and displayed in the selected "speech balloon". The selected character color and its size are selected on the basis of the average volume and the average pitch, and the voice-recognized message is displayed in the "speech balloon" according to the selected character color and its size. Various "speech" modes can be input by operation. Therefore, for example, when the volume and the pitch are both increased and a message “Let's play together” is input by voice, as shown in an example shown in FIG. 11, the shape of a “speech balloon” expressing an active temperament is obtained.
The characters in the "speech balloon" are also displayed in large size. On the other hand, for example, when a similar message is input by lowering the volume and the pitch, as shown in an example of FIG. Is displayed.
【００４８】なお、本実施例では、音声入力した時の平
均音量および平均音程に対応して吹き出し形状や、文字
色およびその大きさを決定したが、これに限らず種々変
形が可能である。例えば、音声認識した単語毎の音量お
よび音程に応じて吹き出し内に表示される文字の大きさ
を異ならせることも出来る。これは、例えば、最初に音
量が大きく、次第に音量が下がっていくようなメッセー
ジを音声入力した場合に、吹き出し内に表示する文字の
大きさを徐々に小さくするよう文字種変換テーブルＦＴ
（１）〜ＦＴ（Ｎ）を選択することで実現し得る。In this embodiment, the shape of the balloon, the character color and its size are determined in accordance with the average volume and the average pitch when voice is input. However, the present invention is not limited to this, and various modifications are possible. For example, the size of the characters displayed in the speech balloon can be made different depending on the volume and pitch of each word for which speech recognition has been performed. This is because the character type conversion table FT is designed to gradually reduce the size of the characters displayed in the balloon when, for example, a message whose volume is first increased and the volume gradually decreases is input by voice.
This can be realized by selecting (1) to FT (N).
【００４９】また、この実施例では、音声入力により吹
き出し態様を異ならせているが、これに限らず、例え
ば、顔画像の表情を変化させることも可能である。つま
り、怒鳴るように音声入力した時には、それに対応して
吹き出し態様と顔画像とを怒った感情を表現するよう画
面表示する。このようにすることで、感情表現力が一層
向上する。さらに、上述した実施例では、吹き出し表示
位置を固定としているが、これに替えて、例えば、音声
入力時の音量や音程に応じて表示位置を変化させる態様
とすることもできる。Further, in this embodiment, the speech style is made different by voice input. However, the present invention is not limited to this. For example, the expression of a face image can be changed. In other words, when a voice is input so as to make a bellow, the speech balloon mode and the face image are displayed on the screen corresponding to the voice input so as to express an angry emotion. By doing so, the emotion expression ability is further improved. Furthermore, in the above-described embodiment, the balloon display position is fixed. Alternatively, for example, the display position may be changed in accordance with the volume or pitch at the time of voice input.
【００５０】[0050]
【発明の効果】本発明によれば、吹き出し画像形成手段
が入力される音声に対応した形態の吹き出し画像を形成
し、文字画像形成手段が入力される音声を言語認識し、
認識された言語をそれぞれ文字画像に変換すると、表示
制御手段が文字画像の表示態様を、入力される音声に応
じて異ならせて前記吹き出し画像中に表示するので、音
声入力という極めて簡単な操作で各種の「吹き出し」態
様を入力することができる。また、入力される音声の内
容によっては、「吹き出し」態様で感情表現することも
できる。According to the present invention, the balloon image forming means forms a balloon image in a form corresponding to the input voice, and the character image forming means recognizes the voice of the input language.
When each of the recognized languages is converted into a character image, the display control means displays the character image in a different manner according to the input voice in the balloon image. Various "speech" modes can be entered. Depending on the content of the input voice, emotional expression can be made in a “speech balloon” mode.
【図１】本発明による実施例の構成を示すブロック図で
ある。FIG. 1 is a block diagram showing a configuration of an embodiment according to the present invention.
【図２】ＲＯＭ１２のメモリ構成を示すメモリマップで
ある。FIG. 2 is a memory map showing a memory configuration of a ROM 12;
【図３】ＲＡＭ１３のメモリ構成を示すメモリマップで
ある。FIG. 3 is a memory map showing a memory configuration of a RAM 13;
【図４】メインルーチンの動作を示すフローチャートで
ある。FIG. 4 is a flowchart showing an operation of a main routine.
【図５】音声入力モード処理ルーチンの動作を示すフロ
ーチャートである。FIG. 5 is a flowchart showing the operation of a voice input mode processing routine.
【図６】音声入力モード処理ルーチンの動作を示すフロ
ーチャートである。FIG. 6 is a flowchart showing an operation of a voice input mode processing routine.
【図７】音声表示モード処理ルーチンの動作を示すフロ
ーチャートである。FIG. 7 is a flowchart showing an operation of a voice display mode processing routine.
【図８】音声表示モード処理ルーチンの動作を示すフロ
ーチャートである。FIG. 8 is a flowchart showing an operation of a voice display mode processing routine.
【図９】音量平均算出処理ルーチンの動作を示すフロー
チャートである。FIG. 9 is a flowchart showing an operation of a volume average calculation processing routine.
【図１０】音程平均算出処理ルーチンの動作を示すフロ
ーチャートである。FIG. 10 is a flowchart showing an operation of a pitch average calculation processing routine.
【図１１】吹き出し表示の一態様を示す図である。FIG. 11 is a diagram showing one mode of balloon display.
【図１２】吹き出し表示の一態様を示す図である。FIG. 12 is a diagram showing one mode of balloon display.
１０ コントローラ １１ ＣＰＵ（吹き出し画像形成手段、文字画像形成手
段、表示制御手段） １２ ＲＯＭ（吹き出し画像形成手段、文字画像形成手
段） １３ ＲＡＭ（吹き出し画像形成手段、文字画像形成手
段） １４ ＶＤＰ（吹き出し画像形成手段、文字画像形成手
段、表示制御手段） １５ ＶＲＡＭ １６ エンコーダ １７ マイクロフォン １８ Ａ／Ｄ変換器 １９ ＤＳＰ（吹き出し画像形成手段、文字画像形成手
段） １９ａ 音声認識部 １９ｂ 音量検出部 １９ｃ 音程検出部Reference Signs List 10 controller 11 CPU (balloon image forming unit, character image forming unit, display control unit) 12 ROM (balloon image forming unit, character image forming unit) 13 RAM (balloon image forming unit, character image forming unit) 14 VDP (balloon image forming unit) Forming Means, Character Image Forming Means, Display Control Means) 15 VRAM 16 Encoder 17 Microphone 18 A / D Converter 19 DSP (Speech Bubble Image Forming Means, Character Image Forming Means) 19a Voice Recognition Unit 19b Volume Detector 19c Pitch Detector
Claims (6)
し画像を形成する吹き出し画像形成手段と、 入力される音声を言語認識し、認識された言語をそれぞ
れ文字画像に変換する文字画像形成手段と、 この文字画像形成手段により形成された文字画像の表示
態様を、入力される音声に応じて異ならせて前記吹き出
し画像中に表示する表示制御手段とを具備することを特
徴とする画像処理装置。1. A balloon image forming unit for forming a balloon image in a form corresponding to an input voice, a character image forming unit for recognizing a language of an input voice and converting each recognized language into a character image. An image processing apparatus comprising: a display control unit that changes a display mode of a character image formed by the character image forming unit in accordance with an input voice and displays the character image in the balloon image.
き出し画像データを記憶する吹き出し画像記憶手段と、 入力される音声の音量に対応付けられた吹き出し画像デ
ータを、前記吹き出し画像記憶手段から読み出して吹き
出し画像を形成する吹き出し画像形成手段と、 入力される音声を言語認識し、認識された言語をそれぞ
れ文字画像に変換する文字画像形成手段と、 この文字画像形成手段により形成された文字画像の表示
態様を、入力される音声の音量に応じて異ならせて前記
吹き出し画像中に表示する表示制御手段とを具備するこ
とを特徴とする画像処理装置。2. A balloon image storage unit for storing a plurality of balloon image data forming balloons of various forms, and balloon image data associated with the volume of an input voice are read from the balloon image storage unit. Balloon image forming means for forming a balloon image; character image forming means for recognizing an input voice in a language and converting each recognized language into a character image; and displaying a character image formed by the character image forming means. An image processing apparatus comprising: display control means for changing an aspect in accordance with the volume of an input sound and displaying the speech in the balloon image.
き出し画像データを記憶する吹き出し画像記憶手段と、 入力される音声の音程に対応付けられた吹き出し画像デ
ータを、前記吹き出し画像記憶手段から読み出して吹き
出し画像を形成する吹き出し画像形成手段と、 入力される音声を言語認識し、認識された言語をそれぞ
れ文字画像に変換する文字画像形成手段と、 この文字画像形成手段により形成された文字画像の表示
態様を、入力される音声の音程に応じて異ならせて前記
吹き出し画像中に表示する表示制御手段とを具備するこ
とを特徴とする画像処理装置。3. A balloon image storage unit for storing a plurality of balloon image data forming balloons of various forms, and balloon image data associated with a pitch of an input voice are read from the balloon image storage unit. Balloon image forming means for forming a balloon image; character image forming means for recognizing an input voice in a language and converting each recognized language into a character image; and displaying a character image formed by the character image forming means. An image processing apparatus comprising: display control means for changing an aspect according to a pitch of an input voice and displaying the speech in the balloon image.
き出し画像データを記憶する吹き出し画像記憶手段と、 入力される音声の音量および音程に対応付けられた吹き
出し画像データを、前記吹き出し画像記憶手段から読み
出して吹き出し画像を形成する吹き出し画像形成手段
と、 入力される音声を言語認識し、認識された言語をそれぞ
れ文字画像に変換する文字画像形成手段と、 この文字画像形成手段により形成された文字画像の表示
態様を、入力される音声の音量および音程に応じて異な
らせて前記吹き出し画像中に表示する表示制御手段とを
具備することを特徴とする画像処理装置。4. A balloon image storage unit for storing a plurality of balloon image data forming balloons of various forms, and a balloon image data associated with a volume and a pitch of an input voice from the balloon image storage unit. A balloon image forming unit for reading and forming a balloon image; a character image forming unit for recognizing a language of input speech and converting each of the recognized languages into a character image; and a character image formed by the character image forming unit. An image processing apparatus comprising: display control means for changing the display mode according to the volume and pitch of an input voice and displaying the same in the balloon image.
は、文字画像の大きさおよび表示色のいずれか一方、あ
るいは両方であることを特徴とする請求項１〜４のいず
れかに記載の画像処理装置。5. The image according to claim 1, wherein the display control unit changes the display mode to one or both of the size and the display color of the character image. Processing equipment.
のいずれか一方、もしくは両方に応じて１語毎の文字画
像の大きさを可変制御することを特徴とする請求項２〜
４のいずれかに記載の画像処理装置。6. The display control unit according to claim 2, wherein the size of the character image for each word is variably controlled according to one or both of the volume and the pitch.
5. The image processing device according to any one of 4.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6271697A JPH10261099A (en) | 1997-03-17 | 1997-03-17 | Image processor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6271697A JPH10261099A (en) | 1997-03-17 | 1997-03-17 | Image processor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10261099A true JPH10261099A (en) | 1998-09-29 |
Family
ID=13208352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6271697A Abandoned JPH10261099A (en) | 1997-03-17 | 1997-03-17 | Image processor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10261099A (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002215533A (en) * | 2001-01-24 | 2002-08-02 | Victor Co Of Japan Ltd | Automatic comic generating device |
| JP2002247531A (en) * | 2001-02-14 | 2002-08-30 | Sharp Corp | Image processing system |
| JP2003085572A (en) * | 2001-09-11 | 2003-03-20 | Nippon Hoso Kyokai <Nhk> | Comic generation device and comic generation program |
| JP2004126786A (en) * | 2002-09-30 | 2004-04-22 | Konami Co Ltd | Communication device, program and communication method |
| WO2006092935A1 (en) * | 2005-03-03 | 2006-09-08 | Konami Digital Entertainment Co., Ltd. | Game device, control method for the game device, and information storage medium |
| JP2010157192A (en) * | 2009-01-05 | 2010-07-15 | Nintendo Co Ltd | Drawing processing program and information processor |
| JP2013008031A (en) * | 2011-06-24 | 2013-01-10 | Honda Motor Co Ltd | Information processor, information processing system, information processing method and information processing program |
| JPWO2014097748A1 (en) * | 2012-12-18 | 2017-01-12 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | Method for processing voice of specific speaker, and electronic device system and program for electronic device |
| JP2017018414A (en) * | 2015-07-13 | 2017-01-26 | 株式会社コロプラ | Computer program for assisting user input |
| JP2020121165A (en) * | 2020-04-21 | 2020-08-13 | 株式会社コロプラ | Computer program for assisting user input |
-
1997
- 1997-03-17 JP JP6271697A patent/JPH10261099A/en not_active Abandoned
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002215533A (en) * | 2001-01-24 | 2002-08-02 | Victor Co Of Japan Ltd | Automatic comic generating device |
| JP2002247531A (en) * | 2001-02-14 | 2002-08-30 | Sharp Corp | Image processing system |
| JP2003085572A (en) * | 2001-09-11 | 2003-03-20 | Nippon Hoso Kyokai <Nhk> | Comic generation device and comic generation program |
| US7546536B2 (en) | 2002-09-30 | 2009-06-09 | Konami Digital Entertainment Co., Ltd. | Communication device, communication method, and computer usable medium |
| JP2004126786A (en) * | 2002-09-30 | 2004-04-22 | Konami Co Ltd | Communication device, program and communication method |
| KR100935570B1 (en) * | 2005-03-03 | 2010-01-07 | 가부시키가이샤 코나미 데지타루 엔타테인멘토 | Game device, control method for the game device, and information storage medium |
| WO2006092935A1 (en) * | 2005-03-03 | 2006-09-08 | Konami Digital Entertainment Co., Ltd. | Game device, control method for the game device, and information storage medium |
| US8147329B2 (en) | 2005-03-03 | 2012-04-03 | Konami Digital Entertainment Co., Ltd. | Game device, control method for the game device, and information storage medium |
| JP2010157192A (en) * | 2009-01-05 | 2010-07-15 | Nintendo Co Ltd | Drawing processing program and information processor |
| JP2013008031A (en) * | 2011-06-24 | 2013-01-10 | Honda Motor Co Ltd | Information processor, information processing system, information processing method and information processing program |
| JPWO2014097748A1 (en) * | 2012-12-18 | 2017-01-12 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | Method for processing voice of specific speaker, and electronic device system and program for electronic device |
| JP2017018414A (en) * | 2015-07-13 | 2017-01-26 | 株式会社コロプラ | Computer program for assisting user input |
| JP2020121165A (en) * | 2020-04-21 | 2020-08-13 | 株式会社コロプラ | Computer program for assisting user input |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3248981B2 (en) | calculator | |
| CN112650831A (en) | Virtual image generation method and device, storage medium and electronic equipment | |
| JPH09138767A (en) | Communication equipment for feeling expression | |
| JPH07168851A (en) | Method and device for image display | |
| JPH11119791A (en) | System and method for voice feeling recognition | |
| JPH10261099A (en) | Image processor | |
| JP6711044B2 (en) | Image processing device, display device, animation generation method, and program | |
| KR20000005183A (en) | Image synthesizing method and apparatus | |
| CN114464180A (en) | Intelligent device and intelligent voice interaction method | |
| US10216732B2 (en) | Information presentation method, non-transitory recording medium storing thereon computer program, and information presentation system | |
| JPH05232856A (en) | Method and device for speech visualization and language learning device using the same | |
| JP2001318592A (en) | Device for language study and method for language analysis | |
| JPH07181992A (en) | Device and method for reading document out | |
| JP2003018462A (en) | Character inserting device and character inserting method | |
| JP2000250587A (en) | Voice recognition device and voice recognizing and translating device | |
| JP6256379B2 (en) | Display control apparatus, display control method, and program | |
| JPH07334075A (en) | Presentation supporting device | |
| JPH07199989A (en) | Speech recognition device | |
| JPWO2020089961A1 (en) | Voice processor and program | |
| JP2580565B2 (en) | Voice information dictionary creation device | |
| JP2013195928A (en) | Synthesis unit segmentation device | |
| JP2005309173A (en) | Speech synthesis controller, method thereof and program thereof, and data generating device for speech synthesis | |
| JP2003296753A (en) | Interactive system for hearing-impaired person | |
| JPH07244496A (en) | Text recitation device | |
| JPH0877152A (en) | Voice synthesizer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060202 |
|
| A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20060214 |