JPH10261099A - Image processor - Google Patents
Image processorInfo
- Publication number
- JPH10261099A JPH10261099A JP6271697A JP6271697A JPH10261099A JP H10261099 A JPH10261099 A JP H10261099A JP 6271697 A JP6271697 A JP 6271697A JP 6271697 A JP6271697 A JP 6271697A JP H10261099 A JPH10261099 A JP H10261099A
- Authority
- JP
- Japan
- Prior art keywords
- image
- balloon
- data
- character
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Landscapes
- Studio Circuits (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、例えば、イラスト
風の似顔絵を電子的に作成して表示する電子手帳や電子
玩具、あるいはページャー等に用いて好適な画像処理装
置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus suitable for use in, for example, an electronic notebook, an electronic toy, or a pager for electronically creating and displaying a portrait like an illustration.
【0002】[0002]
【従来の技術】近年、イラスト風の似顔絵(以下、これ
を顔画像と称す)を電子的に作成して表示する電子手帳
や電子玩具、あるいはページャー等が知られている。こ
の種の製品にあっては、「目」、「鼻」、「口」や「輪
郭」等の顔の各部位を描画する各種パーツ画像データを
ROMに登録しておき、これらの中から各部位毎にパー
ツ画像データを選択して読み出し、所望の容貌の顔画像
を形成する画像処理装置が具備されている。2. Description of the Related Art In recent years, an electronic notebook, an electronic toy, a pager, and the like for electronically creating and displaying an illustration-like portrait (hereinafter referred to as a face image) have been known. In this type of product, various parts image data for drawing each part of the face such as “eyes”, “nose”, “mouth”, and “contour” are registered in the ROM, and from among these, An image processing apparatus is provided which selects and reads out part image data for each part and forms a face image having a desired appearance.
【0003】ところで、近年では、この画像処理装置が
作成した顔画像にメッセージを添えて画面表示する態様
も案出されている。例えば、ページャーに適用した場
合、発信人の似顔絵として作成された顔画像に、伝言す
べきメッセージ文を吹き出し形式で表示することが提案
されている。なお、この吹き出し形式によるメッセージ
文の表示とは、漫画やアニメなどで多用される表現形式
として知られており、あたかも顔画像からメッセージが
発せられているように見える、という視覚的な効果を狙
っている。In recent years, a mode has been devised in which a face image created by the image processing apparatus is displayed on a screen together with a message. For example, when applied to a pager, it has been proposed to display a message to be transmitted in a balloon format on a face image created as a portrait of a caller. The display of the message text in the balloon format is known as an expression format frequently used in comics and animations, and aims at a visual effect that a message appears to be emitted from a face image. ing.
【0004】[0004]
【発明が解決しようとする課題】さて、上述した従来の
画像処理装置にあっては、作成した顔画像について吹き
出し形式によるメッセージ文を表示させる場合、マウス
やキーボードあるいはキーパッド等の入力操作子を用い
て「吹出し」の形状を選択したり、選択した「吹出し」
の内部に表示する文字やその大きさ・形状を一々指定し
なければならず、操作が煩わしいという問題がある。そ
こで本発明は、このような事情に鑑みてなされたもの
で、極めて簡単な操作で各種の「吹き出し」態様を入力
することができる画像処理装置を提供することを目的と
している。In the above-described conventional image processing apparatus, when displaying a message in a balloon format with respect to a created face image, an input operator such as a mouse, a keyboard, or a keypad is used. Use to select the shape of “Blowout” or select “Blowout”
There is a problem that the characters to be displayed inside the character and the size and shape of the character must be specified one by one, and the operation is troublesome. The present invention has been made in view of such circumstances, and has as its object to provide an image processing apparatus capable of inputting various “speech balloon” modes with a very simple operation.
【0005】[0005]
【課題を解決するための手段】上記目的を達成するた
め、請求項1に記載の発明では、入力される音声に対応
した形態の吹き出し画像を形成する吹き出し画像形成手
段と、入力される音声を言語認識し、認識された言語を
それぞれ文字画像に変換する文字画像形成手段と、この
文字画像形成手段により形成された文字画像の表示態様
を、入力される音声に応じて異ならせて前記吹き出し画
像中に表示する表示制御手段とを具備することを特徴と
する。According to a first aspect of the present invention, there is provided a balloon image forming means for forming a balloon image in a form corresponding to an input voice, and A character image forming means for recognizing a language and converting each recognized language into a character image; and a display mode of the character image formed by the character image forming means, which is changed in accordance with an input voice to generate the balloon image. Display control means for displaying the information inside.
【0006】また、請求項2に記載の発明では、各種形
態の吹き出しを形成する複数の吹き出し画像データを記
憶する吹き出し画像記憶手段と、入力される音声の音量
に対応付けられた吹き出し画像データを、前記吹き出し
画像記憶手段から読み出して吹き出し画像を形成する吹
き出し画像形成手段と、入力される音声を言語認識し、
認識された言語をそれぞれ文字画像に変換する文字画像
形成手段と、この文字画像形成手段により形成された文
字画像の表示態様を、入力される音声の音量に応じて異
ならせて前記吹き出し画像中に表示する表示制御手段と
を具備することを特徴としている。According to the second aspect of the present invention, a balloon image storage means for storing a plurality of balloon image data forming balloons of various forms, and a balloon image data associated with a sound volume of an input sound. A balloon image forming unit that reads from the balloon image storage unit to form a balloon image, and language-recognizes an input voice;
Character image forming means for converting each recognized language into a character image, and displaying the character image formed by the character image forming means in the balloon image by changing the display mode according to the volume of the input voice. Display control means for displaying.
【0007】さらに、請求項3に記載の発明では、各種
形態の吹き出しを形成する複数の吹き出し画像データを
記憶する吹き出し画像記憶手段と、入力される音声の音
程に対応付けられた吹き出し画像データを、前記吹き出
し画像記憶手段から読み出して吹き出し画像を形成する
吹き出し画像形成手段と、入力される音声を言語認識
し、認識された言語をそれぞれ文字画像に変換する文字
画像形成手段と、この文字画像形成手段により形成され
た文字画像の表示態様を、入力される音声の音程に応じ
て異ならせて前記吹き出し画像中に表示する表示制御手
段とを具備することを特徴としている。Further, according to the third aspect of the present invention, balloon image storage means for storing a plurality of balloon image data forming balloons of various forms, and balloon image data associated with a pitch of an input voice are stored. A balloon image forming unit that reads a balloon image from the balloon image storage unit to form a balloon image, a character image forming unit that recognizes a language of an input voice and converts each recognized language into a character image, And a display control unit for changing the display mode of the character image formed by the unit in accordance with the pitch of the input voice and displaying the character image in the balloon image.
【0008】請求項4に記載の発明では、各種形態の吹
き出しを形成する複数の吹き出し画像データを記憶する
吹き出し画像記憶手段と、入力される音声の音量および
音程に対応付けられた吹き出し画像データを、前記吹き
出し画像記憶手段から読み出して吹き出し画像を形成す
る吹き出し画像形成手段と、入力される音声を言語認識
し、認識された言語をそれぞれ文字画像に変換する文字
画像形成手段と、この文字画像形成手段により形成され
た文字画像の表示態様を、入力される音声の音量および
音程に応じて異ならせて前記吹き出し画像中に表示する
表示制御手段とを具備することを特徴とする。According to the fourth aspect of the invention, balloon image storage means for storing a plurality of balloon image data for forming balloons of various forms, and balloon image data associated with the volume and pitch of the input voice. A balloon image forming unit that reads a balloon image from the balloon image storage unit to form a balloon image, a character image forming unit that recognizes a language of an input voice and converts each recognized language into a character image, And a display control means for changing the display mode of the character image formed by the means in accordance with the volume and the pitch of the input voice and displaying the character image in the balloon image.
【0009】上記請求項1〜4のいずれかに従属する請
求項5に記載の発明によれば、前記表示制御手段が異な
らせる表示態様は、文字画像の大きさおよび表示色のい
ずれか一方、あるいは両方であることを特徴とする。ま
た、請求項2〜4のいずれかに従属する請求項6に記載
の発明によれば、前記表示制御手段は、音量あるいは音
程のいずれか一方、もしくは両方に応じて1語毎の文字
画像の大きさを可変制御することを特徴とする。According to the fifth aspect of the present invention, the display control means makes the display mode different from one of a character image size and a display color. Alternatively, they are both. Further, according to the invention described in claim 6 which depends on any one of claims 2 to 4, the display control means may control a character image of each word in accordance with one or both of a volume and a pitch. The size is variably controlled.
【0010】本発明では、吹き出し画像形成手段が入力
される音声に対応した形態の吹き出し画像を形成し、文
字画像形成手段が入力される音声を言語認識し、認識さ
れた言語をそれぞれ文字画像に変換すると、表示制御手
段が文字画像の表示態様を、入力される音声に応じて異
ならせて前記吹き出し画像中に表示する。これにより、
音声入力という極めて簡単な操作で各種の「吹き出し」
態様を入力することが可能となる。また、入力される音
声の内容によっては、「吹き出し」態様で感情表現する
ことも可能になる。According to the present invention, the balloon image forming means forms a balloon image in a form corresponding to the input voice, the character image forming means recognizes the language of the input voice, and converts the recognized language into a character image. After the conversion, the display control means changes the display mode of the character image in the balloon image in accordance with the input voice. This allows
Various "speech balloons" with extremely simple operation of voice input
It becomes possible to input an aspect. Also, depending on the content of the input voice, it is possible to express emotions in a “speech balloon” mode.
【0011】[0011]
【発明の実施の形態】本発明による画像処理装置は、イ
ラスト風の似顔絵を電子的に作成して表示する電子手帳
や電子玩具、あるいはページャー、PDA(携帯情報端
末)などに適用され得る。以下では、本発明の実施の形
態である画像処理装置を、実施例として図面を参照して
説明する。DESCRIPTION OF THE PREFERRED EMBODIMENTS An image processing apparatus according to the present invention can be applied to an electronic notebook or an electronic toy that electronically creates and displays an illustration-like portrait, a pager, a PDA (Personal Digital Assistant), and the like. Hereinafter, an image processing apparatus according to an embodiment of the present invention will be described as an example with reference to the drawings.
【0012】A.実施例の構成 (1)全体構成 図1は、本発明の実施例による画像処理装置1の全体構
成を示すブロック図である。この画像処理装置1は、後
述する構成要素10〜19に基づき生成されるコンポジ
ットビデオ信号SVを、ディスプレイ装置2に供給す
る。ディスプレイ装置2は、例えば通常のテレビジョン
受像機、あるいはVDT(ビデオ・ディスプレイ・ター
ミナル)であり、画像処理装置1側から供給されるコン
ポジットビデオ信号SVに応じた画像を画面表示する。A. 1. Configuration of Embodiment (1) Overall Configuration FIG. 1 is a block diagram showing the overall configuration of an image processing apparatus 1 according to an embodiment of the present invention. The image processing apparatus 1, a composite video signal S V is generated on the basis of the components 10 to 19 described later, and supplies to the display apparatus 2. Display device 2, for example, ordinary television receivers, or a VDT (video display terminal), the screen displays an image corresponding to the composite video signal S V fed from the image processing apparatus 1 side.
【0013】画像処理装置1において、10は、電源ス
イッチや動作モード切り替えスイッチ等の各種操作スイ
ッチを備えるコントローラであり、ユーザーのスイッチ
操作に応じた操作信号を発生する。11はコントローラ
10が発生する操作信号に応じて装置各部を制御するC
PUであり、その動作については後述する。なお、CP
U11は図示されていないDMAコントローラ等の周辺
装置を含み、DMA転送し得るように構成されている。
12はROMであり、CPU11にロードされる各種プ
ログラムの他、顔画像や吹き出し画像(後述する)を表
示するための画像データや、データテーブルが記憶され
ており、そのメモリ構成については後述する。In the image processing apparatus 1, reference numeral 10 denotes a controller provided with various operation switches such as a power switch and an operation mode changeover switch, and generates an operation signal corresponding to a switch operation by a user. Reference numeral 11 denotes a C that controls each unit of the apparatus according to an operation signal generated by the controller 10.
This is a PU, and its operation will be described later. Note that CP
U11 includes a peripheral device such as a DMA controller (not shown) and is configured to be able to perform DMA transfer.
Reference numeral 12 denotes a ROM, which stores various programs loaded into the CPU 11, image data for displaying a face image and a balloon image (described later), and a data table. The memory configuration will be described later.
【0014】13はCPU11のワークエリアとして用
いられるRAMであり、各種レジスタ・フラグデータを
一時記憶する記憶エリアの他、後述する音量データ、音
程データおよび音声認識データを格納する記憶エリアを
備えている。このRAM13のメモリ構成については追
って述べる。14はCPU11の指示の下に表示制御す
るビデオ・ディスプレイ・プロセッサ(以下、VDPと
称す)であり、VRAM15にDMA転送される各種画
像データを表示データ(RGBデータ)に変換して出力
する。Reference numeral 13 denotes a RAM used as a work area of the CPU 11, which has a storage area for temporarily storing various register / flag data, and a storage area for storing later-described volume data, pitch data, and voice recognition data. . The memory configuration of the RAM 13 will be described later. Reference numeral 14 denotes a video display processor (hereinafter, referred to as VDP) that controls display under the instruction of the CPU 11, and converts various image data DMA-transferred to the VRAM 15 into display data (RGB data) and outputs the display data.
【0015】VRAM15は、CPU11の指示により
RAM13側からDMA転送される顔画像や吹き出し画
像を形成する画像データを一時記憶する。16はエンコ
ーダであり、上述したVDP14から出力される表示デ
ータ(RGBデータ)をコンポジットビデオ信号SVに
変換して出力し、ディスプレイ装置2に供給する。17
は音声入力時に使用するマイクロフォンである。18は
マイクロフォン17から出力されるユーザーの音声信号
を所定のサンプリング周波数でサンプリングしてなる音
声データを発生するA/D変換器である。The VRAM 15 temporarily stores image data for forming a face image and a balloon image which are DMA-transferred from the RAM 13 in accordance with an instruction from the CPU 11. 16 is an encoder, and converts the display data output from VDP14 described above (RGB data) into a composite video signal S V, and supplies to the display apparatus 2. 17
Is a microphone used for voice input. Reference numeral 18 denotes an A / D converter that generates audio data obtained by sampling a user's audio signal output from the microphone 17 at a predetermined sampling frequency.
【0016】19は、上記A/D変換器18から供給さ
れる音声データに基づき、音声認識、音量検出および音
程検出の各処理を施し、その結果をCPU11に出力す
るデジタル・シグナル・プロセッサ(以下、DSPと略
称する)である。このDSP19は、内部メモリに格納
されるマイクロプログラムに基づき、音声認識部19
a、音量検出部19bおよび音程検出部19cの各機能
を具現する。A digital signal processor (hereinafter, referred to as 19) performs voice recognition, volume detection and pitch detection processing based on the audio data supplied from the A / D converter 18, and outputs the results to the CPU 11. , DSP). This DSP 19 is based on a microprogram stored in an internal memory,
a, each function of the volume detector 19b and the pitch detector 19c.
【0017】音声認識部19aは、ユーザーが発した音
声について、音素あるいは音節などの認識単位毎に、パ
ーコール分析等の手法により特徴パラメータを抽出し、
この抽出した時系列の特徴パラメータからなる入力パタ
ーンを、予め登録される各単語毎の標準パターン群につ
いてパターンマッチングさせ、最も類似度の高い標準パ
ターンに対応付けられた単語あるいは文節を音声認識結
果として出力する。また、音量検出部19bおよび音程
検出部19cでは、こうした音声認識を行っている過程
で、A/D変換器18より出力される音声データから時
系列の振幅値および発声ピッチを抽出して出力する。The speech recognition unit 19a extracts a feature parameter of the speech uttered by the user for each recognition unit such as a phoneme or a syllable by a method such as Percoll analysis.
The input pattern consisting of the extracted time-series feature parameters is subjected to pattern matching for a standard pattern group for each word registered in advance, and a word or a phrase associated with the standard pattern having the highest similarity is used as a speech recognition result. Output. In the process of performing such voice recognition, the volume detector 19b and the pitch detector 19c extract and output time-series amplitude values and utterance pitches from the voice data output from the A / D converter 18. .
【0018】上記構成によれば、コントローラ10の操
作に応じて選択されたパーツ画像により所望の容貌の顔
画像が形成される一方、この形成された顔画像に付随し
て表示される「吹き出し」の形状や、この「吹き出し」
内部に表示する文字およびその大きさ・表示色がユーザ
ーの音声入力により自動的に決定されて吹き出し表示が
行われる。つまり、本発明では、ユーザーが発する音声
に従って各様な「吹き出し」態様を実現することを要旨
としている。According to the above configuration, a face image having a desired appearance is formed by the part image selected in accordance with the operation of the controller 10, and a "speech balloon" displayed along with the formed face image. Shape and this "speech balloon"
Characters to be displayed inside and their sizes and display colors are automatically determined by a user's voice input, and balloon display is performed. In other words, the gist of the present invention is to realize various “speech balloons” according to the voice uttered by the user.
【0019】(2)ROM12のメモリ構成 次に、図2を参照して上述したROM12のメモリ構成
について説明する。図2において、KGは顔画像データ
記憶エリアであり、「髪」、「輪郭」、「目」、「鼻」
および「口」等の顔の各部位毎に複数種の画像データが
格納されている。したがって、ユーザーが「髪」、「輪
郭」、「目」、「鼻」および「口」等の顔の各部位毎に
所望の画像データを選択することで、各様な容貌あるい
は表情の顔画像を形成し得るようになっている。(2) Memory Configuration of ROM 12 Next, the memory configuration of the ROM 12 will be described with reference to FIG. In FIG. 2, KG is a face image data storage area, and includes “hair”, “contour”, “eyes”, and “nose”.
In addition, a plurality of types of image data are stored for each part of the face such as the "mouth". Therefore, the user selects desired image data for each part of the face, such as “hair”, “contour”, “eyes”, “nose”, and “mouth”, so that face images having various appearances or expressions can be obtained. Can be formed.
【0020】FGは、吹き出し画像データ記憶エリアで
あり、各種形状の吹き出し枠を描画する吹き出し画像デ
ータFG(1)〜FG(N)から構成される。これら吹
き出し画像データFG(1)〜FG(N)は、後述する
吹き出し形状選択テーブルFSTにより指定される。F
T(1)〜FT(N)は、それぞれ吹き出し枠内に表示
する文字の形状や大きさを指定する文字種変換テーブル
である。すなわち、音声入力されたメッセージ(文字
列)を、後述する音声表示モード処理によって吹き出し
枠内に表示する際に、これら文字種変換テーブルFT
(1)〜FT(N)を参照し、当該メッセージを形成す
る各文字の形状や大きさを指定する。これら文字種変換
テーブルFT(1)〜FT(N)は、後述する文字種選
択テーブルMSTにより指定される。FG is a balloon image data storage area and is composed of balloon image data FG (1) to FG (N) for rendering balloon frames of various shapes. These balloon image data FG (1) to FG (N) are designated by a balloon shape selection table FST described later. F
T (1) to FT (N) are character type conversion tables for designating the shape and size of characters to be displayed in the balloon frame, respectively. That is, when a message (character string) input by voice is displayed in a balloon frame by voice display mode processing described later, the character type conversion table FT is used.
With reference to (1) to FT (N), the shape and size of each character forming the message are designated. These character type conversion tables FT (1) to FT (N) are designated by a character type selection table MST described later.
【0021】吹き出し形状選択テーブルFSTは、後述
する音量平均データおよび音程平均データに対応させて
上述した吹き出し画像データFG(1)〜FG(N)の
いずれかを選択するための2次元データテーブルであ
る。すなわち、このテーブルFSTでは、音声入力され
るメッセージの音量および音程に対応した形状の「吹き
出し」を選択するものであり、例えば、怒鳴るように音
声入力されたメッセージの場合、その音量および音程に
基づき、周縁がジグザグ状の吹き出し画像を選択する。
このようにすると、吹き出しの形状で”怒った”情感を
表現することが出来る。The balloon shape selection table FST is a two-dimensional data table for selecting any of the balloon image data FG (1) to FG (N) corresponding to the volume average data and the pitch average data described later. is there. That is, in the table FST, a "speech balloon" having a shape corresponding to the volume and the pitch of the message input by voice is selected. For example, in the case of a message input by voice such as bellowing, based on the volume and the pitch. Select a balloon image having a zigzag edge.
In this way, the feeling of "angry" can be expressed by the shape of the speech balloon.
【0022】CSTは文字色選択テーブルであり、上記
テーブルFSTと同様に、音量平均データおよび音程平
均データを読み出しアドレスとして、各種文字色を指定
する色コード変換テーブル(所謂、カラールックアップ
テーブル)をアサインしておき、音声入力されるメッセ
ージの音量および音程に対応した色コード変換テーブル
を用いて吹き出し内部に表示する文字色を指定する。文
字種選択テーブルMSTは、音量平均データおよび音程
平均データに対応させて上述した文字種変換テーブルF
T(1)〜FT(N)のいずれかを選択するための2次
元データテーブルである。この文字種選択テーブルMS
Tは、音声認識された単語毎に文字種変換テーブルFT
(1)〜FT(N)のいずれかを選択する。CST is a character color selection table. Similar to the table FST, a color code conversion table (so-called color look-up table) for designating various character colors is set using the volume average data and the pitch average data as read addresses. Assignment is made, and a character color to be displayed inside the speech balloon is designated using a color code conversion table corresponding to the volume and pitch of the message to be input by voice. The character type selection table MST corresponds to the character type conversion table F corresponding to the volume average data and the pitch average data.
It is a two-dimensional data table for selecting any of T (1) to FT (N). This character type selection table MS
T is a character type conversion table FT for each speech-recognized word.
(1) Select one of FT (N).
【0023】(3)RAM13のレジスタ構成 次に、図3を参照してRAM13のレジスタ構成につい
て説明する。図において、レジスタVAADDは、デー
タエリアVADに格納される音量データVAD(1)〜
VAD(N)のいずれかを指定するアドレスポインタレ
ジスタである。データエリアVADに格納される音量デ
ータVAD(1)〜VAD(N)は、前述したDSP1
9の音量検出部19b(図1参照)から出力されるデー
タである。また、レジスタVFADDは、データエリア
VFDに格納される音程データVFD(1)〜VFD
(N)のいずれかを指定するアドレスポインタレジスタ
である。この音程データVFD(1)〜VFD(N)
は、DSP19の音程検出部19cが発生するデータで
ある。さらに、レジスタVNADDは、データエリアV
NDに格納される認識データVND(1)〜VND
(N)のいずれかを指定するアドレスポインタレジスタ
である。認識データVFD(1)〜VFD(N)とは、
DSP19の音声認識部19aが認識した単語を表わす
データである。(3) Register Configuration of RAM 13 Next, the register configuration of the RAM 13 will be described with reference to FIG. In the figure, a register VAADD stores volume data VAD (1) to VAD (1) stored in a data area VAD.
This is an address pointer register for specifying one of VAD (N). The volume data VAD (1) to VAD (N) stored in the data area VAD correspond to the DSP1 described above.
9 is data output from the volume detector 19b (see FIG. 1). The register VFADD stores pitch data VFD (1) to VFD stored in the data area VFD.
(N) is an address pointer register designating any of (N). The pitch data VFD (1) to VFD (N)
Is data generated by the pitch detector 19c of the DSP 19. Further, the register VNADD stores the data area V
Recognition data VND (1) to VND stored in ND
(N) is an address pointer register designating any of (N). The recognition data VFD (1) to VFD (N)
The data represents a word recognized by the voice recognition unit 19a of the DSP 19.
【0024】VAREG,VNREGおよびVFREG
は、テンポラリレジスタであり、DSP19側から出力
される上記音量データVAD、音声認識データVNDお
よび音程データVFDを、それぞれ一時記憶する。Nは
データ個数を保持するレジスタ、SVFは音程データV
FD(1)〜VFD(N)の累算値を保持するレジスタ
である。また、同様に、SVAは音量データVAD
(1)〜VAD(N)の累算値を保持するレジスタであ
る。VAおよびVNは、上記レジスタSVA、SVFに
それぞれ格納された累算値を、レジスタNのデータ個数
で除算した結果となる平均音量データ、平均音程データ
を保持するレジスタである。VAREG, VNREG and VFREG
Is a temporary register for temporarily storing the volume data VAD, voice recognition data VND, and pitch data VFD output from the DSP 19 side. N is a register for holding the number of data, and SVF is pitch data V
This register holds the accumulated values of FD (1) to VFD (N). Similarly, SVA is the volume data VAD
This is a register for holding the accumulated values of (1) to VAD (N). VA and VN are registers for holding average volume data and average pitch data which are obtained by dividing the accumulated values respectively stored in the registers SVA and SVF by the number of data in the register N.
【0025】B.実施例の動作 次に、図4〜図14を参照して実施例の動作について説
明する。以下では、動作主体であるCPU11が実行す
る「メインルーチン」、「音声入力モード処理ルーチ
ン」および「音声表示モード処理ルーチン」について順
次説明して行く。B. Next, the operation of the embodiment will be described with reference to FIGS. Hereinafter, the “main routine”, the “speech input mode processing routine”, and the “speech display mode processing routine” executed by the CPU 11, which is the operation subject, will be sequentially described.
【0026】(1)メインルーチンの動作 まず、実施例に電源が投入されると、CPU11はRO
M12から対応する制御プログラムを読み出してロード
し、図4に示すステップSA1に処理を進める。ステッ
プSA1では、RAM13の各種レジスタ/フラグ類を
初期化する一方、VDP14およびDSP19に対して
内部レジスタの初期化を指示する。そして、イニシャラ
イズ完了後に、CPU11はステップSA2に処理を進
め、現在どの処理モードに設定されているかを判断す
る。(1) Operation of Main Routine First, when the power is turned on in the embodiment, the CPU 11
The corresponding control program is read from M12 and loaded, and the process proceeds to step SA1 shown in FIG. In step SA1, various registers / flags in the RAM 13 are initialized, while instructing the VDP 14 and the DSP 19 to initialize internal registers. After the initialization is completed, the CPU 11 advances the process to step SA2, and determines which processing mode is currently set.
【0027】ここで、ユーザー操作により「入力モー
ド」が選択されると、ステップSA3を介して後述する
「音声入力モード処理ルーチン」を実行し、一方、「表
示モード」が選択されると、ステップSA4を介して後
述する「音声表示モード処理ルーチン」実行する。そし
て、いずれかのモード処理が完了すると、再びステップ
SA2に処理を戻す。Here, when the "input mode" is selected by a user operation, a "voice input mode processing routine" described later is executed through step SA3. On the other hand, when the "display mode" is selected, the step A "voice display mode processing routine" described later is executed via SA4. When one of the mode processes is completed, the process returns to step SA2.
【0028】(2)音声入力モード処理ルーチンの動作 上記ステップSA3を介して音声入力モード処理ルーチ
ンが実行されると、CPU11は図5に示すステップS
B1に処理を進め、前述したアドレスポインタレジスタ
VNADD,VFADDおよびVAADDをゼロリセッ
トする。そして、次のステップSB2に処理を進める
と、DSP19から出力される音量データVAD、音声
認識データVNDおよび音程データVFDを、それぞれ
一時記憶するテンポラリレジスタVAREG,VNRE
GおよびVFREGをゼロリセットする。(2) Operation of the Voice Input Mode Processing Routine When the voice input mode processing routine is executed via the above-mentioned step SA3, the CPU 11 executes the step S shown in FIG.
The process proceeds to B1, and the address pointer registers VNADD, VFADD, and VAADD are reset to zero. Then, when the process proceeds to the next step SB2, temporary registers VAREG, VNRE for temporarily storing the volume data VAD, the voice recognition data VND, and the pitch data VFD output from the DSP 19, respectively.
Reset G and VFREG to zero.
【0029】次いで、ステップSB3に進むと、CPU
11はDSP19に対して音声入力の開始を指示する。
これにより、DSP19では、マイクロフォン17およ
びA/D変換器18を介して入力される音声データに基
づき、前述した音声認識部19a、音量検出部19bお
よび音程検出部19cがそれぞれ音声認識、音量検出お
よび音程検出する。そして、ステップSB4では、音程
検出部19cが出力する音程データVFDをテンポラリ
レジスタVFREGにストアし、続くステップSB5で
は、音量検出部19bが出力する音量データVADをテ
ンポラリレジスタVAREGにストアする。Next, when the flow advances to step SB3, the CPU
Numeral 11 instructs the DSP 19 to start voice input.
Thereby, in the DSP 19, based on the voice data input via the microphone 17 and the A / D converter 18, the above-described voice recognition unit 19a, volume detection unit 19b, and pitch detection unit 19c perform voice recognition, volume detection, Detect the pitch. Then, in step SB4, the pitch data VFD output by the pitch detection section 19c is stored in the temporary register VFREG, and in the next step SB5, the volume data VAD output by the volume detection section 19b is stored in the temporary register VAREG.
【0030】続いて、ステップSB6では、音声認識部
19aにおいてなされるパターンマッチングにより、入
力された音声が単語として認識されるまで待機する。そ
して、認識が終了すると、ステップSB6の判断結果が
「YES」となり、次のステップSB7に処理を進め
る。ステップSB7では、認識結果となる音声認識デー
タVNDをテンポラリレジスタVNREGにストアす
る。次いで、ステップSB8〜SB10では、テンポラ
リレジスタVNREG,VFREGおよびVAREGに
それぞれ格納された音声認識データVND、音程データ
VFDおよび音量データVADを、アドレスポインタレ
ジスタVNADD,VFADDおよびVAADDに対応
させて各々、データエリアVND,VFDおよびVAD
にストアする。Subsequently, in step SB6, the process stands by until the input voice is recognized as a word by the pattern matching performed in the voice recognition unit 19a. When the recognition is completed, the result of the determination in step SB6 is “YES”, and the process proceeds to the next step SB7. In step SB7, the speech recognition data VND as the recognition result is stored in the temporary register VNREG. Next, in steps SB8 to SB10, the voice recognition data VND, the pitch data VFD, and the volume data VAD stored in the temporary registers VNREG, VFREG, and VAREG, respectively, are made to correspond to the address pointer registers VNADD, VFADD, and VAADD, respectively. VND, VFD and VAD
Store in
【0031】この後、図6に示すステップSB11〜S
B13に処理を進め、データエリアVND,VFDおよ
びVADの格納アドレスを歩進させるべくアドレスポイ
ンタレジスタVNADD,VFADDおよびVAADD
を1インクリメントする。そして、ステップSB14で
は、動作モード切り替えスイッチの操作により現モード
(音声入力モード)を強制終了するか否かを判断する。
ここで、当該スイッチが操作されない時には、判断結果
が「NO」となり、ステップSB15に進む。ステップ
SB15では、アドレスポインタレジスタVNADDの
値が、レジスタNに格納されるデータ個数を超えたか否
かを判断する。Thereafter, steps SB11 to SB11 shown in FIG.
The process proceeds to B13, and the address pointer registers VNADD, VFADD, and VAADD are used to increase the storage addresses of the data areas VND, VFD, and VAD.
Is incremented by one. In step SB14, it is determined whether or not the current mode (voice input mode) is forcibly terminated by operating the operation mode changeover switch.
Here, when the switch is not operated, the determination result is “NO”, and the process proceeds to Step SB15. In step SB15, it is determined whether or not the value of the address pointer register VNADD has exceeded the number of data stored in the register N.
【0032】データ個数を超えていない場合には、上記
ステップSB15の判断結果が「NO」となり、前述し
たステップSB3(図5参照)に処理を戻し、再びDS
P19側から出力される音声認識データVND、音程デ
ータVFDおよび音量データVADを取込むが、データ
個数を超えた時には、判断結果が「YES」となり、ス
テップSB16に処理を進め、音声表示モード(後述す
る)に遷移する。なお、上述のステップSB14の判断
結果が「YES」の場合、つまり、動作モード切り替え
スイッチの操作により現モード(音声入力モード)が強
制終了された時には、一意的にステップSB16に進
み、音声表示モードに遷移する。If the number of data has not been exceeded, the result of the determination in step SB15 is "NO", the process returns to step SB3 (see FIG. 5), and the DS
The voice recognition data VND, the pitch data VFD, and the volume data VAD output from the P19 side are taken in. When the number exceeds the number of data, the determination result is "YES", the process proceeds to Step SB16, and the voice display mode (described later) To). When the result of the determination in step SB14 is "YES", that is, when the current mode (voice input mode) is forcibly terminated by operating the operation mode changeover switch, the process uniquely proceeds to step SB16, and the voice display mode is set. Transitions to.
【0033】(3)音声表示モード処理ルーチンの動作 さて、上述した音声入力モード処理によって、データエ
リアVND,VFDおよびVADにそれぞれ音声認識デ
ータVND(1)〜VND(N)、音程データVFD
(1)〜VFD(N)および音量データVAD(1)〜
VAD(N)が格納された場合、あるいは動作モード切
り替えスイッチの操作により音声入力モードが強制終了
された場合には、CPU11はステップSA4(図4参
照)を介して図7に示す音声表示モード処理ルーチンを
実行してステップSC1に処理を進める。(3) Operation of the voice display mode processing routine By the voice input mode processing described above, the voice recognition data VND (1) to VND (N) and the pitch data VFD are stored in the data areas VND, VFD and VAD, respectively.
(1) -VFD (N) and volume data VAD (1)-
When VAD (N) is stored, or when the voice input mode is forcibly terminated by operating the operation mode changeover switch, the CPU 11 performs the voice display mode processing shown in FIG. 7 through step SA4 (see FIG. 4). The routine is executed, and the process proceeds to step SC1.
【0034】ステップSC1では、上述した音声入力モ
ード処理によってデータエリアVADに格納された音量
データVAD(1)〜VAD(N)を累算し、その累算
結果を、レジスタNに格納されるデータ個数で除算して
平均音量データをレジスタVAにストアする音量平均算
出処理を実行する。以下、この音量平均算出処理ルーチ
ンの動作について図9を参照して詳述する。At step SC1, the sound volume data VAD (1) to VAD (N) stored in the data area VAD are accumulated by the above-described audio input mode processing, and the accumulation result is stored in the data stored in the register N. A volume average calculation process of dividing the number by the number and storing the average volume data in the register VA is executed. Hereinafter, the operation of the volume average calculation processing routine will be described in detail with reference to FIG.
【0035】<音量平均算出処理ルーチンの動作>CP
U11の処理がステップSC1に進むと、図9に示す音
量平均算出処理ルーチンが実行され、ステップSD1に
処理を進める。ステップSD1では、レジスタSVAを
ゼロリセットする一方、レジスタVAADDに「1」を
セットし、続くステップSD2では、このアドレスポイ
ンタレジスタVNADDがデータエリアVADにおいて
指し示す音量データVAD(1)をレジスタSVAにス
トアする。<Operation of Volume Average Calculation Routine> CP
When the process of U11 proceeds to step SC1, a volume average calculation process routine shown in FIG. 9 is executed, and the process proceeds to step SD1. In step SD1, the register SVA is reset to zero, while "1" is set in the register VAADD. In step SD2, the volume data VAD (1) indicated by the address pointer register VNADD in the data area VAD is stored in the register SVA. .
【0036】次いで、ステップSD3では、アドレスポ
インタレジスタVNADDの値を1インクリメントして
歩進させ、次のステップSD4では、この歩進されたア
ドレスポインタレジスタVNADDの値がレジスタNに
格納されるデータ個数より大であるか否か、つまり、全
ての音量データVADについて累算したかどうかを判断
する。ここで、全ての音量データVADについて累算が
完了していない時には、判断結果が「NO」となり、上
述のステップSD2に処理を戻し、以後、全ての音量デ
ータVADを累算する迄、ステップSD2〜SD4を繰
り返す。Next, in step SD3, the value of the address pointer register VNADD is incremented by one and the value is incremented. In the next step SD4, the incremented value of the address pointer register VNADD is the number of data stored in the register N. It is determined whether or not the volume is larger, that is, whether or not all the volume data VAD have been accumulated. Here, when the accumulation has not been completed for all the volume data VAD, the determination result is "NO", and the process returns to step SD2 described above. Repeat ~ SD4.
【0037】そして、累算が完了すると、ステップSD
4の判断結果が「YES」となり、次のステップSD5
に処理を進め、レジスタSVAに確保された音量データ
VAD(1)〜VAD(N)の累算値を、レジスタNの
データ個数で除算し、これにより得られる平均音量デー
タをレジスタVAにストアする。When the accumulation is completed, step SD
4 is "YES", and the next step SD5 is executed.
, The accumulated value of the volume data VAD (1) to VAD (N) secured in the register SVA is divided by the number of data in the register N, and the average volume data obtained thereby is stored in the register VA. .
【0038】この後、CPU11は音量平均算出処理ル
ーチンを完了して音声表示モード処理ルーチンに復帰
し、図7に示すステップSC2に処理を進める。ステッ
プSC2では、上記ステップSC1と同様に、データエ
リアVFDに格納された音程データVFD(1)〜VF
D(N)の累算値をレジスタNに格納されるデータ個数
で除算して得る平均音程データを、レジスタVFにスト
アする音程平均算出処理を実行する。以下、この音程平
均算出処理ルーチンの動作について図10を参照して詳
述する。Thereafter, the CPU 11 completes the volume average calculation processing routine, returns to the audio display mode processing routine, and proceeds to step SC2 shown in FIG. In step SC2, similarly to step SC1, the pitch data VFD (1) to VFD (1) to VF stored in the data area VFD.
A pitch average calculation process of storing average pitch data obtained by dividing the accumulated value of D (N) by the number of data stored in the register N in the register VF is executed. Hereinafter, the operation of the pitch average calculation processing routine will be described in detail with reference to FIG.
【0039】<音程平均算出処理ルーチンの動作>CP
U11の処理がステップSC2に進むと、図10に示す
音程平均算出処理ルーチンが実行され、ステップSE1
に処理を進める。ステップSE1では、レジスタSVF
をゼロリセットする一方、レジスタVFADDに「1」
をセットし、続くステップSE2では、このアドレスポ
インタレジスタVFADDがデータエリアVFDにおい
て指し示す音程データVFD(1)をレジスタSVFに
ストアする。<Operation of interval average calculation processing routine> CP
When the processing of U11 proceeds to step SC2, a pitch average calculation processing routine shown in FIG. 10 is executed, and step SE1 is executed.
Processing proceeds to In step SE1, the register SVF
Is reset to zero while “1” is set in the register VFADD.
In the subsequent step SE2, the pitch data VFD (1) indicated by the address pointer register VFADD in the data area VFD is stored in the register SVF.
【0040】次いで、ステップSE3では、アドレスポ
インタレジスタVFADDの値を1インクリメントして
歩進させ、次のステップSE4では、この歩進されたア
ドレスポインタレジスタVFADDの値がレジスタNに
格納されるデータ個数より大であるか否か、つまり、全
ての音程データVFDについて累算したかどうかを判断
する。ここで、累算が完了していない時には、判断結果
が「NO」となり、上述のステップSE2に処理を戻
し、以後、全ての音程データVFDを累算する迄、ステ
ップSE2〜SE4を繰り返す。そして、累算が完了す
ると、ステップSE4の判断結果が「YES」となり、
次のステップSE5に処理を進め、レジスタSVFに確
保された音程データVFD(1)〜VFD(N)の累算
値をレジスタNのデータ個数で除算し、これにより得ら
れる平均音程データをレジスタVFにストアする。Next, in step SE3, the value of the address pointer register VFADD is incremented by one and the value is incremented. In the next step SE4, the incremented value of the address pointer register VFADD is the number of data stored in the register N. It is determined whether or not the value is larger, that is, whether or not all the pitch data VFD have been accumulated. Here, when the accumulation is not completed, the judgment result is "NO", and the process returns to the above-mentioned step SE2. Thereafter, the steps SE2 to SE4 are repeated until all the pitch data VFD are accumulated. When the accumulation is completed, the result of determination in step SE4 becomes "YES",
Proceeding to the next step SE5, the accumulated value of the pitch data VFD (1) to VFD (N) secured in the register SVF is divided by the number of data in the register N, and the average pitch data obtained thereby is stored in the register VF. Store in
【0041】この後、CPU11は音程平均算出処理ル
ーチンを完了して音声表示モード処理ルーチンに復帰
し、図7に示すステップSC3に処理を進める。ステッ
プSC3では、ユーザー操作により指定された顔画像デ
ータを、ROM12の記憶エリアKGより読み出し、V
RAM15へDMA転送する。なお、VRAM15にD
MA転送された顔画像データは、ディスプレイ装置2の
垂直帰線期間中において、VDP14で表示データ(R
GBデータ)に変換された後、エンコーダ16がこの表
示データ(RGBデータ)をコンポジットビデオ信号S
Vに変換してディスプレイ装置2に供給する。この結
果、顔画像がディスプレイ装置2に画面表示される。Thereafter, the CPU 11 completes the pitch average calculation processing routine, returns to the voice display mode processing routine, and advances the processing to step SC3 shown in FIG. At step SC3, the face image data designated by the user operation is read from the storage area KG of the ROM 12, and
DMA transfer to the RAM 15 is performed. Note that DRAM 15
The face image data transferred by MA is displayed on the VDP 14 by the VDP 14 during the vertical retrace period of the display device 2.
After converting the display data (RGB data) into a composite video signal S
It is converted to V and supplied to the display device 2. As a result, the face image is displayed on the display device 2 on the screen.
【0042】次いで、ステップSC4では、レジスタV
FおよびレジスタVAに格納した平均音量データおよび
平均音程データに基づき、前述した吹き出し形状選択テ
ーブルFSTを参照し、吹き出し画像データFG(1)
〜FG(N)のいずれかを指定する。そして、次のステ
ップSC5では、指定された吹き出し画像データFGを
ROM12から読み出してVRAM15にDMA転送す
る。この結果、音声入力されたメッセージの音量および
音程に対応した形状の「吹き出し」が画面表示される。Next, at step SC4, the register V
Based on the F and the average volume data and average pitch data stored in the register VA, the balloon image data FG (1) is referred to by referring to the balloon shape selection table FST described above.
To FG (N). Then, in the next step SC5, the designated balloon image data FG is read from the ROM 12 and DMA-transferred to the VRAM 15. As a result, a "speech balloon" having a shape corresponding to the volume and pitch of the message input by voice is displayed on the screen.
【0043】次に、ステップSC6に進むと、CPU1
1はレジスタVFおよびレジスタVAに格納される平均
音量データおよび平均音程データを読み出しアドレスと
して、前述した文字色選択テーブルCSTから対応する
色コード変換テーブル(所謂、カラールックアップテー
ブル)を選択し、続くステップSC7では、この選択し
た色コード変換テーブルをVDP14にセットする。こ
れにより、VDP14では、音声入力されたメッセージ
の音量および音程に対応した色コード変換テーブルを用
いて、吹き出し内部に表示される文字色を指定する。Next, proceeding to step SC6, the CPU 1
1 selects the corresponding color code conversion table (so-called color look-up table) from the above-described character color selection table CST using the average volume data and average pitch data stored in the registers VF and VA as read addresses, and continues. In step SC7, the selected color code conversion table is set in the VDP 14. As a result, the VDP 14 specifies a character color to be displayed inside the speech balloon using the color code conversion table corresponding to the volume and pitch of the voice-input message.
【0044】そして、図8に示すステップSC8に進む
と、レジスタVFおよびレジスタVAに格納される平均
音量データおよび平均音程データに基づき、前述した文
字種選択テーブルMSTを参照して文字種変換テーブル
FT(1)〜FT(N)のいずれかを選択する。次い
で、ステップSC9では、アドレスポインタレジスタV
NADDを「1」にリセットし、続くステップSC10
では、上記レジスタVNADDに対応する音声認識デー
タをデータエリアVND(図3参照)から読み出す一
方、読み出した音声認識データを、上述のステップSC
8にて選択された文字種変換テーブルFTにより文字画
像データに変換する。Then, proceeding to step SC8 shown in FIG. 8, based on the average volume data and average pitch data stored in the registers VF and VA, the character type conversion table FT (1 ) To FT (N). Next, in step SC9, the address pointer register V
NADD is reset to “1”, and the following step SC10
Then, while reading the voice recognition data corresponding to the register VNADD from the data area VND (see FIG. 3), the read voice recognition data is
The data is converted into character image data by the character type conversion table FT selected in step 8.
【0045】こうして音声認識された単語が、音声入力
時の音量および音程に応じた文字画像に変換されると、
CPU11はステップSC11に処理を進め、変換され
た文字画像データをVRAM15にDMA転送する。そ
して、次のステップSC12では、次の音声認識データ
をデータエリアVNDから読み出すべく、アドレスポイ
ンタレジスタVNADDを1インリメントして歩進させ
る。続いて、ステップSC13では、歩進されたアドレ
スポインタレジスタVNADDの値がレジスタNの値よ
り大きいか否か、つまり、全ての音声認識データを読み
出したか否かを判断する。When the word thus recognized is converted into a character image corresponding to the volume and pitch at the time of voice input,
The CPU 11 advances the process to step SC11, and transfers the converted character image data to the VRAM 15 by DMA. Then, in the next step SC12, the address pointer register VNADD is incremented by 1 to advance the next voice recognition data from the data area VND. Subsequently, in step SC13, it is determined whether or not the incremented value of the address pointer register VNADD is larger than the value of the register N, that is, whether or not all the voice recognition data has been read.
【0046】ここで、全ての音声認識データを読み出し
ていない時には、判断結果が「NO」となり、ステップ
SC9に処理を戻し、上述した過程を繰り返す。一方、
全ての音声認識データを文字画像データに変換し終えた
場合には、判断結果が「YES」となり、ステップSC
14に処理を進める。ステップSC14では、ユーザー
によって動作モード切り替えスイッチが操作され、現モ
ード(音声表示モード)が強制終了される迄待機し、動
作モード切り替えスイッチが操作された時点で、次のス
テップSC15に進み、音声入力モードへ遷移する。Here, when all the speech recognition data has not been read out, the judgment result is "NO", the process returns to step SC9, and the above-mentioned process is repeated. on the other hand,
If all the speech recognition data has been converted to character image data, the determination result is “YES”, and the
The process proceeds to 14. In step SC14, the operation mode changeover switch is operated by the user to wait until the current mode (sound display mode) is forcibly terminated. When the operation mode changeover switch is operated, the process proceeds to next step SC15, in which the voice input is performed. Transition to the mode.
【0047】このように、音声表示モード処理によれ
ば、音声入力した時の平均音量および平均音程に対応し
て「吹き出し」の形状を選定すると共に、この選定され
た「吹き出し」の中に表示する文字色およびその大きさ
を平均音量および平均音程に基づいて選択し、この選択
された文字色およびその大きさに従って、音声認識され
たメッセージを「吹き出し」中に文字表示するので、極
めて簡単な操作で各種の「吹き出し」態様を入力するこ
とが可能になる。したがって、例えば、音量および音程
共に大きくして「いっしょにあそぼうよ」なるメッセー
ジを音声入力した場合、図11に図示する一例のよう
に、活発な気質を表現する「吹き出し」の形状となり、
その「吹き出し」の中の文字も大きく表示される。これ
に対し、例えば、音量および音程を低くして同様のメッ
セージを音声入力した場合には、図12の一例のよう
に、大人しさを表現する「吹き出し」の形状となり、そ
の中の文字も小さく表示される。As described above, according to the voice display mode processing, the shape of the "speech balloon" is selected in accordance with the average volume and the average pitch at the time of voice input, and displayed in the selected "speech balloon". The selected character color and its size are selected on the basis of the average volume and the average pitch, and the voice-recognized message is displayed in the "speech balloon" according to the selected character color and its size. Various "speech" modes can be input by operation. Therefore, for example, when the volume and the pitch are both increased and a message “Let's play together” is input by voice, as shown in an example shown in FIG. 11, the shape of a “speech balloon” expressing an active temperament is obtained.
The characters in the "speech balloon" are also displayed in large size. On the other hand, for example, when a similar message is input by lowering the volume and the pitch, as shown in an example of FIG. Is displayed.
【0048】なお、本実施例では、音声入力した時の平
均音量および平均音程に対応して吹き出し形状や、文字
色およびその大きさを決定したが、これに限らず種々変
形が可能である。例えば、音声認識した単語毎の音量お
よび音程に応じて吹き出し内に表示される文字の大きさ
を異ならせることも出来る。これは、例えば、最初に音
量が大きく、次第に音量が下がっていくようなメッセー
ジを音声入力した場合に、吹き出し内に表示する文字の
大きさを徐々に小さくするよう文字種変換テーブルFT
(1)〜FT(N)を選択することで実現し得る。In this embodiment, the shape of the balloon, the character color and its size are determined in accordance with the average volume and the average pitch when voice is input. However, the present invention is not limited to this, and various modifications are possible. For example, the size of the characters displayed in the speech balloon can be made different depending on the volume and pitch of each word for which speech recognition has been performed. This is because the character type conversion table FT is designed to gradually reduce the size of the characters displayed in the balloon when, for example, a message whose volume is first increased and the volume gradually decreases is input by voice.
This can be realized by selecting (1) to FT (N).
【0049】また、この実施例では、音声入力により吹
き出し態様を異ならせているが、これに限らず、例え
ば、顔画像の表情を変化させることも可能である。つま
り、怒鳴るように音声入力した時には、それに対応して
吹き出し態様と顔画像とを怒った感情を表現するよう画
面表示する。このようにすることで、感情表現力が一層
向上する。さらに、上述した実施例では、吹き出し表示
位置を固定としているが、これに替えて、例えば、音声
入力時の音量や音程に応じて表示位置を変化させる態様
とすることもできる。Further, in this embodiment, the speech style is made different by voice input. However, the present invention is not limited to this. For example, the expression of a face image can be changed. In other words, when a voice is input so as to make a bellow, the speech balloon mode and the face image are displayed on the screen corresponding to the voice input so as to express an angry emotion. By doing so, the emotion expression ability is further improved. Furthermore, in the above-described embodiment, the balloon display position is fixed. Alternatively, for example, the display position may be changed in accordance with the volume or pitch at the time of voice input.
【0050】[0050]
【発明の効果】本発明によれば、吹き出し画像形成手段
が入力される音声に対応した形態の吹き出し画像を形成
し、文字画像形成手段が入力される音声を言語認識し、
認識された言語をそれぞれ文字画像に変換すると、表示
制御手段が文字画像の表示態様を、入力される音声に応
じて異ならせて前記吹き出し画像中に表示するので、音
声入力という極めて簡単な操作で各種の「吹き出し」態
様を入力することができる。また、入力される音声の内
容によっては、「吹き出し」態様で感情表現することも
できる。According to the present invention, the balloon image forming means forms a balloon image in a form corresponding to the input voice, and the character image forming means recognizes the voice of the input language.
When each of the recognized languages is converted into a character image, the display control means displays the character image in a different manner according to the input voice in the balloon image. Various "speech" modes can be entered. Depending on the content of the input voice, emotional expression can be made in a “speech balloon” mode.
【図1】本発明による実施例の構成を示すブロック図で
ある。FIG. 1 is a block diagram showing a configuration of an embodiment according to the present invention.
【図2】ROM12のメモリ構成を示すメモリマップで
ある。FIG. 2 is a memory map showing a memory configuration of a ROM 12;
【図3】RAM13のメモリ構成を示すメモリマップで
ある。FIG. 3 is a memory map showing a memory configuration of a RAM 13;
【図4】メインルーチンの動作を示すフローチャートで
ある。FIG. 4 is a flowchart showing an operation of a main routine.
【図5】音声入力モード処理ルーチンの動作を示すフロ
ーチャートである。FIG. 5 is a flowchart showing the operation of a voice input mode processing routine.
【図6】音声入力モード処理ルーチンの動作を示すフロ
ーチャートである。FIG. 6 is a flowchart showing an operation of a voice input mode processing routine.
【図7】音声表示モード処理ルーチンの動作を示すフロ
ーチャートである。FIG. 7 is a flowchart showing an operation of a voice display mode processing routine.
【図8】音声表示モード処理ルーチンの動作を示すフロ
ーチャートである。FIG. 8 is a flowchart showing an operation of a voice display mode processing routine.
【図9】音量平均算出処理ルーチンの動作を示すフロー
チャートである。FIG. 9 is a flowchart showing an operation of a volume average calculation processing routine.
【図10】音程平均算出処理ルーチンの動作を示すフロ
ーチャートである。FIG. 10 is a flowchart showing an operation of a pitch average calculation processing routine.
【図11】吹き出し表示の一態様を示す図である。FIG. 11 is a diagram showing one mode of balloon display.
【図12】吹き出し表示の一態様を示す図である。FIG. 12 is a diagram showing one mode of balloon display.
10 コントローラ 11 CPU(吹き出し画像形成手段、文字画像形成手
段、表示制御手段) 12 ROM(吹き出し画像形成手段、文字画像形成手
段) 13 RAM(吹き出し画像形成手段、文字画像形成手
段) 14 VDP(吹き出し画像形成手段、文字画像形成手
段、表示制御手段) 15 VRAM 16 エンコーダ 17 マイクロフォン 18 A/D変換器 19 DSP(吹き出し画像形成手段、文字画像形成手
段) 19a 音声認識部 19b 音量検出部 19c 音程検出部Reference Signs List 10 controller 11 CPU (balloon image forming unit, character image forming unit, display control unit) 12 ROM (balloon image forming unit, character image forming unit) 13 RAM (balloon image forming unit, character image forming unit) 14 VDP (balloon image forming unit) Forming Means, Character Image Forming Means, Display Control Means) 15 VRAM 16 Encoder 17 Microphone 18 A / D Converter 19 DSP (Speech Bubble Image Forming Means, Character Image Forming Means) 19a Voice Recognition Unit 19b Volume Detector 19c Pitch Detector
Claims (6)
し画像を形成する吹き出し画像形成手段と、 入力される音声を言語認識し、認識された言語をそれぞ
れ文字画像に変換する文字画像形成手段と、 この文字画像形成手段により形成された文字画像の表示
態様を、入力される音声に応じて異ならせて前記吹き出
し画像中に表示する表示制御手段とを具備することを特
徴とする画像処理装置。1. A balloon image forming unit for forming a balloon image in a form corresponding to an input voice, a character image forming unit for recognizing a language of an input voice and converting each recognized language into a character image. An image processing apparatus comprising: a display control unit that changes a display mode of a character image formed by the character image forming unit in accordance with an input voice and displays the character image in the balloon image.
き出し画像データを記憶する吹き出し画像記憶手段と、 入力される音声の音量に対応付けられた吹き出し画像デ
ータを、前記吹き出し画像記憶手段から読み出して吹き
出し画像を形成する吹き出し画像形成手段と、 入力される音声を言語認識し、認識された言語をそれぞ
れ文字画像に変換する文字画像形成手段と、 この文字画像形成手段により形成された文字画像の表示
態様を、入力される音声の音量に応じて異ならせて前記
吹き出し画像中に表示する表示制御手段とを具備するこ
とを特徴とする画像処理装置。2. A balloon image storage unit for storing a plurality of balloon image data forming balloons of various forms, and balloon image data associated with the volume of an input voice are read from the balloon image storage unit. Balloon image forming means for forming a balloon image; character image forming means for recognizing an input voice in a language and converting each recognized language into a character image; and displaying a character image formed by the character image forming means. An image processing apparatus comprising: display control means for changing an aspect in accordance with the volume of an input sound and displaying the speech in the balloon image.
き出し画像データを記憶する吹き出し画像記憶手段と、 入力される音声の音程に対応付けられた吹き出し画像デ
ータを、前記吹き出し画像記憶手段から読み出して吹き
出し画像を形成する吹き出し画像形成手段と、 入力される音声を言語認識し、認識された言語をそれぞ
れ文字画像に変換する文字画像形成手段と、 この文字画像形成手段により形成された文字画像の表示
態様を、入力される音声の音程に応じて異ならせて前記
吹き出し画像中に表示する表示制御手段とを具備するこ
とを特徴とする画像処理装置。3. A balloon image storage unit for storing a plurality of balloon image data forming balloons of various forms, and balloon image data associated with a pitch of an input voice are read from the balloon image storage unit. Balloon image forming means for forming a balloon image; character image forming means for recognizing an input voice in a language and converting each recognized language into a character image; and displaying a character image formed by the character image forming means. An image processing apparatus comprising: display control means for changing an aspect according to a pitch of an input voice and displaying the speech in the balloon image.
き出し画像データを記憶する吹き出し画像記憶手段と、 入力される音声の音量および音程に対応付けられた吹き
出し画像データを、前記吹き出し画像記憶手段から読み
出して吹き出し画像を形成する吹き出し画像形成手段
と、 入力される音声を言語認識し、認識された言語をそれぞ
れ文字画像に変換する文字画像形成手段と、 この文字画像形成手段により形成された文字画像の表示
態様を、入力される音声の音量および音程に応じて異な
らせて前記吹き出し画像中に表示する表示制御手段とを
具備することを特徴とする画像処理装置。4. A balloon image storage unit for storing a plurality of balloon image data forming balloons of various forms, and a balloon image data associated with a volume and a pitch of an input voice from the balloon image storage unit. A balloon image forming unit for reading and forming a balloon image; a character image forming unit for recognizing a language of input speech and converting each of the recognized languages into a character image; and a character image formed by the character image forming unit. An image processing apparatus comprising: display control means for changing the display mode according to the volume and pitch of an input voice and displaying the same in the balloon image.
は、文字画像の大きさおよび表示色のいずれか一方、あ
るいは両方であることを特徴とする請求項1〜4のいず
れかに記載の画像処理装置。5. The image according to claim 1, wherein the display control unit changes the display mode to one or both of the size and the display color of the character image. Processing equipment.
のいずれか一方、もしくは両方に応じて1語毎の文字画
像の大きさを可変制御することを特徴とする請求項2〜
4のいずれかに記載の画像処理装置。6. The display control unit according to claim 2, wherein the size of the character image for each word is variably controlled according to one or both of the volume and the pitch.
5. The image processing device according to any one of 4.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6271697A JPH10261099A (en) | 1997-03-17 | 1997-03-17 | Image processor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6271697A JPH10261099A (en) | 1997-03-17 | 1997-03-17 | Image processor |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH10261099A true JPH10261099A (en) | 1998-09-29 |
Family
ID=13208352
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6271697A Abandoned JPH10261099A (en) | 1997-03-17 | 1997-03-17 | Image processor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH10261099A (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002215533A (en) * | 2001-01-24 | 2002-08-02 | Victor Co Of Japan Ltd | Automatic comic generating device |
JP2002247531A (en) * | 2001-02-14 | 2002-08-30 | Sharp Corp | Image processing system |
JP2003085572A (en) * | 2001-09-11 | 2003-03-20 | Nippon Hoso Kyokai <Nhk> | Comic generation device and comic generation program |
JP2004126786A (en) * | 2002-09-30 | 2004-04-22 | Konami Co Ltd | Communication device, program and communication method |
WO2006092935A1 (en) * | 2005-03-03 | 2006-09-08 | Konami Digital Entertainment Co., Ltd. | Game device, control method for the game device, and information storage medium |
JP2010157192A (en) * | 2009-01-05 | 2010-07-15 | Nintendo Co Ltd | Drawing processing program and information processor |
JP2013008031A (en) * | 2011-06-24 | 2013-01-10 | Honda Motor Co Ltd | Information processor, information processing system, information processing method and information processing program |
JPWO2014097748A1 (en) * | 2012-12-18 | 2017-01-12 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | Method for processing voice of specific speaker, and electronic device system and program for electronic device |
JP2017018414A (en) * | 2015-07-13 | 2017-01-26 | 株式会社コロプラ | Computer program for assisting user input |
JP2020121165A (en) * | 2020-04-21 | 2020-08-13 | 株式会社コロプラ | Computer program for assisting user input |
-
1997
- 1997-03-17 JP JP6271697A patent/JPH10261099A/en not_active Abandoned
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002215533A (en) * | 2001-01-24 | 2002-08-02 | Victor Co Of Japan Ltd | Automatic comic generating device |
JP2002247531A (en) * | 2001-02-14 | 2002-08-30 | Sharp Corp | Image processing system |
JP2003085572A (en) * | 2001-09-11 | 2003-03-20 | Nippon Hoso Kyokai <Nhk> | Comic generation device and comic generation program |
US7546536B2 (en) | 2002-09-30 | 2009-06-09 | Konami Digital Entertainment Co., Ltd. | Communication device, communication method, and computer usable medium |
JP2004126786A (en) * | 2002-09-30 | 2004-04-22 | Konami Co Ltd | Communication device, program and communication method |
KR100935570B1 (en) * | 2005-03-03 | 2010-01-07 | 가부시키가이샤 코나미 데지타루 엔타테인멘토 | Game device, control method for the game device, and information storage medium |
WO2006092935A1 (en) * | 2005-03-03 | 2006-09-08 | Konami Digital Entertainment Co., Ltd. | Game device, control method for the game device, and information storage medium |
US8147329B2 (en) | 2005-03-03 | 2012-04-03 | Konami Digital Entertainment Co., Ltd. | Game device, control method for the game device, and information storage medium |
JP2010157192A (en) * | 2009-01-05 | 2010-07-15 | Nintendo Co Ltd | Drawing processing program and information processor |
JP2013008031A (en) * | 2011-06-24 | 2013-01-10 | Honda Motor Co Ltd | Information processor, information processing system, information processing method and information processing program |
JPWO2014097748A1 (en) * | 2012-12-18 | 2017-01-12 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | Method for processing voice of specific speaker, and electronic device system and program for electronic device |
JP2017018414A (en) * | 2015-07-13 | 2017-01-26 | 株式会社コロプラ | Computer program for assisting user input |
JP2020121165A (en) * | 2020-04-21 | 2020-08-13 | 株式会社コロプラ | Computer program for assisting user input |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3248981B2 (en) | calculator | |
CN112650831A (en) | Virtual image generation method and device, storage medium and electronic equipment | |
JPH09138767A (en) | Communication equipment for feeling expression | |
JPH07168851A (en) | Method and device for image display | |
JPH11119791A (en) | System and method for voice feeling recognition | |
JPH10261099A (en) | Image processor | |
JP6711044B2 (en) | Image processing device, display device, animation generation method, and program | |
KR20000005183A (en) | Image synthesizing method and apparatus | |
CN114464180A (en) | Intelligent device and intelligent voice interaction method | |
US10216732B2 (en) | Information presentation method, non-transitory recording medium storing thereon computer program, and information presentation system | |
JPH05232856A (en) | Method and device for speech visualization and language learning device using the same | |
JP2001318592A (en) | Device for language study and method for language analysis | |
JPH07181992A (en) | Device and method for reading document out | |
JP2003018462A (en) | Character inserting device and character inserting method | |
JP2000250587A (en) | Voice recognition device and voice recognizing and translating device | |
JP6256379B2 (en) | Display control apparatus, display control method, and program | |
JPH07334075A (en) | Presentation supporting device | |
JPH07199989A (en) | Speech recognition device | |
JPWO2020089961A1 (en) | Voice processor and program | |
JP2580565B2 (en) | Voice information dictionary creation device | |
JP2013195928A (en) | Synthesis unit segmentation device | |
JP2005309173A (en) | Speech synthesis controller, method thereof and program thereof, and data generating device for speech synthesis | |
JP2003296753A (en) | Interactive system for hearing-impaired person | |
JPH07244496A (en) | Text recitation device | |
JPH0877152A (en) | Voice synthesizer |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060202 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20060214 |