JP4175232B2 - Videophone system and videophone device - Google Patents
Videophone system and videophone device Download PDFInfo
- Publication number
- JP4175232B2 JP4175232B2 JP2003342931A JP2003342931A JP4175232B2 JP 4175232 B2 JP4175232 B2 JP 4175232B2 JP 2003342931 A JP2003342931 A JP 2003342931A JP 2003342931 A JP2003342931 A JP 2003342931A JP 4175232 B2 JP4175232 B2 JP 4175232B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- advertisement
- data
- party
- videophone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000033001 locomotion Effects 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 8
- 230000013011 mating Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明はテレビ電話システム及びテレビ電話装置に係り、特に通話相手画像と広告画像とを合成させて同一画面上に表示させることにより、テレビ電話利用の広告配信サービスを可能にするテレビ電話システム及びテレビ電話装置に関する。 The present invention relates to a videophone system and videophone apparatus, by displaying on the same screen, particularly to synthesize a communication partner image and the advertisement image, videophone system and a television that enables the advertisement distribution service of video phone usage It relates to a telephone device .
従来、通話者画像と共に広告情報を提供するテレビ電話装置は、特許文献1(特許第3056140号)に記載された電話システムが知られている。これによれば、相手先と接続される通話路の間に、静止画情報若しくは動画情報、又は音声情報等の広告情報を介入させることにより、利用者は通話中に広告情報の提供を受けることができるというものである。また、この手段によれば、利用者の通話に伴う課金費用を広告情報の発信者が負担するような電話システムを提供することが可能である。
しかしながら、特許文献1記載の発明に係る電話システムでは、通話状態と広告提供の状態を所定の時間で切り換える必要があるため、通話者は広告情報の提供を受けている間は通話を待たされて要件を済ませるまでの時間がかかり、又これを改善しようと広告情報の介入時間を短くすると、広告情報の露出時間が少なくなるために広告効果が低下するという問題があった。
However, in the telephone system according to the invention described in
これに対し、本発明は係る問題を解決するためになされたものであり、テレビ電話装置の画面表示について、予めテレビ電話装置に記録させた広告画像を背景画像とし、これと通話相手画像とを合成して画面に表示させることにより、通話状態と広告提供の状態の切り換え制御を無くし、それにより通話者を定期的に待たせる問題を解決し、又広告画像を常時提供することで広告効果を飛躍的に向上させるテレビ電話システム及びテレビ電話装置を提供することを目的とする。 On the other hand, the present invention has been made to solve such a problem. Regarding the screen display of the videophone device, an advertisement image recorded in the videophone device in advance is used as a background image, and this and the other party image are displayed. By combining and displaying on the screen, switching control between the call state and the advertisement provision state is eliminated, thereby solving the problem of periodically waiting for the caller, and providing advertisement images at all times It is an object of the present invention to provide a videophone system and a videophone device that can be dramatically improved.
また、相手画像と広告画像との合成に関し、広告画像ごとに相手画像の大きさや配置を指定して広告画像が相手画像に常時隠れてしまうことを防ぎ、又相手画像の表示に動きを付けることで広告効果を向上させることが可能なテレビ電話システム及びテレビ電話装置を提供することを目的とする。 In addition, regarding the composition of the partner image and the advertisement image, the size and arrangement of the partner image can be specified for each advertisement image to prevent the advertisement image from being always hidden in the partner image, and to move the display of the partner image. An object of the present invention is to provide a videophone system and a videophone device that can improve the advertising effect.
本発明は、前記課題を解決するために以下の(1)及び(2)の手段より構成したものである。
(1)複数のテレビ電話装置と広告管理サーバとがネットワークを介してそれぞれ接続されたテレビ電話システムにおいて、
前記広告管理サーバは、
前記複数のテレビ電話装置それぞれが備えるモニタに表示するための複数の広告画像、広告画像ごとに関係づけられた、通話相手の画像である相手画像の配置データ、前記相手画像のスケーリング値、及び前記相手画像の表示を変化させるための動きデータが含まれた広告データを格納した広告データベースを有し、
前記複数のテレビ電話装置のそれぞれは、
前記広告管理サーバの広告データベースからダウンロードした広告データを記憶する記憶手段と、
カメラによる撮像画像から、通話者の本人画像と背景画像とを分離して前記本人画像を抽出する画像抽出手段と、
マイクロフォンから前記通話者の本人音声を入力してその本人音声のレベル値及び周波数値を音声変数として検出する音声処理手段と、
前記画像抽出手段により抽出された本人画像と、前記マイクロフォンから入力された本人音声とをそれぞれ符号化する符号化手段と、
前記符号化手段によりそれぞれ符号化された符号化データを多重化して前記通話相手のテレビ電話装置に送信すると共に、前記通話相手のテレビ電話装置から送信された多重化された符号化データを受信して逆多重化するデータ送受信手段と、
前記データ送受信手段により逆多重化された符号化データを復号する復号手段と、
前記復号手段により復号されて得られた相手画像と、前記記憶手段に記憶された広告データに含まれた広告画像とを、前記音声処理手段で検出された音声変数に対応させて、前記広告データに含まれた配置データ、スケーリング値、及び動きデータに基づき、前記相手画像の配置位置、大きさ、及び角度のうち少なくとも一つを変化させて同一画面上に合成して前記モニタに表示させる画像合成手段とを、
備えたことを特徴とするテレビ電話システム。
(2)複数の広告画像、広告画像ごとに関係づけられた、通話相手の画像である相手画像の配置データ、前記相手画像のスケーリング値、及び前記相手画像の表示を変化させるための動きデータが含まれた広告データが格納された広告管理サーバからネットワークを介してダウンロードした広告データを記憶する記憶手段と、
カメラによる撮像画像から、通話者の本人画像と背景画像とを分離して前記本人画像を抽出する画像抽出手段と、
マイクロフォンから前記通話者の本人音声を入力してその本人音声のレベル値及び周波数値を音声変数として検出する音声処理手段と、
前記画像抽出手段により抽出された本人画像と、前記マイクロフォンから入力された本人音声とをそれぞれ符号化する符号化手段と、
前記符号化手段によりそれぞれ符号化された符号化データを多重化して前記通話相手のテレビ電話装置に送信すると共に、前記通話相手のテレビ電話装置から送信された多重化された符号化データを受信して逆多重化するデータ送受信手段と、
前記データ送受信手段により逆多重化された符号化データを復号する復号手段と、
前記復号手段により復号されて得られた相手画像と、前記記憶手段に記憶された広告データに含まれた広告画像とを、前記音声処理手段で検出された音声変数に対応させて、前記広告データに含まれた配置データ、スケーリング値、及び動きデータに基づき、前記相手画像の配置位置、大きさ、及び角度のうち少なくとも一つを変化させて同一画面上に合成して前記モニタに表示させる画像合成手段とを、
備えたことを特徴とするテレビ電話装置。
The present invention comprises the following means (1) and (2 ) in order to solve the above problems.
(1) In a videophone system in which a plurality of videophone devices and an advertisement management server are connected via a network,
The advertisement management server
A plurality of advertisement images to be displayed on the monitor, each of the plurality of video telephone apparatus has, been implicated for each advertisement image, layout data of the partner image is an image of the other party, the scaling value of the counterpart image, and the have a advertisement database in which motion data storing advertisement data contained for changing the display of the other party image,
Each of the plurality of videophone devices is
Storage means for storing advertisement data downloaded from the advertisement database of the advertisement management server;
From the captured image by the camera, an image extraction means for extracting the principal image image by separating the person and background images parties,
And voice processing means for detecting a speech variable level values and the frequency values of the principal sound entering the personal audio microphone or found before Symbol party,
A person image extracted by the image extracting means, encoding means for a personal voice to sign-reduction, respectively it input from the microphone,
Sends a coded data respectively to the television telephone apparatus of the communication partner are multiplexed by the encoding means, receiving the multiplexed encoded data transmitted from the video telephone of the calling party And data transmission / reception means for demultiplexing,
Decoding means for decoding the encoded data demultiplexed by the data transmitting / receiving means;
And the mating image obtained by decoding by the decoding means, and an advertisement image contained in the stored advertisement data in the storage means, corresponding to the detected speech variables by the speech processing unit, the advertisement data based on the arrangement data, the scaling value, and the motion data included in the arrangement position of the other party image, Ru is displayed size, and the monitor are combined on the same screen by changing at least one of the angles Image composition means,
A videophone system characterized by comprising.
(2) A plurality of advertisement images, arrangement data of an opponent image that is an image of the other party, a scaling value of the opponent image, and motion data for changing the display of the opponent image, associated with each advertisement image. Storage means for storing advertisement data downloaded via the network from the advertisement management server in which the included advertisement data is stored;
An image extracting means for separating a caller's identity image and a background image from the image captured by the camera and extracting the identity image;
Voice processing means for inputting the voice of the caller from a microphone and detecting a level value and a frequency value of the voice of the caller as voice variables;
Encoding means for encoding the principal image extracted by the image extraction means and the principal voice input from the microphone;
The encoded data encoded by the encoding means is multiplexed and transmitted to the videophone device of the other party, and the multiplexed encoded data transmitted from the videophone device of the other party is received. Data transmission / reception means for demultiplexing,
Decoding means for decoding the encoded data demultiplexed by the data transmitting / receiving means;
The other party image obtained by decoding by the decoding unit and the advertisement image included in the advertisement data stored in the storage unit are associated with the audio variable detected by the audio processing unit, and the advertisement data Based on the arrangement data, the scaling value, and the movement data included in the image, an image to be combined and displayed on the same screen by changing at least one of the arrangement position, size, and angle of the counterpart image Combining means,
A videophone device characterized by comprising.
以上説明したように、本発明によれば、テレビ電話装置の画面上に相手画像と広告画像とを合成して表示することにより、通常のテレビ電話としての通話を中断することなく広告画像を常時表示することができ、これにより、電話利用者には長い待ち時間を与えることが無く、又広告提供者には広告画像の常時提供を可能とするテレビ電話サービスができるという効果がある。また、相手画像を広告画像に合成する際に、広告画像ごとに予め決められた相手画像の配置位置、又は大きさの情報に基づいて画像合成されるため、広告画像が相手画像によって見にくくなるといった不具合を防止する効果がある。 As described above, according to the present invention, by combining and displaying the partner image and the advertisement image on the screen of the videophone device, the advertisement image is always displayed without interrupting a normal videophone call. Thus, there is an effect that a long time is not given to a telephone user, and a videophone service that allows an advertisement provider to always provide an advertisement image can be provided. In addition, when synthesizing the partner image with the advertisement image, the image is synthesized based on information on the arrangement position or size of the partner image determined in advance for each advertisement image. This has the effect of preventing defects.
さらに、本発明によれば、相手画像の配置位置、若しくは大きさ、又は傾きを、本人音声の声のレベル値又は周波数値に応じて変化させることができるため、広告画像が相手画像に隠れてしまうことを防ぐ効果があると共に、利用者の注目を広告画像に引き付けて広告効果を向上することができるという効果がある。 Furthermore, according to the present invention, the arrangement position of the other party image, or size, or the inclination, it is possible to vary according to the level value or frequency value of the voice of the person voice, advertising images hidden counterpart image And the effect of improving the advertising effect by attracting the user's attention to the advertising image.
以下、本発明を実施するための最良の形態につき、実施例について図面を参照して説明する。 The best mode for carrying out the present invention will be described below with reference to the drawings.
図1は、本発明の実施例1に係るテレビ電話システム全体の構成を示したブロック図である。これにおいて、1は発信側テレビ電話装置、2は着信側テレビ電話装置であり、1及び2は同一の構成をなすテレビ電話装置である。3は広告情報が管理される広告管理サーバ、3aは広告管理サーバ3に格納される広告データベース、4は前記テレビ電話装置利用者の広告視聴により発生する費用を管理する課金管理サーバ、5はPSTN網(公衆電話交換回線網)、ISDN網、インターネット・プロトコルによって制御されるインターネット網等の通信網により構築されたネットワークである。前記各装置1〜4はネットワーク5に接続され、各装置間でデータの送受信を行うことができる。以上のように、本実施例に係るテレビ電話システム全体は構成されている。なお、上記構成において、テレビ電話装置はもちろんのこと、広告管理サーバ3又は課金管理サーバ4は複数存在してもよいものである。
FIG. 1 is a block diagram showing the configuration of the entire videophone system according to
次に、図1の構成に基づいて各部を詳細に説明する。まず、図2は前記テレビ電話装置の構成を示すブロック図である。図2において、11は画像抽出手段、12は画像コーデック手段、13はデータ送受信手段、14は画像合成手段、15は記憶手段、15aは記憶手段15に所定時間格納される広告データ、16は音声処理手段、17は音声コーデック手段、18は広告制御手段であり、前記テレビ電話装置は以上のように構成される。 Next, each part will be described in detail based on the configuration of FIG. FIG. 2 is a block diagram showing the configuration of the videophone apparatus. In FIG. 2, 11 is an image extraction means, 12 is an image codec means, 13 is a data transmission / reception means, 14 is an image composition means, 15 is a storage means, 15a is advertisement data stored in the storage means 15 for a predetermined time, and 16 is a sound. The processing means, 17 is an audio codec means, 18 is an advertisement control means, and the videophone apparatus is configured as described above.
続いて、前記テレビ電話装置の各部の動作について説明する。まず、画像抽出手段11は、カメラから入力された撮像画像から通話者本人の本人画像と背景画像とを分離し、前記本人画像のデータのみを画像コーデック手段12と画像合成手段14に出力する。但し、本実施例においては、画像合成手段14への出力は必須ではない。 Next, the operation of each part of the videophone device will be described. First, the image extraction means 11 separates the caller's identity image and the background image from the captured image input from the camera, and outputs only the identity image data to the image codec means 12 and the image composition means 14. However, in this embodiment, the output to the image composition means 14 is not essential.
これにおいて、全体画像から人物画像等の前景画像を分離し抽出する方法としては、例えばクロマキー技法と呼ばれるものが一般的に知られている。これについて簡単に説明すると、クロマキー技法とは、青色等の特定色による背景の前で前景画像を撮影し、この前景画像と背景画像との色情報の違いを基に前景画像を抽出するという方法である。また、上述したクロマキー技法によらない画像抽出方法も知られている。これは、背景画像に対して動いている前景画像部分を特定して抽出する方法であり、例えば特開2003−179811号に記載されている。本実施例においては、いずれの方法を用いてもよい。 In this case, as a method for separating and extracting a foreground image such as a person image from the entire image, for example, a method called a chroma key technique is generally known. Briefly describing this, the chroma key technique is a method of taking a foreground image in front of a background of a specific color such as blue and extracting the foreground image based on the difference in color information between the foreground image and the background image. It is. An image extraction method that does not depend on the above-described chroma key technique is also known. This is a method of specifying and extracting a foreground image portion that is moving with respect to a background image, and is described in, for example, Japanese Patent Application Laid-Open No. 2003-179811. In this embodiment, any method may be used.
一方、音声処理手段16は、マイクロフォンからの通話者本人の本人音声を音声コーデック手段17に出力すると共に、前記本人音声のレベル値と周波数値を逐次計測し、これらを音声変数として画像合成手段14にリアルタイムに出力する。また、音声コーデック手段17にて復号化された通話相手の相手音声をスピーカに出力する。またさらに、広告データ15aが有する効果音データを再生処理してスピーカに出力する。なお、スピーカとはイヤフォン、ヘッドフォン等の音声出力装置を含むものである。
On the other hand, the voice processing means 16 outputs the voice of the caller himself / herself from the microphone to the voice codec means 17 and sequentially measures the level value and the frequency value of the voice of the person himself / herself, and uses these as voice variables for the image synthesis means 14. Output in real time. Also, the other party's voice decoded by the voice codec means 17 is output to the speaker. Furthermore, the sound effect data included in the
画像コーデック手段12は、画像抽出手段11にて抽出された前記本人画像を高能率符号化してデータ送受信手段13に出力すると共に、データ送受信手段13から入力される符号化データを復号化して相手画像に変換し画像合成手段14に出力する。
The
また、音声コーデック手段17は、音声処理手段16から入力された前記本人音声を高能率符号化してデータ送受信手段13に出力すると共に、データ送受信手段13から入力される符号化データを復号化して前記相手音声に変換し音声処理手段16に出力する。 The voice codec means 17 performs high-efficiency coding on the principal voice inputted from the voice processing means 16 and outputs the same to the data transmission / reception means 13, and also decodes the encoded data inputted from the data transmission / reception means 13. It is converted into the other party's voice and output to the voice processing means 16.
ここで、画像データを高能率符号化/復号化する方法としては、例えば、ITU−T(国際電気通信連合 電気通信標準化部門)にて標準化されたH.261やH.263等の諸方式によるもの、又はMPEG方式によるもの等、大容量のデータを効率良く圧縮できる標準化された方式を用いるのが望ましい。また、音声データを高能率符号化/復号化する方法は、前記画像データの場合と同様にG.711やG.722等の諸方式によるもの、又はMPEG方式によるもの等、標準化された方式を用いるのが望ましい。 Here, as a method for highly efficient encoding / decoding of image data, for example, H.264 standardized by ITU-T (International Telecommunication Union Telecommunication Standardization Sector) is used. 261 and H.264. It is desirable to use a standardized system capable of efficiently compressing a large amount of data, such as those using various systems such as H.263. Also, the method for high-efficiency encoding / decoding of audio data is the same as in the case of the image data. 711 and G.G. It is desirable to use a standardized system such as those using various systems such as 722, or those using the MPEG system.
データ送受信手段13は、画像コーデック手段12から入力される前記本人画像の高能率符号化データ、音声コーデック手段17から入力される前記本人音声の高能率符号化データ、又は広告制御手段18から入力される広告視聴情報データの内1つ又は複数種類を多重化してネットワーク5に送信すると共に、ネットワーク5から受信したデータを逆多重化して画像コーデック手段12、音声コーデック手段17、又は広告制御手段18にそれぞれ出力する。なお、前記広告視聴情報データについては後述する。
The data transmission / reception means 13 is input from the high-efficiency encoded data of the principal image input from the image codec means 12, the high-efficiency encoded data of the principal voice input from the audio codec means 17, or the advertisement control means 18. One or more types of advertisement viewing information data are multiplexed and transmitted to the
広告制御手段18は、ネットワーク5に接続されている広告管理サーバ3に対し、広告データベース3aから広告データをダウンロードする要求を出力すると共に、これによりダウンロードされた前記広告データを記憶手段15に供給する制御と、記憶手段15に格納された広告データ15aの処理状況に基づき広告視聴情報データを作成してネットワーク5に接続された課金管理サーバ4に出力する制御を行う。
The advertisement control means 18 outputs a request for downloading advertisement data from the
記憶手段15は、前記ダウンロードされた前記広告データを広告データ15aとして所定の有効期間中保存する。この有効期間は下述のように広告データ15a内に指定されている。
The storage means 15 stores the downloaded advertisement data as
ここで、広告データ15aについて説明する。図3は、広告データ15aのデータ構造を示した図である。図3において、31は図中矢印にて示したように広告データに格納されている各種データを参照するためのデータ・パス、広告画像の大きさを示すデータ、通話の相手画像のスケーリング値、前記広告画像の有効期間を示すデータ、及び前記広告画像の再生時間のデータからなる1つ以上の広告パラメータ、32は前記相手画像と合成される1つ以上の広告画像からなる広告画像データ、33は前記相手画像を前記広告画像に合成する位置を指定するための1つ以上の通話者配置データからなる配置データ、34は前記相手画像の配置を動かしたり前記相手画像の大きさを変更する等のアクションを発生させるための1つ以上のアクション・データからなる動きデータ、35は効果音を発生させるための1つ以上の効果音からなる効果音データであり、上記32〜35は広告パラメータ31のデータ・パスにより参照される構成となっている。
Here, the
なお、広告管理サーバ3の広告データベース3aには、予め図3の構造による広告データが複数データベース化されている。
In the
画像合成手段14は、画像コーデック手段12で復号化された前記相手画像と、広告データ15aの広告パラメータ31から参照される広告画像データ32中の所定の広告画像とを合成してモニタに出力する。これにおいて、広告パラメータ31から参照される動きデータ34中の所定のアクション・データに基づき、音声処理手段16から入力される前記音声変数に含まれる前記本人音声のレベル値又は周波数値に応じて、前記相手画像の表示位置を所定の方向に移動させ、所定のスケール範囲において大きさを変更させ、又は所定の傾きをもって向きを変化させることができる。
The
次に、本実施例に係るテレビ電話システムの動作について、シーケンス図を用いて説明する。図4は、図1の構成に係るテレビ電話システムのシーケンス図である。これにおいて、テレビ電話装置の記憶手段15には有効な広告データが存在していない場合を初期値として説明する。 Next, the operation of the videophone system according to the present embodiment will be described using a sequence diagram. FIG. 4 is a sequence diagram of the videophone system according to the configuration of FIG. Here, the case where valid advertisement data does not exist in the storage means 15 of the videophone device will be described as an initial value.
まず、利用者本人は発信側テレビ電話装置1から相手の着信側テレビ電話装置2に電話をかけて呼び出しを行う(101)。次に、発信側テレビ電話装置1は広告データのダウンロード要求を広告管理サーバ3に対して行い(102)、それにより少なくとも1つ以上の広告データが発信側テレビ電話装置1にダウンロードされる(103)。一方、前記相手の着信側テレビ電話装置2が応答すると(104)、着信側テレビ電話装置2も広告管理サーバ3に対して広告データを要求し(105)、それにより少なくとも1つ以上の広告データが着信側テレビ電話装置2にダウンロードされる(106)。次に、発信側/着真側のテレビ電話装置の表示が開始されると、それぞれのテレビ電話装置から課金管理サーバ4に対して広告開始通知が発行される(107),(108)。通話/広告表示時間経過の後(109)、広告データ15aの広告パラメータ31に設定されている時間以上に前記通話/広告表示時間が長かった場合、前記シーケンス(102),(103),(105),(106),(107),及び(108)が繰り返し実行される。通話を終了すると(110),(111)、それぞれのテレビ電話装置は課金管理サーバ4に広告視聴情報データを送信することにより広告終了通知を行う(112),(113)。
First, the user himself / herself makes a call by calling the other party's
これにおいて、前記広告視聴データとは図5に示すデータ構造からなるものである。図5によると、電話装置IDによって使用したテレビ電話装置が特定でき、広告IDリストによって視聴した広告の特定ができ、広告開始時間、広告終了時間及び繰り返し回数により広告の使用時間を算出することができる。このようにして、前述したシーケンスによる処理を経た後、課金管理サーバ4は前記広告視聴情報データにより広告の使用料金を算出する。 In this case, the advertisement viewing data has a data structure shown in FIG. According to FIG. 5, the videophone device used by the telephone device ID can be identified, the advertisement viewed by the advertisement ID list can be identified, and the advertisement usage time can be calculated from the advertisement start time, the advertisement end time, and the number of repetitions. it can. In this way, after the processing according to the sequence described above, the billing management server 4 calculates an advertisement usage fee based on the advertisement viewing information data.
次に、テレビ電話装置の処理について図6に示すフローチャートを用いて説明する。図6は利用者本人のテレビ電話装置の処理内容を示したものである。まず、テレビ電話装置の通話が開始されると、広告制御手段18は記憶手段15に有効な広告データが存在するか否かの判断を行い(ステップS1)、有効な広告データがなければ、広告制御手段18は広告管理サーバ3の広告データベース3aから少なくとも1つ以上の広告データを記憶手段15にダウンロードする(ステップS2)。次に、広告制御手段18は、記憶手段15に格納されている有効な広告データ15aから広告パラメータ31を読み込む(ステップS3)。続いて、広告パラメータ31を基に相手画像の配置位置、スケーリング値を取得する(ステップS4)。これにおいて、前記スケーリング値は、カメラに写る通話者画像の大きさは通常まちまちであるため、広告画像の大きさと相手画像の大きさとの適切な比率を0.1〜1.0間で予め設定されている。前記相手画像の配置位置と前記スケーリング値により表示位置が決定された前記相手画像は、画像合成手段14によって広告画像と合成されてモニタに出力される(ステップS5)。広告パラメータ31には時間が設定されており、広告制御手段18はその時間を経過したか否かを判断し、設定された時間を経過しているときは前記ステップS1に戻る(ステップS6)。続いて、通話の終了を確認し、通話が終了していなければ前記ステップS5の処理に戻る(ステップS7)。
Next, processing of the videophone device will be described with reference to the flowchart shown in FIG. FIG. 6 shows the processing contents of the user's own videophone apparatus. First, when a videophone device call is started, the advertisement control means 18 determines whether or not there is valid advertisement data in the storage means 15 (step S1). The control means 18 downloads at least one or more advertisement data from the
上述したように、本実施例1に係るテレビ電話システムによれば、記憶手段15に格納されている広告データ15aに基づいて通話の相手画像と広告画像を適切な関係で同一画面上に合成して表示することができ、これにより前記相手画像の表示と通話を中断することなく前記広告画像を常時表示することができ、電話利用者の電話使用と広告業者の広告提供を共存させることができる。この表示例を図7に示す。図7は、テレビ電話装置のモニタに表示された前記相手画像と前記広告画像の合成された表示例である。これが示すように、モニタには相手画像71が広告画像72と合成され、前記広告画像と前記相手画像両方を表示することができる。
As described above, according to the videophone system according to the first embodiment, based on the
また、通話中の会話の状態により、本人音声の声の大きさや高低による音声変数に対応して、広告データ15aの動きデータ34に基づき前記相手画像の大きさや配置を変化させることができ、利用者の注意を広告に引き付けることができる。この様子を図8に例示する。図8は、図7の表示例から本人音声の声の大きさ又は高低に対応して、相手画像の大きさを小さくして、且つ画面右下に移動させた例である。
In addition, the size and arrangement of the partner image can be changed based on the
なお、本実施例1に係るテレビ電話装置は、カメラと表示画面が一体となった一体型テレビ電話装置、表示装置とカメラをケーブルで接続するセットトップ型のテレビ電話装置、さらに、カメラ付き携帯電話、いずれの形態にも適用できるものである。特に、前記カメラ付き携帯電話等表示画面が小さいものである場合、広告画像が見えにくくなることがある。そこで、本発明を利用ることにより、相手画像の顔のみを切り出し、大きさを調整し、配置を調整することにより、広告画像をより見やすく表示することができる。この様子を図9及び図10を用いて例示する。つまり、図9は通常の携帯電話と同様に相手画像が大きく表示されて広告画像が見えにくい状態を示し、図10では相手画像を縮小化して画面右下に移動させることにより、広告画像を見やすくしている。 The videophone device according to the first embodiment includes an integrated videophone device in which a camera and a display screen are integrated, a set-top type videophone device in which the display device and the camera are connected by a cable, and a mobile phone with a camera. It can be applied to any form of telephone. In particular, when the display screen of the camera-equipped mobile phone or the like is small, the advertisement image may be difficult to see. Therefore, by using the present invention, the advertisement image can be displayed more easily by cutting out only the face of the partner image, adjusting the size, and adjusting the arrangement. This state is illustrated using FIG. 9 and FIG. That is, FIG. 9 shows a state where the partner image is displayed in a large size and the advertisement image is difficult to see as in a normal mobile phone, and in FIG. 10, the partner image is reduced and moved to the lower right of the screen, so that the advertisement image is easy to see. is doing.
以上説明したように、本実施例に係るテレビ電話システムを用いれば、利用者は相手画像を見ながら通話するという通常の視聴通信をしながら広告画像も同時に見ることができるため、テレビ通話を妨げることなく広告画像を提供する広告サービスを可能とするものである。 As described above, if the videophone system according to the present embodiment is used, the user can view the advertisement image at the same time while performing the normal viewing communication in which the user talks while watching the other party image, thereby preventing the videophone call. It is possible to provide an advertisement service that provides an advertisement image without any problem.
また、テレビ電話装置から広告の利用状況に関するデータをネットワーク上の課金管理サーバに送信することで、前記課金管理サーバはテレビ電話利用者毎の広告使用料金を算出することができる。この算出された広告使用料金の情報を用いれば、利用者の通話に伴う課金費用と関連付けて、テレビ電話の通話料金を広告提供者が負担するというテレビ電話サービスを提供することができる。 In addition, the billing management server can calculate the advertisement usage fee for each videophone user by transmitting data related to the advertisement usage status from the videophone device to the billing management server on the network. Using the calculated advertisement usage fee information, it is possible to provide a videophone service in which the advertising provider bears the videophone call fee in association with the billing cost associated with the user's call.
以上詳述したように、本発明に係るテレビ電話システムでは、相手側テレビ電話装置から送信される相手画像と、広告管理サーバからダウンロードした広告データの広告画像とを、前記広告データが有する配置データ等に基づいて本人側テレビ電話装置の同一画面上に合成して表示する画像合成手段を備えることにより、利用者は相手画像を見ながら通話するという通常の視聴通信をしながら広告画像も同時に見ることができる。 As described in detail above, in the videophone system according to the present invention, the arrangement data included in the advertisement data includes the partner image transmitted from the partner videophone device and the advertisement image of the advertisement data downloaded from the advertisement management server. By providing the image composition means for compositing and displaying on the same screen of the person's videophone device based on the above, the user can simultaneously view the advertisement image while performing normal viewing communication in which he / she talks while viewing the other party's image. be able to.
そこで、この広告画像を広告情報に限らず、通話相手に関連した画像データとすることで、通話相手と話しをしながらより詳細な相手固有の情報を画像によって得ることができる。これは例えば、会議資料等を画像データにして広告管理サーバに相当するサーバに予め格納しておけば、本発明に係るテレビ電話システムをテレビ電話会議システムとして利用する場合に格別な効果を得ることができる。 Therefore, the advertisement image is not limited to the advertisement information, and image data related to the other party can be used to obtain more detailed information specific to the other party while talking to the other party. For example, if a conference material or the like is converted into image data and stored in advance in a server corresponding to an advertisement management server, a special effect can be obtained when the videophone system according to the present invention is used as a videophone conference system. Can do.
1 発信側テレビ電話装置
2 着信側テレビ電話装置
3 広告管理サーバ
3a 広告データベース
4 課金管理サーバ
5 ネットワーク
DESCRIPTION OF
Claims (2)
前記広告管理サーバは、
前記複数のテレビ電話装置それぞれが備えるモニタに表示するための複数の広告画像、広告画像ごとに関係づけられた、通話相手の画像である相手画像の配置データ、前記相手画像のスケーリング値、及び前記相手画像の表示を変化させるための動きデータが含まれた広告データを格納した広告データベースを有し、
前記複数のテレビ電話装置のそれぞれは、
前記広告管理サーバの広告データベースからダウンロードした広告データを記憶する記憶手段と、
カメラによる撮像画像から、通話者の本人画像と背景画像とを分離して前記本人画像を抽出する画像抽出手段と、
マイクロフォンから前記通話者の本人音声を入力してその本人音声のレベル値及び周波数値を音声変数として検出する音声処理手段と、
前記画像抽出手段により抽出された本人画像と、前記マイクロフォンから入力された本人音声とをそれぞれ符号化する符号化手段と、
前記符号化手段によりそれぞれ符号化された符号化データを多重化して前記通話相手のテレビ電話装置に送信すると共に、前記通話相手のテレビ電話装置から送信された多重化された符号化データを受信して逆多重化するデータ送受信手段と、
前記データ送受信手段により逆多重化された符号化データを復号する復号手段と、
前記復号手段により復号されて得られた相手画像と、前記記憶手段に記憶された広告データに含まれた広告画像とを、前記音声処理手段で検出された音声変数に対応させて、前記広告データに含まれた配置データ、スケーリング値、及び動きデータに基づき、前記相手画像の配置位置、大きさ、及び角度のうち少なくとも一つを変化させて同一画面上に合成して前記モニタに表示させる画像合成手段とを、
備えたことを特徴とするテレビ電話システム。 In a videophone system in which a plurality of videophone devices and an advertisement management server are respectively connected via a network,
The advertisement management server
A plurality of advertisement images to be displayed on the monitor, each of the plurality of video telephone apparatus has, been implicated for each advertisement image, layout data of the partner image is an image of the other party, the scaling value of the counterpart image, and the have a advertisement database in which motion data storing advertisement data contained for changing the display of the other party image,
Each of the plurality of videophone devices is
Storage means for storing advertisement data downloaded from the advertisement database of the advertisement management server;
From the captured image by the camera, an image extraction means for extracting the principal image image by separating the person and background images parties,
And voice processing means for detecting a speech variable level values and the frequency values of the principal sound entering the personal audio microphone or found before Symbol party,
A person image extracted by the image extracting means, encoding means for a personal voice to sign-reduction, respectively it input from the microphone,
Sends a coded data respectively to the television telephone apparatus of the communication partner are multiplexed by the encoding means, receiving the multiplexed encoded data transmitted from the video telephone of the calling party And data transmission / reception means for demultiplexing,
Decoding means for decoding the encoded data demultiplexed by the data transmitting / receiving means;
And the mating image obtained by decoding by the decoding means, and an advertisement image contained in the stored advertisement data in the storage means, corresponding to the detected speech variables by the speech processing unit, the advertisement data based on the arrangement data, the scaling value, and the motion data included in the arrangement position of the other party image, Ru is displayed size, and the monitor are combined on the same screen by changing at least one of the angles Image composition means,
A videophone system characterized by comprising.
カメラによる撮像画像から、通話者の本人画像と背景画像とを分離して前記本人画像を抽出する画像抽出手段と、An image extracting means for separating a caller's identity image and a background image from the image captured by the camera and extracting the identity image;
マイクロフォンから前記通話者の本人音声を入力してその本人音声のレベル値及び周波数値を音声変数として検出する音声処理手段と、Voice processing means for inputting the voice of the caller from a microphone and detecting a level value and a frequency value of the voice of the caller as voice variables;
前記画像抽出手段により抽出された本人画像と、前記マイクロフォンから入力された本人音声とをそれぞれ符号化する符号化手段と、Encoding means for encoding the principal image extracted by the image extraction means and the principal voice input from the microphone;
前記符号化手段によりそれぞれ符号化された符号化データを多重化して前記通話相手のテレビ電話装置に送信すると共に、前記通話相手のテレビ電話装置から送信された多重化された符号化データを受信して逆多重化するデータ送受信手段と、The encoded data encoded by the encoding means is multiplexed and transmitted to the videophone device of the other party, and the multiplexed encoded data transmitted from the videophone device of the other party is received. Data transmission / reception means for demultiplexing,
前記データ送受信手段により逆多重化された符号化データを復号する復号手段と、Decoding means for decoding the encoded data demultiplexed by the data transmitting / receiving means;
前記復号手段により復号されて得られた相手画像と、前記記憶手段に記憶された広告データに含まれた広告画像とを、前記音声処理手段で検出された音声変数に対応させて、前記広告データに含まれた配置データ、スケーリング値、及び動きデータに基づき、前記相手画像の配置位置、大きさ、及び角度のうち少なくとも一つを変化させて同一画面上に合成して前記モニタに表示させる画像合成手段とを、The other party image obtained by decoding by the decoding unit and the advertisement image included in the advertisement data stored in the storage unit are associated with the audio variable detected by the audio processing unit, and the advertisement data Based on the arrangement data, the scaling value, and the movement data included in the image, an image to be combined and displayed on the same screen by changing at least one of the arrangement position, size, and angle of the counterpart image Combining means,
備えたことを特徴とするテレビ電話装置。A videophone device characterized by comprising.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003342931A JP4175232B2 (en) | 2003-10-01 | 2003-10-01 | Videophone system and videophone device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003342931A JP4175232B2 (en) | 2003-10-01 | 2003-10-01 | Videophone system and videophone device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005110087A JP2005110087A (en) | 2005-04-21 |
JP4175232B2 true JP4175232B2 (en) | 2008-11-05 |
Family
ID=34537041
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003342931A Expired - Fee Related JP4175232B2 (en) | 2003-10-01 | 2003-10-01 | Videophone system and videophone device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4175232B2 (en) |
-
2003
- 2003-10-01 JP JP2003342931A patent/JP4175232B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005110087A (en) | 2005-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100996340B1 (en) | Picture-in-picture processing for video telephony | |
JP4709874B2 (en) | Method and system for preparing video communication images for widescreen displays | |
JP5122102B2 (en) | Mobile communication terminal having videophone function and videophone control method for mobile communication terminal | |
US7508413B2 (en) | Video conference data transmission device and data transmission method adapted for small display of mobile terminals | |
US8396197B2 (en) | Method, device, and system for implementing video call | |
KR20010067992A (en) | Portable communication terminal capable of abstracting and inserting backgroud image and method thereof | |
JP2002007294A (en) | System and method for image distribution, and storage medium | |
US7425979B2 (en) | Communication system | |
JP4352381B2 (en) | Video phone equipment | |
JP2004304601A (en) | Tv phone and its data transmitting/receiving method | |
WO2005055602A1 (en) | Video application node | |
KR100311354B1 (en) | Method of communication service through inserting a multimedia contents in communication system | |
JPWO2009013958A1 (en) | Multimedia service | |
JP4175232B2 (en) | Videophone system and videophone device | |
JPWO2009013959A1 (en) | Multimedia communication system, multimedia communication apparatus and terminal | |
JPWO2009013957A1 (en) | Multimedia communication system, multimedia communication apparatus and terminal | |
JPWO2009013956A1 (en) | Multimedia service | |
KR20080047683A (en) | Apparatus and method for forwarding streaming service in portable terminal | |
JP3039498B2 (en) | Videophone equipment | |
KR100464029B1 (en) | Moving picture and character displaying apparatus and method for image portable terminal | |
KR100617564B1 (en) | A method of multimedia data transmission using video telephony in mobile station | |
JP3334253B2 (en) | Video communication device | |
KR100203280B1 (en) | The method for improving the auto-answering in videophone | |
KR100498362B1 (en) | Method for post-processing decoded image of mobile phone | |
GB2378879A (en) | Stored models used to reduce amount of data requiring transmission |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060331 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080703 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080729 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080811 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4175232 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130829 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |