JPH11164301A - 動画像符号化処理方法 - Google Patents
動画像符号化処理方法Info
- Publication number
- JPH11164301A JPH11164301A JP32280497A JP32280497A JPH11164301A JP H11164301 A JPH11164301 A JP H11164301A JP 32280497 A JP32280497 A JP 32280497A JP 32280497 A JP32280497 A JP 32280497A JP H11164301 A JPH11164301 A JP H11164301A
- Authority
- JP
- Japan
- Prior art keywords
- video
- detected
- sound
- voice
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
(57)【要約】 （修正有）
【課題】 有音状況と無音状況とを区別して符号化する
ようにして適正な画像品質をもって伝送できるようにす
る。 【解決手段】 有音／無音を検出し、無音が検出された
場合に、有音が検出された場合よりも画像の符号化量を
増加させるようにしている。また無音が検出された場合
に、有音が検出された場合よりも画像の符号化量を増加
させるため、フレームの間引き数を減らすことあるいは
解像度を増加させるようにした。さらに、有音検出時に
動画の符号化を停止するようにした。
ようにして適正な画像品質をもって伝送できるようにす
る。 【解決手段】 有音／無音を検出し、無音が検出された
場合に、有音が検出された場合よりも画像の符号化量を
増加させるようにしている。また無音が検出された場合
に、有音が検出された場合よりも画像の符号化量を増加
させるため、フレームの間引き数を減らすことあるいは
解像度を増加させるようにした。さらに、有音検出時に
動画の符号化を停止するようにした。
Description
【０００１】
【発明の属する技術分野】本発明は動画像と音声との符
号化・復号化を行う映像システムにおける動画像符号化
処理方法に関する。
号化・復号化を行う映像システムにおける動画像符号化
処理方法に関する。
【０００２】
【従来の技術】通常、ＴＶ会議システムでは、各対地に
ＴＶカメラで撮像した動画像信号を符号化処理して相手
対地に送出するとともに、相手対地からの符号化処理し
た画像信号の復号化処理を行う符号化・復号化処理装置
を設ける。この符号化・復号化処理は１つのＣＰＵで行
われることが多い。一方、相手対地に送出する動画像の
符号化量を減少させる手段として、図４に示すように動
画像の入力フレームとその１フレーム前の局部復号出力
との差分をとり、その差分に対しＤＣＴ演算を施し、Ｄ
ＣＴ係数の中で高い周波数のＤＣＴ係数を削除すること
により、符号化量を減少させる方法が知られている。
ＴＶカメラで撮像した動画像信号を符号化処理して相手
対地に送出するとともに、相手対地からの符号化処理し
た画像信号の復号化処理を行う符号化・復号化処理装置
を設ける。この符号化・復号化処理は１つのＣＰＵで行
われることが多い。一方、相手対地に送出する動画像の
符号化量を減少させる手段として、図４に示すように動
画像の入力フレームとその１フレーム前の局部復号出力
との差分をとり、その差分に対しＤＣＴ演算を施し、Ｄ
ＣＴ係数の中で高い周波数のＤＣＴ係数を削除すること
により、符号化量を減少させる方法が知られている。
【０００３】図４において、１はフレームメモリ、２は
差分器、３はＤＣＴ演算部、４は量子化部、５は逆量子
化部、６は逆ＤＣＴ演算部を表している。
差分器、３はＤＣＴ演算部、４は量子化部、５は逆量子
化部、６は逆ＤＣＴ演算部を表している。
【０００４】
【発明が解決しようとする課題】従来技術で述べられた
符号化方法は、各対地の会議の進行状況（例えば、話を
しているのか、ただ聞いているだけなのか）とは無関係
に符号化を行っているため、会議の進行状況に応じた画
像品質を提供できないという問題点があった。
符号化方法は、各対地の会議の進行状況（例えば、話を
しているのか、ただ聞いているだけなのか）とは無関係
に符号化を行っているため、会議の進行状況に応じた画
像品質を提供できないという問題点があった。
【０００５】本発明は、有音状況と無音状況とを区別し
て符号化するようにして適正な画像品質をもって伝送で
きるようにすることを目的としている。
て符号化するようにして適正な画像品質をもって伝送で
きるようにすることを目的としている。
【０００６】
【課題を解決するための手段】本発明においては、音声
と動画とを同時に伝送する映像システムの符号化方法で
あって有音／無音を検出する第１の過程と、無音が検出
された場合に、有音が検出された場合よりも画像の符号
化量を増加させる第２の過程を有するようにした。
と動画とを同時に伝送する映像システムの符号化方法で
あって有音／無音を検出する第１の過程と、無音が検出
された場合に、有音が検出された場合よりも画像の符号
化量を増加させる第２の過程を有するようにした。
【０００７】また無音が検出された場合に、有音が検出
された場合よりも画像の符号化量を増加させる第２の過
程が、フレームの間引き数を減らすことあるいは解像度
を増加させるようにした。さらに、無音が検出された場
合に、有音が検出された場合よりも画像の符号化量を増
加させる第２の過程が、有音検出時に動画の符号化を停
止するようにした。
された場合よりも画像の符号化量を増加させる第２の過
程が、フレームの間引き数を減らすことあるいは解像度
を増加させるようにした。さらに、無音が検出された場
合に、有音が検出された場合よりも画像の符号化量を増
加させる第２の過程が、有音検出時に動画の符号化を停
止するようにした。
【０００８】
【発明の実施の形態】図１は本発明が適用される映像シ
ステムの構成と本発明による方法を説明する図である。
ステムの構成と本発明による方法を説明する図である。
【０００９】図中の符号１１，１１′は夫々音声キャプ
チャ、１２，１２′は夫々音声エンコーダ、１３，１
３′は夫々映像キャプチャ、１４，１４′は夫々映像エ
ンコーダ、１５，１５′，１８，１８′は夫々メディア
多重化部、１６，１６′は夫々通信インタフェイス部、
１７は通信網、１９，１９′は夫々音声デコーダ、２
０，２０′は夫々音声再生部、２１，２１′は夫々映像
デコーダ、２２，２２′は夫々映像再生部を表してい
る。
チャ、１２，１２′は夫々音声エンコーダ、１３，１
３′は夫々映像キャプチャ、１４，１４′は夫々映像エ
ンコーダ、１５，１５′，１８，１８′は夫々メディア
多重化部、１６，１６′は夫々通信インタフェイス部、
１７は通信網、１９，１９′は夫々音声デコーダ、２
０，２０′は夫々音声再生部、２１，２１′は夫々映像
デコーダ、２２，２２′は夫々映像再生部を表してい
る。
【００１０】例えば図示左側が送信側とし右側が受信側
とするとき、送信側での発話状況が音声キャプチャ１１
で捕捉されて音声エンコーダ１２でコード化される。ま
た送信側での発話者の映像などが映像キャプチャ１３で
写しとられて映像エンコーダ１４でコード化される。
とするとき、送信側での発話状況が音声キャプチャ１１
で捕捉されて音声エンコーダ１２でコード化される。ま
た送信側での発話者の映像などが映像キャプチャ１３で
写しとられて映像エンコーダ１４でコード化される。
【００１１】そして、両者のコード化された情報がメデ
ィア多重化部１５で多重化され、通信インタフェイス部
１６を介して、通信網１７に送出される。受信側では、
当該通信網１７から、通信インタフェイス部１６′を介
して受け取り、メディア多重化部１８′で多重状態を解
かれ、音声に関しては音声デコーダ１９′でデコードさ
れた上で音声再生部２０′で再生され、また映像に関し
ては映像デコーダ２１′でデコードされた上で映像再生
部２２′で再生される。
ィア多重化部１５で多重化され、通信インタフェイス部
１６を介して、通信網１７に送出される。受信側では、
当該通信網１７から、通信インタフェイス部１６′を介
して受け取り、メディア多重化部１８′で多重状態を解
かれ、音声に関しては音声デコーダ１９′でデコードさ
れた上で音声再生部２０′で再生され、また映像に関し
ては映像デコーダ２１′でデコードされた上で映像再生
部２２′で再生される。
【００１２】なお言うまでもなくメディア多重化部１
５，１５′での多重化に当っては、予め定められた伝送
速度の下で、音声コードと映像コードとを夫々を区別可
能にして多重化して伝送せしめるようにしている。
５，１５′での多重化に当っては、予め定められた伝送
速度の下で、音声コードと映像コードとを夫々を区別可
能にして多重化して伝送せしめるようにしている。
【００１３】本発明においては、送信側での発話の状況
が音声キャプチャ１１で判定され、発話状態にない場合
には、音声に関してエンコードデータを制御して（図示
ａ）、例えば音声エンコードデータを減少させて（図示
ｂ）、その代わりに映像エンコーダ１４に対して映像に
関してエンコードデータを例えば増加させるように指示
が行われる。受信側では、音声に関する情報についての
デコード量が減少する（図示ｃ）。この結果、予め定め
られた伝送速度の下で、当該伝送速度を維持しつつ、映
像に関する情報がより多く送出されることになる。
が音声キャプチャ１１で判定され、発話状態にない場合
には、音声に関してエンコードデータを制御して（図示
ａ）、例えば音声エンコードデータを減少させて（図示
ｂ）、その代わりに映像エンコーダ１４に対して映像に
関してエンコードデータを例えば増加させるように指示
が行われる。受信側では、音声に関する情報についての
デコード量が減少する（図示ｃ）。この結果、予め定め
られた伝送速度の下で、当該伝送速度を維持しつつ、映
像に関する情報がより多く送出されることになる。
【００１４】図２は無声時に映像エンコードデータ量を
増大する一実施態様を説明する図である。図中の符号１
１，１２，１４，１５は図１に対応し、１１−１は音声
キャプチャ１１における音声入力装置、１３−１は映像
キャプチャ１３における映像入力装置を表している。
増大する一実施態様を説明する図である。図中の符号１
１，１２，１４，１５は図１に対応し、１１−１は音声
キャプチャ１１における音声入力装置、１３−１は映像
キャプチャ１３における映像入力装置を表している。
【００１５】図示の音声キャプチャ１１においては、音
声入力装置１１−１にて音声を電気信号に変換し、音声
の有無状況を検出し、音声の存在しない区間を映像の有
意区間とみなす（映像の有意区間を抽出する）ようにす
る。
声入力装置１１−１にて音声を電気信号に変換し、音声
の有無状況を検出し、音声の存在しない区間を映像の有
意区間とみなす（映像の有意区間を抽出する）ようにす
る。
【００１６】図２における制御態様は、制御ステップ
（Ｓ１）ないし（Ｓ５）に示されている。即ち、 （Ｓ１）：音声を電気信号に変換する。 （Ｓ２）：音声ありの区間を検出する。 （Ｓ３）：音声ありの場合には、その区間においては映
像エンコードを中断にする。 （Ｓ４）：音声なしの場合には、その区間は映像の有意
区間とみなす。 （Ｓ５）：映像エンコードを再開する。
（Ｓ１）ないし（Ｓ５）に示されている。即ち、 （Ｓ１）：音声を電気信号に変換する。 （Ｓ２）：音声ありの区間を検出する。 （Ｓ３）：音声ありの場合には、その区間においては映
像エンコードを中断にする。 （Ｓ４）：音声なしの場合には、その区間は映像の有意
区間とみなす。 （Ｓ５）：映像エンコードを再開する。
【００１７】図２に示す態様の場合には、発話中におい
ては映像エンコードが中断されることになるから、受信
側においては送信側から送られてくる映像の動きが停止
する。しかし、送信側において『映像エンコードＯＮ』
の期間に送出する映像エンコードデータを音声エンコー
ドデータにくらべて十分に大に設定しておくことによ
り、受信側へ映像が伝送される際には、送出する映像の
情報量を十分に大にすることができる。
ては映像エンコードが中断されることになるから、受信
側においては送信側から送られてくる映像の動きが停止
する。しかし、送信側において『映像エンコードＯＮ』
の期間に送出する映像エンコードデータを音声エンコー
ドデータにくらべて十分に大に設定しておくことによ
り、受信側へ映像が伝送される際には、送出する映像の
情報量を十分に大にすることができる。
【００１８】図３は無声時に映像エンコードデータ量を
増大する他の一実施態様を説明する図である。図中の符
号は図２に対応している。図３における制御態様は、制
御ステップ（Ｓ６）ないし（Ｓ１０）に示されている。
即ち、 （Ｓ６）：音声を電気信号に変換する。 （Ｓ７）：音声ありの区間を検出する。 （Ｓ８）：音声ありの場合には、その区間においては映
像エンコードデータ量を減少する（即ち、音声エンコー
ドデータ量が増大する）。 （Ｓ９）：音声なしの場合には、その区間は映像の有意
区間とみなす。 （Ｓ10）：映像エンコードデータ量を増大する（即ち、
音声エンコードデータ量を減少する）。
増大する他の一実施態様を説明する図である。図中の符
号は図２に対応している。図３における制御態様は、制
御ステップ（Ｓ６）ないし（Ｓ１０）に示されている。
即ち、 （Ｓ６）：音声を電気信号に変換する。 （Ｓ７）：音声ありの区間を検出する。 （Ｓ８）：音声ありの場合には、その区間においては映
像エンコードデータ量を減少する（即ち、音声エンコー
ドデータ量が増大する）。 （Ｓ９）：音声なしの場合には、その区間は映像の有意
区間とみなす。 （Ｓ10）：映像エンコードデータ量を増大する（即ち、
音声エンコードデータ量を減少する）。
【００１９】図３に示す態様の場合には、発話中におい
ては映像エンコードデータの量が減少され、いわゆる無
声の区間では映像エンコードデータの量が増大する。即
ち、送出する映像の情報量が十分に大となる。
ては映像エンコードデータの量が減少され、いわゆる無
声の区間では映像エンコードデータの量が増大する。即
ち、送出する映像の情報量が十分に大となる。
【００２０】
【発明の効果】以上説明した如く、本発明によれば、有
音／無音を検出して、有音区間を話し手区間、無音区間
を聞き手区間と考え、聞き手の画像品質を向上させると
同時に話し手の画像品質を減少させ、全体として各対地
の符号化・復号化装置のＣＰＵ負荷を格別増加させるこ
となく、会議の状況に応じた動画像の符号化を実現して
いる。これは、会議において話し手は音声で十分に情報
を発しているので、話し手の画像品質を上げる必要はな
いが、聞き手は音声を発していないので、聞き手の画像
品質を上げることにより、聞き手から発する情報を増加
させるという考え方に基づくものである。
音／無音を検出して、有音区間を話し手区間、無音区間
を聞き手区間と考え、聞き手の画像品質を向上させると
同時に話し手の画像品質を減少させ、全体として各対地
の符号化・復号化装置のＣＰＵ負荷を格別増加させるこ
となく、会議の状況に応じた動画像の符号化を実現して
いる。これは、会議において話し手は音声で十分に情報
を発しているので、話し手の画像品質を上げる必要はな
いが、聞き手は音声を発していないので、聞き手の画像
品質を上げることにより、聞き手から発する情報を増加
させるという考え方に基づくものである。
【図１】本発明が適用される映像システムの構成と本発
明による方法を説明する図である。
明による方法を説明する図である。
【図２】無声時に映像エンコードデータ量を増大する一
実施態様を説明する図である。
実施態様を説明する図である。
【図３】無声時に映像エンコードデータ量を増大する他
の一実施態様を説明する図である。
の一実施態様を説明する図である。
【図４】動画像の符号化量を減少させる公知の手段を示
す。
す。
１１：音声キャプチャ １２：音声エンコーダ １３：映像キャプチャ １４：映像エンコーダ １５：メディア多重化部 １７：通信網
Claims (3)
- 【請求項１】 音声と動画とを同時に伝送する映像シス
テムの符号化方法であって有音／無音を検出する第１の
過程と、 無音が検出された場合に、有音が検出された場合よりも
画像の符号化量を増加させる第２の過程を有することを
特徴とする動画像符号化処理方法。 - 【請求項２】 無音が検出された場合に、有音が検出さ
れた場合よりも画像の符号化量を増加させる第２の過程
が、フレームの間引き数を減らすことあるいは解像度を
増加させるようにしていることを特徴とする請求項１記
載の動画像符号化処理方法。 - 【請求項３】 無音が検出された場合に、有音が検出さ
れた場合よりも画像の符号化量を増加させる第２の過程
が、有音検出時に動画の符号化を停止するようにしてい
ることを特徴とする請求項１記載の動画像符号化処理方
法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32280497A JPH11164301A (ja) | 1997-11-25 | 1997-11-25 | 動画像符号化処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32280497A JPH11164301A (ja) | 1997-11-25 | 1997-11-25 | 動画像符号化処理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11164301A true JPH11164301A (ja) | 1999-06-18 |
Family
ID=18147821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32280497A Pending JPH11164301A (ja) | 1997-11-25 | 1997-11-25 | 動画像符号化処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11164301A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007116683A (ja) * | 2002-03-27 | 2007-05-10 | Marconi Intellectual Property (Ringfence) Inc | 電気通信システム |
| CN110325470A (zh) * | 2017-03-03 | 2019-10-11 | 三菱电机大楼技术服务株式会社 | 电梯的中心侧通信装置及通信*** |
-
1997
- 1997-11-25 JP JP32280497A patent/JPH11164301A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007116683A (ja) * | 2002-03-27 | 2007-05-10 | Marconi Intellectual Property (Ringfence) Inc | 電気通信システム |
| JP4566177B2 (ja) * | 2002-03-27 | 2010-10-20 | エリクソン アーベー | 電気通信システム |
| CN110325470A (zh) * | 2017-03-03 | 2019-10-11 | 三菱电机大楼技术服务株式会社 | 电梯的中心侧通信装置及通信*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6744927B1 (en) | Data communication control apparatus and its control method, image processing apparatus and its method, and data communication system | |
| KR100636110B1 (ko) | 엠펙-4 송수신용 시그널링을 지원하는 단말기 | |
| JP2002014697A (ja) | ディジタルオーディオ装置 | |
| JP3500667B2 (ja) | テレビ会議システムおよび同期方法 | |
| JPH11164301A (ja) | 動画像符号化処理方法 | |
| JPS6390953A (ja) | マルチメデイア通信装置 | |
| JP2008538058A (ja) | 圧縮領域における動画像キーイング | |
| KR100231695B1 (ko) | 홈오토메이션 시스템의 오디오/비디오 자동응답 제어장치 및 그 제어방법 | |
| JP2001128164A (ja) | ビデオ符号処理方法およびそのシステム | |
| EP1463333A1 (en) | Apparatus and method for image, video and audio processing | |
| JPH0898181A (ja) | 画像変換方法及び装置 | |
| JPS62226781A (ja) | 電子会議システムにおける静止画情報伝送方式 | |
| JP3048405B2 (ja) | 音声符号化器の制御方式 | |
| JPH11187372A (ja) | 多地点テレビ会議システム | |
| JP3210377B2 (ja) | 画像・音声伝送装置 | |
| JPH08289288A (ja) | 動画像通信方式 | |
| WO2001043443A1 (en) | Video encoding/transmitting device, video receiving/decoding device, video transmitting/receiving device, and video transmitting system | |
| JP3444905B2 (ja) | 動画像通信方法 | |
| JP2006005572A (ja) | 画像符号化装置 | |
| KR100238682B1 (ko) | 사용자 단말 장치에서의 음성 안내 서비스 구현 방법 및 장치 | |
| JPH10145760A (ja) | 画像通信装置 | |
| JP3127080B2 (ja) | 画像通信装置 | |
| JPH09284726A (ja) | 信号遅延装置及び信号処理装置 | |
| JPH1065642A (ja) | 音声・データ多重化装置及び音声・データ多重化プログラムを記録した記録媒体 | |
| CN115273877A (zh) | 智能传感器、回音消除方法、服务设备和回音消除*** |