JP2019180080A - 映像処理装置、通信端末、テレビ会議システム、映像処理方法、およびプログラム - Google Patents

Abstract

【課題】映像データのデータ量を軽減するとともに、複数の領域間における画質の違いを目立ち難くすることができるようにすること。【解決手段】映像処理装置は、映像を取得する映像取得部と、映像における特定領域を検出する特定領域検出部と、映像における特定領域以外の他の領域の画質を、特定領域の画質よりも低くする映像処理部とを備え、映像処理部は、映像における特定領域と他の領域との境界部の画質を、特定領域よりも低く、且つ、他の領域よりも高くする。【選択図】図４

Description

本発明は、映像処理装置、通信端末、テレビ会議システム、映像処理方法、およびプログラムに関する。

下記特許文献１には、監視カメラによって撮像された撮像画像に対し、動きが検出されていない静止領域の画像を低画質化し、動きが検出された動き領域（例えば、人物の移動が検出された領域）の画像を、静止領域の画像に比べて高画質化する技術が開示されている。この技術によれば、撮像画像の符号化データサイズを小さくして、ネットワークにおける伝送路の負担を軽減することができるとともに、動き領域の画像の視認性を良くすることができるとされている。

しかしながら、従来技術では、上記したように、映像における一部の領域を低画質化して、映像に低画質の領域と高画質の領域とを設けた場合、双方の領域の画質の違いが目立ってしまい、視聴者に対して違和感を与えてしまうといった課題がある。

本発明は、上述した従来技術の課題を解決するため、映像データのデータ量を軽減するとともに、複数の領域間における画質の違いを目立ち難くすることができるようにすることを目的とする。

上述した課題を解決するために、本発明の映像処理装置は、映像を取得する映像取得部と、映像における特定領域を検出する特定領域検出部と、映像における特定領域以外の他の領域の画質を、特定領域の画質よりも低くする映像処理部とを備え、映像処理部は、映像における特定領域と他の領域との境界部の画質を、特定領域よりも低く、且つ、他の領域よりも高くする。

本発明によれば、映像データのデータ量を軽減するとともに、複数の領域間における画質の違いを目立ち難くすることができる。

本発明の一実施形態に係るテレビ会議システムのシステム構成を示す図である。 本発明の一実施形態に係るＩＷＢの外観を示す図である。 本発明の一実施形態に係るＩＷＢのハードウェア構成を示す図である。 本発明の一実施形態に係るＩＷＢの機能構成を示す図である。 本発明の一実施形態に係るＩＷＢによるテレビ会議実行制御処理の手順を示すフローチャートである。 本発明の一実施形態に係る映像処理部による映像処理の手順を示すフローチャートである。 本発明の一実施形態に係る動き領域検出部による動き検出処理の手順を示すフローチャートである。 本発明の一実施形態に係る動き領域検出部による動き検出処理の一具体例を示す図である。 本発明の一実施形態に係る映像処理部による映像処理の一具体例を示す図である。

〔一実施形態〕
以下、図面を参照して、本発明の一実施形態について説明する。

（テレビ会議システム１０のシステム構成）
図１は、本発明の一実施形態に係るテレビ会議システム１０のシステム構成を示す図である。図１に示すように、テレビ会議システム１０は、会議サーバ１２、会議予約サーバ１４、および複数のＩＷＢ（Interactive White Board）１００を備えており、これら複数の装置が、インターネット、イントラネット、ＬＡＮ（Local Area Network）等のネットワーク１６に接続されて構成されている。テレビ会議システム１０は、これら複数の装置により、複数の拠点間でいわゆるテレビ会議を行うことができるようになっている。

会議サーバ１２は、「サーバ装置」の一例である。会議サーバ１２は、複数のＩＷＢ１００によるテレビ会議に関する各種制御を行う。例えば、会議サーバ１２は、テレビ会議の開始時においては、各ＩＷＢ１００と会議サーバ１２との通信接続状態の監視、各ＩＷＢ１００に対する呼び出し等を行う。また、会議サーバ１２は、テレビ会議中においては、複数のＩＷＢ１００の間における各種データ（例えば、映像データ、音声データ、描画データ等）の転送処理等を行う。

会議予約サーバ１４は、テレビ会議の予約状況を管理する。具体的には、会議予約サーバ１４は、外部の情報処理装置（例えば、ＰＣ（Personal Computer）等）からネットワーク１６を介して入力された会議情報を管理する。会議情報には、例えば、開催日時、開催場所、参加者、役割、使用端末等が含まれている。テレビ会議システム１０は、会議予約サーバ１４によって管理されている会議情報に基づいて、テレビ会議を行う。

ＩＷＢ１００は、「映像処理装置」および「通信端末」の一例である。ＩＷＢ１００は、テレビ会議が行われる各拠点に設置され、テレビ会議の参加者によって使用される通信端末である。例えば、ＩＷＢ１００は、テレビ会議の参加者から入力された各種データ（例えば、映像データ、音声データ、描画データ等）を、ネットワーク１６および会議サーバ１２を介して、他のＩＷＢ１００へ送信することができる。また、例えば、ＩＷＢ１００は、他のＩＷＢ１００から送信されてきた各種データを、データの種類に応じた出力方法（例えば、表示、音声出力等）によって出力することにより、テレビ会議の参加者へ呈示することができる。

（ＩＷＢ１００の構成）
図２は、本発明の一実施形態に係るＩＷＢ１００の外観を示す図である。図２に示すように、ＩＷＢ１００は、本体１００Ａの前面に、カメラ１０１、タッチパネル・ディスプレイ１０２、マイク１０３、およびスピーカ１０４を備えている。

カメラ１０１は、当該ＩＷＢ１００の前方の映像を撮像する。カメラ１０１は、例えば、レンズと、イメージセンサと、ＤＳＰ（Digital Signal Processor）等の映像処理回路とを備えて構成されている。イメージセンサは、レンズによって集光された光を光電変換することにより、映像データ（ＲＡＷデータ）を生成する。イメージセンサとしては、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等が用いられる。映像処理回路は、イメージセンサによって生成された映像データ（ＲＡＷデータ）に対して、ベイヤー変換、３Ａ制御（ＡＥ（自動露出制御）、ＡＦ（オートフォーカス）、およびＡＷＢ（オートホワイトバランス））等の一般的な映像処理を行うことにより、映像データ（ＹＵＶデータ）を生成する。そして、映像処理回路は、生成された映像データ（ＹＵＶデータ）を出力する。ＹＵＶデータは、色情報を、輝度信号（Ｙ）と、輝度信号と青色成分との差（Ｕ）と、輝度信号と赤色成分との差（Ｖ）との組み合わせで表したものである。

タッチパネル・ディスプレイ１０２は、ディスプレイとタッチパネルとを備えた装置である。タッチパネル・ディスプレイ１０２は、ディスプレイにより、各種情報（例えば、映像データ、描画データ等）を表示することができる。また、タッチパネル・ディスプレイ１０２は、タッチパネルにより、操作体１５０（例えば、指、ペン等）の接触操作による、各種情報（例えば、文字、図形、画像等）の入力を行うことができる。ディスプレイとしては、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパー等を用いることができる。タッチパネルとしては、例えば、静電容量方式のタッチパネルを用いることができる。

マイク１０３は、ＩＷＢ１００の周囲の音声を集音し、当該音声に対応する音声データ（アナログデータ）を生成した後、当該音声データ（アナログデータ）をアナログ−デジタル変換することによって、集音された音声に対応する音声データ（デジタルデータ）を出力する。

スピーカ１０４は、音声データ（アナログデータ）によって駆動されることにより、当該音声データに対応する音声を出力する。例えば、スピーカ１０４は、他拠点のＩＷＢ１００から送信された音声データによって駆動されることにより、他拠点のＩＷＢ１００において集音された音声を出力する。

このように構成されたＩＷＢ１００は、カメラ１０１から取得された映像データに対して、後述する映像処理および符号化処理を行うことによってデータ量の削減を行った後、当該映像データとともに、タッチパネル・ディスプレイ１０２から取得された各種表示データ（例えば、映像データ、描画データ等）、および、マイク１０３から取得された音声データを、会議サーバ１２を介して他のＩＷＢ１００へ送信することにより、これらのデータを他のＩＷＢ１００と共有することができる。また、ＩＷＢ１００は、他のＩＷＢ１００から送信された各種表示データ（例えば、映像データ、描画データ等）に基づく表示内容を、タッチパネル・ディスプレイ１０２によって表示するとともに、他のＩＷＢ１００から送信された音声データに基づく音声を、スピーカ１０４によって音声出力することにより、これらの情報を他のＩＷＢ１００と共有することができる。

例えば、図２に示す例では、タッチパネル・ディスプレイ１０２において、複数の表示領域１０２Ａ，１０２Ｂを有する表示レイアウトが表示されている。表示領域１０２Ａは、描画領域であり、操作体１５０によって描画された描画データが表示される。表示領域１０２Ｂは、カメラ１０１によって撮像された自拠点の映像が表示される。なお、タッチパネル・ディスプレイ１０２は、他のＩＷＢ１００で描画された描画データ、他のＩＷＢ１００で撮像された他拠点の映像等を、表示することも可能である。

（ＩＷＢ１００のハードウェア構成）
図３は、本発明の一実施形態に係るＩＷＢ１００のハードウェア構成を示す図である。図３に示すように、ＩＷＢ１００は、図２で説明したカメラ１０１、タッチパネル・ディスプレイ１０２、マイク１０３、およびスピーカ１０４に加えて、ＣＰＵ（Central Processing Unit）を備えたシステムコントロール部１０５、補助記憶装置１０６、メモリ１０７、通信Ｉ／Ｆ（Inter Face）１０８、操作部１０９、および録画装置１１０を備える。

システムコントロール部１０５は、補助記憶装置１０６またはメモリ１０７に記憶されている各種プログラムを実行することにより、ＩＷＢ１００の各種制御を行う。例えば、システムコントロール部１０５は、ＣＰＵ、周辺ユニットとのインタフェース、データアクセス調停機能等を備え、ＩＷＢ１００が備える各種ハードウェアの制御、ＩＷＢ１００が備えるテレビ会議に関する各種機能（図４参照）の実行制御を行う。

例えば、システムコントロール部１０５は、テレビ会議に関する基本的な機能として、カメラ１０１から取得した映像データ、タッチパネル・ディスプレイ１０２から取得した描画データ、および、マイク１０３から取得した音声データを、通信Ｉ／Ｆ１０８を介して、他のＩＷＢ１００へ送信する。

また、例えば、システムコントロール部１０５は、カメラ１０１から取得された映像データに基づく映像、および、タッチパネル・ディスプレイ１０２から取得された描画データ（すなわち、自拠点の映像データおよび描画データ）に基づく描画内容を、タッチパネル・ディスプレイ１０２に表示させる。

また、例えば、システムコントロール部１０５は、他拠点のＩＷＢ１００から送信された映像データ、描画データ、および音声データを、通信Ｉ／Ｆ１０８を介して取得する。そして、システムコントロール部１０５は、映像データに基づく映像、および、描画データに基づく描画内容を、タッチパネル・ディスプレイ１０２に表示させるとともに、音声データに基づく音声を、スピーカ１０４から音声出力させる。

補助記憶装置１０６は、システムコントロール部１０５により実行される各種プログラム、システムコントロール部１０５が各種プログラムを実行するために必要なデータ等を記憶する。補助記憶装置１０６としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等の、不揮発性の記憶装置が用いられる。

メモリ１０７は、システムコントロール部１０５が各種プログラムを実行する際に利用する一時記憶領域として機能する。メモリ１０７としては、例えば、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）等の、揮発性の記憶装置が用いられる。

通信Ｉ／Ｆ１０８は、ネットワーク１６に接続し、ネットワーク１６を介して他のＩＷＢ１００との間で各種データの送受信を行うためのインタフェースである。通信Ｉ／Ｆ１０８としては、例えば、１０Ｂａｓｅ−Ｔ，１００Ｂａｓｅ−ＴＸ，１０００Ｂａｓｅ−Ｔ等に対応した有線ＬＡＮインタフェース、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ等に対応した無線ＬＡＮインタフェース等、を用いることができる。

操作部１０９は、各種入力を行うためにユーザによって操作される。操作部１０９としては、例えば、キーボード、マウス、スイッチ等が用いられる。

録画装置１１０は、テレビ会議における映像データおよび音声データを、メモリ１０７に録画記録する。また、録画装置１１０は、メモリ１０７に録画記録された映像データおよび音声データを再生する。

（ＩＷＢ１００の機能構成）
図４は、本発明の一実施形態に係るＩＷＢ１００の機能構成を示す図である。図４に示すように、ＩＷＢ１００は、主制御部１２０、映像取得部１２２、映像処理部１２４、特定領域検出部１２６、符号化部１２８、送信部１３０、受信部１３２、復号化部１３４、表示制御部１３６、音声取得部１３８、音声処理部１４０、および、音声出力部１４２を備えている。

映像取得部１２２は、カメラ１０１から取得された映像データ（ＹＵＶデータ）を取得する。映像取得部１２２によって取得される映像データは、複数のフレーム画像が組み合わされて構成されたものである。

映像処理部１２４は、映像取得部１２２によって取得された映像データに対する各種映像処理を行う。例えば、映像処理部１２４は、特定領域検出部１２６を有する。特定領域検出部１２６は、映像取得部１２２によって取得された映像データ（フレーム画像）における特定領域を検出する。具体的には、特定領域検出部１２６は、動き領域検出部１２６Ａおよび顔領域検出部１２６Ｂを有する。動き領域検出部１２６Ａは、映像取得部１２２によって取得された映像データ（フレーム画像）において、被写体の動きが検出される領域である動き領域を、特定領域として検出する。動き領域の検出方法としては、公知の如何なる方法を用いてもよいが、動き領域検出部１２６Ａによる動き検出処理の詳細について、図７および図８を用いて後述する。顔領域検出部１２６Ｂは、映像取得部１２２によって取得された映像データ（フレーム画像）において、被写体の顔が検出される領域である顔領域を、特定領域として検出する。顔領域の検出方法としては、公知の如何なる方法を用いてもよいが、例えば、目、鼻、口などの特徴点を抽出して顔領域を検出する方法等が挙げられる。

映像処理部１２４は、特定領域検出部１２６によって特定領域が特定されると、映像取得部１２２によって取得された映像データ（フレーム画像）における特定領域以外の他の領域の画質を、特定領域の画質よりも低くする。具体的には、映像処理部１２４は、映像取得部１２２によって取得された映像データ（フレーム画像）における特定領域を「高画質領域」に設定し、当該領域の画質を高画質化する。一方、映像処理部１２４は、映像取得部１２２によって取得された映像データ（フレーム画像）における特定領域以外の他の領域を「低画質領域」に設定し、当該領域の画質を低画質化する。さらに、映像処理部１２４は、映像取得部１２２によって取得された映像データ（フレーム画像）における、上記特定領域と上記他の領域との境界部を「中画質領域」に設定し、当該境界部の画質を、中画質化する。特に、映像処理部１２４は、当該境界部の画質が、上記他の領域に近づくにつれて段階的に低くなるように、中画質化する。映像処理部１２４は、画質の調整方法として、公知の如何なる方法を用いてもよい。例えば、映像処理部１２４は、映像データに対して、解像度調整、コントラスト調整、ローパスフィルタ適用、フレームレート調整等を行うことにより、画質の調整を行うことができる。なお、本実施形態における「高画質領域」、「中画質領域」、および「低画質領域」は、相対的な画質の違いを意味するものである。すなわち、「高画質領域」は、「中画質領域」および「低画質領域」よりも画質が高い領域を意味する。また、「中画質領域」は、「低画質領域」よりも画質が高い領域を意味する。

符号化部１２８は、映像処理部１２４による映像処理後の映像データを符号化する。符号化部１２８によって使用される符号化方式としては、例えば、Ｈ.２６４/ＡＶＣ、Ｈ.２６４/ＳＶＣ、Ｈ.２６５等が挙げられる。

送信部１３０は、符号化部１２８によって符号化された映像データを、マイク１０３から取得された音声データ（音声処理部１４０による音声処理後の音声データ）とともに、ネットワーク１６を介して、他のＩＷＢ１００へ送信する。

受信部１３２は、他のＩＷＢ１００から送信された映像データおよび音声データを、ネットワーク１６を介して受信する。復号化部１３４は、所定の復号化方式により、受信部１３２によって受信された映像データを復号化する。復号化部１３４が用いる復号化方式は、符号化部１２８による符号化方式に対応する復号化方式（例えば、Ｈ.２６４/ＡＶＣ、Ｈ.２６４/ＳＶＣ、Ｈ.２６５等）である。

表示制御部１３６は、復号化部１３４によって復号化された映像データを再生することにより、当該映像データに基づく映像（すなわち、他拠点の映像）を、タッチパネル・ディスプレイ１０２に表示させる。また、表示制御部１３６は、カメラ１０１から取得された映像データを再生することにより、当該映像データに基づく映像（すなわち、自拠点の映像）を、タッチパネル・ディスプレイ１０２に表示させる。なお、表示制御部１３６は、ＩＷＢ１００に設定されているレイアウト設定情報に基づいて、複数種類の映像を、複数の表示領域を有する表示レイアウトで表示することができる。例えば、表示制御部１３６は、自拠点の映像と他拠点の映像とを同時に表示することができる。

主制御部１２０は、ＩＷＢ１００の全体の制御を行う。例えば、主制御部１２０は、各モジュールの初期設定、カメラ１０１の撮影モードの設定、他のＩＷＢ１００に対する通信開始要求、テレビ会議の開始、テレビ会議の終了、録画装置１１０による録画等の制御を行う。

音声取得部１３８は、マイク１０３から音声データを取得する。音声処理部１４０は、音声取得部１３８によって取得された音声データ、および、受信部１３２によって受信された音声データに対して、各種音声処理を行う。例えば、音声処理部１４０は、受信部１３２によって受信された音声データに対し、コーデック処理、ノイズキャンセル（ＮＣ）処理等、一般的な音声処理を行う。また、例えば、音声処理部１４０は、音声取得部１３８によって取得された音声データに対し、コーデック処理、エコーキャンセル（ＥＣ）処理等、一般的な音声処理を行う。

音声出力部１４２は、受信部１３２によって受信された音声データ（音声処理部１４０による音声処理後の音声データ）をアナログ信号に変換して再生することにより、当該音声データに基づく音声（すなわち、他拠点の音声）を、スピーカ１０４から出力させる。

上記したＩＷＢ１００の各機能は、例えば、ＩＷＢ１００において、補助記憶装置１０６に記憶されたプログラムを、システムコントロール部１０５のＣＰＵが実行することにより実現される。このプログラムは、予めＩＷＢ１００に導入された状態で提供されてもよく、外部から提供されてＩＷＢ１００に導入されるようにしてもよい。後者の場合、このプログラムは、外部記憶媒体（例えば、ＵＳＢメモリ、メモリカード、ＣＤ−ＲＯＭ等）によって提供されてもよく、ネットワーク（例えば、インターネット等）上のサーバからダウンロードすることによって提供されるようにしてもよい。なお、上記したＩＷＢ１００の各機能のうち、一部の機能（例えば、符号化部１２８、復号化部１３４等）については、システムコントロール部１０５とは別に設けられた専用の処理回路によって実現されてもよい。

（ＩＷＢ１００によるテレビ会議実行制御処理の手順）
図５は、本発明の一実施形態に係るＩＷＢ１００によるテレビ会議実行制御処理の手順を示すフローチャートである。

まず、主制御部１２０が、各モジュールの初期設定を行い、カメラ１０１による撮像が可能な状態とする（ステップＳ５０１）。次に、主制御部１２０が、カメラ１０１の撮影モードの設定を行う（ステップＳ５０２）。主制御部１２０による撮影モードの設定は、各種センサの出力に基づいて自動的に行われるものと、オペレータの操作入力により手動的に行われるものとを含み得る。そして、主制御部１２０が、他拠点のＩＷＢ１００に対して、通信開始を要求し、テレビ会議を開始する（ステップＳ５０３）。なお、主制御部１２０は、他のＩＷＢ１００からの通信開始要求を受けたことをもって、テレビ会議を開始してもよい。また、主制御部１２０は、テレビ会議が開始されると同時に、録画装置１１０による映像および音声の録画を開始してもよい。

テレビ会議が開始されると、映像取得部１２２が、カメラ１０１から映像データ（ＹＵＶデータ）を取得するとともに、音声取得部１３８が、マイク１０３から音声データを取得する（ステップＳ５０４）。そして、映像処理部１２４が、ステップＳ５０４で取得された映像データに対する映像処理を行うとともに、音声処理部１４０が、ステップＳ５０４で取得された音声データに対する各種音声処理を行う（ステップＳ５０５）。さらに、符号化部１２８が、ステップＳ５０５による映像処理後の映像データを符号化する（ステップＳ５０６）。そして、送信部１３０が、ステップＳ５０６で符号化された映像データを、ステップＳ５０４で取得された音声データとともに、ネットワーク１６を介して、他のＩＷＢ１００へ送信する（ステップＳ５０７）。

ステップＳ５０４〜Ｓ５０７と並行して、受信部１３２が、他のＩＷＢ１００から送信された映像データおよび音声データを、ネットワーク１６を介して受信する（ステップＳ５０９）。そして、復号化部１３４が、ステップＳ５０８で受信された映像データを復号化する。また、音声処理部１４０が、ステップＳ５０８で受信された音声データに対して、各種音声処理を行う（ステップＳ５１０）。さらに、表示制御部１３６が、ステップＳ５０９で復号化された映像データに基づく映像を、タッチパネル・ディスプレイ１０２に表示させるとともに、音声出力部１４２が、ステップＳ５１０による音声処理後の音声データに基づく音声を、スピーカ１０４から出力させる（ステップＳ５１１）。なお、ステップＳ５１１では、さらに、表示制御部１３６が、ステップＳ５０４で取得された映像データに基づく映像（すなわち、自拠点の映像）を、タッチパネル・ディスプレイ１０２に表示させることもできる。

続いて、主制御部１２０が、テレビ会議が終了したか否かを判断する（ステップＳ５１２）。ステップＳ５１２において、テレビ会議が終了していないと判断された場合（ステップＳ５１２：Ｎｏ）、ＩＷＢ１００は、ステップＳ５０４へ処理を戻す。一方、ステップＳ５１２において、テレビ会議が終了したと判断された場合（ステップＳ５１２：Ｙｅｓ）、ＩＷＢ１００は、図５に示す一連の処理を終了する。

（映像処理部１２４による映像処理の手順）
図６は、本発明の一実施形態に係る映像処理部１２４による映像処理の手順を示すフローチャートである。

まず、映像処理部１２４が、映像データを構成する複数のフレーム画像のうち、古いフレーム画像から順に、一のフレーム画像を選択する（ステップＳ６０１）。次に、動き領域検出部１２６Ａが、ステップＳ６０１で選択された一のフレーム画像に対し、被写体の動きが検出される領域である動き領域を検出する（ステップＳ６０２）。また、顔領域検出部１２６Ｂは、映像取得部１２２によって取得された一の映像データに対し、被写体の顔が検出される領域である顔領域を検出する（ステップＳ６０３）。ここで、顔領域検出部１２６Ｂは、誤検知を防ぐことを目的として、連続する所定数のフレーム画像において顔が検出された場合、当該領域を顔領域として判定してもよい。

そして、映像処理部１２４が、ステップＳ６０３による顔領域の検出結果に基づいて、ステップＳ６０１で選択された一のフレーム画像に対し、低画質領域、中画質領域、および高画質領域を、それぞれ設定する（ステップＳ６０４）。具体的には、映像処理部１２４は、顔領域を、高画質領域に設定する。また、映像処理部１２４は、顔領域以外の他の領域を、低画質領域に設定する。さらに、映像処理部１２４は、高画質領域と低画質領域との境界部を、中画質領域に設定する。

続いて、映像処理部１２４は、ステップＳ６０４で設定された低画質領域（すなわち、顔検出されなかった領域）のうち、直前まで顔領域であった領域が存在するか否かを判断する（ステップＳ６０５）。例えば、映像処理部１２４は、一つ前のフレーム画像における顔領域の検出結果をメモリ１０７に記憶させておき、当該検出結果を参照することで、直前まで顔領域であったか否かを判断することができる。

ステップＳ６０５において、直前まで顔領域であった領域が存在しないと判断された場合（ステップＳ６０５：Ｎｏ）、映像処理部１２４は、ステップＳ６０８へ処理を進める。一方、ステップＳ６０５において、直前まで顔領域であった領域が存在すると判断された場合（ステップＳ６０５：Ｙｅｓ）、映像処理部１２４は、直前まで顔領域であった領域がステップＳ６０２で検出された動き領域であるか否かを判断する（ステップＳ６０６）。

ステップＳ６０６において、直前まで顔領域であった領域がステップＳ６０２で検出された動き領域ではないと判断された場合（ステップＳ６０６：Ｎｏ）、映像処理部１２４は、ステップＳ６０８へ処理を進める。一方、ステップＳ６０６において、直前まで顔領域であった領域がステップＳ６０２で検出された動き領域であると判断された場合（ステップＳ６０６：Ｙｅｓ）、映像処理部１２４は、当該領域を、高画質領域に再設定する（ステップＳ６０７）。当該領域は、顔が存在するにも関わらず、顔の向きが変わった等の理由により、顔検出できなかった領域である可能性が高いからである。同時に、映像処理部１２４は、当該領域と低画質領域との境界部を、中画質領域に再設定する。そして、映像処理部１２４は、ステップＳ６０８へ処理を進める。

ステップＳ６０８では、映像処理部１２４は、ステップＳ６０４，Ｓ６０７で設定された、低画質領域、中画質領域、および高画質領域の各々について、対応する画質となるように、画質調整を行う。例えば、映像処理部１２４は、高画質領域については、元の画質を維持する。また、映像処理部１２４は、中画質領域および低画質領域については、公知の何らかの画質調整方法（例えば、解像度調整、コントラスト調整、ローパスフィルタ適用、フレームレート調整等）を用いて、元の画質から画質を低下させることにより、中画質化および低画質化する。この際、映像処理部１２４は、中画質領域については、当該境界部の画質が、上記低画質領域に近づくにつれて段階的に低くなるように、中画質化する。これにより、高画質領域と低画質領域との間における画質の違いを目立ち難くすることができる。

その後、映像処理部１２４は、映像データを構成する全てのフレーム画像に対して、上記の映像処理を行ったか否かを判断する（ステップＳ６０９）。ステップＳ６０９において、全てのフレーム画像に対して映像処理を行っていないと判断された場合（ステップＳ６０９：Ｎｏ）、映像処理部１２４は、ステップＳ６０１へ処理を戻す。一方、ステップＳ６０９において、全てのフレーム画像に対して映像処理を行ったと判断された場合（ステップＳ６０９：Ｙｅｓ）、映像処理部１２４は、図６に示す一連の処理を終了する。

なお、映像処理部１２４は、ステップＳ６０５の前に、顔検出できた領域の数に変化（特に、人数の減少）があったか否かを判断し、顔検出できた領域の数に変化があった場合には、ステップＳ６０５へ処理を進め、顔検出できた領域の数に変化がなかった場合には、ステップＳ６０８へ処理を進めるようにしてもよい。顔検出できた領域の数に変化があった場合には、「顔検出できなかった領域であるが、直前まで顔領域であった領域」が存在する可能性が高いからである。

（動き領域検出部１２６Ａによる動き検出処理の手順）
図７は、本発明の一実施形態に係る動き領域検出部１２６Ａによる動き検出処理の手順を示すフローチャートである。図７に示す処理は、動き領域検出部１２６Ａが、フレーム画像毎に実行する動き検出処理である。なお、図７に示す処理は、過去のフレーム画像を参照するものであるから、図７に示す処理において、過去のフレーム画像は、メモリ１０７に記憶されているものとする。

まず、動き領域検出部１２６Ａは、フレーム画像をブロック単位に分割する（ステップＳ７０１）。ブロックのサイズは、如何なるものであってもよいが、例えば、動き領域検出部１２６Ａは、フレーム画像を８×８画素のブロック単位に分割する。これにより、フレーム画像は、低解像度化されることとなる。なお、動き領域検出部１２６Ａは、各ブロックに対し、動き検出を容易化するために、各種変換処理（例えば、ガンマ変換処理、ＦＦＴ（Fast Fourier Transform）等の周波数変換処理等）を施すようにしてもよい。

次に、動き領域検出部１２６Ａは、複数のブロックの中から、一のブロックを、注目ブロックとして選択する（ステップＳ７０２）。そして、動き領域検出部１２６Ａは、ステップＳ７０２で選択された注目ブロックの周囲のブロックを、参照ブロックとして設定する（ステップＳ７０３）。なお、参照ブロックの設定範囲は、予め定められているが、１フレーム毎の人物の動きを検出することを目的とするものであるため、比較的狭い範囲で十分である。

次に、動き領域検出部１２６Ａは、注目ブロックの現在の画素値と、当該注目ブロックの過去の画素値（例えば、直前のフレーム画像の画素値）との画素差分値Ｄ１を算出する（ステップＳ７０４）。また、動き領域検出部１２６Ａは、注目ブロックの現在の画素値と、参照ブロックの過去の画素値（例えば、直前のフレーム画像の画素値）との画素差分値Ｄ２を算出する（ステップＳ７０５）。ここで、動き領域検出部１２６Ａは、参照ブロックの過去の画素値として、複数の参照ブロックの画素値を色毎（例えば、ＲＧＢ毎）に平均化したものを用いてもよい。

次に、動き領域検出部１２６Ａは、下記条件１を満たすか否かを判断する（ステップＳ７０６）。

条件１：
画素差分値Ｄ１＞画素差分値Ｄ２、且つ、
画素差分値Ｄ１−画素差分値Ｄ２≧所定の閾値ｔｈ１

ステップＳ７０６において、上記条件１を満たすと判断された場合（ステップＳ７０６：Ｙｅｓ）、動き領域検出部１２６Ａは、当該注目ブロックを動きブロックと判定し（ステップＳ７０８）、ステップＳ７１０へ処理を進める。上記条件１は、現在の注目ブロックと過去の注目ブロックとの相関度よりも、現在の注目ブロックと過去の参照ブロックとの相関度が高いことを判定するものである。現在の注目ブロックと過去の参照ブロックとの相関度のほうが高い場合は、当該注目ブロックが動きブロックである可能性が高い。

一方、ステップＳ７０６において、上記条件１を満たさないと判断された場合（ステップＳ７０６：Ｎｏ）、動き領域検出部１２６Ａは、下記条件２を満たすか否かを判断する（ステップＳ７０７）。

条件２：
画素差分値Ｄ１≧所定の閾値ｔｈ２

ステップＳ７０７において、上記条件２を満たすと判断された場合（ステップＳ７０７：Ｙｅｓ）、動き領域検出部１２６Ａは、当該注目ブロックを動きブロックと判定し（ステップＳ７０８）、ステップＳ７１０へ処理を進める。上記条件１は、現在の注目ブロックの画素値と過去の注目ブロックの画素値との差分が大きいことを判定するものである。現在の注目ブロックの画素値と過去の注目ブロックの画素値との差分が大きい場合は、当該注目ブロックが動きブロックである可能性が高い。

一方、ステップＳ７０７において、上記条件２を満たさないと判断された場合（ステップＳ７０２：Ｎｏ）、動き領域検出部１２６Ａは、当該注目ブロックを非動きブロックと判定し（ステップＳ７０９）、ステップＳ７１０へ処理を進める。

ステップＳ７１０では、動き領域検出部１２６Ａは、全てのブロックについて動きブロックまたは非動きブロックの判定を行ったか否かを判断する。ステップＳ７１０において、全てのブロックについて動きブロックまたは非動きブロックの判定を行っていないと判断された場合（ステップＳ７１０：Ｎｏ）、動き領域検出部１２６Ａは、ステップＳ７０２へ処理を戻す。一方、ステップＳ７１０において、全てのブロックについて動きブロックまたは非動きブロックの判定を行ったと判断された場合（ステップＳ７１０：Ｙｅｓ）、動き領域検出部１２６Ａは、図７に示す一連の処理を終了する。

（動き領域検出部１２６Ａによる動き検出処理の一具体例）
図８は、本発明の一実施形態に係る動き領域検出部１２６Ａによる動き検出処理の一具体例を示す図である。

図８に示す例では、映像データに含まれるフレーム画像ｔと、フレーム画像ｔ−１とを例示するものである。図８に示す例では、動き領域検出部１２６Ａにより、フレーム画像ｔおよびフレーム画像ｔ−１が、６×７ブロックに分割されており、さらに、フレーム画像ｔにおける一のブロック（図中塗りつぶされたブロック）が、注目ブロック８０１として選択された例を示している。

図８に示すように、動き領域検出部１２６Ａは、フレーム画像ｔ−１における注目ブロック８０１の周囲の複数のブロック（図中ハッチングが付与されたブロック）を、参照ブロック８０２として設定する。

例えば、動き領域検出部１２６Ａは、フレーム画像ｔにおける注目ブロック８０１の画素値と、フレーム画像ｔ−１における注目ブロック８０１の画素値との画素差分値Ｄ１を算出する。画素差分値Ｄ１は、注目ブロック８０１間での相関度を表すものである。

また、動き領域検出部１２６Ａは、フレーム画像ｔにおける注目ブロック８０１の画素値と、フレーム画像ｔ−１における参照ブロック８０２の画素値（例えば、複数の参照ブロック８０２の画素値の平均値）との画素差分値Ｄ２を算出する。画素差分値Ｄ２は、注目ブロック８０１と参照ブロック８０２との間の相関度を表すものである。

そして、動き領域検出部１２６Ａは、上記条件１に基づいて、注目ブロック８０１と参照ブロック８０２との間の相関度のほうが、注目ブロック８０１間での相関度よりも高い場合は、注目ブロック８０１を動きブロックと判定する。また、動き領域検出部１２６Ａは、上記条件２に基づいて、注目ブロック８０１間での画素値の差分が大きい場合は、注目ブロック８０１を動きブロックと判定する。

動き領域検出部１２６Ａは、全てのブロックについて、当該ブロックを注目ブロックと選択して、同様の動き判定を行うことにより、動きブロックであるか非動きブロックであるかを判定する。

（映像処理部１２４による映像処理の一具体例）
図９は、本発明の一実施形態に係る映像処理部１２４による映像処理の一具体例を示す図である。図９に示すフレーム画像９００は、ＩＷＢ１００から送信されるフレーム画像の一例を示すものである。図９に示すように、フレーム画像９００は、被写体として人物９０２，９０４が映し出されている。そして、フレーム画像９００においては、人物９０２，９０４の顔が映し出されている領域が、顔検出領域９１２，９２２として検出されている。また、フレーム画像９００において、顔検出領域９１２，９２２以外の領域は、他の領域９３０であり、顔検出領域９１２，９２２と他の領域９３０との境界部は、境界部９１４，９２４である。なお、境界部９１４，９２４は、顔検出領域９１２，９２２上に設定されてもよく、顔検出領域９１２，９２２の外側（すなわち、他の領域９３０上）に設定されてもよく、顔検出領域９１２，９２２と他の領域９３０とにまたがって設定されてもよい。

このようなフレーム画像９００に対し、映像処理部１２４は、顔検出領域９１２，９２２を「高画質領域」に設定し、当該顔検出領域９１２，９２２の画質を高画質化する。例えば、フレーム画像９００の元の画質が高画質である場合、映像処理部１２４は、顔検出領域９１２，９２２の画質を高画質に維持する。但し、これに限らず、映像処理部１２４は、顔検出領域９１２，９２２の画質を、元の画質よりも高めるようにしてもよい。

また、映像処理部１２４は、他の領域９３０を「低画質領域」に設定し、当該他の領域９３０の画質を低画質化する。例えば、フレーム画像９００の元の画質が高画質である場合、映像処理部１２４は、他の領域９３０の画質を、元の画質よりも低める。この際に用いられる画質を低める方法としては、公知の如何なる方法であってもよいが、例えば、解像度調整、コントラスト調整、ローパスフィルタ適用、フレームレート調整等が挙げられる。

さらに、映像処理部１２４は、境界部９１４，９２４を「中画質領域」に設定し、当該境界部９１４，９２４の画質を中画質化する。例えば、フレーム画像９００の元の画質が高画質である場合、映像処理部１２４は、境界部９１４，９２４の画質を、元の画質よりも低める。この際に用いられる画質を低める方法としては、公知の如何なる方法であってもよいが、例えば、解像度調整、コントラスト調整、ローパスフィルタ適用、フレームレート調整等が挙げられる。但し、映像処理部１２４は、境界部９１４，９２４の画質を、他の領域９３０の画質よりも高くなるようにする。

特に、映像処理部１２４は、境界部９１４，９２４の画質が、他の領域９３０に近づくにつれて段階的に低くなるように、中画質化する。例えば、図９に示す例では、映像処理部１２４は、境界部９１４，９２４を、第１の領域９１４Ａ，９２４Ａと、第２の領域９１４Ｂ，９２４Ｂとに分割している。そして、映像処理部１２４は、他の領域９３０に近い第２の領域９１４Ｂ，９２４Ｂのほうが、顔検出領域９１２，９２２に近い第１の領域９１４Ａ，９２４Ａよりも低画質となるように、境界部９１４，９２４の各領域を中画質化する。

以上の映像処理により、フレーム画像９００における画質の大小関係は、以下のとおりとなる。

顔検出領域９１２，９２２＞第１の領域９１４Ａ，９２４Ａ＞第２の領域９１４Ｂ，９２４Ｂ＞他の領域９３０

すなわち、フレーム画像９００は、高画質領域と低画質領域との境界部９１４，９２４が、低画質領域に向って段階的に画質が低くなるものとなる。これにより、フレーム画像９００は、高画質領域と低画質領域との間における画質の違いが目立ち難いものとなる。

なお、図９に示す例では、境界部９１４，９２４の画質を、低画質領域に向って２段階に画質が低くなるものとしているが、これに限らず、境界部９１４，９２４の画質を、低画質領域に向って３段階以上に画質が低くなるものとしてもよい。また、境界部９１４，９２４の画質は、段階的でなくともよい。

また、図９に示す例では、フレーム画像９００における顔検出領域９１２，９２２の周囲の画質を空間方向に段階的に低画質化するようにしているが、これとともに、もしくは、これに替えて、フレーム画像９００における顔検出領域９１２，９２２の周囲の画質を時間方向に段階的に低画質化するようにしてもよい。例えば、フレーム画像９００に対し、映像処理部１２４は、他の領域９３０の画質を、ｎフレーム毎（但し、ｎ≧１）にＮ段階（但し、Ｎ≧２）で、元の画質から低画質化してもよい。同様に、フレーム画像９００に対し、映像処理部１２４は、境界部９１４，９２４の画質を、ｎフレーム毎（但し、ｎ≧１）にＮ段階（但し、Ｎ≧２）で、元の画質から中画質化してもよい。これにより、フレーム画像９００は、高画質領域と低画質領域との間における画質の違いがより目立ち難いものとなる。

以上説明したように、本実施形態のＩＷＢ１００は、カメラ１０１によって撮像された映像における特定領域以外の他の領域の画質を、特定領域の画質よりも低くするとともに、当該映像における特定領域と他の領域との境界部の画質を、他の領域に近づくにつれて段階的に低くする。これにより、本実施形態のＩＷＢ１００は、カメラ１０１によって撮像された映像を、特定領域から他の領域に向って段階的に画質が変化するものにすることができる。したがって、本実施形態のＩＷＢ１００によれば、映像における一部の領域を低画質化することによって映像データのデータ量を軽減するとともに、複数の領域間における画質の違いを目立ち難くすることができる。

特に、本実施形態のＩＷＢ１００は、符号化を行う前の映像データに対して、一部の領域の低解像化を行うため、送信元のＩＷＢ１００および送信先のＩＷＢ１００の各々において、符号化処理および復号化処理に変更を加えることなく、複数の領域間における画質の違いが目立たなくなるように、符号化データのデータサイズを軽減することができる。

また、本実施形態のＩＷＢ１００は、直前まで顔検出ができていたにも関わらず、顔の向きが変わる等により、一時的に顔検出ができなかった領域については、高画質設定を維持する。これにより、当該領域の画質が頻繁に切り替わることを防止することができ、よって、当該画質の切り替わりによる不自然さを防止することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明はこれらの実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。

例えば、上記実施形態では、「映像処理装置」および「通信端末」の一例としてＩＷＢ１００（電子黒板）を用いているが、これに限らない。例えば、上記実施形態で説明したＩＷＢ１００の機能は、撮像装置を備えた他の情報処理装置（例えば、スマートフォン、タブレット端末、ノートパソコン等）によって実現されてもよく、撮像装置を備えていない他の情報処理装置（例えば、パーソナルコンピュータ等）によって実現されてもよい。

また、例えば、上記実施形態では、本発明をテレビ会議システムに適用した例を説明したが、これに限らない。すなわち、本発明は、映像データの一部の領域を低画質化することによってデータ量の削減を目的とするものであれば、如何なる用途にも適用可能である。また、本発明は、映像データの符号化および復号化を行わない情報処理装置にも適用可能である。

また、例えば、上記実施形態では、「特定領域」の一例として顔検出領域を用いているが、これに限らない。すなわち、「特定領域」は、比較的高画質とすることが好ましい被写体（例えば、文字や画像が示されている資料、ホワイトボード、監視カメラにおける人物等）が映し出されている領域であれば、如何なる領域であってもよい。

また、上記実施形態において、各処理に用いられる各種設定値（例えば、特定領域の検出対象とする被写体、特定領域および境界部のサイズ、各画質領域の画質設定値、動き判定に用いられるブロックサイズ、閾値ｔｈ１および閾値ｔｈ２、参照ブロックの範囲等）は、予め好適な値が設定されたものであってもよく、ユーザが、ユーザインタフェースを備える情報処理装置（例えば、パーソナルコンピュータ等）から、好適な値を任意に設定可能であってもよい。

１０ テレビ会議システム
１２ 会議サーバ
１４ 会議予約サーバ
１６ ネットワーク
１００ ＩＷＢ（映像処理装置、通信端末）
１０１ カメラ（撮像装置）
１０２ タッチパネル・ディスプレイ（表示装置）
１０３ マイク
１０４ スピーカ
１２０ 主制御部
１２２ 映像取得部
１２４ 映像処理部
１２６特定領域検出部
１２６Ａ 動き領域検出部
１２６Ｂ 顔領域検出部
１２８ 符号化部
１３０ 送信部
１３２ 受信部
１３４ 復号化部
１３６ 表示制御部
１３８ 音声取得部
１４０ 音声処理部
１４２ 音声出力部

特開２０１７−１６３２２８号公報

Claims (11)

1. 映像を取得する映像取得部と、
   前記映像における特定領域を検出する特定領域検出部と、
   前記映像における前記特定領域以外の他の領域の画質を、前記特定領域の画質よりも低くする映像処理部と
   を備え、
   前記映像処理部は、
   前記映像における前記特定領域と前記他の領域との境界部の画質を、前記特定領域よりも低く、且つ、前記他の領域よりも高くする
   ことを特徴とする映像処理装置。
2. 前記境界部の画質は、前記他の領域に近づくにつれて段階的に低い
   ことを特徴とする請求項１に記載の映像処理装置。
3. 前記特定領域検出部は、
   前記映像における動き領域を前記特定領域として検出する動き領域検出部
   をさらに備えることを特徴とする請求項１または２に記載の映像処理装置。
4. 前記特定領域検出部は、
   前記映像における顔領域を前記特定領域として検出する顔領域検出部
   をさらに備えることを特徴とする請求項１から３のいずれか一項に記載の映像処理装置。
5. 前記特定領域検出部は、
   前記顔領域検出部によって前記顔領域として検出されなかった領域のうち、直前まで前記顔領域として検出された領域を、前記特定領域として検出する
   ことを特徴とする請求項４に記載の映像処理装置。
6. 前記映像処理部は、
   前記他の領域および前記境界部の画質を、時間が経過するにつれて段階的に低くする
   ことを特徴とする請求項１から５のいずれか一項に記載の映像処理装置。
7. 前記映像処理部による処理後の前記映像を符号化する符号化部と、
   前記符号化部によって符号化された前記映像を外部の装置へ送信する送信部と
   をさらに備えることを特徴とする請求項１から６のいずれか一項に記載の映像処理装置。
8. 撮像装置と、
   請求項１から７のいずれか一項に記載の映像処理装置と
   を備えることを特徴とする通信端末。
9. 複数の請求項８に記載の通信端末と、
   前記複数の通信端末によるテレビ会議に関する各種制御を行うサーバ装置と
   を備えることを特徴とするテレビ会議システム。
10. 映像を取得する映像取得工程と、
    前記映像における特定領域を検出する特定領域検出工程と、
    前記映像における前記特定領域以外の他の領域の画質を、前記特定領域の画質よりも低くする映像処理工程と
    を含み、
    前記映像処理工程において、
    前記映像における前記特定領域と前記他の領域との境界部の画質を、前記特定領域よりも低く、且つ、前記他の領域よりも高くする
    ことを特徴とする映像処理方法。
11. コンピュータを、
    映像を取得する映像取得部、
    前記映像における特定領域を検出する特定領域検出部、および、
    前記映像における前記特定領域以外の他の領域の画質を、前記特定領域の画質よりも低くするとともに、前記映像における前記特定領域と前記他の領域との境界部の画質を、前記特定領域よりも低く、且つ、前記他の領域よりも高くする映像処理部
    として機能させることを特徴とするプログラム。

Images