JP6416255B2 - 画像処理システム、及び、画像処理方法 - Google Patents

Description

本発明は、画像処理システム及び画像処理方法に関し、特に、画像信号の符号化技術と鮮明化技術を用いる画像処理システム及び画像処理方法に関するものである。

ＩＴＵ−Ｔ勧告のＨ．２６４に代表される動画像符号化技術やＪＰＥＧに代表される静止画符号化技術は、テレビ電話、遠隔会議、またはネットワーク監視カメラ等の画像を伝送するアプリケーションにおいて欠かせない技術である。

このような画像を符号化して伝送するアプリケーションにおいて、多数の拠点に設置された複数のカメラによって撮影された画像を、インターネット、イントラネット、公衆網などの通信ネットワーク経由で同時に伝送し、１個の画像受信端末でこれらの画像を１個の画面にまとめて表示することが一般に行われている。このとき、１個の画像で発生する符号化量に、トータルの画像数を乗算したデータサイズの符号化データが、通信ネットワークを介して１個の端末に伝送されることになる。通信ネットワークの伝送帯域の限界を上回るデータサイズの画像が伝送された場合、動画像を伝送するアプリケーションには通信エラーやデータ遅延が生じ、受信画像の劣化やフリーズなどが発生することがある。

また、伝送された画像をハードディスク（磁気ディスク）や光ディスク等のメディアに記録して保存する際に、データサイズが大きいと大容量の記録メディアが必要になり、記録装置のコストアップを招いてしまう。あるいは、限られた記録容量のメディアを用いると、短時間の記録しかできないという問題がある。

したがって、画像を伝送したり記録したりするアプリケーションをユーザに提供する場合、そのアプリケーションを実現するシステムでは、伝送帯域や記録容量に合わせて画像を符号化して圧縮し、データサイズを削減する必要がある。しかし、一般的に画像の符号化データサイズと画質とは相反する関係にあり、符号化データサイズを減らすほど画質は劣化する。そこで、符号化データサイズを削減してもユーザにとって所望の画質を維持できる技術の実現が望まれている。

このようなアプリケーションにおいて、撮像に用いるカメラの画素数が技術の進歩とともに増加してきており、現在では例えば水平１９２０画素×垂直１０８０画素（以下、フルＨＤサイズと略記）の画像などが一般に用いられている。しかしながら、前述したような通信ネットワークの伝送帯域や記録メディアの容量の制約などを鑑みて、撮像時の画素数を意図的に減らし、例えば水平７０４画素×垂直４８０画素（以下、Ｄ１サイズと略記）の画像を符号化対象とすることによって、データサイズを削減することがある。このとき、撮像された画像フレームの一部をトリミングして符号化対象の画像とすることもあるが、撮像された画像フレームの全体を縮小して画素数を減らし、符号化対象の画像とすることが多い。伝送あるいは記録された画像を再生する際には、縮小された画像を拡大して表示することが一般的に行われている。

画像を拡大する際に、補間フィルタ等によって画素数を増やすだけでは、拡大後の画像がぼやけてしまうことがよく知られている。そこで、画像の鮮明化を併用することによって、ぼやけを抑える技術が多数提案されている。

画像を鮮明化する技術として、画像に含まれる高周波成分を増幅してエッジ等を強調する技術が古くから用いられている。また近年では、超解像と呼ばれる信号処理技術が盛んに開発されている。例えば、特許文献１に記載された技術では、画像に含まれる高周波成分に対して非線形処理を行ったのちに元の画像に加えることによって、伝送あるいは記録された画像の解像度限界を表すナイキスト周波数を超える高調波成分を生成する。また特許文献２に記載された技術では、ナイキスト周波数を超えた高周波成分が折返し成分として画像に含まれていることを利用し、複数の画像フレームを入力画像とし、各画像フレームに写っている被写体の位置を正確に合わせたのちに、ベースバンド成分と折返し成分を分離し、折り返す前の周波数成分に復調（逆変換）し、復調後の折返し成分をベースバンド信号に加えることによって、高解像度の画像を得る。また、特許文献３に記載された技術では、１フレームの画像から、特許文献２に記載された技術と同様の折返し成分の分離を行っている。また、非特許文献１には、複数の画像フレームを用いて、反復演算を伴う逐次近似処理によって高解像度の画像を得る技術が多数紹介されている。また、非特許文献２には、１フレームの画像から、逐次近似処理によって高解像度の画像を得る技術が述べられている。

特許第５３２０５３８号公報 特許第５１０３３１４号公報 特許第５２５０２３３号公報

Ｓ．Ｃ．Ｐａｒｋ， Ｍ．Ｋ．Ｐａｒｋ， ａｎｄ Ｍ．Ｇ．Ｋａｎｇ，"Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ： Ａ Ｔｅｃｈｎｉｃａｌ Ｏｖｅｒｖｉｅｗ，" ＩＥＥＥ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｍａｇａｚｉｎｅ， ｖｏｌ．２０， ｎｏ．３， ｐｐ．２１−３６， ２００３． 井田，松本，五十川，"画像の自己合同性を利用した再構成型超解像，"電子情報通信学会技術報告，ＩＥ２００７−１３５，ｐｐ．１３５−１４０，２００７．

前述したような、テレビ電話、遠隔会議、またはネットワーク監視カメラ等の画像を伝送し、あるいは記録し、表示するアプリケーションを実現する手段として、パーソナルコンピュータ（以下、ＰＣと略記）やモバイル端末などが用いられることが多い。これらの端末では、信号処理を汎用的なＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＧＰＵ（Ｇｅｎｅｒａｌ Ｐｕｒｐｏｓｅ Ｃｏｍｐｕｔｉｎｇ ｏｎ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などによるソフトウェア処理で行うことによって、特別なハードウェアを用いなくても、画像の符号化、復号化、縮小、拡大、鮮明化、複数画像の合成、などを実現できる。

その一方で、前述した超解像処理は、画像に含まれる高周波成分を増幅するだけのエッジ強調処理などに比べて、処理に必要な演算量が極めて大きい。例えば、非特許文献１や非特許文献２に記載されている逐次近似処理を用いた超解像技術では、後述するように、１枚の出力画像を得るために、入力画像の拡大、拡大後の画像の縮小、入力画像との差分検出、および出力画像の補正処理を、数回反復する必要があり、演算に必要なＣＰＵ等やメモリ等の計算リソースを多大に消費してしまう。特に、前述したような、多数の拠点に設置された複数のカメラによって撮影された画像を、通信ネットワーク経由で同時に伝送し、１個の画像受信端末でこれらの画像を１個の画面にまとめて表示する場合に、この画像受信端末をＰＣで実現しようとすると、複数の画像の復号化と拡大と鮮明化の処理を同時に行うことになり、計算リソースの処理限界を大きく超えてしまって、画像の動きがぎくしゃくするコマ落ちが発生したり、処理全体が止まってしまったり、マウスやキーボード等によるユーザ入力を受け付けず無応答の状態になったりする問題が生じる。したがって、複数の画像データを受信しながら、画像の鮮明化を並行して行うことは容易ではない。

本発明はこのような状況に鑑みてなされたものであり、画像受信端末が備えている計算リソースの性能に応じて、画像の拡大と鮮明化の信号処理を柔軟に実行することによって、画質を高めた画像伝送を実現する技術を提供するものである。

上記課題を解決するために、例えば請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、画像処理システムであって、複数の第１画像処理装置と、第１画像処理装置から符号化された画像の信号を受け取る第２画像処理装置とを有する画像処理システムであって、第１画像処理装置は、画像を撮像する撮像部と、画像を符号化し、信号を出力する符号化部と、信号を前記第２画像処理装置へ送信する送信部と、を備え、第２画像処理装置は、信号を受信し、復号化した復号画像を出力する復号化部と、復号画像を鮮明化処理し、鮮明化画像を出力する鮮明化処理部と、復号画像または、鮮明化画像を表示する表示部と、表示部で表示する画像を切り替える制御部とを備え、鮮明化処理部では、復号画像を拡大した拡大画像を生成し、拡大画像から高周波成分を抜き出して非線形処理を行った第１処理済画像と拡大画像とを合成して第２処理済画像を生成し、前記第２処理済画像から折り返し成分を除去した画像を鮮明化画像として出力することを特徴とする。

あるいは、複数の第１画像処理装置で撮像した画像を第２画像処理装置で処理する画像処理方法であって、第１画像処理装置で画像を撮像する第１ステップと、画像を符号化し、信号を出力する第２ステップと、信号を前記第２画像処理装置へ送信する第３ステップと、信号を受信し、復号化した復号画像を出力する第４ステップと、復号画像を鮮明化処理し、鮮明化画像を出力する第５ステップと、復号画像または、鮮明化画像を表示部で表示する第６ステップと、表示部で表示する画像を切り替える第７ステップと、を備え、第５ステップでは、復号画像を拡大した拡大画像を生成し、拡大画像から高周波成分を抜き出して非線形処理を行った第１処理済画像と拡大画像とを合成して第２処理済画像を生成し、第２処理済画像から折り返し成分を除去した画像を鮮明化画像として出力することを特徴とする。

本発明によれば、計算リソースの性能に応じて、画像の拡大と鮮明化の信号処理を柔軟に実行でき、画質を高めた画像伝送を実現することができるようになる。

本発明の実施形態による第１の画像処理システムの概略構成を説明するための図である。 一般的な画像鮮明化処理（例）を説明するための図である。 本発明の実施形態による第１の表示切り替え処理の手順（例）を説明するためのフローチャートである。 本発明の実施形態による画像受信処理の手順（例）を説明するためのフローチャートである。 本発明の実施形態による画像拡大および鮮明化処理の構成（例）を説明するための図である。 本発明の実施形態による画像拡大および鮮明化処理の動作（例）を説明するための図である。 本発明の実施形態による画像縮小の構成を説明するための図である。 本発明の実施形態による第２の画像処理システムの概略を説明するための図である。 本発明の実施形態による第２の表示切り替え処理を説明するための図である。 本発明の実施形態による第３の画像処理システムの概略構成を説明するための図である。 本発明の実施形態による第３の画像処理システムの動作を説明するための図である。 本発明の実施形態によるその他の画像表示形態（例）を説明するための図である。

本発明は、画質を高めた画像伝送を実現する技術を提供するものである。

以下、添付図面を参照して本発明の実施形態について説明する。また、各図において共通の構成については同一の参照番号が付される。なお、添付図面は本発明の原理に則った具体的な実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。

本実施形態では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本発明の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。

更に、本発明の実施形態は、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし、ソフトウェアとハードウェアの組み合わせで実装しても良い。

また、以下の説明で用いる「除去する」という用語は、「完全に無くす」という意味のほかに、「低減する」あるいは「弱める」という意味も含む。

また、画像フレームを構成する画素数として、フルＨＤサイズ（水平１９２０画素×垂直１０８０画素）とＤ１サイズ（水平７０４画素×垂直４８０画素）を例に挙げて以下説明するが、これら以外の画素数を持った画像フレームを扱う場合においても本発明を適用できることは明らかであり、決して本発明を限定的に解釈するために用いられるものではない。

＜画像処理システムの概略構成＞
図１は、本発明の実施形態による画像処理システムの概略構成を示す図である。画像処理システムは、ｎ個（ただし、ｎは１以上の整数）の画像送信装置（１０１−＃１〜＃ｎ）、通信ネットワーク（１０５）、画像受信装置（１０６）、ユーザが画像受信装置（１０６）を操作するための操作部（１１１）、画像受信装置（１０６）の出力画像を表示するための表示部（１１２）によって構成される。

画像送信装置（１０１）は、カメラ（１０２）と、画像縮小部（１０３）と、符号化部（１０４）によって構成される。カメラ（１０２）は、例えば、図示しないＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの光電変換素子とレンズからなる一般的な撮像部と、信号レベル調整、コントラスト調整、ブライトネス調整、ホワイトバランス調整などを行う一般的な信号処理部によって構成される。画像縮小部（１０３）は、カメラ（１０２）で得た画像の画素数を減らす処理を行うものであり、撮像された画像フレームの一部をトリミングして画素数を減らしてもよい。また、もともと画素数の少ないカメラを用いる場合には、画像縮小部（１０３）を省略してもよい。符号化部（１０４）は、一般に知られているＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４、ＶＣ−１、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、Ｍｏｔｉｏｎ ＪＰＥＧ、ＪＰＥＧ−２０００などの標準規格化された符号化を行ってもよいし、非標準の符号化を行ってもよい。なお、画像送信装置（１０１）と通信ネットワーク（１０５）とを接続するための処理構成は、一般的な技術で実現可能なため、図示を省略している。

通信ネットワーク（１０５）は、有線あるいは無線のどちらでもよく、一般的なＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）などの通信プロトコルを用いてデジタルデータを通信するためのネットワークである。

画像受信装置（１０６）は、画像送信装置（１０１−＃１〜＃ｎ）から伝送されたそれぞれの画像を復号するための復号化器（１０７−＃１〜＃ｎ）と、後述する画像選択あるいは画像合成を行う処理部（１０８）と、後述する画像拡大および鮮明化を行う処理部（１０９）と、操作部（１１１）からの信号に基づいてこれらの処理部（１０８、１０９）を制御する制御部（１１０）から構成される。なお、通信ネットワーク（１０５）と画像受信装置（１０６）とを接続するための処理構成は、一般的な技術で実現可能なため、図示を省略している。

画像受信装置（１０６）で再生された画像は、表示部（１１２）で表示される。このとき、前記ｎ＝１のときには、図１における表示形態（１１３）の（ａ）画像選択モードに示すように、１個の画像を表示部の画面全体に表示する。一方、前記ｎ≧２の場合には、ｎ個の画像の中から１個の画像だけを選択して表示する（ａ）画像選択モードと、ｎ個を上限とした複数の画像（図１では、９個の画像の場合を例示）を１個の画像に合成して表示する（ｂ）画像合成モードとを、ユーザ操作部（１１１）からの信号によって切り替える。

以上述べた画像処理システムの構成により、ｎ個（ただし、ｎは１以上の整数）のカメラによって撮影された各画像を、通信ネットワークを介して１個の画像受信装置で表示できるようになる。このとき、ｎ個の画像の中で、ユーザが指定した１個の画像だけを選択的に表示することと、ｎ個を上限とした複数の画像を網羅的に表示することが可能になる。また、画像拡大および鮮明化を行う処理を用いることにより、画像を拡大して表示したときにも、ぼやけの少ない鮮明な画像を表示することができる。

＜一般的な画像鮮明化処理の概要とその課題＞
図２は、これまでに開示されている一般的な画像鮮明化処理の構成例を示している。図２に示す画像鮮明化処理は、図１に示した画像拡大および鮮明化を行う処理部（１０９）として用いることができる。

図２（ａ）に示す構成の画像鮮明化処理（１０９（ａ））では、画像拡大部（２０１）によって入力画像を拡大したのちに、水平・垂直ハイパスフィルタ（２０２）によって拡大画像に含まれる高周波成分を抽出し、乗算器（２０３）でこの高周波成分に係数Ｋを乗じて高周波成分の信号強度を調整し、非線形処理部（２０４）で信号強度の非線形処理を行って、加算器（２０５）で拡大後の画像と非線形処理後の高周波成分を加算し、出力画像とする。ここで、非線形処理部（２０４）の動作を省略すれば、一般的な高周波成分の増幅処理（エッジ強調）になる。また、非線形処理部（２０４）における信号強度の非線形処理は、例えば信号値を３乗することによって奇数次高調波成分を生成する処理や、ノイズを低減する小振幅信号除去（コアリング）や、過度のエッジ強調を抑える大振幅信号除去（リミッタ）を備えてもよい。この画像鮮明化処理は、後述する図２（ｂ）および図２（ｃ）に示す画像鮮明化処理と比較して少ない演算量で画像のぼやけを除去できる利点があるが、画像の画素数を増減したときに発生する折り返し成分を除去する効果はない。なお、図２（ａ）に示す構成の画像鮮明化処理（１０９（ａ））は、例えば特許文献１に記載されている技術によって実現可能なため、各部の詳細な構成および動作の説明は省略する。

図２（ｂ）に示す構成の画像鮮明化処理（１０９（ｂ））では、画像拡大部（２０６）によって入力画像を拡大したのちに、折返し分離部（２０７）によって１個あるいは複数個の拡大画像からベースバンド成分と折返し成分を分離し、復調器（２０８）によって折返し成分を折り返す前の周波数成分に復調（逆変換）したのちに、復調した折返し成分とベースバンド信号を加算器（２０９）で加算し、出力画像とする。この画像鮮明化処理は、折返し成分を除去することにより、画像中に含まれる線のギザギザやモアレ等の画質劣化を抑えながら、ナイキスト周波数を超える高周波成分を再生して、画像を鮮明化する。その一方で、この画像鮮明化処理には、減衰した高周波成分を増幅する効果はない。なお、図２（ｂ）に示す構成の画像鮮明化処理（１０９（ｂ））は、例えば特許文献２や特許文献３に記載されている技術によって実現可能なため、各部の詳細な構成および動作の説明は省略する。

図２（ｃ）に示す構成の画像鮮明化処理（１０９（ｃ））では、仮に設定した出力画像（初期画像）を画像縮小部（２１０）によって入力画像と同じ画素数になるように縮小し、差分検出部（２１１）によって縮小画像と入力画像の差分を検出して画素ごとの補正値を生成し、加算器（２１２）によって入力画像と補正値を加えて画像拡大部（２１３）に入力し、その出力を新たな仮の出力画像とする。これらの処理を、補正値が徐々に小さくなるように何回も反復して行い、すべての画素に対応する補正値が予め定められた閾値よりも小さくなっとき、あるいは、反復回数が予め定められた回数よりも大きくなったときに、画像拡大部（２１３）の出力を出力画像とする。このとき、入力画像を１フレームとしてもよいし、入力画像を複数フレームとし、各フレーム上の被写体の位置が一致するように位置補正したのちの平均画像を差分検出部（２１１）と加算器（２１２）への入力画像としてもよい。この画像鮮明化処理は、折返し成分の除去と画像のぼやけ除去（高周波成分の増幅）を同時に実現できる。その一方で、この画像鮮明化処理には反復演算が必要なため、リアルタイム処理を実現するためには高性能の計算リソースを必要とする。なお、図２（ｃ）に示す構成の画像鮮明化処理（１０９（ｃ））は、例えば非特許文献１や非特許文献２に記載されている技術によって実現可能なため、各部の詳細な構成および動作の説明は省略する。

以上述べた画像鮮明化処理により、ぼやけを抑えた拡大画像を得ることができる。しかしながら、これらの画像鮮明化処理は、画像に含まれる高周波成分を増幅するだけのエッジ強調処理などに比べて、処理に必要な演算量が大きい。したがって、複数のカメラで得られた画像のすべてに対して画像鮮明化処理を行うと、画像受信装置（１０６）が備えている計算リソースの処理限界を大きく超えてしまって、画像の動きがぎくしゃくするコマ落ちが発生したり、処理全体が止まってしまったり、マウスやキーボード等によるユーザ入力を受け付けず無応答の状態になったりする問題が生じるため、複数の画像データを受信しながら、画像の鮮明化を並行して行うことは容易ではない。

＜表示切り替え処理の手順（例）＞
前述の課題を解決するために、本発明の実施形態では、以下に述べるような手順を有する表示切り替え処理を提案する。

図３は、本発明の実施形態による表示切り替え処理の手順の一例を示すフローチャートである。図３において、ステップ（３０１）から表示切り替え処理を開始し、ステップ（３０２）にてユーザが指定した表示モードを識別し、（ａ）画像選択モードであればステップ（３０３）に進み、（ｂ）画像合成モードであればステップ（３０５）に進む。

（ａ）画像選択モードは、復号化されたｎ個（ただし、ｎは１以上の整数）の画像の中から、ユーザが表示したい１個の画像を選択して表示する処理モードである。このとき、例えば復号化されたＤ１サイズ（水平７０４画素×垂直４８０画素）の画像をフルＨＤサイズ（水平１９２０画素×垂直１０８０画素）の表示部にて表示することを想定すると、水平方向に約２．７倍（＝１９２０／７０４）、垂直方向に約２．３倍（＝１０８０／４８０）の画像拡大を行うことになり、画像のぼやけが顕著である。逆に言うと、鮮明化処理によるぼやけ除去の効果が大きい。また、表示する画像が１個であるため、鮮明化の処理対象もこの画像だけに絞ればよい。すなわち、表示しない画像に対する鮮明化処理は不要となり、復号化したすべての画像に対して鮮明化処理を行うよりも、処理に必要な計算リソースを削減できる。したがって、ステップ（３０３）では、ユーザからの指示に基づき、復号化されたｎ個（ただし、ｎは１以上の整数）の画像の中からユーザが表示したい画像を選択し、ステップ（３０４）にて画像拡大および鮮明化の処理を行って、ステップ（３０７）にて表示切り替え処理を終了する。

一方、（ｂ）画像合成モードは、ｎ個を上限とした複数の画像（図１では、９個の画像の場合を例示）を１個の画像に合成して表示する処理モードである。このとき、例えば復号化されたＤ１サイズ（水平７０４画素×垂直４８０画素）の９個の画像を１個の画像に合成してフルＨＤサイズ（水平１９２０画素×垂直１０８０画素）の表示部にて表示することを想定すると、復号化された１個の画像あたりの表示画素数は、水平６４０画素（＝１９２０／３）×垂直３６０画素（＝１０８０／３）となり、伝送されたＤ１サイズよりも小さくなる。したがって、画像拡大および鮮明化の処理は不要になるため、ステップ（３０５）では、表示すべき複数の画像を１個の画像に合成し、ステップ（３０６）にて画像拡大および鮮明化の処理を行わないように各部を制御して、ステップ（３０７）にて表示切り替え処理を終了する。なお、画像合成後の１個の画像あたりの表示画素数が、符号化画像として伝送された画素数よりも大きい場合でも、前述した（ａ）画像選択モードにおける表示画素数よりは小さくなるため、（ｂ）画像合成モードにおける表示画像のぼやけは比較的小さい。したがって、鮮明化処理によるぼやけ除去の効果も比較的小さくなるため、（ｂ）画像合成モードで鮮明化処理を止めるように制御しても大きな問題は生じない。

なお、図３に示した表示切り替え処理は、ユーザによるモード切り替え操作が発生したときに実行すればよい。このとき、ユーザによる（ａ）画像選択モードから（ｂ）画像合成モードへの切り替え操作は、例えば、図１に示す操作部（１１１）のキーボードによる特定のキー操作（例えば、エスケープキーの押下げ）や、操作部（１１１）のマウスによる特定の操作（例えば、右ボタンのクリック）をトリガとして、モード切り替えを実行すればよい。また、ユーザによる（ｂ）画像合成モードから（ａ）画像選択モードへの切り替え操作は、例えば、表示部（１１２）に表示された複数の画像をユーザが見ながら、選択したい画像と対応したコードを操作部（１１１）のキーボードから入力したり、選択したい画像と対応した位置にあるテンキーを押下げたり、操作部（１１１）のマウスの動きと対応して表示部（１１２）に表示されるカーソルを選択したい画像の上に移動させたのちにマウスの左ボタンをダブルクリックしたりして、画像の選択とモード切り替えを同時に実行すればよい。

以上述べた表示切り替え処理の手順（例）により、（ａ）画像選択モードでは、鮮明化の処理対象を表示画像だけに絞り、表示しない画像に対する鮮明化処理を止めることによって、復号化したすべての画像に対して鮮明化の処理を行うよりも、処理に必要な計算リソースを削減できるようになる。また、（ｂ）画像合成モードでは、鮮明化の処理を一切行わないようにすることによって、計算リソースを大きく削減できるようになる。

＜画像受信処理の手順（例）＞
前述した表示切り替え処理の手順（例）では、表示モードごとに鮮明化処理の有無を切り替えることによって計算リソースの削減を実現した。しかしながら、鮮明化処理そのものに必要な計算リソースを削減できたわけではない。そこで、この課題（鮮明化処理に必要な計算リソースの削減）を解決するために、本発明の実施形態では、以下に述べるような手順を有する画像受信処理を提案する。

図４は、本発明の実施形態による画像受信処理の手順の一例を示すフローチャートである。図４において、ステップ（４０１）から画像受信処理を開始し、ステップ（４０２）にて伝送されたｎ個（ただし、ｎは１以上の整数）の画像データの受信処理と復号化処理を行う。続くステップ（３０１〜３０７）は、図３に示した表示切り替え処理の手順であり、ユーザ操作によって設定された表示モードに応じて、（ａ）画像選択モードのときにはステップ（４０４）に進み、（ｂ）画像合成モードのときにはステップ（４０９）にて画像表示を行って、ステップ（４１０）にて画像受信処理を終了する。

ステップ（４０４）では、ステップ（４０５）で実行する画像拡大および鮮明化の処理にかかる時間の計測を開始し、ステップ（４０６）でこの時間計測を終了して、ステップ（４０７）に進む。このとき、ステップ（４０４）でタイマーを起動し、ステップ（４０６）でタイマーが示す経過時間を読み取ってステップ（４０５）の処理時間としたのちに、タイマーの動作を終了すればよい。あるいは、タイマー起動時からの経過時間を、ステップ（４０４）とステップ（４０６）でそれぞれ読み取り、両者の時間差をステップ（４０５）の処理時間としてもよい。あるいは、ステップ（４０４）を省略し、前回ステップ（４０６）で読み取った時間と今回ステップ（４０６）で読み取った時間との差をステップ（４０５）の処理時間としてもよい。なお、ステップ（４０５）では、後述する図５に示す構成の処理を行うことによって、画像拡大および鮮明化処理を実行する。

ステップ（４０７）では、ステップ（４０６）で計測したステップ（４０５）の処理時間と所定の設定値を比較して、後述するようにステップ（４０５）における次回の鮮明化処理の内容を決定する。具体的には、ステップ（４０５）の処理時間が所定の設定値以下になるように、例えば後述する図６に示す処理内容の中から次回の鮮明化処理の内容を決定する。その後、ステップ（４０９）にて画像表示を行って、ステップ（４１０）にて画像受信処理を終了する。このとき、所定の設定値として、例えばステップ（４０５）を画像の１フレーム単位で実行する場合には、画像を表示する際の平均フレームレートの逆数にマージンを考慮した値を設定値とすればよい。すなわち、例えば毎秒５フレームの表示を行いたいときには、所定の設定値を２００ミリ秒以下の値とすればよい。

以上述べた画像受信処理の手順（例）により、画像拡大および鮮明化にかかった時間に応じて、図１に示した画像受信装置（１０６）が備えている計算リソースにおける余裕の度合いを把握できるようになり、この結果に基づいて次回の鮮明化処理の内容を決定することにより、計算リソースの処理限界を大きく超えてしまって、画像の動きがぎくしゃくするコマ落ちが発生したり、処理全体が止まってしまったり、マウスやキーボード等によるユーザ入力を受け付けず無応答の状態になったりする問題を回避でき、計算リソースの性能に応じて画像の拡大と鮮明化の信号処理を柔軟に実行できるようになる。

＜画像拡大および鮮明化処理の構成（例）＞
図５は、本発明の実施形態による画像拡大および鮮明化処理の構成例を示す図である。前述したように、図２（ａ）（ｂ）（ｃ）に示した画像拡大および鮮明化処理には、それぞれに利点と欠点があり、また後述するように各処理の内容に選択肢が存在する。そこで、図４に示した画像受信処理の手順によって測定した画像拡大および鮮明化にかかった時間に応じて、すなわち画像受信装置（１０６）が備えている計算リソースにおける余裕の度合いに応じて、複数の画像拡大および鮮明化処理を組み合わせたり、各処理の内容を選択したりすることによって、計算リソースの性能に応じて画像の拡大と鮮明化の信号処理を柔軟に実行する。

図５において、画像の拡大と鮮明化を行う処理部（５０１）は、図２（ａ）（ｂ）に示した画像拡大および鮮明化を行う処理部（１０９（ａ））と別の画像拡大および鮮明化を行う処理部（１０９（ｂ））を直列に組み合わせたものである。この組み合わせによって前述した両処理部の短所を補い合うことができるようになり、処理部（１０９（ａ））で画像のぼやけを除去し、処理部（１０９（ｂ））で折返し成分を除去することができるようになる。また、切り替え器（５０２）（５０３）によって、図２（ｃ）に示した画像拡大および鮮明化を行う処理部（１０９（ｃ））を用いるように切り替えることもできる。なお、この構成は画像拡大および鮮明化処理の組み合わせ方の一例を示しており、図５の構成に限定されるわけではない。例えば、処理部（１０９（ａ））と処理部（１０９（ｂ））の順序を逆にしたり、処理部（１０９（ａ））と処理部（１０９（ｂ））、あるいは処理部（１０９（ｃ））のどちらか一方のみを用いるようにしたりしてもよい。

ここで、画像拡大および鮮明化を行う処理部（１０９（ａ））では、図５に示すような処理内容の選択肢（例）がある。すなわち、図２（ａ）における水平・垂直フィルタ（２０２）のタップ数を増やすことによってフィルタの周波数特性をきめ細かく設定して画質を向上したり、逆にタップ数を減らすことによって、画質は若干犠牲になるが、演算量を減らして処理時間を短くしたりできる。また、図２（ａ）に示した非線形処理（２０４）を行って奇数次高調波成分を生成してもよいし、逆に非線形処理（２０４）を行わないことによって、画質は若干犠牲になるが、演算量を減らして処理時間を短くしたりできる。また、処理部（１０９（ａ））全体の処理を行わないことによって、演算量を大きく減らすこともできる。

同様に、画像拡大および鮮明化を行う処理部（１０９（ｂ））にも、図５に示すような処理内容の選択肢（例）がある。すなわち、図２（ｂ）における折返し成分の復調（２０８）と加算（２０９）によって画像を鮮明化することもできるが、計算リソースが不足しているときには、この復調（２０８）と加算（２０９）を行わなくても、折返し成分を分離したベースバンド信号が出力画像となり、折返し成分に起因するギザギザやモアレを抑えることができる。また、この処理に用いる入力画像のフレーム数を増やすことによって折返し成分の分離精度を上げて高画質化することもできるし、逆に入力画像のフレーム数を１とすることによって、フレーム間の被写体の位置合わせを不要として演算量を大きく減らすこともできる。また、処理部（１０９（ｂ））全体の処理を行わないことによって、演算量を大きく減らすこともできる。なお、処理部（１０９（ａ））と処理部（１０９（ｂ））を併用する際には、処理部（１０９（ａ））の画像拡大部（２０１）において画像を拡大するため、処理部（１０９（ｂ））の画像拡大部（２０６）は不要である。

同様に、画像拡大および鮮明化を行う処理部（１０９（ｃ））にも、図５に示すような処理内容の選択肢（例）がある。すなわち、図２（ｃ）における画像縮小部（２１０）、差分検出部（２１１）、加算器（２１２）、画像拡大部（２１３）の各処理を反復する回数を増やすことによって、補正値が十分に小さな値に収束した結果を出力画像としてもよいし、逆にこの反復回数を減らすことによって、画質は若干犠牲になるが、演算量を減らして処理時間を短くしたりできる。また、この処理に用いる入力画像のフレーム数を増やすして画質を向上することもできるし、逆に入力画像のフレーム数を１とすることによって、フレーム間の被写体の位置合わせを不要として演算量を大きく減らすこともできる。

図５における制御部（５０４）を用いて、図４におけるステップ（４０７）によって決定された処理内容に基づいて、前述した多数の選択肢の中から１つの処理内容を選択し、各部（１０９（ａ）、１０９（ｂ）、１０９（ｃ）、５０２、５０３）の制御を行う。この具体的な動作については後述する。

以上述べた画像拡大および鮮明化処理により、計算リソースの性能に応じた柔軟な鮮明化処理を行うことができるようになる。

＜画像拡大および鮮明化処理の動作（例）＞
図６に、前述した図５における制御部（５０４）の動作（例）をまとめて示す。前述のように、図５における画像拡大および鮮明化を行う処理部（１０９（ａ）、１０９（ｂ）、１０９（ｃ））には、それぞれの処理内容に選択肢があり、それぞれの処理に必要な演算量も異なる。そこで、図６に示すように、処理に必要な演算量の大きさごとに応じてレベルを設定し、各処理部（１０９（ａ）、１０９（ｂ）、１０９（ｃ））の処理内容を事前に設定しておく。なお、図６に示した各処理内容や処理パラメータは動作説明のための一例であり、この処理内容に限定されるわけではない。

図６において、レベル１からレベル４までは、処理部（１０９（ａ））による画像拡大および鮮明化だけを行い、処理部（１０９（ｂ））および 処理部（１０９（ｃ））の処理を行わないことを示している。また、レベル１からレベル４まで処理部（１０９（ａ））の演算量が徐々に大きくなるとともに、高画質になるように設定している。その他のレベルについても同様に、演算量と画質が正の相関になるように各処理部（１０９（ａ）、１０９（ｂ）、１０９（ｃ））の処理内容を設定している。図４におけるステップ（４０５）の処理時間が所定の設定値よりも大きいときには図６のレベルが小さくなるように変更し、逆にステップ（４０５）の処理時間が所定の設定値よりも小さいときには図６のレベルが大きくなるように変更すれば、ステップ（４０５）の処理時間が所定の設定値の近傍に制御でき、計算リソースに見合った画質が得られるようになる。なお、ステップ（４０５）の処理時間として、１回の計測で得られた処理時間を用いてもよいし、複数回の計測で得られた処理時間の平均値を用いることによって頻繁なレベル変更を抑えてもよい。

本実施の形態では、実施例１の構成に加え、カメラ識別機能を加えた画像処理装置について説明する。なお、実施例１と同様の構成については、適宜説明を省略する。
＜第２の画像処理システムの概略構成＞
図８は、本発明の実施形態による第２の画像処理システムの概略構成を示す図である。図１および図７を用いて説明したように、本発明の実施形態による画像処理システムには、様々な特性を持った画像送信装置１０１（第1画像処理装置）が、通信ネットワーク１０５を介して、画像受信装置１０６（第2画像処理装置）と接続される。画像記録再生装置114は実施例1と同様、画像送信装置（１０１）で撮影された画像符号化データを記録媒体に記録し、タイムシフトやアーカイブを行ったのちに、記録媒体から画像符号化データを再生し、画像受信装置（１０６）に向けて送信する装置である。このとき、記録媒体として、一般的なハードディスク（磁気ディスク）や、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）やＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）などの光ディスク、磁気テープ、等を単独で用いたり、また複数の記録媒体をアレイ状に接続して用いたりすることができる。また、記録動作と再生動作をそれぞれ独立に行う構成としてもよいし、画像符号化データを記録媒体に記録しながら、それと同時に別の画像データを再生する構成としてもよい。これらの記録媒体や構成、画像記録再生装置（１１４）の制御方法、および画像記録再生装置（１１４）と通信ネットワーク（１０５）とを接続するための処理構成は、一般的な技術で実現可能なため、図示を省略している。なお、図１では、画像記録再生装置（１１４）を独立した装置構成とし、通信ネットワーク（１０５）を介して画像送信装置（１０１）および画像受信装置（１０６）と接続するように図示しているが、この構成に限定されるわけではなく、画像記録再生装置（１１４）を画像送信装置（１０１）の中に内蔵する構成としたり、画像記録再生装置（１１４）を画像受信装置（１０６）の中に内蔵する構成としたりしてもよい。

図８に、画像送信装置１０１の代表的な一例として、以下に述べる３種類の画像送信装置（１０１−＃ｐ）（１０１−＃ｑ）（１０１−＃ｒ）を示す。画像送信装置（１０１−＃ｐ）は、フルＨＤサイズなどの画素数の多いカメラ（１０２−＃ｐ）と、後述する画像受信装置（８０６）との間で特性が最適化された画像縮小部（１０３−＃ｐ）と、符号化部（１０４）と、後述する識別信号送信部（８０１）を備えている。画像送信装置（１０１−＃ｑ）は、フルＨＤサイズなどの画素数の多いカメラ（１０２−＃ｑ）と、特性が最適化されていない画像縮小部（１０３−＃ｑ）と、符号化部（１０４）を備えている。画像送信装置（１０１−＃ｒ）は、Ｄ１サイズなどの画素数の少ないカメラ（１０２−＃ｒ）と符号化部（１０４）を備えている。なお、符号化部（１０４）については、各画像送信装置に共通である。

識別信号送信部（８０１）は、画像受信装置（８０６）との間で特性が最適化されていること（すなわち、各特性がマッチしていること）を示す識別信号を符号化し、カメラ（１０２−＃ｐ）からの画像を符号化したデータと多重して、通信ネットワーク（１０５）を介して画像受信装置（８０６）に送信する手段である。識別信号の符号化の処理構成や、データ多重の処理構成、識別信号送信部（８０１）と通信ネットワーク（１０５）とを接続するための処理構成は、一般的な技術で実現可能なため、図示を省略している。なお、この識別信号は、例えば、特性を最適化したことを表す特定のフラグデータを用いたり、カメラの機種名や製造番号などを示すデジタルデータを用いたりして、予め定めておけばよい。

画像受信装置（８０６）は、図１に示した画像受信装置（１０６）の構成に、識別信号受信部（８０２）を追加したものである。また、画像受信装置（８０６）における制御部（８１０）は、識別信号受信部（８０２）からの信号と操作部（１１１）からの信号に基づいて、画像選択あるいは画像合成を行う第1処理部１０８と画像拡大および鮮明化を行う第2処理部１０９の動作を制御する。なお、通信ネットワーク（１０５）と識別信号受信部（８０２）とを接続したり、伝送された符号化データから識別信号を分離したりするための処理構成は、一般的な技術で実現可能なため、図示を省略している。また、復号化部（１０７）、画像選択あるいは画像合成を行う処理部（１０８）、画像拡大および鮮明化を行う処理部（１０９）、操作部（１１１）、表示部（１１２）、画像記録再生装置（１１４）、については、図１や図4に示した構成と同一であるため、説明を省略する。

ここで、各画像送信装置（１０１−＃ｐ）（１０１−＃ｑ）（１０１−＃ｒ）からのデータが、通信ネットワーク（１０５）を介して、画像受信装置（８０６）に入力された場合に、画像受信装置（８０６）では、識別信号受信部（８０２）を用いて、伝送されたデータごとに、予め定められた識別信号が多重されているか否かを判別する。このように、画像送信装置（１０１−＃ｐ）における画像縮小部の特性が画像受信装置（８０６）との間で最適化されていることや、他の画像送信装置（１０１−＃ｑ）（１０１−＃ｒ）における画像縮小部の特性が最適化されていない、あるいは画像縮小部を備えていないことを判別できる。図７を用いて説明したように、画像縮小部の特性が最適化されていない、あるいは画像縮小部を備えていない場合には、画像拡大および鮮明化を行う処理部（１０９）における画像鮮明化処理が困難になる可能性があるため、表示モードが（ａ）画像選択モードか（ｂ）画像合成モードかにかかわらず、画像拡大および鮮明化を行う処理部（１０９）で強制的に鮮明化を行わないように、制御部（８１０）によって制御する。一方、予め定められた識別信号が伝送データに多重されていると判別されたデータ、すなわち、特性が最適化されている画像送信装置（１０１−＃ｐ）から伝送された画像については、前述した表示モードに従って鮮明化処理の有無を切り替える。

なお、画像記録再生装置（１１４）に記録された画像データを再生して受信する場合には、再生する際の画像のフレームレートを任意に設定できる場合がある。例えば、画像を１フレームごとに静止させたり、スロー再生したりできる場合がある。このように再生時のフレームレートを下げることは、単位時間あたりに必要な演算量を減らすことに相当する。したがって、再生時のフレームレートを下げた場合には、（ｂ）画像合成モードであっても、鮮明化の処理を行う構成としてもよい。

以上を踏まえると、本実施例に期差の画像処理システムは、複数の第１画像処理装置と、第１画像処理装置から符号化された画像の信号を受け取る第２画像処理装置とを有する画像処理システムであって、第１画像処理装置は、画像を撮像する撮像部と、画像を符号化し、信号を出力する符号化部と、信号を前記第２画像処理装置へ送信する送信部と、を備え、第２画像処理装置は、信号を受信し、復号化した復号画像を出力する復号化部と、復号画像を鮮明化処理し、鮮明化画像を出力する鮮明化処理部と、復号画像または、鮮明化画像を表示する表示部と、表示部で表示する画像を切り替える制御部とを備え、鮮明化処理部では、復号画像を拡大した拡大画像を生成し、拡大画像から高周波成分を抜き出して非線形処理を行った第１処理済画像と拡大画像とを合成して第２処理済画像を生成し、前記第２処理済画像から折り返し成分を除去した画像を鮮明化画像として出力することを特徴とする。

このように第1処理と第2処理を行うことで、折り返し成分を除去した画像を出力でき、遠隔地から送られた画像信号の画質を高めて表示することができる。

また、実施例1とは異なり、画像送信装置からの識別信号を受信することで、様々な特性を持った画像送信装置（１０１）が、通信ネットワーク（１０５）を介して、画像受信装置（８０６）と接続された場合にも、画像鮮明化処理を適切に実施ことができるようになる。

＜第２の表示切り替え処理の手順（例）＞
前述した制御部（８１０）の動作を実現するために、本発明の実施形態では、以下に述べるような手順を有する表示切り替え処理を提案する。

図９は、本発明の実施形態による第２の表示切り替え処理の手順の一例を示すフローチャートである。ここで、図９におけるステップ（３０１）（３０２）（３０３）（３０４）（３０５）（３０６）（３０７）の内容は、図３における各ステップの内容と同一であり、これらの説明は省略する。

図９におけるステップ（３０３）にて表示したい画像を選択したのちに、ステップ（９０１）にて、この選択された画像に対応する前述の識別信号を受信したか否かを判別し、識別信号を受信した場合にはステップ（３０４）に進み、識別信号を受信しなかった場合にはステップ（９０２）に進む。ステップ（９０２）では、画像拡大は行うが、鮮明化処理は行わないようにする。これにより、識別信号を受信した画像（すなわち、画像鮮明化と特性がマッチする画像）については画像鮮明化処理を行い、識別信号を受信しない画像（すなわち、画像鮮明化と特性がマッチするかどうか不明な画像）については画像鮮明化処理を行わないように制御できるようになる。

以上を踏まえると、本実施例に記載の画像処理方法は、複数の第１画像処理装置で撮像した画像を第２画像処理装置で処理する画像処理方法であって、第１画像処理装置で画像を撮像する第１ステップと、画像を符号化し、信号を出力する第２ステップと、信号を前記第２画像処理装置へ送信する第３ステップと、信号を受信し、復号化した復号画像を出力する第４ステップと、復号画像を鮮明化処理し、鮮明化画像を出力する第５ステップと、復号画像または、鮮明化画像を表示部で表示する第６ステップと、表示部で表示する画像を切り替える第７ステップと、を備え、第５ステップでは、復号画像を拡大した拡大画像を生成し、拡大画像から高周波成分を抜き出して非線形処理を行った第１処理済画像と拡大画像とを合成して第２処理済画像を生成し、第２処理済画像から折り返し成分を除去した画像を鮮明化画像として出力することを特徴とする。

また、画像記録再生装置（１１４）に記録された画像データを再生して受信する場合には、前述のように、再生時のフレームレートを下げることもできる。この場合には、前述した所定の設定値を、通常のリアルタイム再生時の設定値よりも大きい値にすることができ、計算リソース不足を生じることなく、より効果の大きいぼやけ除去を実施することができるようになる。

このように第1処理と第2処理を行うことで、折り返し成分を除去した画像を出力でき、遠隔地から送られた画像信号の画質を高めて表示することができる。

また、実施例1とは異なり、画像送信装置からの識別信号を受信することで、様々な特性を持った画像が受信された場合にも、画像鮮明化処理を適切に実施ことができるようになる。

本実施の形態では、実施例２とは異なる方法でカメラ識別を行う画像処理装置に空いて説明する。なお、実施例１，２と同様の構成については、適宜説明を省略する。

＜第３の画像処理システムの概略構成および動作＞
図１０は、本発明の実施形態による第３の画像処理システムの概略構成を示す図である。同図において、通信ネットワーク（１０６）を介して画像受信装置（１００６）と接続されている各画像送信装置（１０１−＃ｐ）（１０１−＃ｑ）（１０１−＃ｒ）が、画像受信装置（１００６）における鮮明化処理との間で、特性がそれぞれ最適化されているか否かを識別するために、画像受信装置（１００６）に画像送信装置識別部（１００１）と処理方法決定部（１００２）を備える。画像送信装置識別部（１００１）は、個々の画像送信装置（１０１−＃ｐ）（１０１−＃ｑ）（１０１−＃ｒ）を識別する手段であり、この動作については図１１を用いて後述する。処理方法決定部（１００２）は、画像送信装置識別部（１００１）で識別された各画像送信装置（１０１−＃ｐ）（１０１−＃ｑ）（１０１−＃ｒ）の属性に基づいて、画像拡大および鮮明化を行う処理部（１０９）にて鮮明化を行うか否かを決定し、その結果を制御部（８１０）に送る。図１０におけるその他の各部および制御部（８１０）は、図１および図８に示したその他の各部および制御部（８１０）の構成および動作と同一であるため、説明を省略する。
図１１は、前述した画像送信装置識別部（１００１）および処理方法決定部（１００２）の動作の説明図である。各画像送信装置を識別する手段として、例えば、通信ネットワーク上で各機器を識別するために、機器ごとにユニークに設定されているＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスや、ＭＡＣ（Ｍｅｄｉａ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ）アドレスを利用する。あるいは、画像送信装置が設置されている場所などに応じて、人間が識別しやすいようなユニークな名称（例えば、ロビー、通路、出入口、など）を予め各画像送信装置に付与しておいてもよい。このような機器ごとのＩＰアドレスやＭＡＣアドレス（論理的なアドレス）、あるいは設置場所（物理的なアドレス）と、図１０に示した画像受信装置（１００６）との間で特性が最適化されているか否か（すなわち＜鮮明化を行うか否か）を示すフラグを、一覧表やリストとして管理し、画像送信装置ごとに、特性が最適化されていればその画像送信装置から送られた画像の鮮明化処理を行い、特性が最適化されていなければ鮮明化処理を行わない、と処理方法を決定する。

以上述べた第３の画像処理システムの構成および動作により、様々な特性を持った画像送信装置（１０１）が、通信ネットワーク（１０５）を介して、画像受信装置（８０６）と接続された場合に、識別信号を送受信する手段を用いなくても、画像鮮明化処理を適切に実施ことができるようになる。
＜その他の画像表示形態（例）＞
以上説明した本発明の実施形態では、説明を簡単にするために、図１に示した画像表示形態（１１３）のような（ａ）画像選択モードと（ｂ）画像合成モードの２種類の画像表示形態を例に挙げて説明してきたが、この画像表示形態に限定されるわけではない。例えば、図１２に示すような（ｃ）画像選択合成モード、すなわち、（ｉ＋ｊ）個（ただし、ｉ、ｊはそれぞれ１以上の整数）の画像のうち、ｉ個の画像（図１２（ｃ）では画像＃１）を親画面として大きく表示し、その他のｊ個の画像（図１２（ｃ）では画像＃２〜＃６）を子画面として小さく表示するモードを設け、前述した（ａ）画像選択モードや（ｂ）画像合成モードと相互に切り換えるようにしてもよい。（ｃ）画像選択合成モードでは、親画面として選択されたｉ個の画像（図１２（ｃ）では画像＃１）については、画像鮮明化処理を行うように制御し、その他のｊ個の画像（図１２（ｃ）では画像＃２〜＃６）については、画像鮮明化処理を行わないように制御すれば、復号化したすべての画像に対して鮮明化の処理を行うよりも、処理に必要な計算リソースを削減できるようになる。このとき、表示する画像のサイズ（すなわち、水平画素数と垂直画素数）をもとに、画像鮮明化処理を行うか行わないかを判定してもよい。すなわち、画素数の閾値を予め決定しておき、その閾値よりも大きい画素数で表示する画像に対して画像鮮明化処理を行うようにしてもよい。この(ｃ)画像選択合成モードの場合には、鮮明化画像と鮮明化処理をしていない復号画像と合計画面の面積を１００とすると、鮮明化画像の割合は60-80程度が望ましい。これより鮮明化画像が小さすぎると、鮮明化処理をしても細部まで見えにく、効果が薄い。また、鮮明化画像が大きすぎると、(a)画像選択モードと鮮明化処理の負荷が大差なく、むしろ復号画像と合成する分だけ処理量が多くなってしまい、画像合成するメリットが薄いためである。

また、伝送された画像サイズよりも大きい画素数で表示する画像に対して画像鮮明化処理を行うようにしてもよい。なお、この（ｃ）画像選択合成モードは、（ａ）画像選択モードの特殊な場合、すなわち（ａ）画像選択モードの画像に子画面のｊ個の画像を合成して表示する場合、とみなすこともできる。

＜まとめ＞
（ｉ）以上説明した本発明の実施形態によれば、１個の画像を表示部の画面全体に表示する「画像選択モード」では画像の鮮明化を行い、複数の画像を１個の画像に合成して表示する「画像合成モード」では画像の鮮明化を行わないように制御することによって、復号化したすべての画像に対して鮮明化の処理を行うよりも、処理に必要な計算リソースを削減できるようになる。また、鮮明化の処理にかかった時間を計測し、この時間が所定の設定値以下となるように次回の鮮明化処理の内容を決定することによって、計算リソースの性能に応じた柔軟な鮮明化処理を行うことができるようになる。

（ｉｉ）本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによって実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。

さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。

最後に、ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できることを理解する必要がある。更に、汎用目的の多様なタイプのデバイスがここで記述した教授に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益であることが判るかもしれない。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。本発明は、具体例に関連して記述したが、これらは、すべての観点に於いて限定の為ではなく説明の為である。本分野にスキルのある者には、本発明を実施するのに相応しいハードウェア、ソフトウェア、及びファームウエアの多数の組み合わせがあることが解るであろう。例えば、記述したソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。

さらに、前述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。

加えて、本技術分野の通常の知識を有する者には、本発明のその他の実装がここに開示された本発明の明細書及び実施形態の考察から明らかになる。記述された実施形態の多様な態様及び／又はコンポーネントは、データを管理する機能を有するコンピュータ化ストレージシステムに於いて、単独又は如何なる組み合わせでも使用することが出来る。

１０１・・・画像送信装置
１０６・・・画像受信装置
１０９、５０１・・・画像拡大および鮮明化を行う処理部の一例
１１１・・・操作部
１１３・・・表示形態の一例。

Claims (7)

1. 複数の第１画像処理装置と、前記第１画像処理装置から符号化された画像の信号を受け取る第２画像処理装置とを有する画像処理システムであって、
   前記第１画像処理装置は、
   画像を撮像する撮像部と、
   前記画像を符号化し、信号を出力する符号化部と、
   前記信号を前記第２画像処理装置へ送信する送信部と、を備え、
   前記第２画像処理装置は、
   前記信号を受信し、復号化した復号画像を出力する復号化部と、
   前記復号画像を鮮明化処理し、鮮明化画像を出力する鮮明化処理部と、
   前記復号画像または、前記鮮明化画像を表示する表示部と、
   前記表示部で表示する画像を切り替える制御部とを備え、
   前記鮮明化処理部では、前記復号画像を拡大した拡大画像を生成し、前記拡大画像から高周波成分を抜き出して非線形処理を行った第１処理済画像と前記拡大画像とを合成して第２処理済画像を生成し、前記第２処理済画像から折り返し成分を除去した画像を鮮明化画像として出力し、
   前記第２画像処理装置は、
   前記鮮明化処理部における処理時間を計測する時間計測部と、
   前記処理時間に基づいて、次に入力された画像に対する鮮明化処理の内容を決定する処理決定部と、を有することを特徴とする画像処理システム。
2. 複数の第１画像処理装置と、前記第１画像処理装置から符号化された画像の信号を受け取る第２画像処理装置とを有する画像処理システムであって、
   前記第１画像処理装置は、
   画像を撮像する撮像部と、
   前記画像を符号化し、信号を出力する符号化部と、
   前記信号を前記第２画像処理装置へ送信する送信部と、を備え、
   前記第２画像処理装置は、
   前記信号を受信し、復号化した復号画像を出力する復号化部と、
   前記復号画像を鮮明化処理し、鮮明化画像を出力する鮮明化処理部と、
   前記復号画像または、前記鮮明化画像を表示する表示部と、
   前記表示部で表示する画像を切り替える制御部とを備え、
   前記鮮明化処理部では、前記復号画像を拡大した拡大画像を生成し、前記拡大画像から高周波成分を抜き出して非線形処理を行った第１処理済画像と前記拡大画像とを合成して第２処理済画像を生成し、前記第２処理済画像から折り返し成分を除去した画像を鮮明化画像として出力し、
   前記第１画像処理装置は、
   前記画像を縮小し符号化部へ出力する画像縮小部をさらに有し、
   前記送信部は、前記信号に対し前記画像を符号化した第１画像処理装置を識別するための識別信号を付加して前記第２画像処理装置へ送信し、
   前記第２画像処理装置は、
   前記識別信号を受信し、前記識別信号を送信した前記第１画像処理装置を特定する信号識別部と、
   前記信号識別部が識別した結果に基づいて前記鮮明化処理の内容を決定する処理決定部と、を有することを特徴とする画像処理システム。
3. 複数の第１画像処理装置と、前記第１画像処理装置から符号化された画像の信号を受け取る第２画像処理装置とを有する画像処理システムであって、
   前記第１画像処理装置は、
   画像を撮像する撮像部と、
   前記画像を符号化し、信号を出力する符号化部と、
   前記信号を前記第２画像処理装置へ送信する送信部と、を備え、
   前記第２画像処理装置は、
   前記信号を受信し、復号化した復号画像を出力する復号化部と、
   前記復号画像を鮮明化処理し、鮮明化画像を出力する鮮明化処理部と、
   前記復号画像または、前記鮮明化画像を表示する表示部と、
   前記表示部で表示する画像を切り替える制御部とを備え、
   前記鮮明化処理部では、前記復号画像を拡大した拡大画像を生成し、前記拡大画像から高周波成分を抜き出して非線形処理を行った第１処理済画像と前記拡大画像とを合成して第２処理済画像を生成し、前記第２処理済画像から折り返し成分を除去した画像を鮮明化画像として出力し、
   前記第１画像処理装置は、
   前記画像を縮小し復号化部へ出力する画像縮小部をさらに有し、
   前記送信部は、前記信号に対し、前記画像縮小部と前記鮮明化処理部とにおける処理の特性がマッチしているか否かを示す特性識別信号を付加して前記第２画像処理装置へ送信し、
   前記第２画像処理装置は、
   前記特性識別信号を識別した結果に基づいて前記鮮明化処理の内容を決定する処理決定部を有することを特徴とする画像処理システム。
4. 請求項１乃至３の何れかの項に記載の画像処理システムであって、
   前記表示部は、ユーザからの指示に基づき、鮮明化画像と、復号画像と、鮮明化画像と復号画像との合成画像と、を切り替えて表示することを特徴とする画像処理システム。
5. 複数の第１画像処理装置で撮像した画像を第２画像処理装置で処理する画像処理方法であって、
   前記第１画像処理装置で画像を撮像する第１ステップと、
   前記画像を符号化し、信号を出力する第２ステップと、
   前記信号を前記第２画像処理装置へ送信する第３ステップと、
   前記信号を受信し、復号化した復号画像を出力する第４ステップと、
   前記復号画像を鮮明化処理し、鮮明化画像を出力する第５ステップと、
   前記復号画像または、前記鮮明化画像を表示部で表示する第６ステップと、
   前記表示部で表示する画像を切り替える第７ステップと、を備え、
   前記第５ステップでは、前記復号画像を拡大した拡大画像を生成し、前記拡大画像から高周波成分を抜き出して非線形処理を行った第１処理済画像と前記拡大画像とを合成して第２処理済画像を生成し、前記第２処理済画像から折り返し成分を除去した画像を鮮明化画像として出力し、
   前記第５ステップにおける処理時間を計測する第８ステップと、
   前記処理時間に基づいて、次に入力された画像に対する鮮明化処理の内容を決定する第９ステップと、を有することを特徴とする画像処理方法。
6. 複数の第１画像処理装置で撮像した画像を第２画像処理装置で処理する画像処理方法であって、
   前記第１画像処理装置で画像を撮像する第１ステップと、
   前記画像を符号化し、信号を出力する第２ステップと、
   前記信号を前記第２画像処理装置へ送信する第３ステップと、
   前記信号を受信し、復号化した復号画像を出力する第４ステップと、
   前記復号画像を鮮明化処理し、鮮明化画像を出力する第５ステップと、
   前記復号画像または、前記鮮明化画像を表示部で表示する第６ステップと、
   前記表示部で表示する画像を切り替える第７ステップと、を備え、
   前記第５ステップでは、前記復号画像を拡大した拡大画像を生成し、前記拡大画像から高周波成分を抜き出して非線形処理を行った第１処理済画像と前記拡大画像とを合成して第２処理済画像を生成し、前記第２処理済画像から折り返し成分を除去した画像を鮮明化画像として出力し、
   前記第２ステップの前に、前記画像を縮小する第１０ステップと、
   前記画像を符号化した第１画像処理装置を識別するための識別信号を受信し、該第１画像処理装置を特定する第１１ステップと、
   前記第１１ステップが特定した結果に基づいて、前記第5ステップにおける処理内容を決定する第１２ステップと、をさらに有し、
   前記第３ステップでは、前記信号に対し前記識別信号を付加して前記第２画像処理装置へ送信することを特徴とする画像処理方法。
7. 複数の第１画像処理装置で撮像した画像を第２画像処理装置で処理する画像処理方法であって、
   前記第１画像処理装置で画像を撮像する第１ステップと、
   前記画像を符号化し、信号を出力する第２ステップと、
   前記信号を前記第２画像処理装置へ送信する第３ステップと、
   前記信号を受信し、復号化した復号画像を出力する第４ステップと、
   前記復号画像を鮮明化処理し、鮮明化画像を出力する第５ステップと、
   前記復号画像または、前記鮮明化画像を表示部で表示する第６ステップと、
   前記表示部で表示する画像を切り替える第７ステップと、を備え、
   前記第５ステップでは、前記復号画像を拡大した拡大画像を生成し、前記拡大画像から高周波成分を抜き出して非線形処理を行った第１処理済画像と前記拡大画像とを合成して第２処理済画像を生成し、前記第２処理済画像から折り返し成分を除去した画像を鮮明化画像として出力し、
   前記第２ステップの前に、前記画像を縮小する第１０ステップと、
   前記第２ステップで出力された前記信号に対し、前記第１０ステップと前記第６ステップとにおける処理の特性がマッチしているか否かを示す特性識別信号を付加する第１３ステップと、
   前記特性識別信号を識別した結果に基づいて前記第６ステップでの処理の内容を決定する第１４ステップと、をさらに有することを特徴とする画像処理方法。

Images