JP3585625B2 - 画像入力装置およびそれを用いる画像伝送装置 - Google Patents
画像入力装置およびそれを用いる画像伝送装置 Download PDFInfo
- Publication number
- JP3585625B2 JP3585625B2 JP4018396A JP4018396A JP3585625B2 JP 3585625 B2 JP3585625 B2 JP 3585625B2 JP 4018396 A JP4018396 A JP 4018396A JP 4018396 A JP4018396 A JP 4018396A JP 3585625 B2 JP3585625 B2 JP 3585625B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- specific
- unit
- input
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、いわゆるＴＶ会議装置やＴＶ電話装置などとして好適に実施される画像伝送装置およびそれに用いられる画像入力装置に関する。
【０００２】
【従来の技術】
パーソナルコンピュータやワークステーション等のコンピュータシステム、いわゆるホームオートメーションシステム等の家庭情報端末、または携帯情報端末などに、ＣＣＤ（電荷結合素子）等を撮像素子として備えるＴＶカメラを画像入力手段として接続し、該ＴＶカメラで撮像した画像を伝送して前記ＴＶ会議装置やＴＶ電話装置を実現するようにした構成が普及している。
【０００３】
このような用途で使用されるＴＶカメラでは、撮像する必要のある被写体は、人物、特にその顔面、および書類や図面等の資料などである。したがって、これらの被写体に適宜注目して、詳細に認識するために、特定の被写体を拡大することが望まれる。このため、前記ＴＶカメラは、光学的なズーム機構等を備えている。
【０００４】
しかしながら、拡大を希望する被写体が画面の中心にない場合、単純に前記ズーム機構を用いて拡大するだけでは、所望とする特定の被写体を適切に拡大することができないという問題がある。
【０００５】
このような不具合を解決するために、典型的な従来技術である特開平６−２０２６００号公報および特開平７−１３５５９４号公報では、ＴＶカメラに前記光学的なズーム機構を設けるとともに、その雲台をパン／チルト動作可能な可動雲台としている。
【０００６】
【発明が解決しようとする課題】
したがって、上述の従来技術では、雲台が可動であるために、モータおよびその制御回路等が必要となり、高コスト化および大型化するとともに、操作が煩雑であるという問題がある。
【０００７】
本発明の目的は、低コスト化および小型化を図ることができるとともに、簡単な操作で所望とする特定の画像を抽出して拡大することができる画像入力装置およびそれを用いる画像伝送装置を提供することである。
【０００８】
【課題を解決するための手段】
請求項１の発明に係る画像入力装置は、被写体を撮像し、画像を出力する画像入力手段と、前記画像入力手段からの画像を予め定める複数の画素数の分割画像に分割する画像分割手段と、前記画像分割手段で分割された分割画像のうちから、特定の画像を包含する分割画像を特定画像として認識する画像特定手段と、前記画像特定手段で特定された特定画像のみを拡大する画像処理手段とを含むことを特徴とする。
【０００９】
上記の構成によれば、ＴＶ会議装置などに用いられる画像入力装置において、ＴＶカメラなどの画像入力手段で撮像された被写体の画像から、画像特定手段によって、人物、特にその顔面や資料などを含む分割画像が特定画像として認識され、その特定画像が画像処理手段で拡大される。
【００１０】
したがって、操作者に煩雑な操作を要求することなく、該操作者の注目すべき前記特定の画像を認識して自動的に拡大することができ、操作性を向上することができる。また、特定画像の拡大を画像処理で行うので、画像入力手段に関連して、可動雲台やその制御回路等の構成を設ける必要はなく、小型化および低コスト化を図ることができる。
【００１１】
また、請求項１の発明に係る画像入力装置は、上記構成において、上記画像特定手段が、複数の上記特定の画像から、認識される画像の形状に対応して、予め定められた優先順位に基づいて、いずれか１つの特定の画像を選択し、その特定の画像を包含する分割画像を上記特定画像として抽出することを特徴としている。
【００１２】
また請求項２の発明に係る画像入力装置では、前記画像処理手段は、元の全画像の大きさまで拡大を行うことを特徴とする。
【００１３】
上記の構成によれば、元の全画像の大きさに対応して決定されている通信回線等の伝送容量を充分に使用することができる。
【００１４】
さらにまた請求項３の発明に係る画像伝送装置は、前記請求項１または２に記載の画像入力装置と、前記画像入力装置で作成された画像信号を通信回線を介して伝送する伝送手段と、伝送されてきた画像信号に応答して画像表示を行う表示手段とを備えることを特徴とする。
【００１５】
上記の構成によれば、上記の各画像入力装置のいずれかを用いて、たとえば監視カメラなどの一方向の画像伝送装置を実現することができる。
【００１６】
また請求項４の発明に係る画像伝送装置は、前記請求項１または２に記載の画像入力装置と、前記画像入力装置で作成された画像信号を通信回線を介して伝送する伝送手段と、伝送されてきた画像信号に応答して画像表示を行う表示手段とを、自局側と相手局側とのそれぞれに備えることを特徴とする。
【００１７】
上記の構成によれば、上記各画像入力装置のいずれかを用いて、ＴＶ会議装置やＴＶ電話装置などの双方向の画像伝送装置を実現することができる。
【００１８】
さらにまた請求項５の発明に係る画像伝送装置は、入力操作手段および入力処理手段を備え、前記入力処理手段は、前記入力操作手段からの出力に応答し、表示手段に、表示される画像上で入力操作手段で指示された位置に指標を合成して表示させるとともに、相手局側の画像処理手段に、前記指示された位置における画像または画像ブロックを前記特定画像または特定画像ブロックとして拡大させることを特徴とする。
【００１９】
上記の構成によれば、前記請求項３の一方向の画像伝送の構成に加えて、受信側となる相手局側では、カーソルなどの指標が表示され、マウスなどの入力操作手段からの入力操作によって前記指標を移動させて、その指標で指示された位置における画像または画像ブロックを所望とする特定画像または特定画像ブロックとして、認識させ拡大を行わせる。
【００２０】
したがって、たとえば人物と資料となどのように、前記特定画像や特定画像ブロックが複数認識される場合、操作者の所望とする特定画像または特定画像ブロックを拡大することができる。
【００２１】
また請求項６の発明に係る画像伝送装置は、入力操作手段および入力処理手段を備え、前記入力処理手段は、前記入力操作手段からの出力に応答し、表示手段に、表示される画像上で入力操作手段で指示された位置に指標を合成して表示させるとともに、相手局側の画像処理手段に、前記指示された位置における画像または画像ブロックを前記特定画像または特定画像ブロックとして拡大させることを特徴とする。
【００２２】
上記の構成によれば、前記請求項４の双方向の画像伝送の構成に加えて、受信側となる相手局側では、カーソルなどの指標が表示され、マウスなどの入力操作手段からの入力操作によって前記指標を移動させて、その指標で指示された位置における画像または画像ブロックを所望とする特定画像または特定画像ブロックとして、認識させ拡大を行わせる。
【００２３】
したがって、たとえば人物と資料となどのように、前記特定画像や特定画像ブロックが複数認識される場合、操作者の所望とする特定画像または特定画像ブロックを拡大させることができる。
【００２４】
さらにまた請求項７の発明に係る画像伝送装置では、前記表示手段は、表示すべき相手局側の画像とともに、相手局側の表示手段で表示されるべき自局側の画像を併せて表示することを特徴とする。
【００２５】
上記の構成によれば、相手局側の操作者が自局側の画像のどこに注目しているのかを認識することができる。これによって、適切な指摘を行ったり、また会話の展開の方向を変更するなどの実際の会議により近い状態を再現することができ、円滑なコミュニケーションを図ることができる。
【００２６】
また請求項８の発明に係る画像伝送装置では、前記入力処理手段は、前記入力操作手段からの操作に応答して、自局側の画像上の位置にも前記指標を合成して表示するとともに、自局側の画像処理手段に、前記指示された位置における画像または画像ブロックを前記特定画像または特定画像ブロックとして拡大させることを特徴とする。
【００２７】
上記の構成によれば、請求項７の構成にさらに加えて、相手局側に注目を希望する部分を自局側で指摘することができ、さらに会議を円滑に進行することができるようになる。 また、請求項９の発明に係る画像伝送装置は、請求項５〜８の構成において、上記入力操作手段がタッチパネルであることを特徴としている。
【００２８】
さらにまた請求項１０の発明に係る画像伝送装置は、前記伝送手段を介して伝送される画像信号を、第三者側の表示手段で傍受して表示可能とすることを特徴とする。
【００２９】
上記の構成によれば、二者間の会議を第三者でも傍観することができる。
【００３０】
【発明の実施の形態】
本発明の実施の第１の形態について、図１〜図６に基づいて説明すれば以下のとおりである。
図１は、本発明の実施の第１の形態の画像入力装置１０の電気的構成を示すブロック図である。この画像入力装置１０は、たとえばＴＶ会議装置のカメラとして用いられ、大略的に、カメラ部１２と、画像分割部１３と、画像特定部１４と、画像拡大部１５とを備えて構成されている。
【００３１】
画像入力手段であるカメラ部１２は、ＣＣＤデジタルテレビジョンカメラなどで実現され、人物、または書類や図面等の資料などの被写体１１を撮像し、その撮像画像に対応した画像データを画像分割部１３へ出力する。
【００３２】
画像分割部１３は、カメラ部１２での撮像画像を、たとえば図２で示すような多数の領域に分割を行う。この図２の例では、Ａ１，Ａ２，…，Ａ４８の（６×８＝４８）領域に分割する例を示している。また、前記撮像画像を前記領域Ａ１〜Ａ４８（以下、総称するときには参照符Ａで示す）で分割した例を図３で示している。
【００３３】
画像特定部１４は、画像分割部１３からの画像を解析し、各分割画像のうちから、注目すべき特定の画像を包含する分割画像を特定画像として認識する。たとえば、前記図３の撮像画像の例では、人物の顔面Ｐ１を特定の画像とするときには、該顔面Ｐ１を構成する領域Ａ１０，Ａ１１，Ａ１２；Ａ１８，Ａ１９，Ａ２０；Ａ２６，Ａ２７，Ａ２８の分割画像を特定画像として認識し、人物の画像Ｐ２を特定の画像とするときには、領域Ａ１０，Ａ１１，Ａ１２；Ａ１８，Ａ１９，Ａ２０；Ａ２６，Ａ２７，Ａ２８；Ａ３４，Ａ３５，Ａ３６；Ａ４２，Ａ４３，Ａ４４の分割画像を特定画像として認識し、書類Ｐ３を特定の画像とするときには、領域Ａ２２，Ａ２３，Ａ２４；Ａ３０，Ａ３１，Ａ３２；Ａ３８，Ａ３９，Ａ４０の分割画像を特定画像として認識し、光源Ｐ４を特定の画像とするときには、領域Ａ５，Ａ６；Ａ１３，Ａ１４の分割画像を特定画像として認識する。
【００３４】
図４は、画像特定部１４の具体的構成を示すブロック図である。前記画像分割部１３からの画像データは、エッジ抽出部１４１に入力され、輝度信号レベルの変化等から被写体のエッジが抽出される。エッジ抽出部１４１からの出力は、ブロック特定部１４２に入力され、前記各領域Ａ内で、特定の画像として認識できる分割画像のブロックが特定される。
【００３５】
ブロック特定部１４２からの出力は、顔面抽出部１４３に入力されており、この顔面抽出部１４３は、たとえば本件出願人が先に特開平７−６５１４９号で提案した手法を適用して、顔面Ｐ１を構成する特定画像を求める。すなわち、まず所定フレームだけ隔てた画像データ間の絶対差分を求めて、動きのある領域を検出する。次に、その差分値のデータをＸ軸座標（水平方向）およびＹ軸座標（鉛直方向）に濃度投影して、動きのある領域の最上部（Ｙ軸方向の最大値）を頭頂座標とし、またその頭頂座標が得られるＸ座標を人体の中央の座標とし、その中央の座標からＸ軸座標で所定範囲内の前記差分値のエッジを人体の顔の候補位置とする。
【００３６】
一方、ブロック特定部１４２からの出力はまたデータ切換部１４４に入力されており、データ切換部１４４からは、顔面抽出部１４３で顔面Ｐ１が確認されたときには、前記ブロック特定部１４２からの出力のうち、顔面Ｐ１に関する分割画像の画像データが画像拡大部１５へ出力され、こうして顔面Ｐ１が優先的に拡大される。
【００３７】
図５は、上述の図４で示す画像特定部１４の動作を説明するためのフローチャートである。ステップｓ１では、画像分割部１３で作成された分割画像から顔面Ｐ１を表す分割画像が存在するか否かが判断され、存在するときにはステップｓ４において、その顔面Ｐ１を構成する分割画像が特定画像として抽出され、ステップｓ６において、その抽出された分割画像のデータが画像拡大部１５へ出力される。
【００３８】
また、前記ステップｓ１において、顔面Ｐ１が特定できなかったときには、ステップｓ２に移り、人物Ｐ２または書類Ｐ３等の前記顔面Ｐ１以外の特定すべき画像が存在するか否かが判断され、存在するときには、ステップｓ５において、その特定の画像のエッジから、該特定の画像を構成する分割画像が抽出された後、ステップｓ６において、抽出された分割画像のデータが画像拡大部１５へ出力される。
【００３９】
これに対して、前記ステップｓ２において、特定すべき画像が検出されないとき、すなわち単一色の背景のみのベタ画面等では、ステップｓ３において、前記画像拡大部１５へ特定できないことを表すエラーメッセージデータが出力された後、ステップｓ１に戻る。
【００４０】
このようにして画像認識が行われ、画像特定部１４は、前述のように、顔面、人物、書類等の認識画像の中からいずれか１つを特定の画像として、その画像データを画像拡大部１５へ出力する。
【００４１】
画像拡大部１５は、前記特定の画像を元の全画像の大きさまで拡大する。したがって、たとえば図６で示すように、図６（ａ）の元の画像に対して、顔面が選択されたときには、図６（ｂ）で示す拡大画像が得られ、人物が選択されたときには、図６（ｃ）で示す拡大画像が得られ、書類が選択されたときには、図６（ｄ）で示す拡大画像が得られる。
【００４２】
この画像拡大部１５は、たとえば本件出願人が特開平７−２８８７８１号で示したように構成される。すなわち、２つのラインメモリに、ライン毎に交互に変換前の画像データを書込んでゆくようにし、出力は、変換前のラインと変換後のラインとの対応から、いずれか一方のラインメモリのみから、または２つのラインメモリからの出力にそれぞれ重付けすることによって行う。
【００４３】
たとえば、拡大倍率が２．５倍であるときには、２本のラインの画像データを５本のラインに変換する必要があり、第１本目および第２本目のラインには、第１のラインメモリのみからの画像データが出力され、第３本目のラインには、第１および第２のラインメモリからの画像データがそれぞれ重み１／２で加算されて出力され、第４および第５のラインには、第２のラインメモリのみからの画像データが出力される。同様に、水平方向の各ドットの画像データも、変換前のドット数と変換後のドット数とに対応して変換が行われる。なお、画像の拡大手法は、このような手法に限らず、たとえば特開平４−１８５０８７号公報等で示されるような他の手法が用いられてもよい。
【００４４】
画像拡大部１５で拡大された特定画像のデータは、ライン１６に出力され、該画像入力装置１０がＴＶ会議装置に用いられるときには、通信回線の通信規約に適応したデータ変換を行う送信回路などに入力され、またはパーソナルコンピュータなどの画像処理を行うことができる装置に入力される。またカメラ部１２からは、ライン１７に全画像のデータが出力されており、該画像入力装置１０が前述のようにＴＶ会議装置に用いられるときには、自局用のモニタ等に入力される。
【００４５】
このようにして本発明に従う画像入力装置１０では、図３で示すような原画像から、人物等の特定の画像を抽出して、図６で示すように、前記原画像の全画像の大きさまで画像処理によって自動的に拡大を行う。したがって、カメラ部１２に関連して、可動雲台およびその制御回路などの煩雑な構成を設ける必要がなくなり、小型化および低コスト化を図ることができるとともに、操作性を向上することができる。
【００４６】
また、前記送信回路から通信回線および受信回路を介して、表示装置等へ画像データを伝送するにあたって、前記通信回線等の伝送容量に規定されている全画像分のデータに、特定の画像のデータを出力するので、前記伝送容量を有効に使用することができる。すなわち、ライン１７からの全画像データを伝送するようにし、受信側で画像を拡大するようにした場合には、拡大画像に要求される画質を満足するために伝送容量が増大してしまうのに対して、このように全画像の大きさまで拡大した画像のデータを伝送することによって、伝送容量をむやみに高く設定する必要がなくなる。
【００４７】
なお、各領域Ａにおける画素数が少ないとき、すなわち原画像が多数の分割画像に分割されているときには、特定の被写体以外の背景等の不要な部分をより少なくすることができる。
【００４８】
前記特定の画像の選択は、たとえば顔面、人物、書類の順で、認識された画像の形状に対応して、優先順位を予め定めておくようにしてもよく、また元の全画像に対して最も拡大率が大きくなる認識画像を特定の画像とするようにしてもよい。
【００４９】
本発明の実施の第２の形態について、図７〜図１０に基づいて説明すれば以下のとおりである。
図７は、本発明の実施の第２の形態の画像入力装置２０の電気的構成を示すブロック図である。この画像入力装置２０は、前述の画像入力装置１０に類似し、対応する部分には、同一の参照符号を付してその説明を省略する。
【００５０】
注目すべきは、この画像入力装置２０では、カメラ部１２からの画像データは、ブロック分割部２３において、図８で示すように、全画像のアスペクト比と等しいアスペクト比の画像ブロックＢ１，Ｂ２，…，Ｂ６４（総称するときには、以下参照符Ｂで示す）に分割される。すなわち、全画像のライン数ｂ１と、一水平走査線当りのドット数ｂ２とに対して、各分割画像Ｂのライン数ｂ１ａと、ドット数ｂ２ａとが、ｂ１：ｂ２＝ｂ１ａ：ｂ２ａとなるように分割される。
【００５１】
さらにブロック分割部２３からの画像データは、ブロック特定部２４において、前記人物等の特定の画像が映っている画像ブロックを包含するように、かつ全画像のアスペクト比を保持するように、１または複数の画像ブロックが特定画像ブロックとして認識される。すなわち、たとえば垂直方向に２つの画像ブロックが選択されると、水平方向にも２つの画像ブロックが選択されることになる。
【００５２】
前記ブロック特定部２４で特定された画像ブロックは、画像拡大部１５において拡大される。したがって、前記図３および図６（ａ）と同様に、図９および図１０（ａ）で示される原画像は、図１０（ｂ）〜図１０（ｄ）で示すように、画像ブロックが特定されて拡大される。
【００５３】
すなわち、たとえば人物の顔面Ｐ１が特定されるときには、該画面Ｐ１が含まれる画像ブロックは、Ｂ１０，Ｂ１１，Ｂ１２；Ｂ１８，Ｂ１９，Ｂ２０；Ｂ２６，Ｂ２７，Ｂ２８であり、ブロック特定部２４は、アスペクト比を保持するために、さらに画像ブロックＢ１３，Ｂ２１，Ｂ２９を加えて、図１０（ｂ）で示すように特定し、原画像の全画像の大きさまで拡大を行う。
【００５４】
また、特定された画像が人物Ｐ２であるときには、該人物Ｐ２が含まれる画像ブロックＢ１０，Ｂ１１，Ｂ１２；Ｂ１８，Ｂ１９，Ｂ２０；Ｂ２６，Ｂ２７，Ｂ２８；Ｂ３４，Ｂ３５，Ｂ３６；Ｂ４２，Ｂ４３，Ｂ４４；Ｂ５０，Ｂ５１，Ｂ５２；Ｂ５８，Ｂ５９，Ｂ６０に加えて、アスペクト比を保持するために、画像ブロックＢ１３，Ｂ１４，Ｂ１５；Ｂ２１，Ｂ２２，Ｂ２３；Ｂ２９，Ｂ３０，Ｂ３１；Ｂ３７，Ｂ３８，Ｂ３９；Ｂ４５，Ｂ４６，Ｂ４７；Ｂ５３，Ｂ５４，Ｂ５５；Ｂ６１，Ｂ６２，Ｂ６３を加えて、図１０（ｃ）で示すように特定され、拡大が行われる。
【００５５】
さらに書類Ｐ３が特定されたときには、該書類Ｐ３が含まれる画像ブロックＢ３０，Ｂ３１，Ｂ３２；Ｂ３８，Ｂ３９，Ｂ４０；Ｂ４６，Ｂ４７，Ｂ４８；Ｂ５４，Ｂ５５，Ｂ５６に加えて、図１０（ｄ）で示すように、アスペクト比を保持するために、画像ブロックＢ２９，Ｂ３７，Ｂ４５，Ｂ５３が特定され、拡大される。
【００５６】
このように画像入力装置２０では、原画像のアスペクト比を保持して特定画像の拡大を行うので、歪がなく、違和感のない自然な画像を形成することができる。また、前述のように画像入力装置１０の構成で、アスペクト比を保持するためには領域Ａの分割数を多くする必要があるのに対して、この画像入力装置２０ののように予めアスペクト比を保持して分割するようにしておくことによって、分割数を少なくすることができ、画像分割部１３に比べてブロック分割部２３の回路構成を簡略化することができる。
【００５７】
本発明の実施の第３の形態について、図１１および図１２に基づいて説明すれば以下のとおりである。
図１１は、本発明の実施の第３の形態の画像入力装置３０の電気的構成を示すブロック図である。この画像入力装置３０は、前述の画像入力装置２０に類似し、対応する部分には同一の参照符号を付してその説明を省略する。
【００５８】
注目すべきはこの画像入力装置３０では、ブロック分割部２３からの画像データは、ブロック抽出部３４において、前記ブロック特定部２４でアスペクト比を保持するために付加された画像ブロックが、白色や黒色等のいわゆるベタ画面とされる。
【００５９】
すなわち、前記図９および図１０（ａ）と同一の図１２（ａ）で示す原画像に対して、人物の顔面Ｐ１を抽出するときには、該顔面Ｐ１が含まれる画像ブロックＢ１０，Ｂ１１，Ｂ１２；Ｂ１８，Ｂ１９，Ｂ２０；Ｂ２６，Ｂ２７，Ｂ２８のみが抽出され、前記図１０（ｂ）で付加された画像ブロックＢ１３，Ｂ２１，Ｂ２９は、前記ベタ画面とされ、図１２（ｂ）で示すように拡大される。同様に、人物Ｐ２が抽出されるときおよび書類Ｐ３が抽出されるときには、それぞれ図１２（ｃ）および図１２（ｄ）で示すようになる。
【００６０】
したがって、画像入力装置１０に比べて、アスペクト比を保持した歪のない自然な画像で拡大することができ、かつ画像入力装置２０に比べて、光源Ｐ４などの不要な被写体の映込みを少なくして、注目すべき部分のみを明瞭に抽出して拡大することができるとともに、通信データ量を少なくすることができる。
【００６１】
本発明の実施の第４の形態について、図１３〜図１５に基づいて説明すれば以下のとおりである。
図１３は、本発明の実施の第４の形態の画像入力装置４０の電気的構成を示すブロック図である。この画像入力装置４０は、前述の画像入力装置２０に類似し、対応する部分には同一の参照符号を付してその説明を省略する。
【００６２】
注目すべきは、この画像入力装置４０では、ブロック分割部２３からの画像データには、スーパーインポーズ部４１において、図１４において参照符ＳＰで示す文字などのスーパーインポーズが行われる。したがって、ライン１７に出力される全画像のデータは、このスーパーインポーズ部４１から出力されることになる。このため、ブロック特定部２４へ入力されるスーパーインポーズ部４１からの全画像の画像データには、図１４および図１５（ａ）で示すように、カメラ部１２からの画像データのアスペクト比が崩れた歪んだ画像となっている。（図１４および図１５（ａ）では、スーパーインポーズに伴って、画像の上下方向が圧縮されている。）このため、画像拡大部４５は、スーパーインポーズ部４１において崩れたアスペクト比を復元しつつ拡大を行う。
【００６３】
したがって、前記図９および図１０（ａ）で示す原画像に対して、図１４および図１５（ａ）で示すように、アスペクト比が崩れた歪んだ画像となっている原画像に対しても、前記図１０（ｂ）〜図１０（ｄ）で示す拡大画像と同様に、図１５（ｂ）〜図１５（ｄ）でそれぞれ示すように、正しいアスペクト比で拡大画像を得ることができる。
【００６４】
なお、このように歪んだ原画像に対してアスペクト比を正常に復元するようにして拡大を行う手法は、前述の画像入力装置３０に関しても同様に実施することができることは言うまでもない。
【００６５】
本発明の実施の第５の形態について、図１６に基づいて説明すれば以下のとおりである。
図１６は、本発明の実施の第５の形態のＴＶ会議装置１００の構成を示す図である。このＴＶ会議装置１００は、自局側と相手局側との間で画像および音声を双方向に通信可能に構成されているものとし、この図１６では、図面の簡略化のために、自局側から相手局側へ画像を伝送するための構成のみを示し、相手局側から自局側への画像を伝送するための構成および音声に関する構成は省略している。
【００６６】
前記画像入力装置１０，２０，３０，４０のいずれかで構成される画像入力装置５０（この図１６の例では画像入力装置１０の構成としている）からは、ライン１７に全画像のデータが出力され、ライン１６に拡大画像のデータが出力されている。これらの画像データは、自局側通信制御部１０１に入力されて、適宜選択および画像処理され、自局側通信制御部１０１からは、たとえばいずれか一方の画像データのみ、またはこの図１６で示すように、全画像Ｐ０と拡大画像Ｐ１とを共通の画像内に形成したウインドウに嵌込んだ画像データが出力される。前記画像データは、自局側表示装置１１２において表示されるとともに、電話回線および交換機等で実現される通信回線１０２を介して、相手局側通信制御部１１１へ伝送される。前記画像データは、相手局側通信制御部１１１に関連して設けられた相手局側表示装置１１３に表示される。通信制御部１０１，１１１は、マイクロコンピュータおよびその周辺回路ならびにソフトウェア等によって実現される。
【００６７】
相手局側通信制御部１１１に関連して、マウスやタッチパネルなどで実現される入力される入力操作部１１４が設けられている。この入力操作部１１４からの入力操作に応答して、相手局側表示装置１１３は、前記全画像Ｐ０内で前記入力操作部１１４からの操作に対応した位置に、指標である指示用ポインタ１１５を併せて表示している。この指示用ポインタ１１５で指示された位置の分割画像が前記特定の画像を構成していると判定されて、その位置の領域番号が相手局側通信制御部１１１から通信回線１０２を介して、自局側通信制御部１０１へ拡大エリア情報として送信される。
【００６８】
自局側通信制御部１０１は、前記拡大エリア情報を受信すると、画像特定部１４へ転送し、その指示された領域の分割画像を含む特定の画像を構成する分割画像が特定画像として認識されて、拡大画像Ｐ１が作成される。このように、入力操作部１１４を設けて、入力操作によって所望とする特定の画像を拡大するように構成することによって、相手局側の操作者が所望とする画像を任意に選択して拡大することができる。
【００６９】
また、同様に自局側通信制御部１０１に関連して入力操作部１１６を設け、自局側の表示装置１１２にも指示用ポインタ１１７を表示するようにしてもよい。これによって、自局側の操作者は、相手局側の操作者に注目してほしい画像を拡大して伝送することができる。
【００７０】
さらにまた、相手局側と自局側とで同じ画面を表示することによって、相手局側の操作者が自局側の画像のどこに注目しているのかを認識することができる。これによって、適切な指摘を行ったり、また会話の展開の方向を変更するなどの実際の会議により近い状態を再現することができ、円滑なコミュニケーションを図ることができる。
【００７１】
本発明の実施の第６の形態について、図１７に基づいて説明すれば以下のとおりである。
図１７は、本発明の実施の第６の形態のＴＶ会議装置１２０の構成を示す図である。このＴＶ会議装置１２０は、前述のＴＶ会議装置１００に類似し、対応する部分には同一の参照符号を付してその説明を省略する。
【００７２】
このＴＶ会議装置１２０では、自局側と相手局側とのいずれか一方の通信制御部（この図１７では自局側通信制御部１２１）に、通信回線１２２を介して、第三者側通信制御部１２７が接続されている。この第三者側通信制御部１２７で受信された画像データは、第三者側表示装置１２８に表示される。また、自局側通信制御部１２１に関連して、メモリなどで実現される画像記憶部１２６が接続されている。前記第三者側通信制御部１２７へは、自局側表示装置１１２で表示される画像が、画像記憶部１２６で一旦記憶された後、通信回線１２２を介して伝送され、第三者側表示装置１２８で表示される。
【００７３】
このようにして、第三者が自局と相手局との間の会議を傍受することが可能となる。
【００７４】
なお、第三者側の構成は、１局だけに限らず、多数局設けられていてもよい。
【００７５】
本発明の実施の第７の形態について、図１８に基づいて説明すれば以下のとおりである。
図１８は、本発明の実施の第７の形態のＴＶ会議装置１３０の構成を示す図である。このＴＶ会議装置１３０において、前述のＴＶ会議装置１００，１２０に類似し、対応する部分には同一の参照符号を付してその説明を省略する。
【００７６】
注目すべきは、このＴＶ会議装置１３０では、複数（この図１８では３）の端末局Ｓ，Ｓａ，Ｓｂが、ホストコンピュータ１４０を介して、相互に通信可能に構成されている。このＴＶ会議装置１３０では、任意の端末局同志が当事者となって、自局側と相手局側との画像を確認しながら会話可能であり、第三者は、前記当事者と同一の画面を傍受可能に構成されている。なお、この図１８の例では、端末局Ｓが自局となり、端末局Ｓａが相手局となって、これらの当事者間で会話が行われ、残余の端末局Ｓｂがそれを傍受していることを表している。
【００７７】
端末局Ｓは、被写体１１の画像を取込む前記画像入力装置５０と、通信制御部１３１と、前記画像記憶部１２６と、入力操作部１３６と、表示装置１３２とを備えて構成されている。表示装置１３２には、自局側の全画像および拡大画像が表示されるとともに、相手局側の全画像および拡大画像が表示される。また、相手局側の全画像には、自局側で操作可能なポインタ１３５が併せて表示されている。
【００７８】
同様の構成が端末局Ｓａ，Ｓｂにも設けられており、それぞれ対応する部分には、同一の参照符号に添字ａまたはｂを付して示している。この図１８で示す例では、自局側となる端末局Ｓでは、相手局側の被写体１１ａの書類Ｐ３の拡大を指定しており、これに対して相手局側となる端末局Ｓａでは、自局側の顔面Ｐ１の拡大が選択されている。
【００７９】
各端末局Ｓ，Ｓａ，Ｓｂは、入力操作部１３６，１３６ａ，１３６ｂへの入力操作等によって、それぞれ自局が当事者となることができ、この場合、ホストコンピュータ１４０は、最後に発言した端末局をもう１つの当事者としてもよく、あるいは所定時間毎に当事者が入替わるなどの他の手法によって、当事者が選ばれてもよい。このようにして、多数の端末局間でコミュニケーションを図ることができる。
【００８０】
なお、本発明の画像入力装置は、被写体を撮像し、画像を出力する画像入力手段と、前記画像入力手段からの画像を、アスペクト比を保持したまま、予め定める複数の画素数の画像ブロックに分割するブロック分割手段と、前記ブロック分割手段で分割された画像ブロックのうちから、元の全画像のアスペクト比と同一のアスペクト比で、特定の画像を包含する画像ブロックを特定画像ブロックとして認識するブロック特定手段と、前記ブロック特定手段で特定された特定画像ブロックのみを拡大する画像処理手段とを含む構成であってもよい。
【００８１】
上記の構成によれば、特定画像のブロックを拡大するにあたって、前記画像ブロックが元の全画像のアスペクト比と同一のアスペクト比となるように選ばれる。
【００８２】
したがって、元の全画像のアスペクト比を保持して、歪がなく、違和感のない拡大を行うことができる。
【００８３】
さらにまた本発明の画像入力装置は、被写体を撮像し、画像を出力する画像入力手段と、前記画像入力手段からの画像を、アスペクト比を保持したまま、予め定める複数の画素数の画像ブロックに分割するブロック分割手段と、前記ブロック分割手段で分割された画像ブロックのうちから、特定の画像を包含する画像ブロックを特定画像ブロックとして認識するブロック抽出手段と、前記ブロック抽出手段で抽出された特定画像ブロックのみを、アスペクト比を保持したまま拡大する画像処理手段とを含む構成であってもよい。
【００８４】
上記の構成によれば、注目すべき部分のみが特定画像のブロックとして、アスペクト比を保持して拡大され、表示手段上で前記特定画像のブロック以外となる部分には、画像が表示されず、たとえば黒色や白色の背景となる。
【００８５】
したがって、注目すべき部分のみを明瞭に抽出して拡大表示することができるとともに、通信データ量を少なくすることができる。
【００８６】
また本発明の画像入力装置は、被写体を撮像し、画像を出力する画像入力手段と、前記画像入力手段からの画像を予め定める複数の画素数の分割画像に分割する画像分割手段と、前記画像分割手段で分割された分割画像のうちから、元の全画像のアスペクト比と同一のアスペクト比で、特定の画像を包含する画像ブロックを特定画像ブロックとして認識するブロック特定手段と、前記ブロック特定手段で特定された特定画像ブロックのみを拡大する画像処理手段とを含む構成であってもよい。
【００８７】
上記の構成によれば、アスペクト比に左右されず、微少な区画に分割されている分割画像から、特定画像のブロックが元の全画像のアスペクト比を保持するように抽出される。
【００８８】
したがって、拡大すべき部分をきめ細かく選択することができるようになり、またこれによって、拡大倍率も大きな値を得ることができる。
【００８９】
さらにまた本発明に係る画像入力装置は、被写体を撮像し、画像を出力する画像入力手段と、前記画像入力手段からの画像を予め定める複数の画素数の分割画像に分割する画像分割手段と、前記画像分割手段で分割された分割画像のうちから、特定の画像を包含する分割画像を特定画像として認識する画像特定手段と、前記画像特定手段で特定された特定画像のみを所望とするアスペクト比で拡大する画像処理手段とを含む構成であってもよい。
【００９０】
上記の構成によれば、元の全画像とは異なる所望とするアスペクト比で拡大することができる。
【００９１】
したがって、元の画像が、スーパーインポーズやテロップが挿入されるなどして、画像入力手段で撮像された画像のアスペクト比から歪んでいても、撮像手段のアスペクト比と同一のアスペクト比に復元することができる。したがって、元の画像が歪んでいても、自然な画像に復元して拡大を行うことができる。
【００９２】
また、本発明の画像入力装置は、上記画像特定手段が、複数の上記特定の画像から、認識される画像のうち元の全画像に対して最も拡大率が大きくなる上記分割画像を、上記特 定画像として抽出する構成であってもよい。
【００９３】
【発明の効果】
請求項１の発明に係る画像入力装置は、以上のように、ＴＶ会議装置などに用いられる画像入力装置において、被写体を撮像した画像の分割画像のうちから、人物、特にその顔面や資料などの特定の画像を包含する分割画像を拡大する。
【００９４】
それゆえ、操作者に煩雑な操作を要求することなく、該操作者の注目すべき前記特定の画像を自動的に拡大することができ、操作性を向上することができる。また、特定画像の拡大を画像処理で行うので、画像入力手段に関連して、可動雲台やその制御回路等の構成を設ける必要はなく、小型化および低コスト化を図ることができる。
【００９５】
また、請求項１の発明に係る画像入力装置は、上記構成において、複数の特定の画像から、認識される画像の形状に対応して、予め定められた優先順位に基づいて、いずれか１つの特定の画像を選択し、その特定の画像を包含する分割画像を特定画像として抽出する。
【００９６】
また請求項２の発明に係る画像入力装置は、以上のように、元の全画像の大きさまで拡大を行う。
【００９７】
それゆえ、元の全画像の大きさに対応して決定されている通信回線等の伝送容量を充分に使用することができる。
【００９８】
さらにまた請求項３の発明に係る画像伝送装置は、以上のように、前記請求項１または２のいずれかに記載の画像入力装置と、前記画像入力装置で作成された画像信号を通信回線を介して伝送する伝送手段と、伝送されてきた画像信号に応答して画像表示を行う表示手段とを備える。
【００９９】
それゆえ、上記の各画像入力装置のいずれかを用いて、たとえば監視カメラなどの一方向の画像伝送装置を実現することができる。
【０１００】
また請求項４の発明に係る画像伝送装置は、以上のように、前記請求項１または２に記載の画像入力装置と、前記画像入力装置で作成された画像信号を通信回線を介して伝送する伝送手段と、伝送されてきた画像信号に応答して画像表示を行う表示手段とを、自局側と相手局側とのそれぞれに備える。
【０１０１】
それゆえ、上記各画像入力装置のいずれかを用いて、ＴＶ会議装置やＴＶ電話装置などの双方向の画像伝送装置を実現することができる。
【０１０２】
さらにまた請求項５の発明に係る画像伝送装置は、以上のように、前記請求項３の一方向の画像伝送の構成に加えて、表示される画像上で入力操作手段で指示された位置にカーソルなどの指標を合成して表示するとともに、前記指示された位置における画像または画像ブロックを拡大する。
【０１０３】
それゆえ、たとえば人物と資料となどのように、前記特定画像や特定画像ブロックが複数認識される場合、操作者の所望とする特定画像または特定画像ブロックを拡大することができる。
【０１０４】
また請求項６の発明に係る画像伝送装置は、以上のように、前記請求項４の双方向の画像伝送の構成に加えて、表示される画像上で入力操作手段で指示された位置にカーソルなどの指標を合成して表示するとともに、前記指示された位置における画像または画像ブロックを拡大する。
【０１０５】
それゆえ、たとえば人物と資料となどのように、前記特定画像や特定画像ブロックが複数認識される場合、操作者の所望とする特定画像または特定画像ブロックを拡大することができる。
【０１０６】
さらにまた請求項７の発明に係る画像伝送装置は、以上のように、相手局側の画像とともに、自局側の画像を併せて表示する。
【０１０７】
それゆえ、相手局側の操作者が自局側の画像のどこに注目しているのかを認識することができる。これによって、適切な指摘を行ったり、また会話の展開の方向を変更するなどの実際の会議により近い状態を再現することができ、円滑なコミュニケーションを図ることができる。
【０１０８】
また請求項８の発明に係る画像伝送装置は、以上のように、自局側の画像上の位置に前記指標を合成して表示するとともに、指示された位置における画像または画像ブロックを拡大する。
【０１０９】
それゆえ、請求項７の構成にさらに加えて、相手局側に注目を希望する部分を自局側で指摘することができ、さらに会議を円滑に進行することができるようになる。
【０１１０】
また、請求項９の発明に係る画像伝送装置は、以上のように、請求項５〜８の構成において、入力操作手段がタッチパネルである。
【０１１１】
さらにまた請求項１０の発明に係る画像伝送装置は、以上のように、前記伝送手段を介して伝送される画像信号を、第三者側の表示手段で傍受して表示可能とする。
【０１１２】
それゆえ、二者間の会議を第三者でも傍観することができる。
【図面の簡単な説明】
【図１】本発明の実施の第１の形態の画像入力装置の電気的構成を示すブロック図である。
【図２】図１で示す画像入力装置における画像分割例を示す図である。
【図３】前記図２での画像分割例による撮像画像の分割例を示す図である。
【図４】図１で示す画像入力装置の画像特定部の具体的構成を示すブロック図である。
【図５】前記画像特定部の動作を説明するためのフローチャートである。
【図６】前記図１で示す画像入力装置の機能を説明するための図である。
【図７】本発明の実施の第２の形態の画像入力装置の電気的構成を示すブロック図である。
【図８】図７で示す画像入力装置における画像分割例を示す図である。
【図９】前記図８での画像分割例による撮像画像の分割例を示す図である。
【図１０】前記図７で示す画像入力装置の機能を説明するための図である。
【図１１】本発明の実施の第３の形態の画像入力装置の電気的構成を示すブロック図である。
【図１２】前記図１１で示す画像入力装置の機能を説明するための図である。
【図１３】本発明の実施の第４の形態の画像入力装置の電気的構成を示すブロック図である。
【図１４】前記図１３で示す画像入力装置の機能を説明するための図である。
【図１５】前記図１３で示す画像入力装置の機能を説明するための図である。
【図１６】前記各画像入力装置を用いる本発明の実施の第５の形態のＴＶ会議装置の構成を示す図である。
【図１７】本発明の実施の第６の形態のＴＶ会議装置の構成を示す図である。
【図１８】本発明の実施の第７の形態のＴＶ会議装置の構成を示す図である。
【符号の説明】
１０ 画像入力装置
１１ 被写体
１２ カメラ部（画像入力手段）
１３ 画像分割部（画像分割手段）
１４ 画像特定部（画像特定手段）
１５ 画像拡大部（画像処理手段）
２０ 画像入力装置
２３ ブロック分割部（ブロック分割手段）
２４ ブロック特定部（ブロック特定手段）
３０ 画像入力装置
３４ ブロック抽出部（ブロック抽出手段）
４０ 画像入力装置
４１ スーパーインポーズ部
４５ 画像拡大部（画像処理手段）
５０ 画像入力装置
１００ ＴＶ会議装置（画像伝送装置）
１０１ 自局側通信制御部（伝送手段）
１０２ 通信回線（伝送手段）
１１１ 相手局側通信制御部（伝送手段）
１１２ 自局側表示装置（表示手段）
１１３ 相手局側表示装置（表示手段）
１１４ 入力操作部（入力操作手段）
１１５ 指示用ポインタ（指標）
１１６ 入力操作部（入力操作手段）
１１７ 指示用ポインタ（指標）
１２０ ＴＶ会議装置（画像伝送装置）
１２１ 自局側通信制御部（伝送手段）
１２２ 通信回線（伝送手段）
１２６ 画像記憶部
１２７ 第三者側通信制御部（伝送手段）
１２８ 第三者側表示装置（表示手段）
１３０ ＴＶ会議装置（画像伝送装置）
１３１ 通信制御部（伝送手段）
１３２ 表示装置
１３５ ポインタ（指標）
１３６ 入力操作部（入力操作手段）
１４０ ホストコンピュータ
１４１ エッジ抽出部
１４２ ブロック特定部
１４３ 顔面抽出部
１４４ データ切換部
Ａ 領域（分割画像）
Ｂ 画像ブロック
Ｐ１ 顔面
Ｐ２ 人物
Ｐ３ 書類
Ｓ 端末局
Ｓａ 端末局
Ｓｂ 端末局
【発明の属する技術分野】
本発明は、いわゆるＴＶ会議装置やＴＶ電話装置などとして好適に実施される画像伝送装置およびそれに用いられる画像入力装置に関する。
【０００２】
【従来の技術】
パーソナルコンピュータやワークステーション等のコンピュータシステム、いわゆるホームオートメーションシステム等の家庭情報端末、または携帯情報端末などに、ＣＣＤ（電荷結合素子）等を撮像素子として備えるＴＶカメラを画像入力手段として接続し、該ＴＶカメラで撮像した画像を伝送して前記ＴＶ会議装置やＴＶ電話装置を実現するようにした構成が普及している。
【０００３】
このような用途で使用されるＴＶカメラでは、撮像する必要のある被写体は、人物、特にその顔面、および書類や図面等の資料などである。したがって、これらの被写体に適宜注目して、詳細に認識するために、特定の被写体を拡大することが望まれる。このため、前記ＴＶカメラは、光学的なズーム機構等を備えている。
【０００４】
しかしながら、拡大を希望する被写体が画面の中心にない場合、単純に前記ズーム機構を用いて拡大するだけでは、所望とする特定の被写体を適切に拡大することができないという問題がある。
【０００５】
このような不具合を解決するために、典型的な従来技術である特開平６−２０２６００号公報および特開平７−１３５５９４号公報では、ＴＶカメラに前記光学的なズーム機構を設けるとともに、その雲台をパン／チルト動作可能な可動雲台としている。
【０００６】
【発明が解決しようとする課題】
したがって、上述の従来技術では、雲台が可動であるために、モータおよびその制御回路等が必要となり、高コスト化および大型化するとともに、操作が煩雑であるという問題がある。
【０００７】
本発明の目的は、低コスト化および小型化を図ることができるとともに、簡単な操作で所望とする特定の画像を抽出して拡大することができる画像入力装置およびそれを用いる画像伝送装置を提供することである。
【０００８】
【課題を解決するための手段】
請求項１の発明に係る画像入力装置は、被写体を撮像し、画像を出力する画像入力手段と、前記画像入力手段からの画像を予め定める複数の画素数の分割画像に分割する画像分割手段と、前記画像分割手段で分割された分割画像のうちから、特定の画像を包含する分割画像を特定画像として認識する画像特定手段と、前記画像特定手段で特定された特定画像のみを拡大する画像処理手段とを含むことを特徴とする。
【０００９】
上記の構成によれば、ＴＶ会議装置などに用いられる画像入力装置において、ＴＶカメラなどの画像入力手段で撮像された被写体の画像から、画像特定手段によって、人物、特にその顔面や資料などを含む分割画像が特定画像として認識され、その特定画像が画像処理手段で拡大される。
【００１０】
したがって、操作者に煩雑な操作を要求することなく、該操作者の注目すべき前記特定の画像を認識して自動的に拡大することができ、操作性を向上することができる。また、特定画像の拡大を画像処理で行うので、画像入力手段に関連して、可動雲台やその制御回路等の構成を設ける必要はなく、小型化および低コスト化を図ることができる。
【００１１】
また、請求項１の発明に係る画像入力装置は、上記構成において、上記画像特定手段が、複数の上記特定の画像から、認識される画像の形状に対応して、予め定められた優先順位に基づいて、いずれか１つの特定の画像を選択し、その特定の画像を包含する分割画像を上記特定画像として抽出することを特徴としている。
【００１２】
また請求項２の発明に係る画像入力装置では、前記画像処理手段は、元の全画像の大きさまで拡大を行うことを特徴とする。
【００１３】
上記の構成によれば、元の全画像の大きさに対応して決定されている通信回線等の伝送容量を充分に使用することができる。
【００１４】
さらにまた請求項３の発明に係る画像伝送装置は、前記請求項１または２に記載の画像入力装置と、前記画像入力装置で作成された画像信号を通信回線を介して伝送する伝送手段と、伝送されてきた画像信号に応答して画像表示を行う表示手段とを備えることを特徴とする。
【００１５】
上記の構成によれば、上記の各画像入力装置のいずれかを用いて、たとえば監視カメラなどの一方向の画像伝送装置を実現することができる。
【００１６】
また請求項４の発明に係る画像伝送装置は、前記請求項１または２に記載の画像入力装置と、前記画像入力装置で作成された画像信号を通信回線を介して伝送する伝送手段と、伝送されてきた画像信号に応答して画像表示を行う表示手段とを、自局側と相手局側とのそれぞれに備えることを特徴とする。
【００１７】
上記の構成によれば、上記各画像入力装置のいずれかを用いて、ＴＶ会議装置やＴＶ電話装置などの双方向の画像伝送装置を実現することができる。
【００１８】
さらにまた請求項５の発明に係る画像伝送装置は、入力操作手段および入力処理手段を備え、前記入力処理手段は、前記入力操作手段からの出力に応答し、表示手段に、表示される画像上で入力操作手段で指示された位置に指標を合成して表示させるとともに、相手局側の画像処理手段に、前記指示された位置における画像または画像ブロックを前記特定画像または特定画像ブロックとして拡大させることを特徴とする。
【００１９】
上記の構成によれば、前記請求項３の一方向の画像伝送の構成に加えて、受信側となる相手局側では、カーソルなどの指標が表示され、マウスなどの入力操作手段からの入力操作によって前記指標を移動させて、その指標で指示された位置における画像または画像ブロックを所望とする特定画像または特定画像ブロックとして、認識させ拡大を行わせる。
【００２０】
したがって、たとえば人物と資料となどのように、前記特定画像や特定画像ブロックが複数認識される場合、操作者の所望とする特定画像または特定画像ブロックを拡大することができる。
【００２１】
また請求項６の発明に係る画像伝送装置は、入力操作手段および入力処理手段を備え、前記入力処理手段は、前記入力操作手段からの出力に応答し、表示手段に、表示される画像上で入力操作手段で指示された位置に指標を合成して表示させるとともに、相手局側の画像処理手段に、前記指示された位置における画像または画像ブロックを前記特定画像または特定画像ブロックとして拡大させることを特徴とする。
【００２２】
上記の構成によれば、前記請求項４の双方向の画像伝送の構成に加えて、受信側となる相手局側では、カーソルなどの指標が表示され、マウスなどの入力操作手段からの入力操作によって前記指標を移動させて、その指標で指示された位置における画像または画像ブロックを所望とする特定画像または特定画像ブロックとして、認識させ拡大を行わせる。
【００２３】
したがって、たとえば人物と資料となどのように、前記特定画像や特定画像ブロックが複数認識される場合、操作者の所望とする特定画像または特定画像ブロックを拡大させることができる。
【００２４】
さらにまた請求項７の発明に係る画像伝送装置では、前記表示手段は、表示すべき相手局側の画像とともに、相手局側の表示手段で表示されるべき自局側の画像を併せて表示することを特徴とする。
【００２５】
上記の構成によれば、相手局側の操作者が自局側の画像のどこに注目しているのかを認識することができる。これによって、適切な指摘を行ったり、また会話の展開の方向を変更するなどの実際の会議により近い状態を再現することができ、円滑なコミュニケーションを図ることができる。
【００２６】
また請求項８の発明に係る画像伝送装置では、前記入力処理手段は、前記入力操作手段からの操作に応答して、自局側の画像上の位置にも前記指標を合成して表示するとともに、自局側の画像処理手段に、前記指示された位置における画像または画像ブロックを前記特定画像または特定画像ブロックとして拡大させることを特徴とする。
【００２７】
上記の構成によれば、請求項７の構成にさらに加えて、相手局側に注目を希望する部分を自局側で指摘することができ、さらに会議を円滑に進行することができるようになる。 また、請求項９の発明に係る画像伝送装置は、請求項５〜８の構成において、上記入力操作手段がタッチパネルであることを特徴としている。
【００２８】
さらにまた請求項１０の発明に係る画像伝送装置は、前記伝送手段を介して伝送される画像信号を、第三者側の表示手段で傍受して表示可能とすることを特徴とする。
【００２９】
上記の構成によれば、二者間の会議を第三者でも傍観することができる。
【００３０】
【発明の実施の形態】
本発明の実施の第１の形態について、図１〜図６に基づいて説明すれば以下のとおりである。
図１は、本発明の実施の第１の形態の画像入力装置１０の電気的構成を示すブロック図である。この画像入力装置１０は、たとえばＴＶ会議装置のカメラとして用いられ、大略的に、カメラ部１２と、画像分割部１３と、画像特定部１４と、画像拡大部１５とを備えて構成されている。
【００３１】
画像入力手段であるカメラ部１２は、ＣＣＤデジタルテレビジョンカメラなどで実現され、人物、または書類や図面等の資料などの被写体１１を撮像し、その撮像画像に対応した画像データを画像分割部１３へ出力する。
【００３２】
画像分割部１３は、カメラ部１２での撮像画像を、たとえば図２で示すような多数の領域に分割を行う。この図２の例では、Ａ１，Ａ２，…，Ａ４８の（６×８＝４８）領域に分割する例を示している。また、前記撮像画像を前記領域Ａ１〜Ａ４８（以下、総称するときには参照符Ａで示す）で分割した例を図３で示している。
【００３３】
画像特定部１４は、画像分割部１３からの画像を解析し、各分割画像のうちから、注目すべき特定の画像を包含する分割画像を特定画像として認識する。たとえば、前記図３の撮像画像の例では、人物の顔面Ｐ１を特定の画像とするときには、該顔面Ｐ１を構成する領域Ａ１０，Ａ１１，Ａ１２；Ａ１８，Ａ１９，Ａ２０；Ａ２６，Ａ２７，Ａ２８の分割画像を特定画像として認識し、人物の画像Ｐ２を特定の画像とするときには、領域Ａ１０，Ａ１１，Ａ１２；Ａ１８，Ａ１９，Ａ２０；Ａ２６，Ａ２７，Ａ２８；Ａ３４，Ａ３５，Ａ３６；Ａ４２，Ａ４３，Ａ４４の分割画像を特定画像として認識し、書類Ｐ３を特定の画像とするときには、領域Ａ２２，Ａ２３，Ａ２４；Ａ３０，Ａ３１，Ａ３２；Ａ３８，Ａ３９，Ａ４０の分割画像を特定画像として認識し、光源Ｐ４を特定の画像とするときには、領域Ａ５，Ａ６；Ａ１３，Ａ１４の分割画像を特定画像として認識する。
【００３４】
図４は、画像特定部１４の具体的構成を示すブロック図である。前記画像分割部１３からの画像データは、エッジ抽出部１４１に入力され、輝度信号レベルの変化等から被写体のエッジが抽出される。エッジ抽出部１４１からの出力は、ブロック特定部１４２に入力され、前記各領域Ａ内で、特定の画像として認識できる分割画像のブロックが特定される。
【００３５】
ブロック特定部１４２からの出力は、顔面抽出部１４３に入力されており、この顔面抽出部１４３は、たとえば本件出願人が先に特開平７−６５１４９号で提案した手法を適用して、顔面Ｐ１を構成する特定画像を求める。すなわち、まず所定フレームだけ隔てた画像データ間の絶対差分を求めて、動きのある領域を検出する。次に、その差分値のデータをＸ軸座標（水平方向）およびＹ軸座標（鉛直方向）に濃度投影して、動きのある領域の最上部（Ｙ軸方向の最大値）を頭頂座標とし、またその頭頂座標が得られるＸ座標を人体の中央の座標とし、その中央の座標からＸ軸座標で所定範囲内の前記差分値のエッジを人体の顔の候補位置とする。
【００３６】
一方、ブロック特定部１４２からの出力はまたデータ切換部１４４に入力されており、データ切換部１４４からは、顔面抽出部１４３で顔面Ｐ１が確認されたときには、前記ブロック特定部１４２からの出力のうち、顔面Ｐ１に関する分割画像の画像データが画像拡大部１５へ出力され、こうして顔面Ｐ１が優先的に拡大される。
【００３７】
図５は、上述の図４で示す画像特定部１４の動作を説明するためのフローチャートである。ステップｓ１では、画像分割部１３で作成された分割画像から顔面Ｐ１を表す分割画像が存在するか否かが判断され、存在するときにはステップｓ４において、その顔面Ｐ１を構成する分割画像が特定画像として抽出され、ステップｓ６において、その抽出された分割画像のデータが画像拡大部１５へ出力される。
【００３８】
また、前記ステップｓ１において、顔面Ｐ１が特定できなかったときには、ステップｓ２に移り、人物Ｐ２または書類Ｐ３等の前記顔面Ｐ１以外の特定すべき画像が存在するか否かが判断され、存在するときには、ステップｓ５において、その特定の画像のエッジから、該特定の画像を構成する分割画像が抽出された後、ステップｓ６において、抽出された分割画像のデータが画像拡大部１５へ出力される。
【００３９】
これに対して、前記ステップｓ２において、特定すべき画像が検出されないとき、すなわち単一色の背景のみのベタ画面等では、ステップｓ３において、前記画像拡大部１５へ特定できないことを表すエラーメッセージデータが出力された後、ステップｓ１に戻る。
【００４０】
このようにして画像認識が行われ、画像特定部１４は、前述のように、顔面、人物、書類等の認識画像の中からいずれか１つを特定の画像として、その画像データを画像拡大部１５へ出力する。
【００４１】
画像拡大部１５は、前記特定の画像を元の全画像の大きさまで拡大する。したがって、たとえば図６で示すように、図６（ａ）の元の画像に対して、顔面が選択されたときには、図６（ｂ）で示す拡大画像が得られ、人物が選択されたときには、図６（ｃ）で示す拡大画像が得られ、書類が選択されたときには、図６（ｄ）で示す拡大画像が得られる。
【００４２】
この画像拡大部１５は、たとえば本件出願人が特開平７−２８８７８１号で示したように構成される。すなわち、２つのラインメモリに、ライン毎に交互に変換前の画像データを書込んでゆくようにし、出力は、変換前のラインと変換後のラインとの対応から、いずれか一方のラインメモリのみから、または２つのラインメモリからの出力にそれぞれ重付けすることによって行う。
【００４３】
たとえば、拡大倍率が２．５倍であるときには、２本のラインの画像データを５本のラインに変換する必要があり、第１本目および第２本目のラインには、第１のラインメモリのみからの画像データが出力され、第３本目のラインには、第１および第２のラインメモリからの画像データがそれぞれ重み１／２で加算されて出力され、第４および第５のラインには、第２のラインメモリのみからの画像データが出力される。同様に、水平方向の各ドットの画像データも、変換前のドット数と変換後のドット数とに対応して変換が行われる。なお、画像の拡大手法は、このような手法に限らず、たとえば特開平４−１８５０８７号公報等で示されるような他の手法が用いられてもよい。
【００４４】
画像拡大部１５で拡大された特定画像のデータは、ライン１６に出力され、該画像入力装置１０がＴＶ会議装置に用いられるときには、通信回線の通信規約に適応したデータ変換を行う送信回路などに入力され、またはパーソナルコンピュータなどの画像処理を行うことができる装置に入力される。またカメラ部１２からは、ライン１７に全画像のデータが出力されており、該画像入力装置１０が前述のようにＴＶ会議装置に用いられるときには、自局用のモニタ等に入力される。
【００４５】
このようにして本発明に従う画像入力装置１０では、図３で示すような原画像から、人物等の特定の画像を抽出して、図６で示すように、前記原画像の全画像の大きさまで画像処理によって自動的に拡大を行う。したがって、カメラ部１２に関連して、可動雲台およびその制御回路などの煩雑な構成を設ける必要がなくなり、小型化および低コスト化を図ることができるとともに、操作性を向上することができる。
【００４６】
また、前記送信回路から通信回線および受信回路を介して、表示装置等へ画像データを伝送するにあたって、前記通信回線等の伝送容量に規定されている全画像分のデータに、特定の画像のデータを出力するので、前記伝送容量を有効に使用することができる。すなわち、ライン１７からの全画像データを伝送するようにし、受信側で画像を拡大するようにした場合には、拡大画像に要求される画質を満足するために伝送容量が増大してしまうのに対して、このように全画像の大きさまで拡大した画像のデータを伝送することによって、伝送容量をむやみに高く設定する必要がなくなる。
【００４７】
なお、各領域Ａにおける画素数が少ないとき、すなわち原画像が多数の分割画像に分割されているときには、特定の被写体以外の背景等の不要な部分をより少なくすることができる。
【００４８】
前記特定の画像の選択は、たとえば顔面、人物、書類の順で、認識された画像の形状に対応して、優先順位を予め定めておくようにしてもよく、また元の全画像に対して最も拡大率が大きくなる認識画像を特定の画像とするようにしてもよい。
【００４９】
本発明の実施の第２の形態について、図７〜図１０に基づいて説明すれば以下のとおりである。
図７は、本発明の実施の第２の形態の画像入力装置２０の電気的構成を示すブロック図である。この画像入力装置２０は、前述の画像入力装置１０に類似し、対応する部分には、同一の参照符号を付してその説明を省略する。
【００５０】
注目すべきは、この画像入力装置２０では、カメラ部１２からの画像データは、ブロック分割部２３において、図８で示すように、全画像のアスペクト比と等しいアスペクト比の画像ブロックＢ１，Ｂ２，…，Ｂ６４（総称するときには、以下参照符Ｂで示す）に分割される。すなわち、全画像のライン数ｂ１と、一水平走査線当りのドット数ｂ２とに対して、各分割画像Ｂのライン数ｂ１ａと、ドット数ｂ２ａとが、ｂ１：ｂ２＝ｂ１ａ：ｂ２ａとなるように分割される。
【００５１】
さらにブロック分割部２３からの画像データは、ブロック特定部２４において、前記人物等の特定の画像が映っている画像ブロックを包含するように、かつ全画像のアスペクト比を保持するように、１または複数の画像ブロックが特定画像ブロックとして認識される。すなわち、たとえば垂直方向に２つの画像ブロックが選択されると、水平方向にも２つの画像ブロックが選択されることになる。
【００５２】
前記ブロック特定部２４で特定された画像ブロックは、画像拡大部１５において拡大される。したがって、前記図３および図６（ａ）と同様に、図９および図１０（ａ）で示される原画像は、図１０（ｂ）〜図１０（ｄ）で示すように、画像ブロックが特定されて拡大される。
【００５３】
すなわち、たとえば人物の顔面Ｐ１が特定されるときには、該画面Ｐ１が含まれる画像ブロックは、Ｂ１０，Ｂ１１，Ｂ１２；Ｂ１８，Ｂ１９，Ｂ２０；Ｂ２６，Ｂ２７，Ｂ２８であり、ブロック特定部２４は、アスペクト比を保持するために、さらに画像ブロックＢ１３，Ｂ２１，Ｂ２９を加えて、図１０（ｂ）で示すように特定し、原画像の全画像の大きさまで拡大を行う。
【００５４】
また、特定された画像が人物Ｐ２であるときには、該人物Ｐ２が含まれる画像ブロックＢ１０，Ｂ１１，Ｂ１２；Ｂ１８，Ｂ１９，Ｂ２０；Ｂ２６，Ｂ２７，Ｂ２８；Ｂ３４，Ｂ３５，Ｂ３６；Ｂ４２，Ｂ４３，Ｂ４４；Ｂ５０，Ｂ５１，Ｂ５２；Ｂ５８，Ｂ５９，Ｂ６０に加えて、アスペクト比を保持するために、画像ブロックＢ１３，Ｂ１４，Ｂ１５；Ｂ２１，Ｂ２２，Ｂ２３；Ｂ２９，Ｂ３０，Ｂ３１；Ｂ３７，Ｂ３８，Ｂ３９；Ｂ４５，Ｂ４６，Ｂ４７；Ｂ５３，Ｂ５４，Ｂ５５；Ｂ６１，Ｂ６２，Ｂ６３を加えて、図１０（ｃ）で示すように特定され、拡大が行われる。
【００５５】
さらに書類Ｐ３が特定されたときには、該書類Ｐ３が含まれる画像ブロックＢ３０，Ｂ３１，Ｂ３２；Ｂ３８，Ｂ３９，Ｂ４０；Ｂ４６，Ｂ４７，Ｂ４８；Ｂ５４，Ｂ５５，Ｂ５６に加えて、図１０（ｄ）で示すように、アスペクト比を保持するために、画像ブロックＢ２９，Ｂ３７，Ｂ４５，Ｂ５３が特定され、拡大される。
【００５６】
このように画像入力装置２０では、原画像のアスペクト比を保持して特定画像の拡大を行うので、歪がなく、違和感のない自然な画像を形成することができる。また、前述のように画像入力装置１０の構成で、アスペクト比を保持するためには領域Ａの分割数を多くする必要があるのに対して、この画像入力装置２０ののように予めアスペクト比を保持して分割するようにしておくことによって、分割数を少なくすることができ、画像分割部１３に比べてブロック分割部２３の回路構成を簡略化することができる。
【００５７】
本発明の実施の第３の形態について、図１１および図１２に基づいて説明すれば以下のとおりである。
図１１は、本発明の実施の第３の形態の画像入力装置３０の電気的構成を示すブロック図である。この画像入力装置３０は、前述の画像入力装置２０に類似し、対応する部分には同一の参照符号を付してその説明を省略する。
【００５８】
注目すべきはこの画像入力装置３０では、ブロック分割部２３からの画像データは、ブロック抽出部３４において、前記ブロック特定部２４でアスペクト比を保持するために付加された画像ブロックが、白色や黒色等のいわゆるベタ画面とされる。
【００５９】
すなわち、前記図９および図１０（ａ）と同一の図１２（ａ）で示す原画像に対して、人物の顔面Ｐ１を抽出するときには、該顔面Ｐ１が含まれる画像ブロックＢ１０，Ｂ１１，Ｂ１２；Ｂ１８，Ｂ１９，Ｂ２０；Ｂ２６，Ｂ２７，Ｂ２８のみが抽出され、前記図１０（ｂ）で付加された画像ブロックＢ１３，Ｂ２１，Ｂ２９は、前記ベタ画面とされ、図１２（ｂ）で示すように拡大される。同様に、人物Ｐ２が抽出されるときおよび書類Ｐ３が抽出されるときには、それぞれ図１２（ｃ）および図１２（ｄ）で示すようになる。
【００６０】
したがって、画像入力装置１０に比べて、アスペクト比を保持した歪のない自然な画像で拡大することができ、かつ画像入力装置２０に比べて、光源Ｐ４などの不要な被写体の映込みを少なくして、注目すべき部分のみを明瞭に抽出して拡大することができるとともに、通信データ量を少なくすることができる。
【００６１】
本発明の実施の第４の形態について、図１３〜図１５に基づいて説明すれば以下のとおりである。
図１３は、本発明の実施の第４の形態の画像入力装置４０の電気的構成を示すブロック図である。この画像入力装置４０は、前述の画像入力装置２０に類似し、対応する部分には同一の参照符号を付してその説明を省略する。
【００６２】
注目すべきは、この画像入力装置４０では、ブロック分割部２３からの画像データには、スーパーインポーズ部４１において、図１４において参照符ＳＰで示す文字などのスーパーインポーズが行われる。したがって、ライン１７に出力される全画像のデータは、このスーパーインポーズ部４１から出力されることになる。このため、ブロック特定部２４へ入力されるスーパーインポーズ部４１からの全画像の画像データには、図１４および図１５（ａ）で示すように、カメラ部１２からの画像データのアスペクト比が崩れた歪んだ画像となっている。（図１４および図１５（ａ）では、スーパーインポーズに伴って、画像の上下方向が圧縮されている。）このため、画像拡大部４５は、スーパーインポーズ部４１において崩れたアスペクト比を復元しつつ拡大を行う。
【００６３】
したがって、前記図９および図１０（ａ）で示す原画像に対して、図１４および図１５（ａ）で示すように、アスペクト比が崩れた歪んだ画像となっている原画像に対しても、前記図１０（ｂ）〜図１０（ｄ）で示す拡大画像と同様に、図１５（ｂ）〜図１５（ｄ）でそれぞれ示すように、正しいアスペクト比で拡大画像を得ることができる。
【００６４】
なお、このように歪んだ原画像に対してアスペクト比を正常に復元するようにして拡大を行う手法は、前述の画像入力装置３０に関しても同様に実施することができることは言うまでもない。
【００６５】
本発明の実施の第５の形態について、図１６に基づいて説明すれば以下のとおりである。
図１６は、本発明の実施の第５の形態のＴＶ会議装置１００の構成を示す図である。このＴＶ会議装置１００は、自局側と相手局側との間で画像および音声を双方向に通信可能に構成されているものとし、この図１６では、図面の簡略化のために、自局側から相手局側へ画像を伝送するための構成のみを示し、相手局側から自局側への画像を伝送するための構成および音声に関する構成は省略している。
【００６６】
前記画像入力装置１０，２０，３０，４０のいずれかで構成される画像入力装置５０（この図１６の例では画像入力装置１０の構成としている）からは、ライン１７に全画像のデータが出力され、ライン１６に拡大画像のデータが出力されている。これらの画像データは、自局側通信制御部１０１に入力されて、適宜選択および画像処理され、自局側通信制御部１０１からは、たとえばいずれか一方の画像データのみ、またはこの図１６で示すように、全画像Ｐ０と拡大画像Ｐ１とを共通の画像内に形成したウインドウに嵌込んだ画像データが出力される。前記画像データは、自局側表示装置１１２において表示されるとともに、電話回線および交換機等で実現される通信回線１０２を介して、相手局側通信制御部１１１へ伝送される。前記画像データは、相手局側通信制御部１１１に関連して設けられた相手局側表示装置１１３に表示される。通信制御部１０１，１１１は、マイクロコンピュータおよびその周辺回路ならびにソフトウェア等によって実現される。
【００６７】
相手局側通信制御部１１１に関連して、マウスやタッチパネルなどで実現される入力される入力操作部１１４が設けられている。この入力操作部１１４からの入力操作に応答して、相手局側表示装置１１３は、前記全画像Ｐ０内で前記入力操作部１１４からの操作に対応した位置に、指標である指示用ポインタ１１５を併せて表示している。この指示用ポインタ１１５で指示された位置の分割画像が前記特定の画像を構成していると判定されて、その位置の領域番号が相手局側通信制御部１１１から通信回線１０２を介して、自局側通信制御部１０１へ拡大エリア情報として送信される。
【００６８】
自局側通信制御部１０１は、前記拡大エリア情報を受信すると、画像特定部１４へ転送し、その指示された領域の分割画像を含む特定の画像を構成する分割画像が特定画像として認識されて、拡大画像Ｐ１が作成される。このように、入力操作部１１４を設けて、入力操作によって所望とする特定の画像を拡大するように構成することによって、相手局側の操作者が所望とする画像を任意に選択して拡大することができる。
【００６９】
また、同様に自局側通信制御部１０１に関連して入力操作部１１６を設け、自局側の表示装置１１２にも指示用ポインタ１１７を表示するようにしてもよい。これによって、自局側の操作者は、相手局側の操作者に注目してほしい画像を拡大して伝送することができる。
【００７０】
さらにまた、相手局側と自局側とで同じ画面を表示することによって、相手局側の操作者が自局側の画像のどこに注目しているのかを認識することができる。これによって、適切な指摘を行ったり、また会話の展開の方向を変更するなどの実際の会議により近い状態を再現することができ、円滑なコミュニケーションを図ることができる。
【００７１】
本発明の実施の第６の形態について、図１７に基づいて説明すれば以下のとおりである。
図１７は、本発明の実施の第６の形態のＴＶ会議装置１２０の構成を示す図である。このＴＶ会議装置１２０は、前述のＴＶ会議装置１００に類似し、対応する部分には同一の参照符号を付してその説明を省略する。
【００７２】
このＴＶ会議装置１２０では、自局側と相手局側とのいずれか一方の通信制御部（この図１７では自局側通信制御部１２１）に、通信回線１２２を介して、第三者側通信制御部１２７が接続されている。この第三者側通信制御部１２７で受信された画像データは、第三者側表示装置１２８に表示される。また、自局側通信制御部１２１に関連して、メモリなどで実現される画像記憶部１２６が接続されている。前記第三者側通信制御部１２７へは、自局側表示装置１１２で表示される画像が、画像記憶部１２６で一旦記憶された後、通信回線１２２を介して伝送され、第三者側表示装置１２８で表示される。
【００７３】
このようにして、第三者が自局と相手局との間の会議を傍受することが可能となる。
【００７４】
なお、第三者側の構成は、１局だけに限らず、多数局設けられていてもよい。
【００７５】
本発明の実施の第７の形態について、図１８に基づいて説明すれば以下のとおりである。
図１８は、本発明の実施の第７の形態のＴＶ会議装置１３０の構成を示す図である。このＴＶ会議装置１３０において、前述のＴＶ会議装置１００，１２０に類似し、対応する部分には同一の参照符号を付してその説明を省略する。
【００７６】
注目すべきは、このＴＶ会議装置１３０では、複数（この図１８では３）の端末局Ｓ，Ｓａ，Ｓｂが、ホストコンピュータ１４０を介して、相互に通信可能に構成されている。このＴＶ会議装置１３０では、任意の端末局同志が当事者となって、自局側と相手局側との画像を確認しながら会話可能であり、第三者は、前記当事者と同一の画面を傍受可能に構成されている。なお、この図１８の例では、端末局Ｓが自局となり、端末局Ｓａが相手局となって、これらの当事者間で会話が行われ、残余の端末局Ｓｂがそれを傍受していることを表している。
【００７７】
端末局Ｓは、被写体１１の画像を取込む前記画像入力装置５０と、通信制御部１３１と、前記画像記憶部１２６と、入力操作部１３６と、表示装置１３２とを備えて構成されている。表示装置１３２には、自局側の全画像および拡大画像が表示されるとともに、相手局側の全画像および拡大画像が表示される。また、相手局側の全画像には、自局側で操作可能なポインタ１３５が併せて表示されている。
【００７８】
同様の構成が端末局Ｓａ，Ｓｂにも設けられており、それぞれ対応する部分には、同一の参照符号に添字ａまたはｂを付して示している。この図１８で示す例では、自局側となる端末局Ｓでは、相手局側の被写体１１ａの書類Ｐ３の拡大を指定しており、これに対して相手局側となる端末局Ｓａでは、自局側の顔面Ｐ１の拡大が選択されている。
【００７９】
各端末局Ｓ，Ｓａ，Ｓｂは、入力操作部１３６，１３６ａ，１３６ｂへの入力操作等によって、それぞれ自局が当事者となることができ、この場合、ホストコンピュータ１４０は、最後に発言した端末局をもう１つの当事者としてもよく、あるいは所定時間毎に当事者が入替わるなどの他の手法によって、当事者が選ばれてもよい。このようにして、多数の端末局間でコミュニケーションを図ることができる。
【００８０】
なお、本発明の画像入力装置は、被写体を撮像し、画像を出力する画像入力手段と、前記画像入力手段からの画像を、アスペクト比を保持したまま、予め定める複数の画素数の画像ブロックに分割するブロック分割手段と、前記ブロック分割手段で分割された画像ブロックのうちから、元の全画像のアスペクト比と同一のアスペクト比で、特定の画像を包含する画像ブロックを特定画像ブロックとして認識するブロック特定手段と、前記ブロック特定手段で特定された特定画像ブロックのみを拡大する画像処理手段とを含む構成であってもよい。
【００８１】
上記の構成によれば、特定画像のブロックを拡大するにあたって、前記画像ブロックが元の全画像のアスペクト比と同一のアスペクト比となるように選ばれる。
【００８２】
したがって、元の全画像のアスペクト比を保持して、歪がなく、違和感のない拡大を行うことができる。
【００８３】
さらにまた本発明の画像入力装置は、被写体を撮像し、画像を出力する画像入力手段と、前記画像入力手段からの画像を、アスペクト比を保持したまま、予め定める複数の画素数の画像ブロックに分割するブロック分割手段と、前記ブロック分割手段で分割された画像ブロックのうちから、特定の画像を包含する画像ブロックを特定画像ブロックとして認識するブロック抽出手段と、前記ブロック抽出手段で抽出された特定画像ブロックのみを、アスペクト比を保持したまま拡大する画像処理手段とを含む構成であってもよい。
【００８４】
上記の構成によれば、注目すべき部分のみが特定画像のブロックとして、アスペクト比を保持して拡大され、表示手段上で前記特定画像のブロック以外となる部分には、画像が表示されず、たとえば黒色や白色の背景となる。
【００８５】
したがって、注目すべき部分のみを明瞭に抽出して拡大表示することができるとともに、通信データ量を少なくすることができる。
【００８６】
また本発明の画像入力装置は、被写体を撮像し、画像を出力する画像入力手段と、前記画像入力手段からの画像を予め定める複数の画素数の分割画像に分割する画像分割手段と、前記画像分割手段で分割された分割画像のうちから、元の全画像のアスペクト比と同一のアスペクト比で、特定の画像を包含する画像ブロックを特定画像ブロックとして認識するブロック特定手段と、前記ブロック特定手段で特定された特定画像ブロックのみを拡大する画像処理手段とを含む構成であってもよい。
【００８７】
上記の構成によれば、アスペクト比に左右されず、微少な区画に分割されている分割画像から、特定画像のブロックが元の全画像のアスペクト比を保持するように抽出される。
【００８８】
したがって、拡大すべき部分をきめ細かく選択することができるようになり、またこれによって、拡大倍率も大きな値を得ることができる。
【００８９】
さらにまた本発明に係る画像入力装置は、被写体を撮像し、画像を出力する画像入力手段と、前記画像入力手段からの画像を予め定める複数の画素数の分割画像に分割する画像分割手段と、前記画像分割手段で分割された分割画像のうちから、特定の画像を包含する分割画像を特定画像として認識する画像特定手段と、前記画像特定手段で特定された特定画像のみを所望とするアスペクト比で拡大する画像処理手段とを含む構成であってもよい。
【００９０】
上記の構成によれば、元の全画像とは異なる所望とするアスペクト比で拡大することができる。
【００９１】
したがって、元の画像が、スーパーインポーズやテロップが挿入されるなどして、画像入力手段で撮像された画像のアスペクト比から歪んでいても、撮像手段のアスペクト比と同一のアスペクト比に復元することができる。したがって、元の画像が歪んでいても、自然な画像に復元して拡大を行うことができる。
【００９２】
また、本発明の画像入力装置は、上記画像特定手段が、複数の上記特定の画像から、認識される画像のうち元の全画像に対して最も拡大率が大きくなる上記分割画像を、上記特 定画像として抽出する構成であってもよい。
【００９３】
【発明の効果】
請求項１の発明に係る画像入力装置は、以上のように、ＴＶ会議装置などに用いられる画像入力装置において、被写体を撮像した画像の分割画像のうちから、人物、特にその顔面や資料などの特定の画像を包含する分割画像を拡大する。
【００９４】
それゆえ、操作者に煩雑な操作を要求することなく、該操作者の注目すべき前記特定の画像を自動的に拡大することができ、操作性を向上することができる。また、特定画像の拡大を画像処理で行うので、画像入力手段に関連して、可動雲台やその制御回路等の構成を設ける必要はなく、小型化および低コスト化を図ることができる。
【００９５】
また、請求項１の発明に係る画像入力装置は、上記構成において、複数の特定の画像から、認識される画像の形状に対応して、予め定められた優先順位に基づいて、いずれか１つの特定の画像を選択し、その特定の画像を包含する分割画像を特定画像として抽出する。
【００９６】
また請求項２の発明に係る画像入力装置は、以上のように、元の全画像の大きさまで拡大を行う。
【００９７】
それゆえ、元の全画像の大きさに対応して決定されている通信回線等の伝送容量を充分に使用することができる。
【００９８】
さらにまた請求項３の発明に係る画像伝送装置は、以上のように、前記請求項１または２のいずれかに記載の画像入力装置と、前記画像入力装置で作成された画像信号を通信回線を介して伝送する伝送手段と、伝送されてきた画像信号に応答して画像表示を行う表示手段とを備える。
【００９９】
それゆえ、上記の各画像入力装置のいずれかを用いて、たとえば監視カメラなどの一方向の画像伝送装置を実現することができる。
【０１００】
また請求項４の発明に係る画像伝送装置は、以上のように、前記請求項１または２に記載の画像入力装置と、前記画像入力装置で作成された画像信号を通信回線を介して伝送する伝送手段と、伝送されてきた画像信号に応答して画像表示を行う表示手段とを、自局側と相手局側とのそれぞれに備える。
【０１０１】
それゆえ、上記各画像入力装置のいずれかを用いて、ＴＶ会議装置やＴＶ電話装置などの双方向の画像伝送装置を実現することができる。
【０１０２】
さらにまた請求項５の発明に係る画像伝送装置は、以上のように、前記請求項３の一方向の画像伝送の構成に加えて、表示される画像上で入力操作手段で指示された位置にカーソルなどの指標を合成して表示するとともに、前記指示された位置における画像または画像ブロックを拡大する。
【０１０３】
それゆえ、たとえば人物と資料となどのように、前記特定画像や特定画像ブロックが複数認識される場合、操作者の所望とする特定画像または特定画像ブロックを拡大することができる。
【０１０４】
また請求項６の発明に係る画像伝送装置は、以上のように、前記請求項４の双方向の画像伝送の構成に加えて、表示される画像上で入力操作手段で指示された位置にカーソルなどの指標を合成して表示するとともに、前記指示された位置における画像または画像ブロックを拡大する。
【０１０５】
それゆえ、たとえば人物と資料となどのように、前記特定画像や特定画像ブロックが複数認識される場合、操作者の所望とする特定画像または特定画像ブロックを拡大することができる。
【０１０６】
さらにまた請求項７の発明に係る画像伝送装置は、以上のように、相手局側の画像とともに、自局側の画像を併せて表示する。
【０１０７】
それゆえ、相手局側の操作者が自局側の画像のどこに注目しているのかを認識することができる。これによって、適切な指摘を行ったり、また会話の展開の方向を変更するなどの実際の会議により近い状態を再現することができ、円滑なコミュニケーションを図ることができる。
【０１０８】
また請求項８の発明に係る画像伝送装置は、以上のように、自局側の画像上の位置に前記指標を合成して表示するとともに、指示された位置における画像または画像ブロックを拡大する。
【０１０９】
それゆえ、請求項７の構成にさらに加えて、相手局側に注目を希望する部分を自局側で指摘することができ、さらに会議を円滑に進行することができるようになる。
【０１１０】
また、請求項９の発明に係る画像伝送装置は、以上のように、請求項５〜８の構成において、入力操作手段がタッチパネルである。
【０１１１】
さらにまた請求項１０の発明に係る画像伝送装置は、以上のように、前記伝送手段を介して伝送される画像信号を、第三者側の表示手段で傍受して表示可能とする。
【０１１２】
それゆえ、二者間の会議を第三者でも傍観することができる。
【図面の簡単な説明】
【図１】本発明の実施の第１の形態の画像入力装置の電気的構成を示すブロック図である。
【図２】図１で示す画像入力装置における画像分割例を示す図である。
【図３】前記図２での画像分割例による撮像画像の分割例を示す図である。
【図４】図１で示す画像入力装置の画像特定部の具体的構成を示すブロック図である。
【図５】前記画像特定部の動作を説明するためのフローチャートである。
【図６】前記図１で示す画像入力装置の機能を説明するための図である。
【図７】本発明の実施の第２の形態の画像入力装置の電気的構成を示すブロック図である。
【図８】図７で示す画像入力装置における画像分割例を示す図である。
【図９】前記図８での画像分割例による撮像画像の分割例を示す図である。
【図１０】前記図７で示す画像入力装置の機能を説明するための図である。
【図１１】本発明の実施の第３の形態の画像入力装置の電気的構成を示すブロック図である。
【図１２】前記図１１で示す画像入力装置の機能を説明するための図である。
【図１３】本発明の実施の第４の形態の画像入力装置の電気的構成を示すブロック図である。
【図１４】前記図１３で示す画像入力装置の機能を説明するための図である。
【図１５】前記図１３で示す画像入力装置の機能を説明するための図である。
【図１６】前記各画像入力装置を用いる本発明の実施の第５の形態のＴＶ会議装置の構成を示す図である。
【図１７】本発明の実施の第６の形態のＴＶ会議装置の構成を示す図である。
【図１８】本発明の実施の第７の形態のＴＶ会議装置の構成を示す図である。
【符号の説明】
１０ 画像入力装置
１１ 被写体
１２ カメラ部（画像入力手段）
１３ 画像分割部（画像分割手段）
１４ 画像特定部（画像特定手段）
１５ 画像拡大部（画像処理手段）
２０ 画像入力装置
２３ ブロック分割部（ブロック分割手段）
２４ ブロック特定部（ブロック特定手段）
３０ 画像入力装置
３４ ブロック抽出部（ブロック抽出手段）
４０ 画像入力装置
４１ スーパーインポーズ部
４５ 画像拡大部（画像処理手段）
５０ 画像入力装置
１００ ＴＶ会議装置（画像伝送装置）
１０１ 自局側通信制御部（伝送手段）
１０２ 通信回線（伝送手段）
１１１ 相手局側通信制御部（伝送手段）
１１２ 自局側表示装置（表示手段）
１１３ 相手局側表示装置（表示手段）
１１４ 入力操作部（入力操作手段）
１１５ 指示用ポインタ（指標）
１１６ 入力操作部（入力操作手段）
１１７ 指示用ポインタ（指標）
１２０ ＴＶ会議装置（画像伝送装置）
１２１ 自局側通信制御部（伝送手段）
１２２ 通信回線（伝送手段）
１２６ 画像記憶部
１２７ 第三者側通信制御部（伝送手段）
１２８ 第三者側表示装置（表示手段）
１３０ ＴＶ会議装置（画像伝送装置）
１３１ 通信制御部（伝送手段）
１３２ 表示装置
１３５ ポインタ（指標）
１３６ 入力操作部（入力操作手段）
１４０ ホストコンピュータ
１４１ エッジ抽出部
１４２ ブロック特定部
１４３ 顔面抽出部
１４４ データ切換部
Ａ 領域（分割画像）
Ｂ 画像ブロック
Ｐ１ 顔面
Ｐ２ 人物
Ｐ３ 書類
Ｓ 端末局
Ｓａ 端末局
Ｓｂ 端末局
Claims (10)
- 被写体を撮像し、画像を出力する画像入力手段と、
前記画像入力手段からの画像を予め定める複数の画素数の分割画像に分割する画像分割手段と、
前記画像分割手段で分割された分割画像のうちから、特定の画像を包含する分割画像を特定画像として認識する画像特定手段と、
前記画像特定手段で特定された特定画像のみを拡大する画像処理手段とを含み、
前記画像特定手段は、複数の上記特定の画像から、認識される画像の形状に対応して、予め定められた優先順位に基づいて、いずれか１つの特定の画像を選択し、その特定の画像を包含する分割画像を上記特定画像として抽出することを特徴とする画像入力装置。 - 前記画像処理手段は、元の全画像の大きさまで拡大を行うことを特徴とする請求項１に記載の画像入力装置。
- 前記請求項１または２に記載の画像入力装置と、
前記画像入力装置で作成された画像信号を通信回線を介して伝送する伝送手段と、
伝送されてきた画像信号に応答して画像表示を行う表示手段とを備えることを特徴とする画像伝送装置。 - 前記請求項１または２に記載の画像入力装置と、
前記画像入力装置で作成された画像信号を通信回線を介して伝送する伝送手段と、
伝送されてきた画像信号に応答して画像表示を行う表示手段とを、自局側と相手局側とのそれぞれに備えることを特徴とする画像伝送装置。 - 入力操作手段および入力処理手段を備え、前記入力処理手段は、前記入力操作手段からの出力に応答し、表示手段に、表示される画像上で入力操作手段で指示された位置に指標を合成して表示させるとともに、相手局側の画像処理手段に、前記指示された位置における画像または画像ブロックを前記特定画像または特定画像ブロックとして拡大させることを特徴とする請求項３記載の画像伝送装置。
- 入力操作手段および入力処理手段を備え、前記入力処理手段は、前記入力操作手段からの出力に応答し、表示手段に、表示される画像上で入力操作手段で指示された位置に指標を合成して表示させるとともに、相手局側の画像処理手段に、前記指示された位置における画像または画像ブロックを前記特定画像または特定画像ブロックとして拡大させることを特徴とする請求項４記載の画像伝送装置。
- 前記表示手段は、表示すべき相手局側の画像とともに、相手局側の表示手段で表示されるべき自局側の画像を併せて表示することを特徴とする請求項６記載の画像伝送装置。
- 前記入力処理手段は、前記入力操作手段からの操作に応答して、自局側の画像上の位置にも前記指標を合成して表示するとともに、自局側の画像処理手段に、前記指示された位置における画像または画像ブロックを前記特定画像または特定画像ブロックとして拡大させることを特徴とする請求項７記載の画像伝送装置。
- 上記入力操作手段がタッチパネルであることを特徴とする、請求項５〜８のいずれかに記載の画像伝送装置。
- 前記伝送手段を介して伝送される画像信号を、第三者側の表示手段で傍受して表示可能とすることを特徴とする請求項３〜９のいずれかに記載の画像伝送装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4018396A JP3585625B2 (ja) | 1996-02-27 | 1996-02-27 | 画像入力装置およびそれを用いる画像伝送装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4018396A JP3585625B2 (ja) | 1996-02-27 | 1996-02-27 | 画像入力装置およびそれを用いる画像伝送装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09233384A JPH09233384A (ja) | 1997-09-05 |
| JP3585625B2 true JP3585625B2 (ja) | 2004-11-04 |
Family
ID=12573679
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4018396A Expired - Fee Related JP3585625B2 (ja) | 1996-02-27 | 1996-02-27 | 画像入力装置およびそれを用いる画像伝送装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3585625B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4535133B2 (ja) * | 2001-09-21 | 2010-09-01 | カシオ計算機株式会社 | 情報出力装置、情報出力方法、及び、プログラム |
| US20030174146A1 (en) * | 2002-02-04 | 2003-09-18 | Michael Kenoyer | Apparatus and method for providing electronic image manipulation in video conferencing applications |
| DE60320169T2 (de) | 2002-05-02 | 2009-04-09 | Sony Corp. | Überwachungssystem und Verfahren sowie zugehöriges Programm- und Aufzeichnungsmedium |
| EP1359553B1 (en) | 2002-05-02 | 2012-10-10 | Sony Corporation | Monitoring system, monitoring method, computer program and storage medium |
| JP3714925B2 (ja) * | 2002-08-09 | 2005-11-09 | 京セラ株式会社 | 無線通信端末装置 |
| US7697025B2 (en) | 2002-08-28 | 2010-04-13 | Sony Corporation | Camera surveillance system and method for displaying multiple zoom levels of an image on different portions of a display |
| US20040207743A1 (en) | 2003-04-15 | 2004-10-21 | Nikon Corporation | Digital camera system |
| CN100448267C (zh) | 2004-02-06 | 2008-12-31 | 株式会社尼康 | 数码相机 |
| JP4352980B2 (ja) | 2004-04-23 | 2009-10-28 | オムロン株式会社 | 拡大表示装置及び拡大画像制御装置 |
| JP2005323015A (ja) * | 2004-05-07 | 2005-11-17 | Nikon Gijutsu Kobo:Kk | デジタルカメラ |
| JP4720167B2 (ja) * | 2004-12-03 | 2011-07-13 | 株式会社ニコン | 電子カメラおよびプログラム |
| EP2448247A1 (en) | 2005-11-02 | 2012-05-02 | Olympus Corporation | An image processor for electronic camera |
| JP2011066745A (ja) * | 2009-09-18 | 2011-03-31 | Brother Industries Ltd | 端末装置、通信方法および通信システム |
| CN109873980B (zh) * | 2019-01-24 | 2020-08-21 | 深圳市景阳信息技术有限公司 | 视频监控方法、装置及终端设备 |
| JP7126539B2 (ja) * | 2020-12-18 | 2022-08-26 | インターデイジタル マディソン パテント ホールディングス ソシエテ パー アクシオン サンプリフィエ | ビデオ再生方法、端末、およびシステム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2536868B2 (ja) * | 1987-04-16 | 1996-09-25 | 富士写真フイルム株式会社 | マルチ画像トリミング装置 |
| JPH0486172A (ja) * | 1990-07-30 | 1992-03-18 | N T T Data Tsushin Kk | マルチ画像表示方法 |
| JPH0564184A (ja) * | 1991-08-29 | 1993-03-12 | Fujitsu Ltd | Ｔｖ会議システムの画面構成方式 |
| JPH05336516A (ja) * | 1992-05-29 | 1993-12-17 | Canon Inc | 画像通信装置 |
| JPH06113295A (ja) * | 1992-09-29 | 1994-04-22 | Toshiba Corp | テレビ電話装置 |
| JP3398412B2 (ja) * | 1993-03-05 | 2003-04-21 | ソニー株式会社 | マルチ表示システム |
| JPH0759000A (ja) * | 1993-08-03 | 1995-03-03 | Canon Inc | 画像送信システム |
-
1996
- 1996-02-27 JP JP4018396A patent/JP3585625B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09233384A (ja) | 1997-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3585625B2 (ja) | 画像入力装置およびそれを用いる画像伝送装置 | |
| US5073926A (en) | Picture communication apparatus | |
| JP2007264141A (ja) | 映像表示装置 | |
| US20120127261A1 (en) | Teleconferencing device and image display processing method | |
| CN104679463A (zh) | 分割显示画面并传至不同显示装置显示的显示装置及方法 | |
| JP2008294815A (ja) | 情報端末装置 | |
| US11889228B2 (en) | Conference device with multi-videostream capability | |
| JP3122844U (ja) | デジタルイメージズームシステム | |
| US7565614B2 (en) | Image data processing apparatus and image data processing method for a video conference system | |
| US9263001B2 (en) | Display control device | |
| JP2008098828A (ja) | 携帯端末装置 | |
| JPH08139994A (ja) | 画像合成システム | |
| KR100815121B1 (ko) | 이동통신 단말기에서 화면을 분할하여 선택영역을확대하기 위한 방법 | |
| CN111953918B (zh) | 一种视频单呼中的视频采集处理方法和*** | |
| US9542720B2 (en) | Terminal device, image display method, and storage medium | |
| JP3393168B2 (ja) | 画像入力装置 | |
| JP2005080043A (ja) | デジタルカメラ | |
| JP4811249B2 (ja) | 遠隔指示システム | |
| EP4050890A1 (en) | Conference device with multi-videostream control | |
| US20040137957A1 (en) | Mobile communication terminal with built-in digital camera and photographing method using the same | |
| JP2006128951A (ja) | 遠隔描画装置、システムおよび遠隔描画方法 | |
| JP2018082221A (ja) | インターホンシステム | |
| JPH05130598A (ja) | テレビ会議システム | |
| JPH02191018A (ja) | 描画データ入力装置及び画像処理装置 | |
| JPH033586A (ja) | 画像伝送装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040316 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040512 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040517 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040803 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040804 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070813 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080813 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080813 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090813 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090813 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100813 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110813 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110813 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120813 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120813 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130813 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |