JP2005269376A

JP2005269376A - 画像処理装置及び通信装置

Info

Publication number: JP2005269376A
Application number: JP2004080613A
Authority: JP
Inventors: Kazumi Shishikura; 和巳宍倉
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2004-03-19
Filing date: 2004-03-19
Publication date: 2005-09-29

Abstract

【課題】従来の画像処理装置又は通信装置では、動画又は静止画符号化を選択切替するのに、使用者がフレームレートを必ずキー入力により操作しなければならず、操作が煩雑であった。また、使用者は撮像装置から入力される撮像画像に最適なフレームレートを把握することができず、最適な画像処理、符号化処理を行えず、最適な画像を得ることができなかった。
【解決手段】カメラ制御部３０は撮像装置１０が撮像する撮像画像のデータから測定した撮像画像の照度測定結果に基づいて撮像装置１０が用いるフレームレートを設定し、設定したフレームレートに従って撮像装置１０が出力する撮像タイミング信号に同期して撮像画像データに画像処理を行い、符号化制御装置４０はカメラ制御部３０が設定するフレームレートに基づいて符号化部４０に対し画像処理後の撮像画像を符号化させる命令信号を出力するようにした。
【選択図】図１

Description

この発明は、撮像する撮像画像のデータから被写体の照度を測定し、この照度測定結果に基づいて撮像画像のフレームレートを設定し、設定されたフレームレートを用いて、撮像画像の画像処理・符号化処理をする画像処理装置及び通信装置に関する。

使用者がフレームレート（１秒あたりの画面数）を段階的にキー入力部からのキー入力により操作することによって、入力される撮像画像に対する動画用符号化と静止画用符号化とを切り替え、シームレスに動画と静止画の表示を行う画像通信装置が記載されている（例えば、特許文献１参照）。

特開平１０−２８５５８８号公報（［００３１］〜［００４０］、図１）

特許文献１記載の技術では、動画符号化又は静止画符号化を選択切替するのに、使用者がフレームレートを必ずキー入力により操作しなければならず、操作が煩雑であった。また、使用者は撮像装置から入力される撮像画像に最適なフレームレートを把握することができず、最適な画像処理、符号化処理を行えず、最適な画像を得ることができなかった。

この発明に係る画像処理装置は、設定されるフレームレートに従って画像を撮像し、撮像タイミング信号を出力する撮像装置、この撮像装置が撮像する撮像画像のデータから撮像画像の照度を測定し、この照度測定結果に基づいて上記撮像装置が用いるフレームレートを設定し、上記撮像装置から入力される撮像タイミング信号に同期して、上記撮像装置から入力される撮像画像のデータに画像処理を行うカメラ制御部、このカメラ制御部から入力される画像処理後の撮像画像のデータを命令信号に基づいて符号化する符号化部、上記カメラ制御部が上記撮像装置に設定するフレームレートに基づいて、上記符号化部に符号化を行わさせる上記命令信号を出力する符号化制御装置を備えたことを特徴とするものである。

カメラ制御部は撮像装置が撮像する撮像画像のデータから測定した撮像画像の照度測定結果に基づいて撮像装置が用いるフレームレートを設定し、撮像装置はカメラ制御部が設定するフレームレートに従って撮像タイミング信号を出力し、カメラ制御部は撮像装置が出力する撮像タイミング信号に同期して撮像画像のデータに画像処理を行い、符号化制御装置はカメラ制御部が設定するフレームレートに基づいて符号化部に対し画像処理後の撮像画像のデータに符号化を行わさせる命令信号を出力するようにしたので、常に撮像環境の変化に対応した最適なフレームレートで画像撮像でき、最適な符号化処理を行うことができる。

実施の形態１．
発明の実施の形態１について、図に基づいて説明する。

図１は、本発明の実施の形態１に係る画像処理装置、通信端末の構成を示す図である。

図１において、撮像装置１０は後述のカメラ制御部３０で設定されるフレームレートに従って画像を撮像し、Ａ／Ｄ（Analog Digital：アナログデジタル）コンバータ２０を介して、撮像画像のデータをカメラ制御部３０へ出力する。Ａ／Ｄコンバータ２０は、撮像装置１０から入力される画像データをアナログ信号からデジタル信号へゲイン調整等を行いながら変換する。また、撮像装置１０は、カメラ制御部３０及び後述の符号化制御装置５０の符号化制御部５１へ撮像タイミング信号を出力する。ここで、撮像タイミング信号とは、例えば、垂直同期信号（ＶＤ）である。なお、具体的図示は行わないが、撮像装置１０は、光学的画像を電気的画像情報へ変換する撮像素子、この撮像素子をカメラ制御部３０からの駆動タイミング設定によって駆動する駆動回路から構成されている。

カメラ制御部３０は、Ａ／Ｄコンバータ２０から入力される撮像画像のデータから撮像画像の照度を測定し、この照度測定結果に基づいて撮像装置１０が用いるフレームレートを設定する。また、カメラ制御部３０は、撮像装置１０から入力される撮像タイミング信号に同期して、撮像装置１０から入力される撮像画像のデータに、例えばフィルタ処理、カラー化処理、色変換処理等の所定の画像処理を行う。

ここで、撮像画像の照度測定結果に基づいて撮像装置１０が用いるフレームレートを設定する方法について、図２に基づいて説明する。

図２は、撮像画像の照度及びカメラ制御部が設定するフレームレートの関係を示す図である。

図２において、縦軸はフレームレート（ｆｐｓ：ｆｒａｍｅ／ｓｅｃｏｎｄ）、横軸は撮像画像の照度（ｌｘ：ルクス）である。撮像画像のデータには、各画素の輝度情報や色情報が含まれている。カメラ制御部３０は、撮像画像のデータから各画素の輝度情報や色情報を読み取って、照度を設定する。その際、カメラ制御部３０は、例えば撮像画像のデータにおける画像全面の平均輝度、画像の中央部の輝度、画像の中で予め設定された特定箇所の輝度等により、照度を設定する。
また、カメラ制御部３０は、測定された照度から、図２で示すように、被写体が撮像された撮像画像の照度が暗い場合から明るい場合に変化するに応じて、階段上に比例増加するフレームレートを設定する。即ち、撮像画像が暗い場合には、撮像装置１０の画像蓄積時間を長くする必要があるのに対し、撮像画像が明るい場合には、撮像装置１０の画像蓄積時間を短くしてもよい。画像蓄積時間はフレームレートに影響し、画像蓄積時間が長ければフレームレートは小さい値となり、画像蓄積時間が短ければフレームレートは大きい値となる。

図１において、符号化部４０は、動画用の符号化を行う動画用符号化部４０ａ及び静止画用の符号化を行う静止画用符号化部４０ｂを備え、後述の符号化制御装置５０から入力される符号化を行わさせる命令信号に従って、カメラ制御部３０から入力される画像処理後の撮像画像のデータを符号化する。

符号化制御装置５０は、符号化制御部５１、自端末フレームレート設定手段５２、量子化ステップサイズ決定手段５３、解像度決定手段５４、及びエンコーダ選択手段５５から構成されている。

符号化制御装置５０はカメラ制御部３０が撮像装置１０に設定するフレームレートに基づいて、符号化部４０に符号化を行わさせる命令信号を出力する。また、符号化制御装置５０は、カメラ制御部３０が撮像装置１０に設定するフレームレートに基づいて、動画用符号化部４０ａに動画用の符号化を行わせるか、又は静止画用符号化部４０ｂに静止画用の符号化を行わせるかを選択し、選択した動画用符号化部４０ａ又は静止画用符号化部４０ｂのいずれか一方に、動画用又は静止画用の符号化を行わさせる命令信号を出力する。

符号化制御部５１は、カメラ制御部３０又はキー入力部６０から入力されるフレームレートのうちいずれかのフレームレートを、自端末フレームレート設定手段５２に設定する。また、符号化制御部５１は、後述の通信相手から要求された受信要求フレームレートを、自端末フレームレート設定手段５２に設定できる。

量子化ステップサイズ決定手段５３は、自端末フレームレート設定手段５２で設定されたフレームレートに基づいて、量子化ステップサイズ（以下Ｑ値と称する）を出力し、解像度決定手段５４は共通中間フォーマット識別信号を出力し、エンコーダ選択手段５５は動画／静止画コーデック識別信号を出力する。

動画符号化部４０ａ及び静止画符号化部４０ｂは、動画／静止画コーデック信号によって起動又は停止の制御がなされ、共通中間フォーマット識別信号に基づいて画像フォーマットを決定し、Ｑ値に従って撮像画像のデータを符号化する。

自端末フレームレート設定手段５２にフレームレートが設定されると、背景技術に記載の特許文献１（特に、段落００２７〜００３９）に記載された通り、フレームレートに応じて、一様に動画／静止画コーデック信号、共通中間フォーマット識別信号及びＱ値が決定され、動画用符号化部４０ａ又は静止画用符号化部４０ｂへ、符号化を行わさせるための命令信号として出力される。

また、符号化制御部５１は、後述の入力部としてのキー入力部６０から入力されるフレームレート又は通信相手が設定要求するフレームレートである受信要求フレームレートを、撮像装置１０から入力される撮像タイミング信号に同期してカメラ制御部３０へ出力する。

キー入力部６０は、符号化制御部５１に接続され、使用者が任意にフレームレートを入力することが可能である。

また、キー入力部６０を用いて、送信要求フレームレートとして、通信相手に対して、画像を送信させるフレームレートを任意に入力することが可能である。この場合、入力された送信要求フレームレートは相手端末フレームレート設定手段７０に設定され、送信要求フレームレートの制御データが後述のデータ制御プロトコル手段８０及び多重化テーブル選択手段９０へ出力される。

データ制御プロトコル手段８０は、動画用符号化部４０ａ又は静止画用符号化部４０ｂで符号化された撮像画像を送信するための制御符号化データを出力する。ここで、撮像画像を送信するための制御符号化データとは、エンコーダ選択手段５５から入力される動画／静止画コーデック識別信号の制御データや相手端末フレームレート設定手段７０から入力される送信要求フレームレートの制御データを符号化したものである。

多重化テーブル選択手段９０は、動画／静止画コーデック識別信号の制御データに応じて、多重化テーブル番号を後述の多重化手段１００に入力する。また、相手端末フレームレート設定手段７０に送信要求フレームレートが設定されている場合には、送信要求フレームレートの制御データにも応じて、多重化テーブル番号を後述の多重化手段１００に入力する。

多重化手段１００は、動画用符号化部４０ａから動画用符号化データが入力されたとき、多重化テーブル番号に基づいて、動画符号化データ及び制御符号化データを多重化し、送信データとして出力する。また、多重化手段１００は、静止画用符号化部４０ｂから静止画用符号化データが入力されたとき、多重化テーブル番号に基づいて、静止画符号化データ及び制御符号化データを多重化し、送信データとして出力する。送信データはベースバンド処理部１１０でベースバンドデータに変換される。

送受信部１２０は、符号化部４０の動画用符号化部４０ａ又は静止画用符号化部４０ｂで符号化された撮像画像のベースバンドデータを変復調して、電波に変換し、アンテナ１３０を介して相手側の通信端末と撮像画像を送受信する。

分離化手段１４０は、受信したベースバンドデータを、動画符号化データ、静止画符号化データ、及び制御符号化データに分離し、動画符号化データを動画復号化部１５１へ、静止画符号化データを静止画復号化部１５２へ、制御符号化データをデータ制御プロトコル手段１５３へそれぞれ出力する。

動画復号化部１５１は、動画符号化データに動画復号化処理を行い、動画データを出力する。静止画符号化部１５２は、静止画符号化データに静止画符号化処理を行い、静止画データを出力する。データ制御プロトコル手段１５３は、制御符号化データに復号化処理を行い、動画／静止画コーデック識別信号をスイッチ１６０へ、送信要求フレームレートを符号化制御部５１へ受信要求フレームレートとして出力する。

スイッチ１６０は、入力される動画／静止画コーデック識別信号に基づいて、動画データ又は静止画データのいずれかのデータをディスプレイ１７０へ切替出力する。

次に、本発明の実施の形態１に係る画像処理装置、通信端末の動作説明をする。

図３は、本発明の実施の形態１に係る画像処理装置、通信端末の動作手順を示す図である。

図１及び図３において、カメラ制御部３０は撮像装置１０から垂直同期信号（ＶＤ）が入力されると（ＳＴＥＰ（以下Ｓと称する）３００）、撮像装置１０が撮像する撮像画像のデータを、Ａ／Ｄコンバータ２０を介して取り込んで（Ｓ３０１（ａ））、次に撮像画像の照度を測定し（Ｓ３０１（ｂ））、図２で示した通り、撮像装置１０が用いるフレームレートを設定する（Ｓ３０１（ｃ））。また、カメラ制御部３０は自動露出制御（ＡＥ：Auto Exposure）、自動ホワイトバランス制御（ＡＷＢ：Auto White Balance）などの撮像制御を撮像装置１０に対して行う（Ｓ３０１（ｄ））。

次に、カメラ制御部３０は、撮像装置１０の駆動制御が、自動であるかについて判断する（Ｓ３０２）。即ち、符号化制御装置５０の符号化制御部５１が、カメラ制御部３０に対し、キー入力部６０から入力される特定のフレームレートを撮像装置１０が用いるフレームレートとして設定している場合には、撮像装置１０の駆動回路の制御は自動制御ではなく、キー入力部６０から入力され、符号化制御部５１で設定された特定のフレームレートで撮像画像のデータが得られるよう、撮像装置１０の駆動回路を制御する（Ｓ３０３）。キー入力部６０から入力される特定のフレームレートを撮像装置１０が用いるフレームレートとして設定していない場合には、被写体が撮像された撮像画像の照度に対応させてカメラ制御部３０が設定したフレームレートで撮像画像のデータが得られるよう、撮像装置１０の駆動回路を制御する（Ｓ３０４）。例えば、撮像画像の照度が暗い（小さい）場合には撮像装置１０の駆動タイミングの周期を長くして、撮像装置１０の画像の蓄積時間を更に長くすることで、十分な信号レベルが得られクリアな画像を得ることができる。逆に、撮像画像の照度が明るい（大きい）場合には、画像の蓄積時間が短くても十分な信号レベルが取得できるので、駆動タイミングの周期を短くして、動きの滑らかな画像を得ることができる。次に、符号化制御装置５０の符号化制御部５１はカメラ制御部３０にフレームレートの問合せをし、カメラ制御部３０は、符号化制御部５１からの問合せに応答してフレームレートを符号化制御部５１へ通知（出力）する（Ｓ３０５）。

次に、符号化制御装置５０は符号化制御部５１に設定されるフレームレートに基づいて、符号化部４０に符号化を行わさせる命令信号を生成し、符号化部４０へ出力する（Ｓ３０６）。

符号化制御部５１は、フレームレートを自端末フレームレート設定手段５２に設定する。そして、自端末フレームレート設定手段５２で設定されたフレームレートに基づいて、量子化ステップサイズ決定手段５３は量子化ステップサイズ（以下Ｑ値と称する）を出力し、解像度決定手段５４は共通中間フォーマット識別信号を出力し、エンコーダ選択手段５５は動画／静止画コーデック識別信号を出力する。

この際、自端末フレームレート設定手段５２にフレームレートが設定されると、背景技術に記載の特許文献１（特に、段落００２７〜００３９、図３〜図５）に記載された通り、フレームレートに応じて、一様に動画／静止画コーデック信号、共通中間フォーマット識別信号及びＱ値が決定され、動画用符号化部４０ａ又は静止画用符号化部４０ｂへ、符号化を行わさせるための命令信号として出力される。即ち、フレームレートが小さいときは、静止画に対応し、大きいときには動画に対応した、動画／静止画コーデック信号、共通中間フォーマット識別信号及びＱ値が各々決定される。

また、カメラ制御部３０は、撮像装置１０から入力される撮像タイミング信号に同期して、撮像装置１０から撮像画像のデータを取り込み、例えばフィルタ処理、カラー化処理、色変換処理等の画像処理を行い、動画及び静止画用符号化部４０ａ、４０ｂへ画像処理後の撮像画像のデータを出力する。

次に、符号化部４０は、符号化制御装置５０からの信号に従って、カメラ制御部３０から入力される撮像画像のデータを符号化する（Ｓ３０７）。

符号化部４０では、エンコーダ選択手段５５から入力される動画／静止画コーデック識別信号に基づいて、動画又は静止画用符号化部４０ａ、４０ｂのいずれかを選択し、動作させる。そして、量子化ステップサイズ決定手段５３から入力されるＱ値、解像度決定手段５４から入力される共通中間フォーマット識別信号に従って、カメラ制御部３０から入力される画像処理後の撮像画像を符号化し、多重化手段１００へ出力する。

次に、データ制御プロトコル手段８０は、符号化部４０で符号化された撮像画像を送信するための制御符号化データを多重化手段１００へ出力する。

次に、多重化手段１００は、多重化テーブル選択手段９０から入力される多重化テーブル番号に基づいて、動画符号化データ及び制御符号化データ、又は静止画符号化データ及び制御符号化データを多重化し、送信データとして出力し、送信データはベースバンド処理処理部１１０でベースバンドデータに変換される（Ｓ３０８）。

次に、送受信部１２０は、符号化部４０で符号化処理が行われた撮像画像のベースバンドデータを変復調して、電波に変換し、アンテナ１３０を介して相手側の通信端末と撮像画像を送受信する（Ｓ３０９）。

次に、通信相手の通信端末に対し、通信相手が撮像し送信してくる画像のフレームレートを使用者が所望する特定のフレームレートにするために、所望する特定のフレームレートを送信要求フレームレートとして送信要求する動作について、図を用いて説明する。

図１において、使用者は通信相手に対して、自己が所望するフレームレートを、キー入力部６０を用いて入力する。入力されたフレームレートは、送信要求フレームレートとして、まず相手端末フレームレート設定手段７０に設定され、相手端末フレームレート設定手段７０は、データ制御プロトコル手段８０及び多重化テーブル選択手段９０へ制御データを出力する。次に、データ制御プロトコル手段８０は、動画／静止画コーデック識別信号の制御データや送信要求フレームレートの制御データを多重化手段１００へ出力する。次に、多重化手段１００は、動画符号化データ、静止画符号化データ、及び制御データを多重化し、ベースバンド処理部１１０、送受信部１２０を介して電波に変換し、アンテナ１３０から相手側の通信端末へ送信する。

次に、通信相手が要求してくるフレームレートを、自端末フレームレート設定手段５２に設定する動作について、図を用いて説明する。

図１において、送受信部１２０を介して復調されたベースバンドデータは、ベースバンド処理手段１１０で受信データに変換され、分離化手段１４０で、動画符号化データ、静止画符号化データ、及び制御符号化データに分離される。分離化手段１４０は、このうち制御符号化データをデータ制御プロトコル手段１５３へ出力する。次に、データ制御プロトコル手段１５３は、制御符号化データに復号化処理を行い、復号した送信要求フレームレートを符号化制御部５１へ受信要求フレームレートとして出力する。符号化制御部５１は自端末フレームレート設定手段５２に、自端末フレームレートとして、復号した送信要求フレームレートを設定する。

次に、フレームレートの選択動作について説明する。図４は、フレームレートの選択動作を説明する図である。

図１及び図４において、撮像装置１０から垂直同期信号（ＶＤ）が符号化制御装置５１に入力される（Ｓ４００）。次に、符号化制御部５１はキー入力部６０からの設定をデコードして、自端末で設定するフレームレートで通信相手に対して通信要求する設定となっているかを判断する（Ｓ４０１）。自端末で設定するフレームレートで通信要求する設定の場合には、符号化制御部５１はキー入力部６０から入力されたフレームレートを相手端末フレームレート設定手段７０に設定する（Ｓ４０２）。次に、符号化制御部５１は、キー入力部６０による設定をデコードして、通信相手が設定するフレームレートでの動作を有効とする設定になっているか確認する（Ｓ４０３）。通信相手が設定するフレームレートを有効とする設定の場合には、符号化制御部５１は、通信相手から受信した受信要求フレームレートがデータプロトコル手段１５３から有効に出力されているか確認する（Ｓ４０４）。データプロトコル手段１５３から有効な受信要求フレームレートが出力されている場合（Ｓ４０４）、符号化制御部５１はカメラ制御部３０に対し、自動制御を停止する指示、即ち、の撮像画像の照度測定結果に従ってフレームレートを設定する動作を停止する指示をする（Ｓ４０５（ａ））。また、符号化制御部５１は、通信相手が設定した受信要求フレームレートをカメラ制御部３０へ出力し、カメラ制御部３０は受信要求フレームレートに従って撮像装置１０の駆動タイミングを制御する。また、符号化制御部５１は、通信相手が設定した受信要求フレームレートを自端末フレームレート設定手段５２に設定し、符号化部４０は設定した受信要求フレームレートに基づいて、撮像画像のデータを符号化処理する（Ｓ４０５（ｂ））。データプロトコル手段１５３から有効な受信要求フレームレートが出力されていない場合（Ｓ４０４）、或いは通信相手からのフレームレート設定での動作を無効にする設定となっている場合、符号化制御部５１は、キー入力部６０による設定をデコードして、撮像装置１０の駆動タイミングをキー入力部６０から入力されるフレームレートに従わせる設定か（手動設定）、カメラ制御部３０が撮像画像の照度測定結果に基づき設定するフレームレートに従わせる設定か（自動設定）を確認する（Ｓ４０６）。手動設定の場合（Ｓ４０６）、符号化制御部５１はキー入力部６０により入力されたフレームレートをカメラ制御部３０へ出力し、カメラ制御部３０はキー入力部６０より入力されたフレームレートに従って撮像装置１０の撮像タイミングを制御する（Ｓ４０７（ａ））。また、符号化制御部５１は、キー入力部６０より入力されたフレームレートを自端末フレームレート設定手段５２に設定し、符号化部４０はキー入力部６０より入力されたフレームレートに基づいて、撮像画像のデータを符号化する（Ｓ４０７（ｂ））。自動設定の場合（Ｓ４０６）、符号化制御部５１はカメラ制御部３０に対し撮像装置１０の駆動タイミングを撮像画像の照度測定結果に基づいたフレームレートに従って自動制御するように指示し、カメラ制御部３０は撮像画像の照度測定結果に基づいたフレームレートに従って撮像装置１０の駆動タイミングを制御する（Ｓ４０８（ａ））。また、符号化制御部５１は、カメラ制御部３０へフレームレート問合せをし、カメラ制御部３０からの応答を待って、カメラ制御部３０が設定するフレームレートを自端末フレームレート設定手段５２に設定し、符号化部４０はカメラ制御部３０が設定するフレームレートに基づいて、撮像画像のデータを符号化する（Ｓ４０８（ｂ））。

ここで、図４のＳ４０８において、カメラ制御部が設定するフレームレートで符号化制御装置が動作する場合のフレームレート通知の流れを説明する。

図５は、カメラ制御部３０が設定するフレームレートで符号化制御装置５０が動作する場合のフレームレート通知シーケンス図である。

図５において、撮像装置１０から垂直同期信号（ＶＤ）がカメラ制御部３０へ出力され、垂直同期信号（ＶＤ）割り込みがあったとして、符号化制御装置５０へ出力される（Ｓ５０１）。次に符号化制御装置５０は符号化を行わさせる命令信号としての「エンコード開始要求」を符号化部４０へ出力し、符号化部４０は符号化をする（Ｓ５０２）。次に符号化制御装置５０はカメラ制御部３０に対し、「フレームレート問合せ」をする（Ｓ５０３）。次にカメラ制御部３０は、フレームレートの情報を、符号化制御装置５０に対し応答する（Ｓ５０４）。次に符号化制御装置５０の符号化制御部５１は応答されたフレームレートを自端末フレームレート設定手段５２に設定する。次にＳ５０１と同様に、撮像装置１０から垂直同期信号（ＶＤ）がカメラ制御部３０へ出力され、垂直同期信号（ＶＤ）割り込みがあったとして、符号化制御装置５０へ出力され（Ｓ５０６）、Ｓ５０１〜Ｓ５０５と同様の通知を繰り返す。

以上の構成の通り、カメラ制御部は撮像装置が撮像する撮像画像のデータから測定した撮像画像の照度測定結果に基づいて撮像装置が用いるフレームレートを設定し、撮像装置はカメラ制御部が設定するフレームレートに従って撮像タイミング信号を出力し、カメラ制御部は撮像装置が出力する撮像タイミング信号に同期して撮像画像のデータに画像処理を行い、符号化制御装置はカメラ制御部が設定するフレームレートに基づいて符号化部に対し画像処理後の撮像画像を符号化を行わさせる命令信号を出力するようにしたので、常に撮像環境の変化に対応した最適なフレームレートで画像撮像でき、最適な符号化処理を行うことができる。

また、キー入力部６０で任意にフレームレートを入力でき、この入力された特定のフレームレートをも撮像装置１０が用いるフレームレートに設定させ、符号化部４０に対して特定のフレームレートに基づいて符号化を行わさせる信号を出力するようにしたので、使用者が撮像画像の照度に基づいてフレームレートを設定するのか、自ら任意にフレームレートを設定するのかを選択でき、使用者所望の画像を撮像装置から得ることができる。

また、符号化制御装置５０は、カメラ制御部が設定するフレームレートに基づいて、動画又は静止画用符号化部４０ａ、４０ｂを選択し、動画又は静止用符号化部４０ａ、４０ｂに符号化を行わせるようにしたので、撮像画像の照度測定結果に基づいて設定されたフレームレートに従って、動画又は静止用符号化部４０ａ、４０ｂを効率良く動作させることができ、最適な符号化処理を行うことができる。

また、通信相手が設定要求するフレームレートをも撮像装置が用いるフレームレートに設定させ、符号化部４０に対して特定のフレームレートに基づいて符号化を行わさせる信号を出力するようにしたので、使用者が撮像画像の照度に基づいてフレームレートを設定するのか、通信相手が任意に設定要求に従ってフレームレートを設定するのかを選択でき、使用者所望の画像を撮像装置から得ることができる。

本発明の実施の形態１に係る画像処理装置、通信端末の構成を示す図である。撮像画像の照度及びカメラ制御部が設定するフレームレートの関係を示す図である。本発明の実施の形態１に係る画像処理装置、通信端末の動作手順を示す図である。フレームレートの選択動作を説明する図である。カメラ制御部が設定するフレームレートで符号化制御装置が動作する場合のフレームレート通知シーケンス図である。

符号の説明

１０撮像装置、３０カメラ制御部、４０符号化部、４０ａ動画用符号化部、４０ｂ静止画用符号化部、５０符号化制御装置、６０キー入力部、７０相手端末フレームレート設定手段、１２０送受信部、１３０アンテナ。

Claims

設定されるフレームレートに従って画像を撮像し、撮像タイミング信号を出力する撮像装置、
この撮像装置が撮像する撮像画像のデータから撮像画像の照度を測定し、この照度測定結果に基づいて上記撮像装置が用いるフレームレートを設定し、上記撮像装置から入力される撮像タイミング信号に同期して、上記撮像装置から入力される撮像画像のデータに画像処理を行うカメラ制御部、
このカメラ制御部から入力される画像処理後の撮像画像のデータを命令信号に基づいて符号化する符号化部、
上記カメラ制御部が上記撮像装置に設定するフレームレートに基づいて、上記符号化部に符号化を行わさせる上記命令信号を出力する符号化制御装置
を備えたことを特徴とする画像処理装置。
符号化制御装置に接続され、任意にフレームレートを入力することが可能な入力部を有し、
この入力部からフレームレートが入力されたとき、
上記符号化制御装置はカメラ制御部に対し、照度測定結果に基づくフレームレートに替えて、上記入力部から入力されたフレームレートを撮像装置が用いるフレームレートとして設定することを特徴とする請求項１に記載の画像処理装置。
符号化部は、動画用の符号化処理を行なう動画用符号化部及び静止画用の符号化処理を行う静止画用符号化部を備え、
符号化制御装置は、カメラ制御部が撮像装置に設定するフレームレートに基づいて、動画用符号化部に動画用の符号化を行わせるか、又は静止画用符号化部に静止画用の符号化を行わせるかを選択し、選択した上記動画用符号化部又は上記静止画用符号化部のいずれか一方に、動画用又は静止画用の符号化を行わさせる命令信号を出力することを特徴とする請求項１に記載の画像処理装置。
設定されるフレームレートに従って画像を撮像し、撮像タイミング信号を出力する撮像装置、
この撮像装置が撮像する撮像画像のデータから撮像画像の照度を測定し、この照度測定結果に基づいて上記撮像装置が用いるフレームレートを設定し、上記撮像装置から入力される撮像タイミング信号に同期して、上記撮像装置から入力される撮像画像のデータに画像処理を行うカメラ制御部、
このカメラ制御部から入力される画像処理後の撮像画像のデータを命令信号に基づいて符号化する符号化部、
上記カメラ制御部が上記撮像装置に設定するフレームレートに基づいて、上記符号化部に符号化を行わさせる上記命令信号を出力する符号化制御装置、
上記符号化部が符号化した撮像画像を変復調して送受信する送受信部
を備えたことを特徴とする通信装置。
符号化制御装置に接続され、任意にフレームレートを入力することが可能な入力部を有し、
この入力部からフレームレートが入力されたとき、
上記符号化制御装置はカメラ制御部に対し、照度測定結果に基づくフレームレートに替えて、上記入力部から入力されたフレームレートを撮像装置が用いるフレームレートとして設定することを特徴とする請求項４に記載の通信装置。
送受信部は通信相手が設定要求するフレームレートを受信し、この通信相手が設定要求するフレームレートを受信要求フレームレートとして、符号化制御装置に入力し、
上記符号化制御装置はカメラ制御部に対し、照度測定結果に基づくフレームレートに替えて、上記受信要求フレームレートを撮像装置が用いるフレームレートとして設定することを特徴とする請求項４に記載の通信装置。
符号化部は、動画用の符号化を行なう動画用符号化部及び静止画用の符号化を行う静止画用符号化部を備え、
符号化制御装置は、カメラ制御部が撮像装置に設定するフレームレートに基づいて、動画用符号化部に動画用の符号化を行わせるか、又は静止画用符号化部に静止画用の符号化を行わせるかを選択し、選択した上記動画用符号化部又は上記静止画用符号化部のいずれか一方に、動画用又は静止画用の符号化を行わさせる命令信号を出力することを特徴とする請求項４に記載の通信装置。