JP4158463B2

JP4158463B2 - 撮像装置

Info

Publication number: JP4158463B2
Application number: JP2002259524A
Authority: JP
Inventors: 祐介谷田部; 圭介稲田; 将高橋
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2002-09-05
Filing date: 2002-09-05
Publication date: 2008-10-01
Anticipated expiration: 2022-09-05
Also published as: JP2004104193A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像素子より取り込まれたデジタル画像を圧縮符号化する撮像装置およびそれを用いた記録装置に関する。
【０００２】
【従来の技術】
画像をデジタル化して記録するビデオカメラ装置は、ズームレンズ、CCD、撮像信号処理部、静止画圧縮・伸張部、動画圧縮・伸張部、マイク、スピーカ、音声圧縮・伸張部、制御部（CPU）、LCDモニタ、内蔵フラッシュメモリ、PCカード型ハードディスクドライブ、及びUSBインターフェースなどを備えている。ズームレンズは撮像光学系を構成するものであり、このズームレンズによって結像された光学像が固体撮像素子としてのCCDによって光電変換される。
【０００３】
この光電変換により得られた撮像信号は撮像信号処理部によってデジタル信号に変換され、そこで必要な画像処理を経た後、画像圧縮・伸張部に送られ、フラッシュメモリやハードディスクドライブなどの記録媒体に記録される（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開２００１-３５２４７１号公報
【０００５】
【発明が解決しようとする課題】
例えば、入力画像を動画像符号化・静止画像符号化をして、記録することが出来る記録装置において、動画像撮影中に一時的に静止画を撮りたい場合等の符号化形式や解像度が異なる画像を一時的に符号化するには、画像符号化装置を2個持つ方法が考えられる。しかし、画像符号化装置を２個持つ事で、コストの増大、回路規模の増大、回路の複雑化という問題が生じる。
【０００６】
また、一つの画像符号化装置で上記の要求を満たすためには、静止画像符号化する場合に一時的に動画像符号化を停止して、静止画を圧縮符号化し、再度動画像符号化を再開する方式が考えられる。
【０００７】
しかしこれは、一時的に動画像符号化を停止・再開する為に、生成ストリームは時間的に連続ではなく、静止画符号化処理の時間分ずれて短くなってしまう。また、停止・再開をするために、生成ストリームは別々となり、ファイル管理が不便であると共に、停止・再開の際に生じる消費電力、データ量の増大も無視できない。更に、停止・再開処理に多くの時間が必要であるという問題もある。
【０００８】
また、一時的に異なるカメラ部から入力された画像を一時的に符号化する際にも、上記と同様の問題が考えられる。
【０００９】
本発明は、上記の事情に鑑みてなされたものであり、動画像撮影中に静止画像を撮影したい場合等、例えば符号化形式や解像度が異なる画像、また一時的に異なるカメラ部から入力された画像などを、一時的に符号化したい場合に、第１の画像符号化ストリームを中断することなく撮影することが可能な符号化方法および撮像装置を提供する事を目的とする。
【0010】
【課題を解決するための手段】
本願発明は、上記課題に鑑み、例えば特許請求に記載の構成を備える。
【００１１】
また、本発明の撮像装置は、画像を取り込んで画像信号を生成するカメラ部と、そのカメラ部から出力される画像信号を符号化して複数のピクチャからなる画像符号化ストリームを生成する符号化手段と、ピクチャに挿入され、復号時にはそのピクチャを他のピクチャにスキップさせるスキップコードを挿入するスキップコード挿入手段とを有し、符号化手段は、カメラ部から出力される第１の画像を符号化して画像符号化ストリームを生成している間に、一時的に第１の画像の符号化を停止してカメラ部から出力される第２の画像を符号化し、スキップコード挿入手段は、符号化手段が前記第１の画像の符号化を停止している間に相当する第１の画像のピクチャに対し、スキップコードを挿入する。このスキップコード挿入手段を、符号化された画像データと符号化された音声データを多重化する多重回路に設けても、また、多重回路とは独立にスキップコード挿入回路として設けてもいい。
【００１２】
また、本発明の撮像装置のほかの実施態様においては、さらに、符号化手段が符号化する第１の画像と第２の画像の切り替えを制御する制御手段を有し、切り替えをユーザやプログラムの指示によって行う。
【００１３】
また、本発明の撮像装置のほかの実施態様においては、さらに、符号化手段は第１の画像の符号化と第２の画像の符号化を異なる符号化形式で行う。
【００１４】
また、本発明の撮像装置のほかの実施態様においては、さらに、二つのカメラ部を有する。
【００１５】
【発明の実施の形態】
以下、発明の実施例を、図面を用いて説明する。まず、第１の実施例を説明する。図１は、本発明の記録装置のブロック図である。レンズ１０により取り込まれたアナログ信号は、CCDセンサ１１によって光電変換される。この光電変換により得られた撮像信号をA/D変換１２により、デジタル画像信号に変換する。このデジタル画像を、静止画と動画画像を符号化する事が出来る画像化符号化回路１３により圧縮符号化を行い、動画像に関しては、多重回路１７で音声符号化データと多重して記録部２０に保存する。
【００１６】
静止画像に関しては、JPEGヘッダ付加部１９にてJPEGヘッダを付加して記録部２０に保存する。また、マイク１４により取り込まれた音声信号を、A/D変換１５でデジタル信号に変換し、音声符号化回路１６で音声圧縮符号化を行い、多重回路１７で動画像符号化データと多重して、記録部２０に保存する。
【００１７】
ここで、記録部とは、HD、メモリ、DVDなどの記録媒体に符号化データを記録するHDDやDVD-RAMドライブ等の記録機器を想定しており、静止画・動画像共用にまた別々に持つことが出来る。また、記録部への転送経路も動画像・静止画像符号化データを別経路・同経路で転送する事が考えられる。本図は、別経路で動画像・静止画符号化データを同一の記録部に記録する際の例である。また、本実施例における上記の記録装置から、記録部を除き、撮像装置としても使用できる。
【００１８】
図２の様に動画像符号化中に一時的に静止画符号化を行う際には、制御部により動画像符号化と静止画像符号化が切り替えられる。そして、動画像符号化ストリームに対しては、多重回路によりスキップコードの挿入を行う。なお、スキップコード挿入回路を別途設けてスキップコードコード挿入回路によりスキップコードの挿入を行ってもいい。
【００１９】
この静止画像・動画像符号化の切り替えは、ユーザ指定や時間指定により行うことが出来る。切り替え指定があった場合には、制御回路により静止画・動画の切り替えを行う。
【００２０】
ここでスキップコードとは、画像を復号する時に、参照するPictureと同じPictureとなるようなコードであり、Picture単位に挿入する。スキップコード挿入位置については、その画像を復号する際に、一意に判別できる位置とする。
【００２１】
一例を説明する。各Pictureを符号化する際の符号化データ構成を、符号化側と復号化側で以下のように取り決める。まず、Pictureを符号化する際には、ここがこのPictureの符号化データの開始であるという、Picture開始符号を設定する。この符号は、このPicture開始符号以外には絶対に発生しないデータとする。そして、その後、それぞれのPictureに対して、スキップするPictureなのか否かを判定するためのスキップ符号を与える。復号する際には、まずPicture開始符号を検出し、その後のスキップ符号を見ることで、それぞれのPictureはスキップなのか否かを判定する事が出来る。以上の様に設定することで実現する事が出来る。
【００２２】
次に、動画像符号化の国際標準方式であるMPEG2での実現例を説明する。MPEG2でのスキップコードとは、MBAI(Macroblock Address Increment)やMBE（Macroblock Escape）や、Low Delayモードでのピクチャスキップの事である。MBAIやMBEは画像を復号化する時に参照するPictureと同じPictureとなる様なコードである。Low delayモードのピクチャスキップは、ストリームに記載する画像の表示順(Temporal reference)をスキップさせる事で、復号の際に実際の録画時間と同等な時間での再生が可能となる。
【００２３】
まずMBAIやMBEを用いた際の説明を行う。動画像符号化を行う際は、各Picture単位に、自分自身のPicture情報のみを用いて符号化を行うI-Pictureと、過去のPicture情報を参照Pictureとして、自分自身のPictureを予測して符号化を行うP-Picture、過去と未来のPictureを参照Pictureとして、自分自身のPictureを予測して符号化を行うB-Pictureに形式に分けて符号化を行う。本手法において、MPEG2ではI-Pictureにはスキップコードを挿入出来ないので、I-Pictureに対してはスキップコードの挿入は行わず、P-PictureとB-Pictureに対してスキップコードを挿入する。
【００２４】
図３に、P-Pictureの形式で、スキップコードを挿入する場合の例を示す。図３の上部は動画像符号化を表している。図３の入力は、カメラ部より入力した画像を時間順に、またＩ・Ｂ・Ｐはそれぞれ動画像符号化形式をあらわしており、符号化の際にその形式で符号化を行う。０〜８の添え字は、時間的な順番を表している。図３の符号化は、入力画像を符号化順に並び替えた物を表している。スキップコードは、Picture単位で挿入する。
【００２５】
図３のPSは、P-Pictureの形式でスキップコードを挿入したことを意味している。図３の下部は、静止画像符号化を示している。動画像ストリームにスキップコードを挿入する場合には、図３のようにP-Pictureの前に、P-Pictureの形式で挿入する（図の符号化：Ｂ１とＰ５の間のＰＳ）。この手法で生成したストリームを復号・表示するときの例を図４に示す。この時、P-Pictureの形式挿入したスキップコード（ＰＳ）は、復号時の参照画像であるＩ２と同じ画像となる。この様にする事で、符号化ストリームが途切れることなく、時間的な連続性を保つ事が可能となる。
【００２６】
同様に、B-Pictureの形式で、スキップコードを挿入する場合を図５に示す。図５の構成は図３と同様である。この場合スキップコードは、B-Pictureの形式でP-Pictureの前に挿入する（図のBS）。この際、B-Pictureには、未来のPictureか、過去のPictureか、両方のPictureを参照にするのかのモードが存在するが、この場合は、過去のPictureを参照するモードにする。図６に、復号・表示例を示す。これより、本手法の妥当性が確認できる。
【００２７】
次に、P-Picture、B-Picture内に挿入するスキップコードの挿入位置について説明する。図７にMPEG2のストリーム構造を示す。MPEG2では、ストリーム単位にシーケンス層、GOP層、ピクチャ層、スライス層、マクロブロック層、ブロック層からなる。スキップコードは、図７のマクロブロック情報の先頭に位置するので、その位置に挿入する。尚この際、スライスの先頭と、最後のマクロブロックには、スキップコードを付加する事がMPEG2規格上出来ないので、その様なマクロブロックについては、画面間符号化モードで、動き情報ゼロ、予測誤差ゼロの情報を付加する。こうすることで、スキップコード同様、復号するときに参照画像と同様の画像を表示する事が可能となる。ちなみに、I、P、B-Picture形式はピクチャヘッダの中で明記する。
【００２８】
次に、Low delayモードのピクチャスキップを行う手法について説明を行う。Low delayモードでは、符号化する際のピクチャ構造は、I-PictureとP-Pictureのみである。図１２に簡単なピクチャ構造を示す。“入力“のI、PはそれぞれI-Picture、P-Pictureを示し、数字の添え字は、Temporal referenceを示している。図２の様に、動画像と静止画像を切り替えた際には、動画像符号化を停止して、静止画符号化を行う。その際動画像符号化ストリームには、停止していた期間を考慮して、Temporal referenceを付加する。図１２は、P5〜P7の間静止画像符号化を行い、P8から新たに動画像符号化を再開している例である。この場合では、動画像符号化を停止しているP5〜P7をスキップして、動画像符号化再開時には、Temporal referenceを8として符号化を再開している。この様にする事で、復号する際に、Temporal referenceを参照すれば、録画時間と同等の時間での再生が可能となる。
【００２９】
以下、発明の第２の実施例を、図面を用いて説明する。図８は、本発明の記録装置のブロック図である。レンズ１０により取り込まれたアナログ信号は、CCD１１によって光電変換される。この光電変換により得られた撮像信号をA/D１２により、デジタル画像信号に変換する。
【００３０】
このデジタル画像を、画像符号化回路１３により画像符号化を行い、多重回路１７により音声符号化データを多重し、記録部２０に保存する。また、マイク１４から入力された音声データをA/D１５によりデジタル化し、音声符号化回路１６により音声符号化し、多重回路１７により動画像符号化データと多重し、記録部２０に保存する。この記録部に関しては、第１の実施例と同様である。また、本装置では、動画像符号化回路の前にスイッチ回路２２を有しており制御回路１８の指定により入力画像を切り替える事が可能となっている。スキップ挿入回路２１により動画像符号化データに対して第１の実施例同様のスキップコードを挿入する事が出来る。また、スキップコードの挿入機能を多重回路に持たせて、多重回路によりスキップコードの挿入することも出来る。
【００３１】
図１０の様に、望遠画像（第１のレンズに入力された画像）を符号化している時に、広角画像（第２のレンズに入力された画像）を符号化する際には、制御回路によりスイッチ回路を切り替え、広角画像の符号化を開始する。広角画像は、音声と多重して記録部に記録する。望遠画像に対しては、スキップ挿入回路によりスキップコードを付加して多重回路で音声と多重し記録部に記録する。また、スキップコードの挿入機能を多重回路に持たせて、多重回路によりスキップコードの挿入することも出来る。
【００３２】
尚、上記スキップコードとは、第１の実施例同様のスキップコードを表す。更に、制御回路により望遠画像の符号化が選択されると、広角画像の符号化を停止して、望遠画像の符号化を再開する。
【００３３】
また、広角画像符号化データにスキップコードを挿入するか、望遠画像符号化データにスキップコードを挿入するかは、制御回路により制御する事が可能である。
【００３４】
図９は、望遠画像（第１のレンズに入力された画像）・広角画像（第２のレンズに入力された画像）符号化データ両方にスキップコードを挿入することが可能な装置を示している。これにより、望遠画像符号化時には、広角画像に対してスキップコードを挿入し、広角画像符号化時は、望遠画像符号化データに対してスキップコードを挿入する事が可能となる。上記、入力画像切り替え、スキップコード挿入に関しては、ユーザ指定や時間指定などにより制御を行う。
【００３５】
以下、発明の第３の実施例を、図面を用いて説明する。図１１は、本発明の記録装置のブロック図である。レンズ１０により取り込まれたアナログ信号は、CCD１１によって光電変換される。この光電変換により得られた撮像信号をA/D１２により、デジタル画像信号に変換する。動画像符号化回路１３により動画像符号化を行い、多重回路１７で音声符号化データと多重し、記録部２０に保存する。マイク１４により入力された音声データをA/D１５によりデジタル化し、音声符号化回路１７により符号化を行い、多重回路で動画像符号化データと多重して記録部に保存する。ここで、記録部は第１の実施例同様の記録部である。また、スイッチ回路２２により、画像符号化回路に入力される画像を、制御回路１８の指定する画像に切り替える事が出来る。これにより、一つの符号化回路で、望遠・広角の画像を符号化出来ると共に、時間がずれず落ちのないストリームが生成する事が可能である。
【００３６】
【発明の効果】
本発明は、符号化ストリームを途切れさせることなく複数の画像を符号化する事が出来る。
【図面の簡単な説明】
【図１】第１の実施例のブロック図。
【図２】動画像・静止画像切り替えの概念図。
【図３】 P-Pictureスキップコード挿入位置。
【図４】デコード後の表示順。
【図５】 B-Pictureスキップコード挿入位置。
【図６】デコード後の表示順。
【図７】スキップコード挿入位置。
【図８】第２の実施例のブロック図。
【図９】第２の実施例のブロック図。
【図１０】望遠・広角画像切り替えの概念図。
【図１１】第３の実施例のブロック図。
【図１２】第１の実施例の概念図。
【符号の説明】
１０・・・レンズ
１１・・・CCD
１２・・・A/D
１３・・・画像符号化回路
１４・・・マイク
１５・・・A/D
１６・・・音声符号化回路
１７・・・多重回路
１８・・・制御回路
１９・・・JPEGヘッダ付加回路
２０・・・記録部
２１・・・スキップ挿入回路
２２・・・スイッチ回路

Claims

画像を取り込んで画像信号を生成するカメラ部と、
該カメラ部から出力される画像信号を符号化して複数のピクチャからなる画像符号化ストリームを生成する符号化手段と、
前記ピクチャに挿入され、復号時には該ピクチャを他のピクチャ全体のコピーとして生成させるコードであるスキップコードを挿入するスキップコード挿入手段とを有し、
前記符号化手段は、前記カメラ部から出力される動画像を符号化して前記画像符号化ストリームを生成している間に、一時的に動画像の符号化を停止して前記カメラ部から出力される静止画像を符号化し、
前記スキップコード挿入手段は、前記符号化手段が前記動画像の符号化を停止している間に相当する前記動画像のピクチャに対し、前記動画像の符号化が実行されている間に相当するピクチャ全体のコピーが生成されるように前記スキップコードを挿入することを特徴とする撮像装置。
前記請求項１に記載の撮像装置において、さらに、前記符号化手段が符号化する前記動画像と前記静止画像の切り替えを制御する制御手段を有することを特徴とする撮像装置。
請求項１または２に記載の撮像装置において前記符号化手段は、前記動画像の符号化と前記静止画像の符号化を異なる符号化形式で行うことを特徴とする撮像装置。
請求項１乃至３のいずれかに記載の撮像装置において、前記符号化手段は符号化する動画像の各々のPictureを、そのPicture自身の情報のみで符号化を行うI-Picture、過去のPictureを予測に用いて符号化を行うP-Picture、過去と未来のPictureを用いて符号化を行うB-Pictureの形式に分けて符号化をおこない、前記スキップコード挿入手段は前記スキップコードをP-Pictureの形式で挿入することを特徴とする撮像装置。
請求項１乃至３のいずれかに記載の撮像装置において、前記符号化手段は符号化する動画像の各々のPictureを、そのPicture自身の情報のみで符号化を行うI-Picture、過去のPictureを予測に用いて符号化を行うP-Picture、過去と未来のPictureを用いて符号化を行うB-Pictureの形式に分けて符号化をおこない、前記スキップコード挿入手段は前記スキップコードをB-Pictureの形式で挿入することを特徴とする撮像装置。
請求項１乃至５のいずれかに記載の撮像装置において、前記符号化手段はMPEG形式で画像を符号化し、前記スキップコード挿入手段はスライス情報の先頭と最後のマクロブロックに対しては動き情報ゼロと予測誤差ゼロの情報を与え、前記スキップコードを前記スキップさせるピクチャを構成するマクロブロックに挿入することを特徴とする撮像装置。
少なくとも二つの異なるカメラ部から撮影された画像を符号化する撮像装置において、
入力画像を切り替えるスイッチ手段と、
カメラ部から出力される画像信号を符号化して複数のピクチャからなる画像符号化ストリームを生成する符号化手段と、
復号時には前記ピクチャを他のピクチャ全体のコピーとして生成させるスキップコードを挿入するスキップコード挿入手段と、
スイッチ手段の切り替えを制御すると共にスキップコードの挿入を制御する制御手段と、
を備えており、
前記符号化手段は、前記カメラ部から出力される動画像を符号化して前記画像符号化ストリームを生成している間に、一時的に動画像の符号化を停止して前記カメラ部から出力される静止画像を符号化し、前記スキップコード挿入手段は、前記符号化手段が前記動画像の符号化を停止している間に相当する前記動画像のピクチャに対し、前記動画像の符号化が実行されている間に相当するピクチャ全体のコピーが生成されるように前記スキップコードを挿入することを特徴とする撮像装置。
請求項１乃至７のいずれかに記載の撮像装置において、
ユーザの指示を受け付ける切り替えスイッチ手段を備え、
前記切り替えスイッチ手段がユーザーの指示により前記動画像の符号化を停止して前記静止画像を符号化することを特徴とする撮像装置。
請求項１乃至７のいずれかに記載の撮像装置において、
プログラムの指示を受け付ける切り替えスイッチ手段を備え、
前記切り替えスイッチ手段がプログラムの指示により前記動画像の符号化を停止して前記静止画像を符号化することを特徴とする撮像装置。
請求項１乃至９のいずれかに記載の撮像装置において、符号化された画像を記録媒体に記録・保存する記録手段をもつことを特徴とする撮像装置。