JP2010147508A - 撮影装置及び再生装置 - Google Patents

Abstract

【課題】高速度撮影処理において、センサ出力であるＲＡＷデータから動画圧縮するまでの処理時間を短縮する。
【解決手段】ＲＡＷデータを直接動画像圧縮するに当たり、ＲＡＷデータをＲＡＷデータ分割回路１０１にて色成分毎に分割後、再構成回路１０２により各色成分をスライス単位として１フレームの画像を再構成し、かつスライスの一つを用いて動き検出回路１０３にて動き検出を行い、検出された動きベクトルを用いて各スライスを並列に動画圧縮回路１０４で処理することで、動画像圧縮の処理量と処理時間、消費電力のピークを低減することを可能とする。
【選択図】図１

Description

本発明は高速度撮影装置及び高速度撮影された圧縮データを再生する再生装置に関し、特に撮影時の１フレーム処理に要する処理量削減と、高速度動画圧縮時の省電力化を目的とする信号処理に関する。

近年デジタル動画像圧縮技術の進歩により、動画像圧縮記録の分野でもアナログ記録からデジタル記録へ遷移し、デジタル動画圧縮の適用範囲が広がっている。動画記録メディアとしてＤＶＤやハードディスク装置への記録時の動画圧縮技術ＭＰＥＧ−２を始め、地上波テレビ放送ではＨ．２６４（ＭＰＥＧ−４ ＡＶＣ）の技術が採用されている。同時に、動画撮影時の圧縮技術としてもＭＰＥＧ−４やＨ．２６４が採用され、家電製品であるデジタルビデオカメラやデジタルスチルカメラへの搭載が進んでいる。

一方、デジタルビデオカメラの動画撮影時の機能として、通常撮影に加え暗闇に対応したモードの機能が追加されているように、各社の独自性を打ち出している。その追加機能の一つ技術として高速度撮影がある。高速度撮影に対応したビデオカメラは以前から存在していたが、撮影時のフレームレートを追求することで高コストとなり、そのため主に専門分野で使用されてきた。高速度撮影技術を家電製品であるデジタルビデオカメラやデジタルスチルカメラに搭載するに当たり、専門分野で要求されているより低いフレームレートをターゲットとする事で、家電製品としてのコストの範囲内に収めている。

デジタルビデオカメラ及びデジタルスチルカメラで動画を撮影する際の信号の流れを説明すると、まずＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の受光素子を持つセンサで光電変換を行なう。この際、各受光素子では色の識別能力がないため、受光素子毎にカラーフィルタを適用する事でカラー撮像を実現している。ただし、１画素に付きＲＧＢの３原色のカラーフィルタを用いると素子の規模が大きくなるため、一般的にはベイヤ（Ｂａｙｅｒ）配列と呼ばれる１画素１原色に対応した配置となっている。ベイヤ配列の例を図２に示す。

このベイヤ配列で受光した色信号をＲＡＷデータと呼び、ＲＡＷデータからデモザイク処理を行なう事でフルカラー画像を作成する。デモザイク処理とは注目する１画素のＲＡＷデータとその周辺画素のＲＡＷデータを用いて色補完処理を行い、注目する１画素をＲＧＢの３原色に変換する（例えば、特許文献１参照）。場合によってはＲＧＢの３原色ではなく、動画像圧縮に適したＹＵＶフォーマットに直接変換することもある。

ここで、ＲＡＷデータは補完処理の基礎データとなるため、補完後のＲ・Ｇ・Ｂのそれぞれの分解能と比較して、ＲＡＷデータの分解能は大きくなっている。例えば補完後のＲが８ビットに対し、ＲＡＷデータでのＲは１２ビットの分解能の場合がある。

補完後のＲＧＢ若しくはＹＵＶ画像は動画像圧縮後に記録メディアに記録される。再生装置は圧縮された動画像を再生（復号）し、表示装置に合わせた画像フォーマットに変換し表示する（例えば、非特許文献１）。

高速度撮影を行なう場合、センサから出力されたＲＡＷデータを処理して動画像圧縮処理までの時間が非常に短い為、対応策として２つの対応策が考えられる。まず１つ目として、画像を圧縮せず一時的にメモリへ蓄積する。撮影終了後にメモリに書き込んだ画像を動画圧縮する。これによりリアルタイムでの処理時間の制約を外すことが可能である。メモリの位置によりセンサ出力を蓄積する場合もあれば、最近はセンサの受光素子毎にメモリを直結したカメラも存在する（例えば、非特許文献２）。

２つ目として、ＲＡＷデータを直接圧縮対象とすることで処理時間を短縮する方法が考えられる。ＲＡＷデータを直接圧縮する方法は、すでに静止画撮影時で用いられる技術である（例えば、特許文献２、特許文献３）。
特開２００４−１２８５８３号公報 特開２００５−２８６４１５号公報 特開２００３−１２５２０９号公報 高橋 聖夫、外３名,「高画質ＭＰＥＧ−４方式デジタルムービーカメラ」,三洋電機技報,三洋電機株式会社,平成１７年６月,Ｖｏｌ．３７ Ｎｏ．１ 通巻第７６号 Ｐ．１６） 北村和也、外１０名,「３０万画素超高速度高感度カメラ」,高速度撮影とフォトニクスに関する総合シンポジウム２００５東京,平成１７年１２月

しかしながら上記の技術により高速度撮影を用いる場合、メモリに一時的に蓄積する方式だとメモリ容量により蓄積するフレーム数に制約が発生する。また、非圧縮の画像を蓄積するため、必要とするメモリ容量が大きくなり、それはコストへ直接反映する。

また、上記のＲＡＷデータを直接圧縮する方式であっても、動画像圧縮では静止画圧縮と比較し処理量が多いため、さらに高速度のフレームレートを上げる場合には、動画像圧縮の高速処理が必要となり、高速処理を実現するために回路規模増加に伴うコスト増加や消費電力の増大が発生する。

前記課題を解決するために本発明ではＲＡＷデータを直接動画像圧縮するに当たり、センサから出力されたベイヤ配列になったＲＡＷデータを色成分毎に分割後、各色成分をスライス単位として１フレームの画像を再構成し、かつスライスの一つを用いて動き検出を行い、検出された動きベクトルを用いて各スライスを並列に処理することで、動画像圧縮の処理量と処理時間、消費電力のピークを低減することを可能とする。

また動画再生時に復号画像後のスライス単位となっている色成分ＲＡＷデータをベイヤ配列に並び替え、色補完を行なうことで再生画像を生成することを可能とする。

本発明によれば、センサから出力されたＲＡＷデータを高速に並列処理し動画像圧縮を行なうことで、高速度撮影のフレームレートを上げることができ、かつ処理量と消費電力のピークを低減することができる。

また動画再生時は通常速度での処理となることで色補完処理の速度を抑えることができ、撮影時に色補完処理を行なう場合と比較して回路面積と消費電力のピークを低減することができる。

以下本発明の実施の形態について、図面を参照しながら説明する。

図１は、本発明の実施の形態１を示す高速度撮影及び再生装置の構成図である。

図１の高速度撮影装置１００は、ＲＡＷデータ分割回路１０１、再構成回路１０２、動き検出回路１０３、動画像圧縮回路１０４により構成され、再生装置２００は、動画像復号回路２０１、画像復元回路２０２、色補完回路２０３により構成されている。

かかる構成によれば、まずセンサより出力された図２に示すようなベイヤ配列のＲＡＷデータを、ＲＡＷデータ分割回路１０１にて色成分毎に分割する。図３に分割の例を示す。一般的なベイヤ配列の場合、ＲＧＢＧ（Ｇ成分はＲ列とＢ列にそれぞれ存在し、Ｇ列のＧ成分をＧｒ、Ｂ列のＧ成分をＧｂとすることもある）の４つのデータが存在するため、４つの色成分のＲＡＷデータに分割する。各色成分のＲＡＷデータは、再構成回路１０２によりスライス単位として扱われフレームを再構成する。フレーム再構成の例を図４に示す。

再構成されたフレームは動画像圧縮回路１０４にて圧縮されるが、動画圧縮技術について、まず一般的な例としてＭＰＥＧ−４を用いて説明する。図５（ａ）が、ＭＰＥＧ−４での圧縮を行なう場合の構成である。原画像が入力されると、まず動き検出部３０１が既に符号化された参照画像と原画像を用いて動きベクトルを検出する。動き補償部３０６は参照画像と動きベクトルを用いて差分画像を生成し、ＤＣＴ３０２部にて離散コサイン変換され、さらに量子化部３０３にて量子化後、可変長符号化部３０７にて可変長符号化処理を受け、動きベクトル等の付加情報と共にビットストリームが生成される。同時に、次の参照画像を生成するために逆量子化部３０４で逆量子化、ＩＤＣＴ部３０５で逆離散コサイン変換を行い、動き補償部３０６にて次の参照画像が生成される。

本発明での、動き検出回路１０３と動画像圧縮回路１０４の構成例を図６に示す。動き検出回路１０３は、再構成回路１０２で再構成されたスライス単位のＲＡＷデータの一つをＲＡＷデータ選択部１０３１で選択する。どのスライスを選択するかは外部からの選択信号を受け選択してもよいし、常に固定のスライスを選択してもよい。選択されたスライスのＲＡＷデータと同じスライスの参照画像を参照画像選択部１０３２でメモリから読み出し、動き検出部１０３３にて動き検出を行い、動きベクトルを算出する。動画圧縮回路１０４は、スライスの数と同じ数だけのスライス単位動画圧縮部１０４０と１つの符号合成部１０４１で構成される。スライス単位動画圧縮部１０４０は、動き検出回路１０３で検出された動きベクトルを共有化し、該当するスライスのＲＡＷデータと参照画像をそれぞれ再構成回路１０２とメモリから取得し動画圧縮を行なう。スライス毎に符号化された符号化データは、符号合成部１０４１にて１フレームの符号化データに合成され出力される。

このような構成と処理を行なうことにより、ＲＡＷデータでの動画圧縮処理の並列処理が可能となり、センサ出力から動画圧縮までの時間短縮を図ることができる。また動き検出回路を１つにして動きベクトルを共通化することにより、通常の並列化と比較して回路面積削減と処理量削減を図ることが出来る。

次に動画圧縮データを再生する手順を図１を用いて説明する。再生装置２００は、上記の動画圧縮回路により圧縮された符号化データを動画復号回路２０１にて復号する。復号処理の例として、ＭＰＥＧ−４を用いて説明する。図５（ｂ）がＭＰＥＧ−４での復号を行なう場合の構成例である。符号化されたデータが入力されると、可変長復号部３０８にて可変長復号を行なう。可変長復号されたデータは、逆量子化部３０４にて逆量子化処理、ＩＤＣＴ部３０５にて逆離散コサイン変換処理を受け、動き補償３０６にて動き補償を行い画像が復号される。今回の動画圧縮データでは、復号された画像は図４に示すような各色成分をスライスとしたＲＡＷデータが復号される。続いて画像復元回路２０２で、復号した各色成分のＲＡＷデータを元のベイヤ配列に従った形に並び替える。色補完回路２０３は、ベイヤ配列のＲＡＷデータに色補完処理を行い、フルカラー画像若しくは表示に適した画像フォーマット（ＲＧＢやＹＵＶフォーマット）に変換する。

このような構成と処理を行なうことにより、上記の高速度撮影装置で撮影し圧縮された動画像を復号し、表示することができる。

高速度撮影をリアルタイムで動画像圧縮するためには、高速度のフレームレートに従った処理が要求される。そのため撮影時の処理を軽くする事により、特に消費電力のピークを抑えることができる。今回の発明では、ＲＡＷデータから色補完を行なう処理を復号時に行なっているが、これは高速度撮影された動画はスローモーションで再生される事が前提のため、復号時のフレームレートは通常と同じスピードに設定される。例えば、高速度撮影の撮影時のフレームレートを１０００ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）とした場合でも、復号時には表示に合わせた３０ｆｐｓで表示することになるため、色補完を行なう回路の動作スピードを低くすることができ、回路規模と消費電力を抑えることが可能となる。

本発明では画像データとしてＲＡＷデータを用いているが、これは通常のＭＰＥＧ−４やＨ．２６４で用いられるＹＵＶフォーマットとは異なる。通常のＹＵＶフォーマットでは、ＹＵＶがそれぞれ８ビットの分解能で表現され、かつＹＵＶそれぞれで符号化される。ただしＲＡＷデータが１２ビットの分解能の場合、例えばＨ．２６４のプロファイルの一つであるＨｉｇｈ４：４：４を用いると、このプロファイルはＹＵＶが１２ビットの分解能を持つため、このプロファイルに対応した符号化器及び復号器を用い、かつＲＡＷデータをＹ（輝度）データとし、Ｙデータのみの画像として取り扱うことで、通常の撮影に用いる符号化器及び復号器と共通化することができる。

本発明にかかる高速度撮影及び再生装置の技術は、高性能な動画圧縮装置を要求しないためコストを抑えることができ、デジタルビデオカメラやデジタルスチルカメラへ高速度撮影技術を適用した場合でも、安価に適用が可能となる。

高速度撮影と再生を行なう本発明の高速度撮影及び再生装置の構成図 イメージセンサでのベイヤ配列ＲＡＷデータの配置図 センサ出力とＲＡＷデータ分割回路の出力の関係を表す図 再構成回路により再構成されたＲＡＷデータの画像を表す図 ＭＰＥＧ−４での動画符号化及び復号化の処理を行なう構成図 本発明の動き検出回路と動画圧縮回路の構成図

符号の説明

１００ 高速度撮影装置
１０１ ＲＡＷデータ分割回路
１０２ 再構成回路
１０３ 動き検出回路
１０３１ ＲＡＷデータ選択部
１０３２ 参照画像選択部
１０３３ 動き検出部
１０４ 動画圧縮回路
１０４１ 符号合成部
２００ 再生装置
２０１ 動画復号回路
２０２ 画像復元回路
２０３ 色補完回路
３０１ 動き検出部
３０２ ＤＣＴ部
３０３ 量子化部
３０４ 逆量子化部
３０５ ＩＤＣＴ部
３０６ 動き補償部
３０７ 可変長符号部
３０８ 可変長復号部

Claims (3)

1. センサから出力されたＲＡＷデータを色成分毎に分割するＲＡＷデータ分割部と、
   前記ＲＡＷデータ分割部で分割された各色成分のＲＡＷデータをスライス単位としてフレームを再構成する再構成部と、
   前記再構成部で再構成された各スライスのＲＡＷデータのうち一つのスライスのＲＡＷデータを選択し動き検出を行う動き検出部と、
   前記動き検出部で検出した動きベクトルと前記再構成部で再構成された各スライスのＲＡＷデータを用いて動画圧縮を行なう動画圧縮部と
   を備えた撮影装置。
2. 前記動き検出部は、
   前記再構成部で再構成された各スライスから一つを選択するＲＡＷデータ選択部と、
   動き検出の参照画像を選択する参照画像選択部と、
   前記ＲＡＷデータ選択部で選択されたスライスのＲＡＷデータと前記参照画像選択部で選択された参照画像により動き検出を行う動き検出部と
   を備えることを特徴とする請求項１に記載の高速度撮影装置。
3. 請求項１または２に記載の撮影装置により圧縮されたデータから動画を再生する再生装置であって、
   前記撮影装置で圧縮した圧縮データを復号する動画像復号部と、
   前記復号したデータをスライス単位に分割し各スライスを各色成分に応じたＲＡＷデータとして撮像時の配列に並べ替える画像復元部と、
   前記画像復元回路により復元されたＲＡＷデータから色補完を行い、表示用画像を作成する色補完部と
   を備える再生装置。

Images