JP2019087950A - 撮像装置 - Google Patents

Abstract

【課題】電源復帰時間が短縮でき、消費電力を抑制する。【解決手段】複数の画像処理回路によって画像処理を分散処理可能な撮像装置であって、撮像装置は、撮像手段と、表示手段と、記録手段と、マスター画像処理回路と、単一あるいは複数のスレーブ画像処理回路から構成され、マスター画像処理回路のワークメモリは不揮発メモリであり、マスター画像処理回路へは撮像手段、表示手段、記録手段が直接接続し、マスター画像処理回路は現像前処理、表示の為の簡易現像処理、記録処理を担い、スレーブ画像処理回路のワークメモリは揮発メモリであり、スレーブ画像処理回路は記録画像の現像処理、圧縮処理を担い、記録画像の現像処理、圧縮処理が発生しない期間はスレーブ画像処理回路の電源を遮断可能であることを特徴とする。【選択図】 図１

Description

本発明は撮像装置に関する。

近年、大規模な画素数の画像を記録できる撮像装置が現れている。画素数の小さな撮像装置であれば単一のシステムＬＳＩにて全画像を処理する事が一般的であった。しかし、大きな画素数の画像を扱う場合は単一のシステムＬＳＩでは画像処理時間が長くなる為、必要とされるフレームレートに合わせ複数のシステムＬＳＩで撮像装置を構成し、画像データを分散処理する必要がある。例えば特許文献１では、センサからの画像データを二つの処理回路で分散処理する技術が提案されている。

特開２０１３−２１９４２４号公報

従来の撮像装置のシステムＬＳＩのワークメモリは、アクセス速度やメモリ容量などの点で優位性があるという理由から、一般的にＤＲＡＭが採用されていた。そして、複数のシステムＬＳＩ各々が各々専用ワークメモリを備える場合においても、各々専用ワークメモリは、一般的に他種メモリを混在させず、ＤＲＡＭのみで統一して使用されていた。

しかしながら、ＤＲＡＭは電源遮断により内部データが消失する揮発性メモリである為、システム全体の電源をＯＦＦした後に電源をＯＮした場合、電源ＯＦＦにて一旦ＤＲＡＭ内の記憶データが全て消失する。そして、次の電源ＯＮ時点からシステムに必要な各種データをあらためて記憶しなおす事となる為、システム全体を復旧するまでには時間がかかるといった課題がある。

この課題に対処する為、ワークメモリとして揮発メモリではなく不揮発メモリを使う事が考えられるが、撮像装置においては、電源遮断時に不揮発メモリ中に現像過程データなどメーカー独自技術情報が残る為、メーカー独自技術情報流出の課題がある。

また、複数のシステムＬＳＩの各々専用ワークメモリがＤＲＡＭである場合、省電の観点から、ある動作モードにおいて、使用機能を分担するシステムＬＳＩと未使用機能を分担するシステムＬＳＩとを明確に分けた構成が必要とされる。そうすることで、適宜、使用中機能部のシステムＬＳＩとＤＲＡＭのみの電源をＯＮし、未使用機能部のシステムＬＳＩとＤＲＡＭの電源はＯＦＦする制御で消費電力を抑制することができる。しかしながら、複数ＬＳＩシステムにおいて、一部ＬＳＩの電源をＯＦＦすると全機能が動作しないシステムも考えられ、その場合前記のような消費電力抑制ができないという課題がある。

従って、本発明の目的は、電源復帰時間が短縮でき、技術情報流出の恐れが無く、消費電力を抑制することができる撮像装置を提供する。

撮像手段と、表示手段と、記録手段と、マスター画像処理回路と、単一あるいは複数のスレーブ画像処理回路とを有し、前記マスター画像処理回路のワークメモリは不揮発メモリであり、前記マスター画像処理回路へは前記撮像手段、前記表示手段、前記記録手段が直接接続し、前記マスター画像処理回路は現像前処理、表示の為の簡易現像処理、記録処理を担い、前記スレーブ画像処理回路のワークメモリは揮発メモリであり、前記スレーブ画像処理回路は記録画像の現像処理、圧縮処理を担い、記録画像の現像処理、圧縮処理が発生しない期間はスレーブ画像処理回路の電源を遮断可能である。

本発明によれば、電源復帰時間が短縮でき、技術情報流出の恐れが無く、消費電力を抑制することができる。

第一実施例の撮像装置の構成図。 第一実施例の画像データ分割方法の模式図。 第二実施例の画像データ分割方法の模式図。 第二実施例の撮像装置の構成図。

以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。第一実施例ではマスター画像処理回路と二つのスレーブ画像処理回路をツリー接続し、画像データの一部を一方のスレーブ画像処理回路が処理分担し、画像データの残された一部をもう一方のスレーブ画像処理回路が処理分担する例を示す。すなわち、静止画連写、動画など複数枚画像を連続高速処理する場合に、要求されるフレームレートを実現できる構成である。

図１は、第一実施例の撮像装置の構成図である。まず、画像データの流れの概要を説明する。撮像センサ１０１で捉えた撮像データが第一画像処理回路２００へ入力され、第一画像処理回路にて演算処理した画像データのうち後述する一部のデータが第二画像処理回路３００へ第一のシリアルバス１２１を経て入力される。同様に第一画像処理回路２００にて演算処理した画像データのうち残された一部のデータが第三画像処理回路４００へ第一のシリアルバス１２２を経て入力される。

そして、第二画像処理回路で演算処理された画像データは、第一画像処理回路２００へ第二のシリアルバス１２６を経て入力され、第三画像処理回路で演算処理された画像データは、第一画像処理回路２００へ第二のシリアルバス１２７を経て入力される。ここで第一のシリアルバスはＬＶＤＳ等の規格、第二のシリアルバスはＰＣＩｅ等の規格を想定しているが、これに限定されるものではない。第二、第三画像処理回路それぞれにて演算処理された画像データは、第一画像処理回路中で合成された後、記録インターフェース２５２を介して、記録媒体１０３へ保存される。

ここで、第一画像処理回路から、第二、第三画像処理回路への画像データ分割の方法を図２の模式図で説明する。図２は動画データの時間的に連続するフレーム画像列を示したものである。なお、画像データは動画である必要はなく、高速連写された複数枚静止画としても良い。第一画像処理回路で演算処理する全フレームの画像の中から、偶数番フレームのデータ８５０、８５２、８５４・・・を第二画像処理回路へ送信し、奇数番フレームのデータ８５１、８５３、８５５・・・を第三画像処理回路へ送信する。

なお、本実施例では第一、第二、第三画像処理回路はいずれも同一回路構成であることを想定しているが、異なる回路構成であっても良い。各画像処理回路は、その役割に応じ、必要機能のみ活性させ分担動作を行う。

第一実施例の撮像装置の画像データの流れをさらに詳しく説明する。撮像センサ１０１で捉えた撮像データは、第一画像処理回路２００中のシリアル入力インターフェース２０１へ入力される。シリアル入力インターフェースから出力された画像データは、メモリバス２７１、およびメモリインターフェース２４１を経て、不揮発メモリ１１１に一時的に保存される。

次に、画像データは不揮発メモリ１１１から読み出され、現像前処理部２１２で画素欠陥補間、不図示レンズの光学像歪補正等が施される。なお、現像前処理部の画素欠陥補間、光学像歪補正等演算において、画素欠陥補間処理、光学像歪補正処理に必要なデータが予め不揮発メモリ１１１に保存されている。現像前処理部２１２は、不揮発メモリ１１１の補間・補正データを参照しつつ画素欠陥保管処理・光学像歪補正処理を実行する。この時現像前処理部によって演算されたデータは、メモリバス２７１、およびメモリインターフェース２４１を経て、不揮発メモリに書込み、読出しが行われる。

現像前処理が施された画像データは、メモリバス２７１を経て簡易現像部２３１へ入力され、ライブビュー表示の為の簡易現像が行われる。この時簡易現像部の演算データは、現像前処理と同様に、メモリバス２７１、およびメモリインターフェース２４１を経て、不揮発メモリへ書込み、読出しが行われる。そして、表示インターフェース２３２にて、ライブビュー出力用のデータ形式へ変換され表示部１０２へ出力される。

さらに、現像前処理が施された画像データのうち図２に示した偶数番フレームのデータは、シリアル出力インターフェース２６８を経て、第一のシリアルバス１２１へ出力される。ここでも、メモリバス２７１、メモリインターフェース２４１、不揮発メモリ１１１が画像データ中継部として使用され、偶数番フレーム、奇数番フレーム混在する画像データから、偶数番フレームデータのみが選択出力される。

そして、現像前処理が施された画像データのうち図２に示した奇数番フレームのデータは、シリアル出力インターフェース２６８を経て、第一のシリアルバス１２２へ出力される。ここでも、メモリバス２７１、メモリインターフェース２４１、不揮発メモリ１１１が画像データ中継部として使用され、偶数番フレーム、奇数番フレーム混在する画像データから、奇数番フレームデータのみが選択出力される。

なお、図１では、休止状態にある回路ブロックを斜線パターンで示してあり、第一画像処理回路２００中では、現像部２２１と圧縮部２４２が休止状態にある事を表現している。つまり、第一実施例の撮像装置の構成の場合、第一画像処理回路の主機能は、現像前処理、簡易現像、表示処理、記録処理である。第一画像処理回路２００中には、記録画像の現像処理を分担する現像部２２１や圧縮部２４２も配置されるが、現像前処理が施された画像データは、現像処理、圧縮処理を行わず、シリアル出力インターフェース２６８を経て、第一のシリアルバス１２１へ出力される。

ここまで、第一画像処理回路が担う機能は、あまり高負荷ではないことを前提としている。そのため、動画撮影時や高速連写時の高いフレームレートに対しても、ここまでの処理であれば１つの画像処理回路にて処理可能である。

次に、第一画像処理回路にて現像前処理が施された画像データのうち偶数番フレームのデータは、第二画像処理回路３００中のシリアル入力インターフェース３０１へ入力される。ここで、第二画像処理回路３００中で斜線パターンの現像前処理部３１２、簡易現像部３３１、表示インターフェース３３２、記録インターフェース３５２、シリアル出力インターフェース３６８は休止状態である。すなわち、第一実施例の撮像装置の構成の場合、第二画像処理回路の主機能は、記録画像の現像処理と圧縮処理である。

第二画像処理回路３００中には、現像前処理を分担する現像前処理部３１２が配置されるが、入力画像データは、現像前処理部３１２を通過せずに現像部３２１へ入力する。つまり、シリアル入力インターフェース３０１へ入力された画像データは、メモリバス３７１、メモリインターフェース３４１、揮発メモリ１１２を中継し、現像部３２１へデータ転送される。現像部３２１へ入力された画像データには色バランス調整、ノイズ除去などの現像処理が施された後、圧縮部３４２へ入力され、データ圧縮が施される。

なお、現像部の現像処理、圧縮部の圧縮処理においては、現像部、圧縮部が揮発メモリ１１２へ演算途中データを一次保存しつつ処理を実行する。この時演算データは、メモリバス３７１、およびメモリインターフェース３４１を経て、揮発メモリとのデータ書込み、読出しを行う。さらに、現像及び圧縮が施された画像データは、高速シリアル入出力インターフェース３６４を経て、第二のシリアルバス１２６へ出力される。ここでも、メモリバス３７１、メモリインターフェース３４１、不揮発メモリ１１２が画像データ中継部として使用され、偶数番フレーム画像データが順次出力される。

次に、第一画像処理回路にて現像前処理が施された画像データのうち奇数番フレームのデータは、第三画像処理回路４００中のシリアル入力インターフェース４０１へ入力される。その後の詳細については第二画像処理回路３００と同等であるため、説明を省略する。

ここまで、第二画像処理回路と第三画像処理回路が主に担う記録画像の現像・圧縮処理は高負荷であることを前提としている。そのため、動画撮影時や高速連写時の高いフレームレートに対しては１つの画像処理回路では処理が間に合わない。そこで、第二画像処理回路と第三画像処理回路で処理を分散させることで、高フレームレートでの画像処理を可能としている。

第二画像処理回路で演算処理された偶数番フレーム画像データおよび第三画像処理回路で演算処理された奇数番フレーム画像データは、第二のシリアルバス１２６，１２７を経て、第一画像処理回路の高速シリアル入出力インターフェース２６４へ入力する。そして、メモリバス２７１、メモリインターフェース２４１を介し、一旦不揮発メモリ１１１上へ保存される。つまり、偶数番フレーム画像データと奇数番フレーム画像データが不揮発メモリ１１１上にて、合成保存される。

次に、不揮発メモリ中の合成画像データは、記録インターフェース２５２で記録媒体へのデータ形式変換が行われ、記録媒体１０３へ保存される。なお、記録媒体データ形式変換においては、記録インターフェースが不揮発メモリ１１１へ処理途中データを一次保存しつつ処理を実行する。この時記録インターフェースの処理データはメモリバス２７１、およびメモリインターフェース２４１を経て、不揮発メモリへデータ書込み、読出しが行われる。

以上が、第一実施例の撮像装置の画像データの流れの詳細説明である。なお、本実施例の第一画像処理回路から、第二、第三画像処理回路へのデータ分割方法は、図２模式図に示したフレーム番号の偶数奇数で分割したが、別の方法でもよい。例えば、図３は一つのフレームを上側領域８１０と下側領域８２０の二つに分割する方法である。分割の方法は二分割に限るものでは無く、三分割以上でも良い。

本実施例のように第一画像処理回路の画像データを、第二、第三画像処理回路へ二分割して処理する回路構成とする事により、第一画像処理回路と第二画像処理回路の間のバス帯域及び、第一画像処理回路と第三画像処理回路の間のバス帯域を軽減できる。同時に、第二画像処理回路および第三画像処理回路の動作負荷を軽減できる。

また、本実施例のように第一画像処理回路のワーキングメモリを不揮発メモリとし、画素欠陥補間処理、光学像歪補正処理に必要なデータが予め保存されていることで、電源ＯＦＦからの復帰時間が短縮できる。仮に揮発メモリであったとすると電源ＯＦＦ時に情報が失われてしまうため、その都度フラッシュＲＯＭ等別の不揮発メモリからデータを再度読み込まなくてはいけないためである。

また、本実施例では第二、第三画像処理回路の分担機能を画像データの現像と圧縮のみとした。しかしながら、第二、第三画像処理回路には、音声処理、ブレ補正処理などの機能を加えてもよい。現像、画像圧縮、音声処理、ブレ補正処理などは総じて、電源ＯＦＦからの復帰時間とは無関係なデータだからである。

また、本実施例のように第二画像処理回路と第三画像処理回路のワーキングメモリを揮発メモリとすることで、電源ＯＦＦ時に現像・圧縮途中の画像データが消失する。そのため、メーカー独自の画像処理技術流出を防ぐことができる。

また、本実施例のような構成であれば、動画や静止画連写のフレームレートが低い場合には、例えば第一画像処理回路と第二画像処理回路のみで処理が間に合う。そのため前記のような場合には第三画像処理回路の電源をＯＦＦすることができ、消費電力を抑制することができる。

第二実施例ではマスター画像処理回路と二つのスレーブ画像処理回路をデイジーチェーン接続し、画像データの一部を第一のスレーブ画像処理回路が処理分担し、画像データの残された一部を第二のスレーブ画像処理回路が処理分担する例を示す。すなわち、静止画連写、動画など複数枚画像を連続高速処理する場合に、要求されるフレームレートを実現できる構成である。図３は、第二実施例の撮像装置の構成図である。

まず、画像データの流れの概要を説明する。撮像センサ１０１で捉えた撮像データが第一画像処理回路２００へ入力され、第一画像処理回路にて演算処理した画像データ全てが第二画像処理回路３００へ第一のシリアルバス１２１を経て入力する。そして、第二画像処理回路では入力画像データの一部分の現像と圧縮を施すとともに、現像と圧縮が非実施である入力画像データ残部分のデータとを共に、第三画像処理回路４００へ、第一のシリアルバス１２３を経て入力する。次に、第三画像処理回路では、第二画像処理回路にて入力画像データの現像と圧縮が非実施である残部分の現像と圧縮を施す。

そして、第三画像処理回路は、現像と圧縮を第二画像処理回路で施した画像データと、現像と圧縮を第三画像処理回路で施した画像データとを共に、第二のシリアルバス１２７を経て第一画像処理回路２００へ入力する。最後に第一画像処理回路では、入力された現像と圧縮の処理済の全画像データについて、記録インターフェース２５２で記録前処理を行い、記録媒体１０３へ保存する。ここで第一のシリアルバスはＬＶＤＳ等の規格、第二のシリアルバスはＰＣＩｅ等の規格を想定しているが、これに限定されるものではない。

ここで、スレーブ第二画像処理回路と、スレーブ第三画像処理回路の各々が現像と圧縮を施す入力画像の分割方法については第一実施例と同等であるため、詳細な説明は省略するが、ここでは図３の上下分割を例に説明をする。

なお、本実施例では第一、第二、第三画像処理回路はいずれも同一回路構成であることを想定しているが、異なる回路構成であっても良い。また、第一実施例の第一、第二、第三画像処理回路と、第二実施例の第一、第二、第三画像処理回路とは、ここではいずれも同一回路構成である。各画像処理回路は、その役割に応じ、必要機能のみ活性させ分担動作を行う。

次に、第二実施例の撮像装置の画像データの流れをさらに詳しく説明する。撮像センサ１０１および第一画像処理回路２００の動作については第一実施例と同等であるため、詳細な説明は省略する。

第一画像処理回路にて現像前処理が施された全ての画像データは、第二画像処理回路３００中のシリアル入力インターフェース３０１へ入力する。ここで、第二画像処理回路３００中で斜線パターンの現像前処理部３１２、簡易現像部３３１、表示インターフェース３３２、記録インターフェース３５２、シリアル出力インターフェース３６８は休止状態である。すなわち、第二実施例の撮像装置の構成の場合、第二画像処理回路の主機能は、記録画像の現像処理と圧縮処理である。

第二画像処理回路３００中には、現像前処理を分担する現像前処理部３１２が配置されるが、入力画像データは、現像前処理部３１２を通過せずに、現像部３２１へ入力する。つまり、まずシリアル入力インターフェース３０１へ入力された全ての画像データは、メモリバス３７１、メモリインターフェース３４１を介し、揮発メモリ１１２へ一旦記録される。そして、第二実施例の構成の場合、図３模式図で示した上側領域８１０のデータのみが、揮発メモリから、メモリインターフェース、メモリバスを介し、現像部３２１へデータ転送される。現像部３２１へ入力された画像データには色バランス調整、ノイズ除去などの現像処理が施された後、圧縮部３４２へ入力され、データ圧縮が施される。

なお、現像部の現像処理、圧縮部の圧縮処理においては、現像部、圧縮部が揮発メモリ１１２へ演算途中データを一次保存しつつ処理を実行する。この時演算データは、メモリバス３７１、およびメモリインターフェース３４１を経て、揮発メモリへ書込み、読出しが行われる。さらに、現像及び圧縮が施された図３模式図で示した上側領域８１０のデータは、メモリバス３７１、メモリインターフェース３４１を介し、揮発メモリ１１２へ一旦記録される。そして、揮発メモリ中の現像、圧縮が実施済みの上側領域８１０のデータ、揮発メモリ中の現像、圧縮が未実施の下側領域８２０のデータが共に、メモリインターフェース、メモリバスを介し、シリアル出力インターフェース３６８へ出力される。

次に、現像、圧縮実施済みデータと現像、圧縮未実施データとの両方はシリアル出力インターフェース３６８、第一のシリアルバス１２３を経て、第三画像処理回路４００中のシリアル入力インターフェース４０１へ入力する。その後の詳細については第二画像処理回路３００と同等であるため、説明を省略する。相違点は、第三画像処理回路４００では、第二画像処理回路３００で現像・圧縮が未実施の下側領域８２０に対して現像・圧縮処理を行う点である。

次に、第二画像処理回路３００、第三画像処理回路４００にて処理された画像データは高速シリアル入出力インターフェース４６４、第二の高速シリアルバス１２７を経て、第一画像処理回路２００中の高速シリアル入出力インターフェース２６４へ入力する。第一画像処理回路へ入力された画像データは、メモリバス２７１、メモリインターフェース２４１を介し、一旦不揮発メモリ１１１上へ保存される。次に、不揮発メモリ中の合成画像データは、記録インターフェース２５２で記録媒体へのデータ形式変換が行われ、記録媒体１０３へ保存される。なお、記録媒体データ形式変換においては、記録インターフェースが不揮発メモリ１１１へ処理途中データを一次保存しつつ処理を実行する。この時記録インターフェースの処理データはメモリバス２７１、およびメモリインターフェース２４１を経て、不揮発メモリとのデータ書込み、読出しを行う。

以上が、第二実施例の撮像装置の画像データの流れの詳細説明である。なお、第二、第三画像処理回路でのデータ分割方法は、図３模式図に示した上下二分割に限るものではなく、図２のように偶数奇数フレームによる分割でも良い。

第一実施例ではツリー接続構成を示し、第二実施例ではデイジーチェーン接続構成を示した。デイジーチェーン接続はツリー接続に比べ、画像処理回路間のバス帯域が高くなるが、画像処理回路間の配線簡略化、マスター画像処理回路の端子数削減といった利点がある。

２００ 第一画像処理回路 １１０ 不揮発メモリ １０２ 表示部

Claims (5)

1. 撮像手段と、
   表示手段と、
   記録手段と、
   マスター画像処理回路と、単一あるいは複数のスレーブ画像処理回路とを有し、
   前記マスター画像処理回路のワークメモリは不揮発メモリであり、
   前記マスター画像処理回路へは前記撮像手段、前記表示手段、前記記録手段が直接接続し、
   前記マスター画像処理回路は現像前処理、表示の為の簡易現像処理、記録処理を担い、
   前記スレーブ画像処理回路のワークメモリは揮発メモリであり、
   前記スレーブ画像処理回路は記録画像の現像処理、圧縮処理を担い、
   記録画像の現像処理、圧縮処理が発生しない期間はスレーブ画像処理回路の電源を遮断可能であることを特徴とする撮像装置。
2. 前記スレーブ画像処理回路は複数存在し、前記マスター画像処理回路と前記スレーブ画像処理回路は全て直接接続され、前記マスター画像処理回路は画像データを分割した状態で各々のスレーブ画像処理回路へ送信し、現像処理、圧縮処理を各々のスレーブ画像処理回路で分散処理させることを特徴とする請求項１に記載の撮像装置。
3. 前記スレーブ画像処理回路は複数存在し、全ての画像処理回路は前記マスター画像処理回路を起点として数珠つなぎに接続され、前記マスター画像処理回路は全ての画像データを前記スレーブ画像処理回路に送信し、各スレーブ画像処理回路は画像データのうち自身に割り当てられた一部の画像データのみに現像処理、圧縮処理を実施し、自身に割り当てられていない画像データについては処理せず通過させることで、各々のスレーブ画像処理回路で分散処理させることを特徴とする請求項１に記載の撮像装置。
4. 前記不揮発メモリへ記録するデータが、レンズ補正値、センサ補正値、モニタ画像、媒体記録データのいずれかであることを特徴とする、請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記揮発メモリへ記録するデータが、画像演算データ、音声演算データ、ブレ補正データのいずれかであることを特徴とする、請求項１乃至３の何れか１項に記載の撮像装置。