JP7137710B2 - 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム - Google Patents

撮像素子、撮像装置、撮像素子の作動方法、及びプログラム Download PDF

Info

Publication number
JP7137710B2
JP7137710B2 JP2021536855A JP2021536855A JP7137710B2 JP 7137710 B2 JP7137710 B2 JP 7137710B2 JP 2021536855 A JP2021536855 A JP 2021536855A JP 2021536855 A JP2021536855 A JP 2021536855A JP 7137710 B2 JP7137710 B2 JP 7137710B2
Authority
JP
Japan
Prior art keywords
image data
attribute information
memory
imaging device
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021536855A
Other languages
English (en)
Other versions
JPWO2021020010A1 (ja
JPWO2021020010A5 (ja
Inventor
智行 河合
亮 長谷川
仁史 桜武
誠 小林
一文 菅原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021020010A1 publication Critical patent/JPWO2021020010A1/ja
Publication of JPWO2021020010A5 publication Critical patent/JPWO2021020010A5/ja
Priority to JP2022131343A priority Critical patent/JP2022169672A/ja
Application granted granted Critical
Publication of JP7137710B2 publication Critical patent/JP7137710B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/665Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本開示の技術は、撮像素子、撮像装置、撮像素子の作動方法、及びプログラムに関する。
国際公開第2014/007004号には、画素アレイ部の各画素から信号線に読み出されるアナログ画素信号をデジタル化するAD変換器を含み、デジタル化した画素データをフレームレートよりも速い第1速度で転送する信号処理部と、信号処理部から転送される画素データを保持するメモリ部と、メモリ部から第1速度よりも遅い第2速度で画素データを読み出すデータ処理部と、メモリ部から画素データを読み出す際に、信号線に接続されている電流源の動作及び信号処理部の少なくともAD変換器の動作を停止する制御を行う制御部とを備える固体撮像素子が開示されている。
国際公開第2014/007004号に記載の固体撮像素子において、信号処理部、メモリ部、データ処理部、及び、制御部は、画素アレイ部が形成されたチップと異なる少なくとも1つのチップに形成され、画素アレイ部が形成されたチップと他の少なくとも1つのチップとが積層された構造となっている。また、国際公開第2014/007004号に記載の固体撮像素子において、データ処理部は、メモリ部に対して列アドレスを指定するデコーダと、指定したアドレスの画素データを読み出すセンスアンプと、を有し、センスアンプ及びデコーダを通してメモリ部から画素データを読み出す。
国際公開第2013/145765号には、1つ以上の画素を含む第1グループと、第1グループを構成する画素とは異なる画素を1つ以上含む第2グループとを含む撮像部と、第1グループに1回の電荷蓄積を実行させている期間に、第2グループに第1グループとは異なる回数の電荷蓄積を実行させて各々の画素信号を出力させる制御部と、を備える撮像ユニットが開示されている。
国際公開第2013/145765号に記載の撮像ユニットでは、撮像部を含む撮像チップと、画素信号を処理する処理回路を含む信号処理チップとが、積層構造により電気的に接続されている。また、画素信号を格納する画素メモリを含むメモリチップも積層構造により電気的に接続されている。また、国際公開第2013/145765号に記載の撮像ユニットにおいて、制御部は、第2グループを含むグループ群のうちの指定グループに対する外部回路からの引渡要求に従って、指定グループの画素信号を画素メモリから読み出して画像処理部へ引き渡す。また、国際公開第2013/145765号に記載の撮像ユニットは、引渡要求に従って画素信号を伝送するデータ転送インタフェースを備えている。データ転送インタフェースによる画素信号の伝送は、ダブルデータレート方式、アドレス指定方式、バースト転送方式、バス方式、シリアル方式の少なくともいずれかを採用する。更に、国際公開第2013/145765号に記載の撮像ユニットにおいて、制御部は、複数回の電荷蓄積に対する各々の画素信号が画素メモリに格納されている場合には、各々の画素信号を画像処理部へ引き渡す。
本開示の技術に係る一つの実施形態は、撮像素子から必要な画像データを選択的に取得することができる撮像素子、撮像装置、撮像素子の作動方法、及びプログラムを提供する。
本開示の技術に係る第1の態様は、撮像素子であって、撮像されることにより得られた画像データを記憶し、かつ、撮像素子に内蔵された記憶部と、画像データの記憶部への記憶を制御し、画像データの属性情報を記憶部に対して記憶させ、かつ、撮像素子に内蔵された制御部と、記憶部に記憶された画像データを出力し、かつ、撮像素子に内蔵された出力部と、属性情報に関する指示を受け付ける受付部と、を含み、出力部は、受付部によって受け付けられた指示に応じた属性情報を出力する撮像素子である。
本開示の技術に係る第2の態様は、出力部は、受付部によって指示が受け付けられたタイミングで属性情報を出力する第1の態様に係る撮像素子である。
本開示の技術に係る第3の態様は、指示は、外部からのフレーム同期信号である第1の態様又は第2の態様に係る撮像素子である。
本開示の技術に係る第4の態様は、出力部は、記憶部に記憶された画像データのうちの最新の画像データに関する属性情報を出力する第1の態様から第3の態様の何れか1つの態様に係る撮像素子である。
本開示の技術に係る第5の態様は、出力部は、受付部によって指示が受け付けられたタイミングで最新の画像データに関する属性情報を出力する第4の態様に係る撮像素子である。
本開示の技術に係る第6の態様は、出力部は、複数の画像データに対するそれぞれの属性情報を出力することが可能であり、属性情報は、出力部によって撮像順に沿って出力される第1の態様から第5の態様の何れか1つの態様に係る撮像素子である。
本開示の技術に係る第7の態様は、属性情報は、アドレス、画像サイズ、撮像時刻、及び撮像条件のうちの少なくとも1つを含む情報である第1の態様から第6の態様の何れか1つの態様に係る撮像素子である。
本開示の技術に係る第8の態様は、次回の撮像に伴って記憶部から画像データが消去される場合、出力部から出力される属性情報は、次回の撮像に伴って記憶部から画像データが消去されることを示す消去情報を含む情報である第1の態様から第7の態様の何れか1つの態様に係る撮像素子である。
本開示の技術に係る第9の態様は、記憶部から画像データが消去される場合、制御部は、記憶部内の消去対象とされた画像データである消去対象画像データに関する属性情報を記憶部から消去し、記憶部から消去対象画像データを消去する第8の態様に係る撮像素子である。
本開示の技術に係る第10の態様は、画像データを圧縮する圧縮回路を含み、制御部は、既定のフレーム数分の画像データを記憶部に対して記憶させ、圧縮回路によって画像データが圧縮されることで得られた圧縮画像データを記憶部に対して記憶させ、かつ、圧縮画像データに関する属性情報と、画像データが圧縮されていることが特定可能な圧縮特定情報とを圧縮画像データに対応付ける第1の態様から第9の態様の何れか1つの態様に係る撮像素子である。
本開示の技術に係る第11の態様は、記憶部に圧縮画像データが記憶される場合、出力部から出力される属性情報は、記憶部に圧縮画像データが記憶される予定であることを示す圧縮予定情報を含む情報である第10の態様に係る撮像素子である。
本開示の技術に係る第12の態様は、出力部から出力される属性情報は、圧縮画像データの圧縮形式を特定可能な情報を含む情報である第10の態様又は第11の態様に係る撮像素子である。
本開示の技術に係る第13の態様は、指示は、出力部による属性情報の出力量を含み、出力部は、出力量で属性情報を出力する第1の態様から第12の態様の何れか1つの態様に係る撮像素子である。
本開示の技術に係る第14の態様は、出力量は、画像データのフレーム数によって規定されている第13の態様に係る撮像素子である。
本開示の技術に係る第15の態様は、撮像素子の後段に位置する後段回路から送信される属性情報を受信する受信部を更に含み、制御部は、受信部によって受信された属性情報に従って記憶部から画像データを取得し、取得した画像データを出力部に対して後段回路に出力させる第1の態様から第14の態様の何れか1つの態様に係る撮像素子である。
本開示の技術に係る第16の態様は、出力部は、第1出力部及び第2出力部を有し、第1出力部は、画像データを出力し、第2出力部は、属性情報を出力する第1の態様から第15の態様の何れか1つの態様に係る撮像素子である。
本開示の技術に係る第17の態様は、少なくとも光電変換素子と記憶部とが1チップ化された第1の態様から第16の態様の何れか1つの態様に係る撮像素子である。
本開示の技術に係る第18の態様は、撮像素子は、光電変換素子に記憶部が積層された積層型撮像素子である第17の態様に係る撮像素子である。
本開示の技術に係る第19の態様は、第1の態様から第18の態様の何れか1つの態様に係る撮像素子と、出力部により出力された画像データに基づく画像を表示部に対して表示させる制御、及び出力部により出力された画像データを記憶装置に対して記憶させる制御のうちの少なくとも一方を行う制御装置と、を含む撮像装置である。
本開示の技術に係る第20の態様は、撮像されることにより得られた画像データを記憶する記憶部が内蔵された撮像素子の作動方法であって、画像データの記憶部への記憶を制御すること、画像データの属性情報を記憶部に対して記憶させること、記憶部に記憶された画像データを出力すること、属性情報に関する指示を受け付けること、及び、受け付けた指示に応じた属性情報を出力することを含む撮像素子の作動方法である。
本開示の技術に係る第21の態様は、撮像されることにより得られた画像データを記憶する記憶部が内蔵された撮像素子に対して適用されるコンピュータに、画像データの記憶部への記憶を制御すること、画像データの属性情報を記憶部に対して記憶させること、記憶部に記憶された画像データを出力すること、属性情報に関する指示を受け付けること、及び、受け付けた指示に応じた属性情報を出力することを含む処理を実行させるためのプログラムである。
実施形態に係る撮像装置の外観の一例を示す斜視図である。 図1に示す撮像装置の背面側の外観の一例を示す背面図である。 実施形態に係る撮像装置の構成の一例を示すブロック図である。 実施形態に係る撮像装置に含まれる撮像装置本体の電気系のハードウェア構成の一例を示すブロック図である。 実施形態に係る撮像装置に含まれる撮像素子のフレームレートの説明に供する概念図である。 実施形態に係る撮像素子の積層構造の一例を示す概念図である。 実施形態に係る撮像素子に含まれるメモリの構造の一例を示すブロック図である。 実施形態に係る撮像装置に含まれる撮像素子の電気系のハードウェア構成の一例を示すブロック図であって、撮像素子によって撮像が行われ、かつ、撮像素子から属性情報が出力される形態例の説明に供するブロック図である。 実施形態に係る撮像素子によって行われる撮像工程及び出力工程の内容の一例を示す概念図である。 実施形態に係る撮像装置に含まれる撮像素子での処理内容の一例を示すタイムチャートである。 1フレーム目~4フレーム目に撮像素子の出力I/Fから出力される属性情報の内容の一例を示す概念図である。 5フレーム目及び6フレーム目に撮像素子の出力I/Fから出力される属性情報の内容の一例を示す概念図である。 実施形態に係る撮像装置に含まれる撮像素子の電気系のハードウェア構成の一例を示すブロック図であって、撮像素子からデジタル画像データが出力される形態例の説明に供するブロック図である。 実施形態に係る属性情報出力処理の流れの一例を示すフローチャートである。 実施形態に係るデータ消去処理の流れの一例を示すフローチャートである。 デジタル画像データに対して圧縮処理が行われる場合にメモリに対してデジタル画像データ及び圧縮画像データが記憶される処理内容の一例を示すタイムチャートである。 4フレーム目以降のデジタル画像データに対して圧縮処理が行われる場合の1フレーム目~4フレーム目に撮像素子の出力I/Fから出力される属性情報の内容の一例を示す概念図である。 4フレーム目以降のデジタル画像データに対して圧縮処理が行われる場合の5フレーム目及び6フレーム目に撮像素子の出力I/Fから出力される属性情報の内容の一例を示す概念図である。 次回の撮像に伴って1フレーム分のデジタル画像データが圧縮される予定であるか否かを示す圧縮予定フラグが含まれている属性情報であって、1フレーム目~4フレーム目に撮像素子の出力I/Fから出力される属性情報の内容の一例を示す概念図である。 次回の撮像に伴って1フレーム分のデジタル画像データが圧縮される予定であるか否かを示す圧縮予定フラグが含まれている属性情報であって、5フレーム目及び6フレーム目に撮像素子の出力I/Fから出力される属性情報の内容の一例を示す概念図である。 次回の撮像に伴って1フレーム分のデジタル画像データが圧縮される予定であるか否かを示す圧縮予定フラグが含まれており、かつ、圧縮形式特定情報が含まれている属性情報であって、4フレーム目及び5フレーム目に撮像素子の出力I/Fから出力される属性情報の内容の一例を示す概念図である。 次回の撮像に伴って1フレーム分のデジタル画像データが圧縮される予定であるか否かを示す圧縮予定フラグが含まれており、かつ、圧縮形式特定情報が含まれている属性情報であって、6フレーム目に撮像素子の出力I/Fから出力される属性情報の内容の一例を示す概念図である。 属性情報に関する指示(例えば、垂直同期信号)が撮像素子の受付I/Fによって受け付けられたタイミングで属性情報が撮像素子の出力I/Fによって出力される場合の撮像素子での処理内容の一例を示すタイムチャートである。 フレーム毎に出力される属性情報が1フレーム分のデジタル画像データに関する属性情報である場合の1フレーム目~6フレーム目に出力される属性情報の内容の一例を示す概念図である。 フレーム毎に出力される属性情報が1フレーム分のデジタル画像データに関する属性情報である場合の1フレーム目~6フレーム目に出力される属性情報であって、消去フラグ及び圧縮予定フラグが含まれていない属性情報の内容の一例を示す概念図である。 実施形態に係る属性情報出力処理の流れの変形例を示すフローチャートである。 実施形態に係る撮像装置に含まれる撮像素子の電気系のハードウェア構成の変形例を示すブロック図である。 実施形態に係るスマートデバイスの背面側の外観の一例を示す背面視斜視図である。 図24に示すスマートデバイスの前面側の外観の一例を示す前面視斜視図である。 実施形態に係る撮像素子側プログラムが記憶された記憶媒体から、撮像素子側プログラムが撮像素子内のコンピュータにインストールされる態様の一例を示す概念図である。
以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。
先ず、以下の説明で使用される文言について説明する。
CPUとは、“Central Processing Unit”の略称を指す。GPUとは、“Graphics Processing Unit”の略称を指す。RAMとは、“Random Access Memory”の略称を指す。ROMとは、“Read Only Memory”の略称を指す。DRAMとは、“Dynamic Random Access Memory”の略称を指す。SRAMとは、“Static Random Access Memory”の略称を指す。LSIとは、“Large-Scale Integrated circuit”の略称を指す。ASICとは、“Application Specific Integrated Circuit”の略称を指す。PLDとは、“Programmable Logic Device”の略称を指す。FPGAとは、“Field-Programmable Gate Array”の略称を指す。SoCとは、“System-on-a-chip”の略称を指す。SSDとは、“Solid State Drive”の略称を指す。USBとは、“Universal Serial Bus”の略称を指す。HDDとは、“Hard Disk Drive”の略称を指す。EEPROMとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。CCDとは、“Charge Coupled Device”の略称を指す。CMOSとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ELとは、“Electro-Luminescence”の略称を指す。A/Dとは、“Analog/Digital”の略称を指す。I/Fとは、“Interface”の略称を指す。UIとは、“User Interface”の略称を指す。LVDSとは、“Low Voltage Differential Signaling”の略称を指す。PCI-eとは、“Peripheral Component Interconnect Express”の略称を指す。SATAとは、“Serial Advanced Technology Attachment”の略称を指す。SLVS-ECとは、“Scalable Low Signaling with Embedded Clock”の略称を指す。MIPIとは、“Mobile Industry Prossor Interface”の略称を指す。fpsとは、“frame per second”の略称を指す。FIFOとは、“First In, First Out”の略称を指す。MPEGとは、“Moving Picture Experts Group”の略称を指す。JPEGとは、“Joint Photographic Experts Group”の略称を指す。TIFFとは、“Tagged Image File Format”の略称を指す。BMPとは、“Bitmap”の略称を指す。PNGとは、“Portable Network Graphics”の略称を指す。GIFとは、“Graphics Interchange Format”の略称を指す。
一例として図1に示すように、撮像装置10は、レンズ交換式で、かつ、レフレックスミラーが省略されたデジタルカメラである。撮像装置10は、撮像装置本体12と、撮像装置本体12に交換可能に装着される交換レンズ14と、を備えている。なお、ここでは、撮像装置10の一例として、レンズ交換式で、かつ、レフレックスミラーが省略されたデジタルカメラが挙げられているが、本開示の技術はこれに限定されず、撮像装置10は、レンズ固定式等の他種類のデジタルカメラであってもよい。
撮像装置本体12には、撮像素子38が設けられている。交換レンズ14が撮像装置本体12に装着された場合に、被写体を示す被写体光は、交換レンズ14を透過して撮像素子38に結像され、撮像素子38によって被写体の画像を示す画像データ(例えば、図4及び図5参照)が生成される。
撮像装置本体12には、ハイブリッドファインダー(登録商標)16が設けられている。ここで言うハイブリッドファインダー16とは、例えば光学ビューファインダー(以下、「OVF」という)及び電子ビューファインダー(以下、「EVF」という)が選択的に使用されるファインダーを指す。なお、OVFとは、“optical viewfinder”の略称を指す。また、EVFとは、“electronic viewfinder”の略称を指す。
撮像装置本体12の前面には、ファインダー切替レバー18が設けられている。OVFで視認可能な光学像とEVFで視認可能な電子像であるライブビュー画像とは、ファインダー切替レバー18を矢印SW方向に回動させることで切り換わる。ここで言う「ライブビュー画像」とは、撮像素子38によって撮像されることにより得られた画像データに基づく表示用の動画像を指す。ライブビュー画像は、一般的には、スルー画像とも称されている。撮像装置本体12の上面には、レリーズボタン20及びダイヤル23が設けられている。ダイヤル23は、撮像系の動作モード及び再生系の動作モード等の設定の際に操作され、これによって、撮像装置10では、動作モードとして撮像モードと再生モードとが選択的に設定される。
レリーズボタン20は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との2段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置(半押し位置)まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置(全押し位置)まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。
一例として図2に示すように、撮像装置本体12の背面には、タッチパネル・ディスプレイ24、指示キー27、及びファインダー接眼部30が設けられている。
タッチパネル・ディスプレイ24は、ディスプレイ26及びタッチパネル28(図4も参照)を備えている。ディスプレイ26の一例としては、液晶ディスプレイが挙げられる。ディスプレイ26は、液晶ディスプレイではなく、有機ELディスプレイ又は無機ELディスプレイなどの他種類のディスプレイであってもよい。なお、ディスプレイ26及びEVFは、本開示の技術に係る「表示部(ディスプレイ)」の一例である。EVFの表示についてはディスプレイ26の表示と同等であるため以後の記載は省略するが、本明細書においては、ディスプレイ26への表示をEVFへの表示に読み替えることができる。
ディスプレイ26は、画像及び文字情報等を表示する。ディスプレイ26は、撮像装置10が撮像モードの場合に連続的な撮像により得られたライブビュー画像の表示に用いられる。また、ディスプレイ26は、静止画像用の撮像の指示が与えられた場合に撮像されることで得られた静止画像の表示にも用いられる。更に、ディスプレイ26は、撮像装置10が再生モードの場合の再生画像の表示及びメニュー画面等の表示にも用いられる。
タッチパネル28は、透過型のタッチパネルであり、ディスプレイ26の表示領域の表面に重ねられている。タッチパネル28は、指又はスタイラスペン等の指示体による接触を検知することで、ユーザからの指示を受け付ける。
指示キー27は、各種の指示を受け付ける。ここで言う「各種の指示」とは、例えば、各種メニューを選択可能なメニュー画面の表示の指示、1つ又は複数のメニューの選択の指示、選択内容の確定の指示、選択内容の消去の指示、ズームイン、ズームアウト、及びコマ送り等の各種の指示等を指す。
一例として図3に示すように、交換レンズ14は、撮像レンズ40を有する。撮像レンズ40は、対物レンズ40A、フォーカスレンズ40B、及び絞り40Cを備えている。対物レンズ40A、フォーカスレンズ40B、及び絞り40Cは、被写体側(物体側)から撮像装置本体12側(像側)にかけて、光軸L1に沿って、対物レンズ40A、フォーカスレンズ40B、及び絞り40Cの順に配置されている。フォーカスレンズ40B及び絞り40Cは、モータ等の駆動源(図示省略)からの動力を受けることで作動する。すなわち、フォーカスレンズ40B及び絞り40Cは、付与された動力に応じて光軸L1に沿って移動する。また、絞り40Cは、付与された動力に応じて作動することで露出を調節する。
撮像装置本体12は、後段回路13、UI系デバイス17、メカニカルシャッタ41、及び撮像素子38を備えている。後段回路13は、撮像素子38の後段に位置する回路である。後段回路13は、コントローラ15及び信号処理回路34を有する。コントローラ15は、UI系デバイス17、信号処理回路34、及び撮像素子38に接続されており、撮像装置10の電気系の全体を制御する。
撮像素子38は、受光面42Aを有する光電変換素子42を備えている。本実施形態において、撮像素子38は、CMOSイメージセンサである。また、ここでは、撮像素子38としてCMOSイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、撮像素子38がCCDイメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。
メカニカルシャッタ41は、モータ等の駆動源(図示省略)からの動力を受けることで作動する。交換レンズ14が撮像装置本体12に装着された場合に、被写体を示す被写体光は、撮像レンズ40を透過し、メカニカルシャッタ41を介して受光面42Aに結像される。
UI系デバイス17は、ユーザに対して情報を提示したり、ユーザからの指示を受け付けたりするデバイスである。コントローラ15は、UI系デバイス17からの各種情報の取得、及びUI系デバイス17の制御を行う。
撮像素子38は、コントローラ15に接続されており、コントローラ15の制御下で、被写体を撮像することで、被写体の画像を示す画像データを生成する。
撮像素子38は、信号処理回路34に接続されている。信号処理回路34は、LSIであり、具体的には、ASIC及びFPGAを含むデバイスである。コントローラ15は、信号処理回路34からの各種情報の取得、及び撮像素子38の制御を行う。撮像素子38は、コントローラ15の制御下で、光電変換素子42によって生成された画像データを信号処理回路34に出力する。
信号処理回路34は、撮像素子38から入力された画像データに対して各種の信号処理を行う。信号処理回路34によって行われる各種の信号処理には、例えば、ホワイトバランス調整、シャープネス調整、ガンマ補正、色空間変換処理、及び色差補正などの公知の信号処理が含まれる。
なお、信号処理回路34によって行われる各種の信号処理は、信号処理回路34と撮像素子38とで分散して行われるようにしてもよい。すなわち、信号処理回路34によって行われる各種の信号処理のうちの少なくとも一部を撮像素子38の処理回路110に担わせるようにしてもよい。
なお、本実施形態では、信号処理回路34としてASIC及びFPGAを含むデバイスを例示しているが、本開示の技術はこれに限定されず、信号処理回路34は、ASIC、FPGA、及び/又はPLDを含むデバイスであってもよい。
また、信号処理回路34は、CPU、ストレージ、及びメモリを含むコンピュータであってもよい。ここで言う「ストレージ」とは、SSD又はHDD等の不揮発性の記憶装置を指し、ここで言う「メモリ」とは、DRAM又はSRAM等の揮発性の記憶装置を指す。コンピュータに含まれるCPUは、単数であってもよいし、複数であってもよい。また、CPUに代えてGPUを用いてもよい。また、信号処理回路34は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
一例として図4に示すように、コントローラ15は、CPU15A、ストレージ15B、メモリ15C、出力I/F15D、及び受付I/F15Eを備えている。CPU15A、ストレージ15B、メモリ15C、出力I/F15D、及び受付I/F15Eは、バスライン100を介して接続されている。図4に示す例では、図示の都合上、バスライン100として1本のバスラインが図示されているが、バスライン100には、データバス、アドレスバス、及びコントロールバス等が含まれている。
ストレージ15Bは、各種パラメータ及び各種プログラムを記憶している。ストレージ15Bは、不揮発性の記憶装置である。ここでは、ストレージ15Bの一例として、EEPROMが採用されているが、これに限らず、マスクROM、HDD、又はSSD等であってもよい。メモリ15Cは、揮発性の記憶装置である。メモリ15Cには、各種情報が一時的に記憶される。メモリ15Cは、CPU15Aによってワークメモリとして用いられる。ここでは、メモリ15Cの一例として、DRAMが採用されているが、これに限らず、SRAM等の他の種類の揮発性の記憶装置であってもよい。なお、CPU15Aは、本開示の技術に係る「制御装置」の一例であり、ストレージ15Bは、本開示の技術に係る「記憶装置」の一例である。
ストレージ15Bには、各種プログラムが記憶されている。CPU15Aは、ストレージ15Bから各種プログラムを読み出し、読み出した各種プログラムをメモリ15Cに展開する。CPU15Aは、メモリ15Cに展開した各種プログラムに従って撮像装置10の全体を制御する。
出力I/F15Dは、撮像素子38に接続されている。CPU15Aは、出力I/F15Dを介して撮像素子38を制御する。例えば、CPU15Aは、出力I/F15Dを介して撮像素子38に対して、撮像を行うタイミングを規定する撮像タイミング信号を供給することで撮像素子38によって行われる撮像のタイミングを制御する。
受付I/F15Eは、信号処理回路34に接続されている。CPU15Aは、受付I/F15Eを介して信号処理回路34との間で各種情報の授受を行う。
信号処理回路34には、撮像素子38から画像データが入力される。信号処理回路34は、撮像素子38から入力された画像データに対して各種の信号処理(詳しくは後述)を行う。信号処理回路34は、各種の信号処理を行った画像データを受付I/F15Eに出力する。受付I/F15Eは、信号処理回路34からの画像データを受け付け、受け付けた画像データをCPU15Aに転送する。
バスライン100には、外部I/F104が接続されている。外部I/F104は、回路で構成された通信デバイスである。なお、ここでは、外部I/F104として回路で構成されたデバイスが採用されているが、これは、あくまでも一例に過ぎない。外部I/F104は、ASIC、FPGA、及び/又はPLDを含むデバイスであってもよい。また、外部I/F104は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
外部I/F104の一例としては、USBインタフェースがあり、ここにメモリカードコントローラ、スマートデバイス、パーソナル・コンピュータ、サーバ、USBメモリ、及び/又はメモリカード等の外部装置(図示省略)が接続可能である。外部I/F104は、CPU15Aと外部装置との間の各種情報の授受を司る。なお、外部I/F104に直接又は間接的に接続される外部装置、すなわち、スマートデバイス、パーソナル・コンピュータ、サーバ、USBメモリ及び/又はメモリカード等の外部装置は、本開示の技術に係る「記憶装置」の一例である。
UI系デバイス17は、タッチパネル・ディスプレイ24及び受付デバイス84を備えている。ディスプレイ26及びタッチパネル28は、バスライン100に接続されている。従って、CPU15Aは、ディスプレイ26に対して各種情報を表示させ、タッチパネル28によって受け付けられた各種指示に従って動作する。
受付デバイス84は、ハードキー部25を備えている。ハードキー部25は、複数のハードキーであり、レリーズボタン20(図1参照)、ダイヤル23(図1及び図2参照)、及び指示キー27(図2参照)を有する。ハードキー部25は、バスライン100に接続されており、CPU15Aは、ハードキー部25によって受け付けられた指示を取得し、取得した指示に従って動作する。
一例として図5に示すように、撮像素子38にはコントローラ15から撮像タイミング信号が入力される。撮像タイミング信号には、垂直同期信号及び水平同期信号が含まれている。垂直同期信号は、光電変換素子42からの1フレーム毎の画像データの読み出しの開始タイミングを規定する同期信号である。水平同期信号は、光電変換素子42からの水平ライン毎の画像データの読み出しの開始タイミングを規定する同期信号である。撮像素子38は、コントローラ15から入力された垂直同期信号に応じて定まるフレームレートに従って、光電変換素子42から画像データを読み出す。なお、垂直同期信号は、本開示の技術に係る「属性情報に関する指示」及び「外部からのフレーム同期信号」の一例であり、コントローラ15は、本開示の技術に係る「外部」の一例である。
図5に示す例では、撮像素子38のフレームレートとして、期間T内に光電変換素子42から8フレーム分の読み出しが行われるフレームレートが示されている。具体的なフレームレートの一例としては、120fpsが挙げられるが、これに限らず、120fpsを超えるフレームレート(例えば、240fps)であってもよいし、120fps未満のフレームレート(例えば、60fps)であってもよい。
一例として図6に示すように、撮像素子38には、光電変換素子42、処理回路110、及びメモリ112が内蔵されている。撮像素子38は、光電変換素子42、処理回路110、及びメモリ112が1チップ化された撮像素子である。すなわち、光電変換素子42、処理回路110、及びメモリ112は1パッケージ化されている。撮像素子38では、光電変換素子42に対して処理回路110及びメモリ112が積層されている。具体的には、光電変換素子42及び処理回路110は、銅等の導電性を有するバンプ(図示省略)によって互いに電気的に接続されており、処理回路110及びメモリ112、銅等の導電性を有するバンプ(図示省略)によって互いに電気的に接続されている。
処理回路110は、例えば、LSIである。メモリ112は、書き込みタイミングと読み出しタイミングとが異なるメモリである。ここでは、メモリ112の一例として、DRAMが採用されている。
処理回路110は、ASIC及びFPGAを含むデバイスであり、上述のコントローラ15の指示に従って、撮像素子38の全体を制御する。なお、ここでは、処理回路110がASIC及びFPGAを含むデバイスによって実現される例を挙げているが、本開示の技術はこれに限定されるものではなく、例えば、ASIC、FPGA、及び/又はPLDを含むデバイスであってもよい。また、処理回路110として、CPUと、不揮発性の記憶装置であるEEPROM等のストレージと、揮発性の記憶装置であるRAM等のメモリとを含むコンピュータが採用されてもよい。コンピュータに含まれるCPUは、単数であってもよいし、複数であってもよい。CPUに代えてGPUを用いてもよい。また、処理回路110は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
光電変換素子42は、マトリクス状に配置された複数のフォトダイオードを有している。複数のフォトダイオードの一例としては、“4896×3265”画素分のフォトダイオードが挙げられる。
光電変換素子42に含まれる各フォトダイオードには、カラーフィルタが配置されている。カラーフィルタは、輝度信号を得るために最も寄与するG(緑)に対応するGフィルタ、R(赤)に対応するRフィルタ、及びB(青)に対応するBフィルタを含む。
光電変換素子42は、R画素、G画素、及びB画素を有する。R画素は、Rフィルタが配置されたフォトダイオードに対応する画素であり、G画素は、Gフィルタが配置されたフォトダイオードに対応する画素であり、B画素は、Bフィルタが配置されたフォトダイオードに対応する画素である。R画素、G画素、及びB画素は、行方向(水平方向)及び列方向(垂直方向)の各々に既定の周期性で配置されている。本実施形態では、R画素、G画素、及びB画素がX-Trans(登録商標)配列に対応した周期性で配列されている。なお、ここでは、X-Trans配列を例示しているが、本開示の技術はこれに限定されず、R画素、G画素、及びB画素の配列は、ベイヤ配列又はハニカム配列などであってもよい。
撮像素子38は、いわゆる電子シャッタ機能を有しており、コントローラ15の制御下で電子シャッタ機能を働かせることで、光電変換素子42内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。
撮像素子38では、ローリングシャッタ方式で、静止画像用の撮像と、ライブビュー画像用の撮像とが選択的に行われる。静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ(図示省略)を作動させることで実現され、ライブビュー画像用の撮像は、メカニカルシャッタを作動させずに、電子シャッタ機能を働かせることで実現される。なお、ここでは、ローリングシャッタ方式が例示されているが、本開示の技術はこれに限らず、ローリングシャッタ方式に代えてグローバルシャッタ方式を適用してもよい。
なお、メモリ112は、本開示の技術に係る「記憶部(メモリ)」の一例である。本実施形態において、メモリ112としてDRAMが採用されているが、メモリ112が他の種類のメモリであっても本開示の技術は成立する。また、撮像素子38は、本開示の技術に係る「積層型撮像素子」の一例である。
一例として図7に示すように、メモリ112は、第1記憶領域112A、第2記憶領域112B、第3記憶領域112C、第4記憶領域112D、第5記憶領域112E、及び第6記憶領域112Fを有する。なお、ここでは、説明の便宜上、6つの記憶領域を例示しているが、これはあくまでも一例に過ぎず、メモリ112は、複数フレーム分の画像データが記憶可能な複数の記憶領域を有していればよい。
図7に示す例では、第1記憶領域112A、第2記憶領域112B、第3記憶領域112C、第4記憶領域112D、第5記憶領域112E、及び第6記憶領域112Fの各々に対して、メモリ112内のアドレスが付与されている。第1記憶領域112Aに対しては、“0X00000000”というアドレスが付与されている。第2記憶領域112Bに対しては、“0X00100000”というアドレスが付与されている。第3記憶領域112Cに対しては、“0X00200000”というアドレスが付与されている。第4記憶領域112Dに対しては、“0X00300000”というアドレスが付与されている。第5記憶領域112Eに対しては、“0X00400000”というアドレスが付与されている。第6記憶領域112Fに対しては、“0X00500000”というアドレスが付与されている。
一例として図8に示すように、処理回路110は、受付I/F110D1及び出力I/F110D2を備えている。ここで、受付I/F110D1は、本開示の技術に係る「受付部」及び「受信部」の一例であり、出力I/F110D2は、本開示の技術に係る「出力部(出力インタフェース)」の一例である。なお、受付部とは、例えば、アクセプタを意味し、受信部とは、例えば、レシーバを意味する。
コントローラ15の出力I/F15Dは、処理回路110の受付I/F110D1に接続されており、撮像タイミング信号を受付I/F110D1に出力する。受付I/F110D1は、出力I/F15Dから出力された撮像タイミング信号を受け付ける。
信号処理回路34は、受付I/F34A及び出力I/F34Bを備えている。受付I/F34Aは、撮像素子38の出力I/F110D2に接続されている。処理回路110の出力I/F110D2は、画像データ等の各種情報(以下、単に「各種情報」とも称する)を信号処理回路34の受付I/F34Aに出力し、受付I/F34Aは、出力I/F110D2から出力された各種情報を受け付ける。信号処理回路34は、受付I/F34Aによって受け付けられた各種情報に対して、必要に応じて信号処理を施す。出力I/F34Bは、コントローラ15の受付I/F15Eに接続されており、各種情報をコントローラ15の受付I/F15Eに出力する。受付I/F15Eは、出力I/F34Bから出力された各種情報を受け付ける。
撮像素子38において、処理回路110は、受付I/F110D1及び出力I/F110D2の他に、読出回路110A、デジタル処理回路110B、制御回路110C、画像処理回路110Eを備えている。なお、制御回路110Cは、本開示の技術に係る「制御部(制御回路)」の一例である。
読出回路110Aは、光電変換素子42、デジタル処理回路110B、及び制御回路110Cの各々に接続されている。デジタル処理回路110Bは、制御回路110Cに接続されている。制御回路110Cは、メモリ112、受付I/F110D1、出力I/F110D2、及び画像処理回路110Eの各々に接続されている。
上述の画像データは、一例として図8に示すように、アナログ画像データ70Aとデジタル画像データ70Bとに大別される。なお、以下では、説明の便宜上、アナログ画像データ70Aとデジタル画像データ70Bとを区別して説明する必要がない場合、符号を付さずに「画像データ」と称する。
処理回路110の受付I/F110D1及び出力I/F110D2の各々は、FPGAを有する通信デバイスである。また、コントローラ15の出力I/F15D及び受付I/F15Eの各々も、FPGAを有する通信デバイスである。更に、信号処理回路34の受付I/F34A及び出力I/F34Bの各々も、FPGAを有する通信デバイスである。
処理回路110の受付I/F110D1とコントローラ15の出力I/F15Dとの間は、PCI-eの接続規格に従って接続されている。また、処理回路110の出力I/F110D2と信号処理回路34の受付I/F34Aとの間も、PCI-eの接続規格に従って接続されている。更に、信号処理回路34の出力I/F34Bとコントローラ15の受付I/F15Eとの間も、PCI-eの接続規格に従って接続されている。なお、以下では、受付I/F110D1、出力I/F110D2、受付I/F34A、出力I/F34B、受付I/F15E、及び出力I/F15Dを区別して説明する必要がない場合、符号を付さずに「通信I/F」と称する。
ここでは、通信I/Fとして回(ASIC、FPGA、及び/又はPLD等)で構成された通信デバイスが採用されているが、これはあくまでも一例に過ぎない。通信I/Fは、CPU、EEPROM等のストレージ、及びRAM等のメモリを含むコンピュータであってもよい。この場合、コンピュータに含まれるCPUは、単数であってもよいし、複数であってもよい。CPUに代えてGPUを用いてもよい。また、通信I/Fは、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
受付I/F110D1は、コントローラ15の出力I/F15から出力された撮像タイミング信号を受け付け、受け付けた撮像タイミング信号を制御回路110Cに転送する。
読出回路110Aは、制御回路110Cの制御下で、光電変換素子42を制御し、光電変換素子42からアナログ画像データ70Aを読み出す。光電変換素子42からのアナログ画像データ70Aの読み出しは、コントローラ15から処理回路110に入力された撮像タイミング信号に従って行われる。
具体的には、先ず、受付I/F110D1がコントローラ15から撮像タイミング信号を受け付け、受け付けた撮像タイミング信号を制御回路110Cに転送する。次に、制御回路110Cは、受付I/F110D1から転送された撮像タイミング信号を読出回路110Aに転送する。すなわち、読出回路110Aには、垂直同期信号及び水平同期信号が転送される。そして、読出回路110Aは、制御回路110Cから転送された垂直同期信号に従って光電変換素子42からフレーム単位でのアナログ画像データ70Aの読み出しを開始する。また、読出回路110Aは、制御回路110Cから転送された水平同期信号に従って水平ライン単位でのアナログ画像データ70Aの読み出しを開始する。
読出回路110Aは、光電変換素子42から読み出されたアナログ画像データ70Aに対してアナログ信号処理を行う。アナログ信号処理には、ノイズキャンセル処理及びアナログゲイン処理などの公知の処理が含まれる。ノイズキャンセル処理は、光電変換素子42に含まれる画素間の特性のばらつきに起因するノイズをキャンセルする処理である。アナログゲイン処理は、アナログ画像データ70Aに対してゲインをかける処理である。また、読出回路110Aは、アナログ画像データ70Aに対して相関二重サンプリングを行う。読出回路110Aによって、アナログ画像データ70Aに対して相関二重サンプリングが行われた後、アナログ画像データ70Aは、デジタル処理回路110Bに出力される。
デジタル処理回路110Bは、A/D変換器110B1を備えている。A/D変換器110B1は、アナログ画像データ70AをA/D変換する。
デジタル処理回路110Bは、読出回路110Aから入力されたアナログ画像データ70Aに対してデジタル信号処理を行う。デジタル信号処理には、例えば、相関二重サンプリング、A/D変換器110B1によるA/D変換、及びデジタルゲイン処理が含まれる。
読出回路110Aから入力されたアナログ画像データ70Aに対しては、A/D変換器110B1によってA/D変換が行われ、これによって、アナログ画像データ70Aがデジタル化され、RAWデータとしてデジタル画像データ70Bが得られる。そして、デジタル画像データ70Bに対しては、デジタル処理回路110Bによってデジタルゲイン処理が行われる。デジタルゲイン処理とは、デジタル画像データ70Bに対してゲインをかける処理を指す。このようにデジタル信号処理が行われることによって得られたデジタル画像データ70Bは、デジタル処理回路110Bによって制御回路110Cに出力される。
制御回路110Cは、デジタル処理回路110Bから入力されたデジタル画像データ70Bを画像処理回路110Eに出力する。画像処理回路110Eは、制御回路110Cから入力されたデジタル画像データ70Bに対して画像処理を行い、画像処理済みのデジタル画像データ70Bを制御回路110Cに出力する。ここで言う「画像処理」としては、例えば、デモザイク処理及び/又はデジタル間引き処理等が挙げられる。
デモザイク処理は、カラーフィルタの配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理である。例えば、撮像素子38がRGBの3色のカラーフィルタが適用された撮像素子であれば、RGBのモザイク画像から画素毎にRGB全ての色情報が算出される。デジタル間引き処理は、画像データに含まれる画素をライン単位で間引く処理である。ライン単位とは、例えば、水平ライン単位及び/又は垂直ライン単位を指す。
メモリ112は、複数フレームのデジタル画像データを記憶可能なメモリである。メモリ112は、画素単位の記憶領域(図7参照)を有しており、デジタル画像データ70Bは、制御回路110Cによって、画素単位で、メモリ112のうちの対応する記憶領域に記憶される。制御回路110Cは、画像処理回路110Eから入力されたデジタル画像データ70Bをメモリ112に記憶する。
制御回路110Cは、メモリ112に対してランダムアクセス可能である。制御回路110Cは、コントローラ15からの指示に応じて、メモリ112に記憶されているデジタル画像データ70Bの属性情報を取得する。属性情報は、メモリ112に記憶されているデジタル画像データ70Bの属性を示す情報である。ここで、属性情報とは、例えば、アドレス、画像サイズ、撮像時刻、露光時間、撮像素子感度、及び消去フラグを含む情報を指す。
アドレスとは、メモリ112におけるフレーム単位でのデジタル画像データ70Bの格納箇所を特定する情報(記録アドレス)を指す。画像サイズとは、1フレーム分のデジタル画像データ70Bの水平ライン方向のサイズ(水平サイズ)、及び1フレーム分のデジタル画像データ70Bの垂直ライン方向のサイズ(垂直サイズ)を指す。撮像時刻とは、撮像素子38による撮像が行われた時刻(例えば、年月日時分秒)を指す。ここで言う「撮像が行われた時刻」とは、例えば、1フレーム分のデジタル画像データ70Bがメモリ112に記憶された時点での時刻を指す。但し、これはあくまでも一例に過ぎず、撮像が行われた時刻は、1フレーム分の露光が完了した時刻、又は、1フレーム分のA/D変換が完了した時刻等であってもよい。
露光時間とは、1フレーム分のデジタル画像データ70Bを得るのに要した露光の時間を指す。撮像素子感度とは、例えば、光電変換素子42の感度(センサゲイン)を指す。消去フラグとは、次回の撮像に伴ってメモリ112からデジタル画像データ70Bが消去されるか否かを示すフラグを指す。消去フラグがオフの場合は、次回の撮像に伴ってメモリ112からデジタル画像データ70Bは消去されず、消去フラグがオンの場合は、次回の撮像に伴ってメモリ112からデジタル画像データ70Bが消去される。メモリ112から消去されるデジタル画像データ70Bの一例としては、メモリ112から消去される1フレーム分のデジタル画像データ70Bが挙げられる。
なお、露光時間及び撮像素子感度は、本開示の技術の「撮像条件」の一例であり、オン状態の消去フラグは、本開示の技術に係る「消去情報」の一例である。
ここでは、本開示の技術に係る「撮像条件」の一例として、露光時間及び撮像素子感度を挙げているが、本開示の技術はこれに限定されず、露光時間及び/若しくは撮像素子感度に代えて、又は、露光時間及び/若しくは撮像素子感度に加えて、撮像レンズ40の種類、被写体距離、焦点距離、画角、及び/又は振れ補正の有無等が採用されてもよい。
制御回路110Cは、コントローラ15からの属性情報に関する指示に応じて、属性情報を生成し、生成した属性情報を出力I/F110D2に出力する。属性情報に関する指示とは、例えば、コントローラ15が処理回路110に対して属性情報の出力を要求する指示を指す。本実施形態では、属性情報に関する指示の一例として、垂直同期信号が採用されている。出力I/F110D2は、制御回路110Cから入力された属性情報を信号処理回路34に出力する。
具体的には、先ず、受付I/F110D1が、コントローラ15から属性情報に関する指示として垂直同期信号を受け付ける。次に、制御回路110Cは、受付I/F110D1によって受け付けられた垂直同期信号に応じた属性情報として、メモリ112に記憶されているデジタル画像データ70Bのうち、最も過去に記憶されたデジタル画像データ70Bに関する属性情報を生成する。そして、出力I/F110D2は、制御回路110Cによって生成された属性情報を信号処理回路34に出力する。
一例として図9に示すように、撮像素子38によって行われる工程には、撮像工程と出力工程とが含まれている。
撮像工程では、露光、アナログ画像データ70Aの読み出し、光電変換素子42に対するリセット、アナログ信号処理、デジタル信号処理、1回目の記憶、デジタル画像データ70Bの取得、画像処理、及び2回目の記憶が順に行われる。
露光は、光電変換素子42によって行われる。アナログ画像データ70Aの読み出し、光電変換素子42に対するリセット、及びアナログ信号処理は、読出回路110Aによって行われる。アナログ画像データ70Aの読み出しは、垂直同期信号が受付I/F110D1によって受け付けられたことを条件に開始される。光電変換素子42によって露光が行われる期間は、アナログ画像データ70Aの読み出し及び光電変換素子42に対するリセットが行われていない期間である。光電変換素子42に対するリセットとは、光電変換素子42内の各画素の残留電荷を消去する動作を指す。光電変換素子42による露光は、光電変換素子42に対する読出回路110Aによる前回のリセットが行われてから読み出しが行われるまでの間に行われる。
デジタル信号処理は、デジタル処理回路110Bによって行われる。1回目の記憶とは、デジタル信号処理が行われることによって得られたデジタル画像データ70Bのメモリ112への記憶を指す。デジタル画像データ70Bの取得とは、メモリ112からのデジタル画像データ70Bの取得を指す。1回目の記憶及びデジタル画像データ70Bの取得は、制御回路110Cによって行われる。画像処理は、制御回路110Cによって取得されたデジタル画像データ70Bに対して画像処理回路110Eによって行われる。2回目の記憶とは、画像処理が行われたデジタル画像データ70Bのメモリ112への記憶を指す。2回目の記憶は、制御回路110Cによって行われる。
出力工程では、属性情報の生成と、属性情報の出力とが行われる。属性情報の生成は、メモリ112に記憶されているデジタル画像データ70Bに関するフレーム毎の属性情報の生成を指す。属性情報の生成は、制御回路110Cによって行われる。属性情報の出力とは、制御回路110Cによって生成された属性情報の出力I/F110D2による出力を指す。
図10には、1フレーム目(1F)~6フレーム目(6F)の画像データの読み出しからメモリ112への記憶までの流れと、フレーム毎の属性情報の出力タイミングの一例が示されている。図10に示す1F~6Fの“F”とは、“Frame”の略称を指す。図10に示す例では、説明の便宜上、メモリ112の第1記憶領域112A、第2記憶領域112B、第3記憶領域112C、第4記憶領域112D、第5記憶領域112E、及び第6記憶領域112Fの各々に1フレーム分のデジタル画像データ70Bが記憶される態様が示されている。
一例として図10に示すように、垂直同期信号が受付I/F110D1によって受け付けられる毎に、光電変換素子42からの1フレーム分のアナログ画像データ70Aの読み出しが開始される。図10に示す例では、1回目~6回目の垂直同期信号が受付I/F110D1によって順次に受け付けられ、1フレーム目~6フレーム目のアナログ画像データ70Aの読み出しが開始される。
アナログ画像データ70Aの読み出しは、光電変換素子42の1行目の水平ラインから最終行の水平ラインにかけて水平同期信号に従って1ライン毎に行われ、1ライン毎に読み出しが終了すると、読み出しが終了した水平ラインの各画素はリセットされる。アナログ画像データ70Aは、デジタル画像データ70Bに変換され、読み出されたアナログ画像データ70Aのフレームの順(撮像順)に、デジタル画像データ70Bがメモリ112に1フレーム単位で区別可能に、かつ、FIFO方式で記憶される。具体的には、第1記憶領域112A、第2記憶領域112B、第3記憶領域112C、第4記憶領域112D、第5記憶領域112E、及び第6記憶領域112Fに対して順次に最新のデジタル画像データ70Bが1フレーム単位で上書き保存される。上書き保存は、第1記憶領域112A、第2記憶領域112B、第3記憶領域112C、第4記憶領域112D、第5記憶領域112E、及び第6記憶領域112Fの順に繰り返し行われる。
出力I/F110D2は、メモリ112に記憶されたデジタル画像データ70Bのうちの最新のデジタル画像データ70Bに関する属性情報を信号処理回路34に出力する。この場合、先ず、制御回路110Cは、受付I/F110D1によって垂直同期信号が受け付けられたタイミングで1フレーム分の最新のデジタル画像データ70Bのメモリ112への記憶が完了する毎に、メモリ112に記憶されたデジタル画像データ70Bのうちの最新のデジタル画像データ70Bに関する属性情報を生成する。そして、出力I/F110D2は、制御回路110Cによって生成された属性情報を信号処理回路34に出力する。
一例として図11A及び図11Bに示すように、各フレーム(図11A及び図11Bに示す例では、1フレーム目~6フレーム目)の属性情報は、出力I/F110D2によって信号処理回路34に出力される。そして、信号処理回路34は、入力された属性情報をコントローラ15に出力する。
一例として図11Aに示すように、1フレーム目に出力される属性情報は、第1記憶領域112Aに記憶されているデジタル画像データ70Bに関する属性情報である。図11Aに示す例では、第1記憶領域112Aに記憶されているデジタル画像データ70Bに関する属性情報の一例として、第1記憶領域112Aのアドレス、第1記憶領域112A内のデジタル画像データ70Bの水平サイズ、第1記憶領域112A内のデジタル画像データ70Bの垂直サイズ、第1記憶領域112A内のデジタル画像データ70Bに関する撮像時刻、第1記憶領域112A内のデジタル画像データ70Bに関する露光時間、第1記憶領域112A内のデジタル画像データ70Bに関する撮像素子感度、及び消去フラグ_オフを含む情報が挙げられている。ここで、「消去フラグ_オフ」とは、消去フラグがオフの状態を示す情報を指す。
2フレーム目に出力される属性情報は、第1記憶領域112Aに記憶されているデジタル画像データ70Bに関する属性情報、及び第2記憶領域112Bに記憶されているデジタル画像データ70Bに関する属性情報である。図11Aに示す例では、第2記憶領域112Bに記憶されているデジタル画像データ70Bに関する属性情報の一例として、第2記憶領域112Bのアドレス、第2記憶領域112B内のデジタル画像データ70Bの水平サイズ、第2記憶領域112B内のデジタル画像データ70Bの垂直サイズ、第2記憶領域112B内のデジタル画像データ70Bに関する撮像時刻、第2記憶領域112B内のデジタル画像データ70Bに関する露光時間、第2記憶領域112B内のデジタル画像データ70Bに関する撮像素子感度、及び消去フラグ_オフを含む情報が挙げられている。
3フレーム目に出力される属性情報は、第1記憶領域112Aに記憶されているデジタル画像データ70Bに関する属性情報、第2記憶領域112Bに記憶されているデジタル画像データ70Bに関する属性情報、及び第3記憶領域112Cに記憶されているデジタル画像データ70Bに関する属性情報である。図11Aに示す例では、第3記憶領域112Cに記憶されているデジタル画像データ70Bに関する属性情報の一例として、第3記憶領域112Cのアドレス、第3記憶領域112C内のデジタル画像データ70Bの水平サイズ、第3記憶領域112C内のデジタル画像データ70Bの垂直サイズ、第3記憶領域112C内のデジタル画像データ70Bに関する撮像時刻、第3記憶領域112C内のデジタル画像データ70Bに関する露光時間、第3記憶領域112C内のデジタル画像データ70Bに関する撮像素子感度、及び消去フラグ_オフを含む情報が挙げられている。
4フレーム目に出力される属性情報は、第1記憶領域112Aに記憶されているデジタル画像データ70Bに関する属性情報、第2記憶領域112Bに記憶されているデジタル画像データ70Bに関する属性情報、第3記憶領域112Cに記憶されているデジタル画像データ70Bに関する属性情報、及び第4記憶領域112Dに記憶されているデジタル画像データ70Bに関する属性情報である。図11Aに示す例では、第4記憶領域112Dに記憶されているデジタル画像データ70Bに関する属性情報の一例として、第4記憶領域112Dのアドレス、第4記憶領域112D内のデジタル画像データ70Bの水平サイズ、第4記憶領域112D内のデジタル画像データ70Bの垂直サイズ、第4記憶領域112D内のデジタル画像データ70Bに関する撮像時刻、第4記憶領域112D内のデジタル画像データ70Bに関する露光時間、第4記憶領域112D内のデジタル画像データ70Bに関する撮像素子感度、及び消去フラグ_オフを含む情報が挙げられている。ここで、4フレーム目に出力される属性情報に含まれる第1記憶領域112Aに記憶されているデジタル画像データ70Bに関する属性情報内の「消去フラグ_オフ」は、制御回路110Cによって「消去フラグ_オン」に変更される。「消去フラグ_オン」とは、消去フラグがオンの状態を示す情報を指す。
このように、第1記憶領域112Aに記憶されているデジタル画像データ70Bに関する属性情報内の「消去フラグ_オフ」は、制御回路110Cによって「消去フラグ_オン」に変更される。これは、出力I/F110D2から4フレーム目に出力される属性情報が、次回の撮像に伴ってメモリ112から第1記憶領域112A内のデジタル画像データ70Bが消去されることを示す情報を含む情報であることを意味する。
4フレーム目に出力される属性情報に「消去フラグ_オン」が含まれている場合、次回の撮像に伴って(例えば、5フレーム目の撮像が開始される時点、又は、現時点から5フレーム目の撮像が開始されるまでの間)メモリ112内の消去対象とされたデジタル画像データ70Bである消去対象画像データに関する属性情報、すなわち、第1記憶領域112Aに関する属性情報が制御回路110Cによって消去される。また、第1記憶領域112Aからデジタル画像データ70Bも制御回路110Cによって消去される。この場合、例えば、次回の撮像に伴って、先ず、第1記憶領域112Aに関する属性情報が制御回路110Cによって消去され、次に、第1記憶領域112Aからデジタル画像データ70Bが制御回路110Cによって消去される。なお、ここでは、デジタル画像データ70B及び属性情報が消去される形態例を挙げているが、本開示の技術はこれに限定されず、「消去」には、実際にデジタル画像データ70B及び属性情報を消去することの他に、領域を解放し、上書き可能にする処理も含まれる。
一例として図11Bに示すように、5フレーム目に出力される属性情報は、第2記憶領域112Bに記憶されているデジタル画像データ70Bに関する属性情報、第3記憶領域112Cに記憶されているデジタル画像データ70Bに関する属性情報、第4記憶領域112Dに記憶されているデジタル画像データ70Bに関する属性情報、及び第5記憶領域112Eに記憶されているデジタル画像データ70Bに関する属性情報である。図11Bに示す例では、第5記憶領域112Eに記憶されているデジタル画像データ70Bに関する属性情報の一例として、第5記憶領域112Eのアドレス、第5記憶領域112E内のデジタル画像データ70Bの水平サイズ、第5記憶領域112E内のデジタル画像データ70Bの垂直サイズ、第5記憶領域112E内のデジタル画像データ70Bに関する撮像時刻、第5記憶領域112E内のデジタル画像データ70Bに関する露光時間、第5記憶領域112E内のデジタル画像データ70Bに関する撮像素子感度、及び消去フラグ_オフを含む情報が挙げられている。ここで、5フレーム目に出力される属性情報に含まれる第2記憶領域112Bに記憶されているデジタル画像データ70Bに関する属性情報内の「消去フラグ_オフ」は、制御回路110Cによって「消去フラグ_オン」に変更される。
このように、第2記憶領域112Bに記憶されているデジタル画像データ70Bに関する属性情報内の「消去フラグ_オフ」が制御回路110Cによって「消去フラグ_オン」に変更されると、次回の撮像に伴って(例えば、6フレーム目の撮像が開始される時点、又は、現時点から6フレーム目の撮像が開始されるまでの間)メモリ112内の消去対象とされたデジタル画像データ70Bである消去対象画像データに関する属性情報、すなわち、第2記憶領域112Bに関する属性情報が制御回路110Cによって消去される。また、第2記憶領域112Bからデジタル画像データ70Bも制御回路110Cによって消去される。この場合、例えば、次回の撮像に伴って、先ず、第2記憶領域112Bに関する属性情報が制御回路110Cによって消去され、次に、第2記憶領域112Bからデジタル画像データ70Bが制御回路110Cによって消去される。
6フレーム目に出力される属性情報は、第3記憶領域112Cに記憶されているデジタル画像データ70Bに関する属性情報、第4記憶領域112Dに記憶されているデジタル画像データ70Bに関する属性情報、第5記憶領域112Eに記憶されているデジタル画像データ70Bに関する属性情報、及び第6記憶領域112Fに記憶されているデジタル画像データ70Bに関する属性情報である。図11Bに示す例では、第6記憶領域112Fに記憶されているデジタル画像データ70Bに関する属性情報の一例として、第6記憶領域112Fのアドレス、第6記憶領域112F内のデジタル画像データ70Bの水平サイズ、第6記憶領域112F内のデジタル画像データ70Bの垂直サイズ、第6記憶領域112F内のデジタル画像データ70Bに関する撮像時刻、第6記憶領域112F内のデジタル画像データ70Bに関する露光時間、第6記憶領域112F内のデジタル画像データ70Bに関する撮像素子感度、及び消去フラグ_オフを含む情報が挙げられている。ここで、6フレーム目に出力される属性情報に含まれる第3記憶領域112Cに記憶されているデジタル画像データ70Bに関する属性情報内の「消去フラグ_オフ」は、制御回路110Cによって「消去フラグ_オン」に変更される。
このように、第3記憶領域112Cに記憶されているデジタル画像データ70Bに関する属性情報内の「消去フラグ_オフ」が制御回路110Cによって「消去フラグ_オン」に変更されると、次回の撮像に伴って(例えば、7フレーム目の撮像が開始される時点、又は、現時点から7フレーム目の撮像が開始されるまでの間)メモリ112内の消去対象とされたデジタル画像データ70Bである消去対象画像データに関する属性情報、すなわち、第3記憶領域112Cに関する属性情報が制御回路110Cによって消去される。また、第3記憶領域112Cからデジタル画像データ70Bも制御回路110Cによって消去される。この場合、例えば、次回の撮像に伴って、先ず、第3記憶領域112Cに関する属性情報が制御回路110Cによって消去され、次に、第3記憶領域112Cからデジタル画像データ70Bが制御回路110Cによって消去される。
このように、フレーム毎に属性情報が出力I/F110D2によって信号処理回路34送信されると、信号処理回路34は、属性情報をコントローラ15に転送する。信号処理回路34からコントローラ15に転送された属性情報は、コントローラ15の受付I/F15Eによって受け付けられる。コントローラ15は、受付I/F15Eによって受け付けられた属性情報から、必要に応じてアドレスを取得する。
一例として図12に示すように、コントローラ15は、属性情報から取得したアドレス出力I/F15Dを介して撮像素子38の受付I/F110D1に出力する。撮像素子38の受付I/F110D1は、コントローラ15からのアドレスを受け付ける。制御回路110Cは、受付I/F110D1によって受け付けられたアドレスに従ってメモリ112からデジタル画像データ70Bを取得し、取得したデジタル画像データ70Bを出力I/F110D2に対して信号処理回路34に出力させる。
なお、ここでは、コントローラ15の出力I/F15Dからアドレスが撮像素子38に出力される形態例を挙げて説明しているが、本開示の技術はこれに限定されない。例えば、コントローラ15が送信I/Fを更に備えており、送信I/Fからアドレスが撮像素子38に送信されるようにしてもよい。
また、ここでは、受付I/F110D1によってアドレスが受け付けられる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、撮像素子38が受信I/Fを更に備えており、コントローラ15から送信されたアドレスが撮像素子38の受信I/Fによって受信されるようにしてもよい。
次に、撮像装置10の作用について説明する。
先ず、撮像素子38の処理回路110によって実行される属性情報出力処理の流れについて図13を参照しながら説明する。
図13に示す属性情報出力処理では、先ず、ステップST10で、制御回路110Cは、受付I/F110D1によって垂直同期信号が受け付けられたか否かを判定する。ステップST10において、受付I/F110D1によって垂直同期信号が受け付けられていない場合は、判定が否定されて、属性情報出力処理はステップST22へ移行する。ステップST10において、受付I/F110D1によって垂直同期信号が受け付けられた場合は、判定が肯定されて、属性情報出力処理はステップST12へ移行する。
ステップST12で、制御回路110Cは、撮像されることで得たデジタル画像データ70Bをメモリ112に記憶し、その後、属性情報出力処理はステップST14へ移行する。
ステップST14で、制御回路110Cは、ステップST12でメモリ112に記憶されたデジタル画像データ70Bに関しての属性情報を生成し、生成した属性情報を保持し、その後、属性情報出力処理はステップST16へ移行する。
ステップST16で、制御回路110Cは、次回の撮像が行われることによってメモリ112内にデジタル画像データ70Bが記憶可能なフレーム数が上限数に到達するか否かを判定する。本実施形態では、メモリ112が、第1記憶領域112A、第2記憶領域112B、第3記憶領域112C、第4記憶領域112D、第5記憶領域112E、及び第6記憶領域112Fという6つの記憶領域を有しているので、ここで言う「上限数」は、“6”である。なお、上限数は、これに限定されず、メモリ112に記憶可能なフレーム数であればよい。
ステップST16において、次回の撮像が行われることによってメモリ112内にデジタル画像データ70Bが記憶可能なフレーム数が上限数に到達しない場合は、判定が否定されて、属性情報出力処理はステップST20へ移行する。ステップST16において、次回の撮像が行われることによってメモリ112内にデジタル画像データ70Bが記憶可能なフレーム数が上限数に到達した場合は、判定が肯定されて、属性情報出力処理はステップST18へ移行する。
ステップST18で、制御回路110Cは、メモリ112に記憶されている全フレーム分のデジタル画像データ70Bのうち、最も過去にメモリ112に記憶された1フレーム分のデジタル画像データ70Bに関しての属性情報に含まれる消去フラグをオンし、その後、属性情報出力処理はステップST20へ移行する。
ステップST20で、制御回路110Cは、現時点で保持している属性情報を出力I/F110D2に対して信号処理回路34に出力させ、その後、属性情報出力処理はステップST22へ移行する。
ステップST22で、制御回路110Cは、属性情報出力処理を終了する条件(以下、「属性情報出力処理終了条件」と称する)を満足したか否かを判定する。属性情報出力処理終了条件の一例としては、属性情報出力処理を終了させる指示が受付デバイス84(図4参照)によって受け付けられた、との条件が挙げられる。ステップST22において、属性情報出力処理終了条件を満足していない場合は、判定が否定されて、属性情報出力処理はステップST10へ移行する。ステップST22において、属性情報出力処理終了条件を満足した場合は、判定が肯定されて、属性情報出力処理が終了する。
次に、撮像素子38の処理回路110によって実行されるデータ消去処理の流れについて図14を参照しながら説明する。
図14に示すデータ消去処理では、先ず、ステップST50で、制御回路110Cは、出力I/F110D2によって属性情報が出力されたか否かを判定する。ステップST50において、出力I/F110D2によって属性情報が出力されていない場合は、判定が否定されて、データ消去処理はステップST60へ移行する。ステップST50において、出力I/F110D2によって属性情報が出力された場合は、判定が肯定されて、データ消去処理はステップST52へ移行する。
ステップST52で、制御回路110Cは、受付I/F110D1によって垂直同期信号が受け付けられたか否かを判定する。ステップST52において、受付I/F110D1によって垂直同期信号が受け付けられていない場合は、判定が否定されて、ステップST52の判定が再び行われる。ステップST52において、受付I/F110D1によって垂直同期信号が受け付けられた場合は、判定が肯定されて、データ消去処理はステップST54へ移行する。
ステップST54で、制御回路110Cは、消去フラグがオンされた属性情報を保持しているか否かを判定する。ステップST54において、消去フラグがオンされた属性情報を保持していない場合は、判定が否定されて、データ消去処理はステップST60へ移行する。ステップST54において、消去フラグがオンされた属性情報を保持している場合は、判定が肯定されて、データ消去処理はステップST56へ移行する。
ステップST56で、制御回路110Cは、先ず、現時点で保持している全ての属性情報のうち、消去フラグがオンされた属性情報に含まれるアドレスからデジタル画像データ70Bを特定する。次に、制御回路110Cは、現時点で保持している全ての属性情報のうち、消去フラグがオンされた属性情報を消去する。そして、制御回路110Cは、アドレスから特定したデジタル画像データ70Bをメモリ112から消去し、その後、データ消去処理はステップST60へ移行する。
ステップST60で、制御回路110Cは、データ消去処理を終了する条件(以下、「データ消去処理終了条件」と称する)を満足したか否かを判定する。データ消去処理終了条件の一例としては、データ消去処理を終了させる指示が受付デバイス84(図4参照)によって受け付けられた、との条件が挙げられる。ステップST60において、データ消去処理終了条件を満足していない場合は、判定が否定されて、データ消去処理はステップST50へ移行する。ステップST60において、データ消去処理終了条件を満足した場合は、判定が肯定されて、データ消去処理が終了する。
以上説明したように、撮像装置10では、属性情報に関する指示が受付I/F110D1によって受け付けられ、受け付けられた指示に応じた属性情報が出力I/F110D2によって後段回路13に出力される。これにより、後段回路13は、属性情報を用いることで撮像素子38に対してデジタル画像データ70Bの提供を要求することが可能なる。従って、後段回路13は、撮像素子38から必要なデジタル画像データ70Bを選択的に取得することができる。また、デジタル画像データ70Bと属性情報に含まれる少なくとも一部との両方が同時に出力される場合に比べ、撮像素子38による出力に要する消費電力を低減することができる。
また、撮像装置10では、制御回路110Cにより、コントローラ15からの垂直同期信号に応じた属性情報が生成され、生成された属性情報が出力I/F110D2によって信号処理回路34に出力される。従って、後段回路13は、垂直同期信号とは異なる信号を新たに生成して用いることなく属性情報を撮像素子38から取得することができる。
また、撮像装置10では、メモリ112に記憶された全てのデジタル画像データ70Bのうちの最新のデジタル画像データ70Bに関する属性情報が出力I/F110D2によって出力される。従って、後段回路13は、最新のデジタル画像データ70Bに関する属性情報を取得することができる。
また、撮像装置10では、受付I/F110D1によって垂直同期信号が受け付けられたタイミングでの最新のデジタル画像データ70Bに関する属性情報が出力I/F110D2によって出力される。従って、後段回路13は、受付I/F110D1によって垂直同期信号が受け付けられたタイミングでの最新のデジタル画像データ70Bに関する属性情報を取得することができる。
また、撮像装置10では、出力I/F110D2は、複数フレームのデジタル画像データ70Bに対するそれぞれの属性情報を出力することが可能であり、属性情報が出力I/F110D2によって撮像順に沿って出力される。従って、後段回路13は撮像素子38からデジタル画像データ70Bを撮像順に取得することができる。
また、撮像装置10では、属性情報として、アドレス、画像サイズ、撮像時刻、及び撮像条件を含む情報が採用されている。従って、属性情報に、アドレス、画像サイズ、撮像時刻、及び撮像条件の何れも含まれていない場合に比べ、後段回路13が撮像素子38から取得したデジタル画像データ70の用途の幅を広げることができる。
また、撮像装置10では、次回の撮像に伴ってメモリ112からデジタル画像データ70Bが消去される場合、出力I/F110D2から出力される属性情報には、フラグがオンされた消去フラグが含まれる。従って、メモリ112に記憶されていないデジタル画像データ70Bの出力が後段回路13によって指示されないようにすることができる。
また、撮像装置10では、次回の撮像に伴ってメモリ112からデジタル画像データ70Bが消去される場合、消去フラグがオンされた属性情報が制御回路110Cによってメモリ112から消去され、消去フラグがオンされた属性情報に含まれるアドレスから特定されたデジタル画像データ70Bが制御回路110Cによってメモリ112から消去される。従って、属性情報と属性情報に関するデジタル画像データ70Bとの両方を異なるタイミングで消去することができる。
また、撮像装置10では、コントローラ15から送信された属性情報が受付I/F110D1によって受け付けられる。制御回路110Cでは、受付I/F110D1によって受け付けられた属性情報に従ってメモリ112からデジタル画像データ70Bが取得され、取得されたデジタル画像データ70Bが出力I/F110D2によって信号処理回路34に出力される。従って、撮像素子38は、後段回路13が要求するデジタル画像データ70Bを後段回路13に出力することができる。
また、撮像装置10では、撮像素子38として、光電変換素子42、処理回路110、及びメモリ112が1チップ化された撮像素子が採用されている。これにより、光電変換素子42、処理回路110、及びメモリ112が1チップ化されていない撮像素子に比べ、撮像素子38の可搬性が高くなる。また、光電変換素子42、処理回路110、及びメモリ112が1チップ化されていない撮像素子に比べ、設計の自由度も高めることができる。更に、光電変換素子42、処理回路110、及びメモリ112が1チップ化されていない撮像素子に比べ、撮像装置10の小型化にも寄与することができる。
また、図6に示すように、撮像素子38として、光電変換素子42にメモリ112が積層された積層型撮像素子が採用されている。これにより、光電変換素子42とメモリ112とが積層されていない場合に比べ、光電変換素子42からメモリ112への画像データの転送速度を高めることができる。転送速度の向上は、処理回路110全体での処理の高速化にも寄与する。また、光電変換素子42とメモリ112とが積層されていない場合に比べ、設計の自由度も高めることができる。更に、光電変換素子42とメモリ112とが積層されていない場合に比べ、撮像装置10の小型化にも寄与することができる。
また、撮像装置10では、出力I/F110D2によって出力されたデジタル画像データ70Bに基づくライブビュー画像等がCPU15Aによってディスプレイ26に表示される。これにより、出力I/F110D2によって出力されたデジタル画像データ70Bに基づくライブビュー画像等をユーザに視認させることができる。
更に、撮像装置10では、出力I/F110D2によって出力されたデジタル画像データ70BがCPU15Aによってストレージ15B、スマートデバイス、パーソナル・コンピュータ、サーバ、USBメモリ、及び/又はメモリカード等に記憶される。これにより、出力I/F110D2によって出力されたデジタル画像データ70Bを管理することができる。
なお、上記実施形態では、複数フレーム分のデジタル画像データ70Bがメモリ112に記憶される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、メモリ112に、複数フレーム分のデジタル画像データ70Bの他に、圧縮画像データが記憶されるようにしてもよい。圧縮画像データは、画像処理回路110Eによって圧縮処理が行われることで得られる。圧縮処理とは、デジタル画像データ70Bを圧縮する処理を指す。すなわち、メモリ112には、複数フレーム分のデジタル画像データ70Bの他に、本開示の技術に係る「圧縮回路」の一例である画像処理回路110Eによってデジタル画像データ70Bが圧縮されることで得られた圧縮画像データが記憶されるようにしてもよい。
具体的には、制御回路110Cは、既定のフレーム数分(図15に示す例では、4フレーム分)のデジタル画像データ70Bをメモリ112に対して記憶させる。また、制御回路110Cは、画像処理回路110Eによってデジタル画像データが圧縮されることで得られた圧縮画像データをメモリ112に対して記憶させる。更に、制御回路110Cは、圧縮画像データに関する属性情報と、画像データが圧縮されていることが特定可能な圧縮特定情報とを圧縮画像データに対応付ける。
この場合、一例として図15に示すように、メモリ112は、上記実施形態で説明したアドレスに加え、“0X00540000”、“0X00580000”、及び“0X005C0000”というアドレスを有しており、アドレス毎に1フレーム分の記憶領域を有する。図15に示す例では、4フレーム目のデジタル画像データ70Bが第4記憶領域112D(“0X0030000”というアドレスの記憶領域)に記憶された場合に、画像処理回路110Eによって4フレーム目のデジタル画像データ70Bが圧縮処理される。4フレーム目のデジタル画像データ70Bが圧縮されることで得られた圧縮画像データ(図15に示す例の「圧縮データ」)は、第5記憶領域112E(0X00400000”というアドレスの記憶領域)に制御回路110Cによって記憶される。
また、図15に示す例では、4フレーム目の撮像の完了に伴って1フレーム目のデジタル画像データ70Bが第1記憶領域112A(“0X00000000”というアドレスの記憶領域)から制御回路110Cによって消去され、5フレーム目のデジタル画像データ70Bが制御回路110Cによって第1記憶領域112Aに記憶される。そして、5フレーム目のデジタル画像データ70Bが第1記憶領域112Aに記憶された場合に、画像処理回路110Eによって5フレーム目のデジタル画像データ70Bが圧縮処理される。5フレーム目のデジタル画像データ70Bが圧縮されることで得られた圧縮画像データは、第6記憶領域112F(0X00500000”というアドレスの記憶領域)に制御回路110Cによって記憶される。
更に、図15に示す例では、5フレーム目の撮像の完了に伴って2フレーム目のデジタル画像データ70Bが第2記憶領域112B(“0X00100000”というアドレスの記憶領域)から制御回路110Cによって消去され、6フレーム目のデジタル画像データ70Bが制御回路110Cによって第2記憶領域112Bに記憶される。そして、6フレーム目のデジタル画像データ70Bが第2記憶領域112Bに記憶された場合に、画像処理回路110Eによって6フレーム目のデジタル画像データ70Bが圧縮処理される。6フレーム目のデジタル画像データ70Bが圧縮されることで得られた圧縮画像データは、第7記憶領域112G(0X00540000”というアドレスの記憶領域)に制御回路110Cによって記憶される。
このように、4フレーム目以降のデジタル画像データ70Bは、画像処理回路110Eによって圧縮され、圧縮されることで得られた圧縮画像データがメモリ112の空き記憶領域に制御回路110Cによって記憶される。
また、4フレーム目以降のデジタル画像データ70Bが圧縮され、圧縮画像データとしてメモリ112に記憶される場合、一例として図16A及び図16Bに示すように、制御回路110Cによって属性情報が生成される。
一例として図16Aに示すように、1フレーム目~3フレーム目に出力される属性情報は、図11Aと同様の属性情報である。4フレーム目に出力される属性情報には、4フレーム目のデジタル画像データ70Bに関する属性情報が含まれている。図16Aに示す例では、4フレーム目のデジタル画像データ70Bに関する属性情報として、第4記憶領域112Dを特定可能な“0X00300000”というアドレス、画像サイズ、撮像時刻、撮像条件、及び消去フラグ_オフが示されている。また、4フレーム目に出力される属性情報に含まれる第1フレーム目の属性情報の消去フラグはオンされる。これにより、5フレーム目の撮像に伴って1フレーム目のデジタル画像データ70Bが第1記憶領域112Aから消去される。また、4フレーム目に出力される属性情報には、5フレーム目のデジタル画像データ70Bの圧縮画像データに関する属性情報も含まれている。図16Aに示す例では、5フレーム目のデジタル画像データ70Bの圧縮画像データに関する属性情報として、第5記憶領域112Eを特定可能な“0X00400000”というアドレス、画像サイズ、撮像時刻、撮像条件、及び圧縮特定情報が示されている。
一例として図16Bに示すように、5フレーム目に出力される属性情報には、5フレーム目のデジタル画像データ70Bに関する属性情報が含まれている。図16Bに示す例では、5フレーム目のデジタル画像データ70Bに関する属性情報として、第1記憶領域112Aを特定可能な“0X00000000”というアドレス、画像サイズ、撮像時刻、撮像条件、及び消去フラグ_オフが示されている。また、5フレーム目に出力される属性情報に含まれる第2フレーム目の属性情報の消去フラグはオンされる。これにより、6フレーム目の撮像に伴って2フレーム目のデジタル画像データ70Bが第2記憶領域112Bから消去される。また、5フレーム目に出力される属性情報には、5フレーム目のデジタル画像データ70Bの圧縮画像データに関する属性情報、及び6フレーム目のデジタル画像データ70Bの圧縮画像データに関する属性情報も含まれている。図16Bに示す例では、6フレーム目のデジタル画像データ70Bの圧縮画像データに関する属性情報として、第6記憶領域112Fを特定可能な“0X00500000”というアドレス、画像サイズ、撮像時刻、撮像条件、及び圧縮特定情報が示されている。
一例として図16Bに示すように、6フレーム目に出力される属性情報には、6フレーム目のデジタル画像データ70Bに関する属性情報が含まれている。図16Bに示す例では、6フレーム目のデジタル画像データ70Bに関する属性情報として、第2記憶領域112Bを特定可能な“0X01000000”というアドレス、画像サイズ、撮像時刻、撮像条件、及び消去フラグ_オフが示されている。また、6フレーム目に出力される属性情報に含まれる第3フレーム目の属性情報の消去フラグはオンされる。これにより、7フレーム目の撮像に伴って3フレーム目のデジタル画像データ70Bが第3記憶領域112Cから消去される。また、5フレーム目に出力される属性情報には、5フレーム目のデジタル画像データ70Bの圧縮画像データに関する属性情報、6フレーム目のデジタル画像データ70Bの圧縮画像データに関する属性情報、及びフレーム目のデジタル画像データ70Bの圧縮画像データに関する属性情報も含まれている。図16Bに示す例では、7フレーム目のデジタル画像データ70Bの圧縮画像データに関する属性情報として、“0X00540000”というアドレス、画像サイズ、撮像時刻、撮像条件、及び圧縮特定情報が示されている。
このように、制御回路110Cによって既定のフレーム数分のデジタル画像データ70Bがメモリ112に記憶され、制御回路110Cによって圧縮画像データもメモリ112に記憶され、かつ、制御回路110Cによって圧縮画像データに関する属性情報と圧縮特定情報とが対応付けられる(図16A及び図16Bに示す例では、属性情報に圧縮特定情報を含めている)。従って、メモリ112にデジタル画像データ70Bと圧縮画像データとが記憶されている場合であっても、デジタル画像データ70Bと圧縮画像データとを区別可能に特定することができる。
図16A及び図16Bに示す例では、デジタル画像データ70Bに関する属性情報に、アドレス、画像サイズ、撮像時刻、撮像条件、及び消去フラグが含まれる形態例を示したが、本開示の技術はこれに限定されない。例えば、メモリ112に圧縮画像データが記憶される場合、一例として図17A及び図17Bに示すように、デジタル画像データ70Bに関する属性情報に、アドレス、画像サイズ、撮像時刻、撮像条件、及び消去フラグに加え、メモリ112に圧縮画像データが記憶される予定であるか否かを示す圧縮予定フラグも含まれるようにしてもよい。オンされた圧縮予定フラグは、本開示の技術に係る「圧縮予定情報」の一例であり、次回の撮像に伴ってメモリ112に圧縮画像データが記憶される予定であることを示している。オフされた圧縮予定フラグは、次回の撮像に伴ってメモリ112に圧縮画像データが記憶される予定がないことを示している。
圧縮予定フラグがオンされると、圧縮予定フラグがオンされた属性情報に関するデジタル画像データ70Bは、次回の撮像に伴って、画像処理回路110Eによって圧縮される。例えば、図17Aに示すように、3フレーム目に出力される属性情報に含まれる1フレーム目のデジタル画像データ70Bに関する属性情報には、圧縮予定フラグがオンされた状態を示す「圧縮予定フラグ_オン」が含まれている。この場合、次回の撮像(4フレーム目の撮像)に伴って1フレーム目のデジタル画像データ70Bが画像処理回路110Eによって圧縮され、圧縮されることで得られた圧縮画像データが第5記憶領域112Eに記憶される。これに伴って、4フレーム目に出力される属性情報には、第5記憶領域112E(“0X00400000”というアドレスの記憶領域)に記憶されている圧縮画像データに関する属性情報が含まれる。第5記憶領域112Eに記憶されている圧縮画像データに関する属性情報には、圧縮特定情報が含まれており、これにより、後段回路13は、第5記憶領域112Eに圧縮画像データが記憶されていることを特定することが可能となる。
なお、消去フラグ及び圧縮予定フラグがオンされるタイミングは同期しており、一例として図17A及び図17Bに示すように、制御回路110Cによって消去フラグがオンされると、これに伴って、制御回路110Cによって圧縮予定フラグもオンされる。これにより、メモリ112からデジタル画像データ70Bが消去されたとしても、消去前のデジタル画像データ70Bが圧縮されることで得られた圧縮画像データがメモリ112によって保持される。
このように、メモリ112に圧縮画像データが記憶される場合に、出力I/F110D2から出力される属性情報に、オンされた圧縮予定フラグが含まれるので、圧縮画像データの出力先(例えば、後段回路13)に対して、圧縮画像データの受け入れの準備猶予を与えることができる。
なお、デジタル画像データ70Bが圧縮画像データに圧縮される場合の圧縮形式としては、例えば、MPEG、JPEG、TIFF、PNG、GIF、及びBMP等が挙げられる。圧縮画像データがメモリ112に記憶される場合、一例として図18A及び図18Bに示すように、出力I/F110D2から出力される属性情報に、圧縮画像データの圧縮形式を特定可能な圧縮形式特定情報が含まれていてもよい。図18A及び図18Bに示す例では、圧縮形式特定情報は、圧縮特定情報と共に属性情報に含まれている。これにより、圧縮画像データの出力先(例えば、後段回路13)に対して、圧縮形式に応じて処理を行わせることができる。
また、上記実施形態では、メモリ112に1フレーム分のデジタル画像データ70Bが記憶されてから属性情報が出力I/F110D2によって出力される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図19に示すように、属性情報に関する指示(例えば、垂直同期信号)が受付I/F110D1によって受け付けられたタイミングで属性情報が出力I/F110D2によって出力されるようにしてもよい。これにより、属性情報に関する指示に応じて即時的に属性情報を後段回路13に提供することができる。
上記実施形態では、フレーム毎に出力される属性情報に、複数フレーム分の属性情報が含まれている形態例を挙げて説明したが、本開示の技術はこれに限定されず、例えば、図20に示すように、フレーム毎に出力される属性情報は、対応するフレームのデジタル画像データ70Bに関する属性情報のみであってもよい。この場合、フレーム毎に出力される属性情報に、複数フレーム分の属性情報が含まれている場合に比べ、フレーム毎に信号処理回路34に出力する属性情報の情報量を少なくすることができる。
なお、図20に示す例では、フレーム毎に出力される属性情報に消去フラグ及び圧縮予フラグが含まれているが、本開示の技術はこれに限定されず、例えば、図21に示すように、フレーム毎に出力される属性情報に消去フラグ及び圧縮予フラグが含まれていなくてもよい。また、フレーム毎に出力される属性情報に、消去フラグが含まれずに、圧縮予フラグが含まれるようにしてもよい。
また、上記実施形態では、全フレームの各々に関する属性情報が出力I/F110D2によって出力される形態例を挙げて説明したが、本開示の技術はこれに限定されず、何フレーム分の属性情報を出力I/F110D2に対して出力させるのかを後段回路13側から撮像素子38に対して指示するようにしてもよい。
この場合、例えば、図13に示す属性情報出力処理に代えて、一例として図22に示す属性情報出力処理が撮像素子38の処理回路110によって実行される。
図22に示す属性情報出力処理は、図13に示す属性情報出力処理に比べ、ステップST10に代えてステップST10Aを有する点、ステップST18に代えてステップST18Aを有する点、及びステップST20に代えてステップST20Aを有する点が異なる。コントローラ15は、出力I/F15Dを介して属性情報要求指示を撮像素子38に出力する。属性情報要求指示には、垂直同期信号と出力量情報とが含まれている。出力量情報とは、撮像素子38の出力I/F110D2による属性情報の出力量を示す情報を指す。ここで言う「出力量」は、例えば、フレーム数で規定されている。
図22に示す属性情報出力処理では、ステップST10Aで、制御回路110Cは、コントローラ15から出力された属性情報要求指示が受付I/F110D1によって受け付けられたか否かを判定する。ステップST10Aにおいて、属性情報要求指示が受付I/F110D1によって受け付けられていない場合は、判定が否定されて、属性情報出力処理はステップST22へ移行する。ステップST10Aにおいて、属性情報要求指示が受付I/F110D1によって受け付けられた場合は、判定が肯定されて、属性情報出力処理はステップST12へ移行する。
ステップST18Aで、制御回路110Cは、現時点で保持している属性情報のうち、出力I/F110D2に対して信号処理回路34に出力させる属性情報を、属性情報要求指示に含まれる出力量情報により示される出力量に従って選定する。例えば、制御回路110Cは、出力量情報により示される出力量が1フレームであれば、1フレーム分の最新のデジタル画像データ70Bに関する属性情報を選び、出力量情報により示される出力量が2フレームであれば、2フレーム分の最新のデジタル画像データ70Bに関する属性情報を選ぶ。
ステップST20Aで、制御回路110Cは、ステップST18Aで選定された属性情報を、出力I/F110D2に対して信号処理回路34に出力させる。これにより、出力I/F110D2から属性情報が必要以上に多く出力されることを回避することができる。また、出力量がフレーム数で規定されているので、後段回路13は、属性情報をフレーム単位で処理することができる。
また、上記実施形態では、出力I/F110D2によって属性情報及びデジタル画像データ70Bが信号処理回路34に出力される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図23に示すように、出力I/F110D2及び出力I/F110D3によって属性情報及びデジタル画像データ70Bが信号処理回路34に出力されるようにしてもよい。図23に示す例では、処理回路110は、出力I/F110D2及び出力I/F110D3を有する。出力I/F110D3は、本開示の技術に係る「第1出力部」の一例であり、出力I/F110D2は、本開示の技術に係る「第2出力部」の一例である。
出力I/F110D3は、制御回路110Cに接続されている。また、信号処理回路34は、受付I/F34Cを備えている。出力I/F110D2は、属性情報を信号処理回路34に出力する。出力I/F110D2によって出力された属性情報は、信号処理回路34の受付I/F34Aによって受け付けられる。また、出力I/F110D3は、制御回路110Cの制御下で、デジタル画像データ70Bを信号処理回路34に出力する。出力I/F110D3によって出力されたデジタル画像データ70Bは、信号処理回路34の受付I/F34Cによって受け付けられる。
図23に示す構成によれば、出力I/F110D2によって属性情報が出力され、出力I/F110D3によってデジタル画像データ70Bが出力されるので、属性情報とデジタル画像データ70Bとを並行して出力することができる。
上記実施形態では、レンズ交換式の撮像装置10を例示したが、本開示の技術はこれに限定されない。例えば、図24に示すように、スマートデバイス200に、上記実施形態で説明した撮像装置本体12に相当する構成及び機能を有する撮像装置本体214が搭載されていてもよい。
一例として図24に示すように、スマートデバイス200は、筐体212を備えており、筐体212に撮像装置本体214が収容されている。スマートデバイス200の一例としては、スマートフォンが挙げられる。ここでは、スマートデバイス200としては、例えば、撮像機能付きの電子機器であるスマートフォン又はタブレット端末等が挙げられる。
筐体212には、撮像レンズ216が取り付けられている。図24に示す例では、撮像レンズ216が、スマートデバイス200を縦置きの状態にした場合の筐体212の背面212Aの左上部において、背面212Aから露出している。撮像レンズ216の中心は光軸L1上に位置している。撮像装置本体214には、撮像素子38が内蔵されている。撮像装置本体214は、被写体光を撮像レンズ216から取り込む。撮像装置本体214内に取り込まれた被写体光は撮像素子38に結像され、上記実施形態で説明したように撮像が行われる。
一例として図25に示すように、筐体212の前面212Bには、指示キー222及びタッチパネル・ディスプレイ224が設けられている。スマートデバイス200を縦置きの状態にした場合の前面212Bの下部には、指示キー222が配置されており、指示キー222の上方にタッチパネル・ディスプレイ224が配置されている。タッチパネル・ディスプレイ224は、ディスプレイ226及びタッチパネル228を備えており、ディスプレイ226にタッチパネル228が重ねられている。タッチパネル・ディスプレイ224及び指示キー222は、上記実施形態で説明したUI系デバイス17と同様の機能を有する。すなわち、タッチパネル・ディスプレイ224及び指示キー222は、ユーザに対して情報を提示したり、ユーザからの指示を受け付けたりする。ユーザからの指示は、例えば、タッチパネル・ディスプレイ224に表示されたソフトキー(例えば、レリーズボタン20等に相当するソフトキー)に対してタッチ操作が行われることによって実現される。
なお、ディスプレイ226は、本開示の技術に係る「表示部(ディスプレイ)」の一例である。また、スマートデバイス200は、本開示の技術に係る「撮像装置」の一例である。また、図24に示す例では、撮像装置本体214のみがスマートデバイス200に内蔵されている形態例が示されているが、本開示の技術はこれに限定されず、スマートデバイス200に複数台のデジタルカメラが内蔵されていてもよく、この場合、少なくとも1台のデジタルカメラに撮像装置本体214が搭載されていればよい。
また、上記実施形態では、撮像素子38として、光電変換素子42、処理回路110、及びメモリ112が1チップ化された撮像素子が例示されているが、本開示の技術はこれに限定されない。例えば、光電変換素子42、処理回路110、及びメモリ112のうち、少なくとも光電変換素子42及びメモリ112が1チップ化されていればよい。
また、上記実施形態では、属性情報が、アドレス、画像サイズ、撮像時刻、及び撮像条件を含む情報であることを例示したが、本開示の技術はこれに限定されない。例えば、属性情報は、アドレス、画像サイズ、撮像時刻、及び撮像条件のうちのアドレスを含む情報であってもよく、アドレス、画像サイズ、撮像時刻、及び/又は撮像条件を含む情報であればよい。
また、上記実施形態では、通信I/F間がPCI-eの接続規格に従って接続されているが、本開示の技術はこれに限定されない。PCI-eの接続規格に代えて、LVDS、SATA、SLVS-EC、又はMIPI等の他の接続規格が採用されてもよい。
また、上記実施形態では、撮像素子38と信号処理回路34との間の通信、コントローラ15と撮像素子38との通信、及び信号処理回路34とコントローラ15との通信は何れも有線形式の通信である。しかし、本開示の技術はこれに限定されない。撮像素子38と信号処理回路34との間の通信、コントローラ15と撮像素子38との通信、及び/又は信号処理回路34とコントローラ15との通信を無線形式の通信としてもよい。
また、上記実施形態では、UI系デバイス17が撮像装置本体12に組み込まれている形態例を挙げて説明したが、UI系デバイス17に含まれる複数の構成要素の少なくとも一部が撮像装置本体12に対して外付けされていてもよい。また、UI系デバイス17に含まれる複数の構成要素のうちの少なくとも一部が別体として外部I/F104に接続されることによって使用されるようにしてもよい。
また、上記実施形態では、フレームレートとして120fpsを例示したが、本開示の技術はこれに限定されず、撮像用のフレームレート(例えば、図9に示す撮像工程で適用されるフレームレート)と出力用のフレームレート(例えば、図9に示す出力工程で適用されるフレームレート及び/又はデジタル画像データ70Bの出力用のフレームレート)とを異なるフレームレートとしてもよい。撮像用のフレームレート及び/又は出力用のフレームレートは固定のフレームレートであってもよいし、可変のフレームレートであってもよい。可変のフレームレートの場合、例えば、既定条件(例えば、フレームレートを変更する指示が受付デバイス84によって受け付けられたとの条件、及び/又は、フレームレートを変更するタイミングとして事前に定められたタイミングが到来したとの条件)を満足した場合にフレームレートが変更されるようにしてもよい。可変のフレームレートの場合、フレームレートの具体的な数値は、例えば、受付デバイス84によって受け付けられた指示に従って変更されるようにしてもよいし、後段回路13及び/又は撮像素子38の稼働率に従って変更されるようにしてもよい。
また、上記実施形態では、信号処理回路34を例示したが、本開示の技術はこれに限定されず、信号処理回路34の他に1つ以上の信号処理回路を用いてもよい。この場合、撮像素子38を複数の信号処理回路の各々に対して直接接続するようにすればよい。
また、上記実施形態では、処理回路110がASIC及びFPGAを含むデバイスによって実現される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、処理回路110に含まれる複数のデバイスのうちの少なくとも制御回路110Cはコンピュータによるソフトウェア構成により実現されるようにしてもよい。
この場合、例えば、図26に示すように、撮像素子38にはコンピュータ852が内蔵されており、コンピュータ852に上記実施形態に係る属性情報出力処理を実行させるための属性情報出力プログラム902と、上記実施形態に係るデータ消去処理を実行させるためのデータ消去プログラム904とを記憶媒体900に記憶させておく。記憶媒体900の一例としては、非一時的記憶媒体であるSSD又はUSBメモリなどの任意の可搬型の記憶媒体が挙げられる。以下では、説明の便宜上、属性情報出力処理及びデータ消去処理を区別して説明する必要がない場合、「撮像素子側処理」と称し、属性情報出力プログラム902及びデータ消去プログラム904を区別して説明する必要がない場合、「撮像素子側プログラム」と称する。
コンピュータ852は、CPU852A、ストレージ852B、及びメモリ852Cを備えている。ストレージ852Bは、EEPROM等の不揮発性の記憶装置であり、メモリ852Cは、RAM等の揮発性の記憶装置である。記憶媒体900に記憶されている撮像素子側プログラムは、コンピュータ852にインストールされる。CPU852Aは、撮像素子側プログラムに従って撮像素子側処理を実行する。
撮像素子側プログラムは、記憶媒体900ではなく、ストレージ852Bに記憶されていてもよい。この場合、CPU852Aは、ストレージ852Bから撮像素子側プログラムを読み出し、読み出した撮像素子側プログラムをメモリ852Cに展開する。そして、CPU852Aは、メモリ852Cに展開した撮像素子側プログラムに従って、撮像素子側処理を実行する。
また、ここでは、属性情報出力プログラム902及びデータ消去プログラム904がストレージ852Bに記憶されている形態例を挙げているが、これに限らず、属性情報出力プログラム902及びデータ消去プログラム904の一方がストレージ852Bに記憶されており、他方が記憶媒体900に記憶されていてもよい。
また、通信網(図示省略)を介してコンピュータ852に接続される他のコンピュータ又はサーバ装置等の記憶部に撮像素子側プログラムを記憶させておき、上述の撮像装置10又はスマートデバイス200の要求に応じて撮像素子側プログラムがダウンロードされ、コンピュータ852にインストールされるようにしてもよい。
なお、コンピュータ852に接続される他のコンピュータ又はサーバ装置等の記憶部に撮像素子側プログラムの全てを記憶させておく必要はなく、撮像素子側プログラムの一部(例えば、属性情報出力プログラム902又はデータ消去プログラム904)を記憶させておいてもよい。
図26に示す例では、撮像素子38にコンピュータ852が内蔵されている態様例が示されているが、本開示の技術はこれに限定されず、例えば、コンピュータ852が撮像素子38の外部に設けられるようにしてもよい。
図26に示す例では、CPU852Aは、単数のCPUであるが、複数のCPUであってもよい。また、CPU852Aに代えてGPUを適用してもよい。
図26に示す例では、コンピュータ852が例示されているが、本開示の技術はこれに限定されず、コンピュータ852に代えて、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コンピュータ852に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
上記実施形態で説明した撮像素子側処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、撮像素子側処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。また、プロセッサとしては、例えば、FPGA、PLD、又はASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで撮像素子側処理を実行する。
撮像素子側処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、撮像素子側処理を実行するハードウェア資源は1つのプロセッサであってもよい。
1つのプロセッサで構成する例としては、第1に、クライアント及びサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、撮像素子側処理を実行するハードウェア資源として機能する形態がある。第2に、SoCなどに代表されるように、撮像素子側処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、撮像素子側処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。
また、図1に示す例では、撮像装置10を例示し、図24に示す例ではスマートデバイス200を例示したが、本開示の技術はこれに限定されない。すなわち、上記実施形態で説明した撮像装置本体12に相当する構成及び機能を有する撮像装置が内蔵された各種の電子機器(例えば、レンズ固定式カメラ、パーソナル・コンピュータ、又はウェアラブル端末装置等)に対しても本開示の技術は適用可能であり、これらの電子機器であっても、撮像装置10及びスマートデバイス200と同様の作用及び効果が得られる。
また、上記実施形態では、ディスプレイ26及び226を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示部」として用いるようにしてもよい。
また、上記の各種処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
プロセッサと、
撮像されることにより得られた画像データを記憶し、かつ、上記撮像素子に内蔵されたメモリと、が内蔵された撮像素子であって、
上記プロセッサは、
上記画像データの上記メモリへの記憶を制御し、
上記画像データの属性情報を上記メモリに対して記憶させ、
上記メモリに記憶された上記画像データを出力し、
上記属性情報に関する指示を受け付け、
受け付けた上記指示に応じた上記属性情報を出力する
撮像素子。

Claims (21)

  1. 撮像素子であって、
    撮像されることにより得られた画像データを記憶し、かつ、前記撮像素子に内蔵されたメモリと、
    前記画像データの前記メモリへの記憶を制御し、前記画像データの属性情報を前記メモリに対して記憶させ、かつ、前記撮像素子に内蔵された制御回路と、
    前記メモリに記憶された前記画像データを出力し、かつ、前記撮像素子に内蔵された出力インタフェースと、
    前記属性情報に関する指示を受け付ける受付インタフェースと、を備え、
    前記出力インタフェースは、前記受付インタフェースによって受け付けられた前記指示に応じた前記属性情報を出力する
    撮像素子。
  2. 前記出力インタフェースは、前記受付インタフェースによって前記指示が受け付けられたタイミングで前記属性情報を出力する請求項1に記載の撮像素子。
  3. 前記指示は、外部からのフレーム同期信号である請求項1又は請求項2に記載の撮像素子。
  4. 前記出力インタフェースは、前記メモリに記憶された前記画像データのうちの最新の画像データに関する前記属性情報を出力する請求項1から請求項3の何れか一項に記載の撮像素子。
  5. 前記出力インタフェースは、前記受付インタフェースによって前記指示が受け付けられたタイミングで前記最新の画像データに関する前記属性情報を出力する請求項4に記載の撮像素子。
  6. 前記出力インタフェースは、複数の前記画像データに対するそれぞれの属性情報を出力することが可能であり、
    前記属性情報は、前記出力インタフェースによって撮像順に沿って出力される請求項1から請求項5の何れか一項に記載の撮像素子。
  7. 前記属性情報は、アドレス、画像サイズ、撮像時刻、及び撮像条件のうちの少なくとも1つを含む情報である請求項1から請求項6の何れか一項に記載の撮像素子。
  8. 次回の撮像に伴って前記メモリから前記画像データが消去される場合、前記出力インタフェースから出力される前記属性情報は、次回の撮像に伴って前記メモリから前記画像データが消去されることを示す消去情報を含む情報である請求項1から請求項7の何れか一項に記載の撮像素子。
  9. 前記メモリから前記画像データが消去される場合、前記制御回路は、前記メモリ内の消去対象とされた前記画像データである消去対象画像データに関する前記属性情報を前記メモリから消去し、前記メモリから前記消去対象画像データを消去する請求項8に記載の撮像素子。
  10. 前記画像データを圧縮する圧縮回路を備え、
    前記制御回路は、既定のフレーム数分の前記画像データを前記メモリに対して記憶させ、前記圧縮回路によって前記画像データが圧縮されることで得られた圧縮画像データを前記メモリに対して記憶させ、かつ、前記圧縮画像データに関する前記属性情報と、前記画像データが圧縮されていることが特定可能な圧縮特定情報とを前記圧縮画像データに対応付ける請求項1から請求項9の何れか一項に記載の撮像素子。
  11. 前記メモリに前記圧縮画像データが記憶される場合、前記出力インタフェースから出力される前記属性情報は、前記メモリに前記圧縮画像データが記憶される予定であることを示す圧縮予定情報を含む情報である請求項10に記載の撮像素子。
  12. 前記出力インタフェースから出力される前記属性情報は、前記圧縮画像データの圧縮形式を特定可能な情報を含む情報である請求項10又は請求項11に記載の撮像素子。
  13. 前記指示は、前記出力インタフェースによる前記属性情報の出力量を含み、
    前記出力インタフェースは、前記出力量で前記属性情報を出力する請求項1から請求項12の何れか一項に記載の撮像素子。
  14. 前記出力量は、前記画像データのフレーム数によって規定されている請求項13に記載の撮像素子。
  15. 前記撮像素子の後段に位置する後段回路から送信される前記属性情報を受信するレシーバを更に備え、
    前記制御回路は、前記レシーバによって受信された前記属性情報に従って前記メモリから前記画像データを取得し、取得した前記画像データを前記出力インタフェースに対して前記後段回路に出力させる請求項1から請求項14の何れか一項に記載の撮像素子。
  16. 前記出力インタフェースは、第1出力インタフェース及び第2出力インタフェースを有し、
    前記第1出力インタフェースは、前記画像データを出力し、
    前記第2出力インタフェースは、前記属性情報を出力する請求項1から請求項15の何れか一項に記載の撮像素子。
  17. 少なくとも光電変換素子と前記メモリとが1チップ化された請求項1から請求項16の何れか一項に記載の撮像素子。
  18. 前記撮像素子は、前記光電変換素子に前記メモリが積層された積層型撮像素子である請求項17に記載の撮像素子。
  19. 請求項1から請求項18の何れか一項に記載の撮像素子と、
    前記出力インタフェースにより出力された前記画像データに基づく画像をディスプレイに対して表示させる制御、及び前記出力インタフェースにより出力された前記画像データを記憶装置に対して記憶させる制御のうちの少なくとも一方を行う制御装置と、
    を備える撮像装置。
  20. 撮像されることにより得られた画像データを記憶するメモリが内蔵された撮像素子の作動方法であって、
    前記画像データの前記メモリへの記憶を制御すること、
    前記画像データの属性情報を前記メモリに対して記憶させること、
    前記メモリに記憶された前記画像データを出力すること、
    前記属性情報に関する指示を受け付けること、及び、
    受け付けた前記指示に応じた前記属性情報を出力することを含む
    撮像素子の作動方法。
  21. 撮像されることにより得られた画像データを記憶するメモリが内蔵された撮像素子に対して適用されるコンピュータに、
    前記画像データの前記メモリへの記憶を制御すること、
    前記画像データの属性情報を前記メモリに対して記憶させること、
    前記メモリに記憶された前記画像データを出力すること、
    前記属性情報に関する指示を受け付けること、及び、
    受け付けた前記指示に応じた前記属性情報を出力することを含む処理を実行させるためのプログラム。
JP2021536855A 2019-07-26 2020-07-01 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム Active JP7137710B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022131343A JP2022169672A (ja) 2019-07-26 2022-08-19 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019138238 2019-07-26
JP2019138238 2019-07-26
PCT/JP2020/025834 WO2021020010A1 (ja) 2019-07-26 2020-07-01 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022131343A Division JP2022169672A (ja) 2019-07-26 2022-08-19 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム

Publications (3)

Publication Number Publication Date
JPWO2021020010A1 JPWO2021020010A1 (ja) 2021-02-04
JPWO2021020010A5 JPWO2021020010A5 (ja) 2022-03-25
JP7137710B2 true JP7137710B2 (ja) 2022-09-14

Family

ID=74229978

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021536855A Active JP7137710B2 (ja) 2019-07-26 2020-07-01 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP2022131343A Pending JP2022169672A (ja) 2019-07-26 2022-08-19 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022131343A Pending JP2022169672A (ja) 2019-07-26 2022-08-19 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム

Country Status (4)

Country Link
US (1) US20220141420A1 (ja)
JP (2) JP7137710B2 (ja)
CN (1) CN114208159A (ja)
WO (1) WO2021020010A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309745A (ja) 2005-03-31 2006-11-09 Canon Inc 画像処理装置、画像処理方法、画像処理装置の制御方法、コンピュータプログラム、記憶媒体
JP2011119934A (ja) 2009-12-02 2011-06-16 Panasonic Corp 画像撮影装置及び画像撮影方法
WO2014007004A1 (ja) 2012-07-06 2014-01-09 ソニー株式会社 固体撮像装置及び固体撮像装置の駆動方法、並びに、電子機器
JP2018006979A (ja) 2016-06-30 2018-01-11 リコーイメージング株式会社 信号処理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120154419A1 (en) * 2010-07-02 2012-06-21 Minehisa Nagata Image output device, image output method, and image display apparatus
JP5730634B2 (ja) * 2011-03-24 2015-06-10 オリンパス株式会社 画像処理装置
IL213506A (en) * 2011-06-13 2016-04-21 Israel Aerospace Ind Ltd Pursuing a goal
CN104247401B (zh) * 2012-03-30 2019-07-02 株式会社尼康 拍摄元件以及拍摄装置
JP5925655B2 (ja) * 2012-09-28 2016-05-25 富士フイルム株式会社 画像表示制御装置、画像表示装置、プログラム及び画像表示方法
EP2981059A4 (en) * 2013-03-28 2016-09-07 Nec Corp PICTURE RECORDING DEVICE, IMAGE RECORDING PROCESS AND PROGRAM

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309745A (ja) 2005-03-31 2006-11-09 Canon Inc 画像処理装置、画像処理方法、画像処理装置の制御方法、コンピュータプログラム、記憶媒体
JP2011119934A (ja) 2009-12-02 2011-06-16 Panasonic Corp 画像撮影装置及び画像撮影方法
WO2014007004A1 (ja) 2012-07-06 2014-01-09 ソニー株式会社 固体撮像装置及び固体撮像装置の駆動方法、並びに、電子機器
JP2018006979A (ja) 2016-06-30 2018-01-11 リコーイメージング株式会社 信号処理装置

Also Published As

Publication number Publication date
JP2022169672A (ja) 2022-11-09
CN114208159A (zh) 2022-03-18
JPWO2021020010A1 (ja) 2021-02-04
US20220141420A1 (en) 2022-05-05
WO2021020010A1 (ja) 2021-02-04

Similar Documents

Publication Publication Date Title
JP5558852B2 (ja) 情報処理装置およびその制御方法およびプログラム
JP5381142B2 (ja) 撮像素子および撮像装置
JP7477543B2 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP2007282265A (ja) デジタルカメラ
JP2021177646A (ja) 撮像素子、撮像装置、画像データ処理方法、及びプログラム
JP6312426B2 (ja) 撮像装置およびその制御方法
JP7004852B2 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
US7193647B2 (en) Filtering still image data from a multimode stream
JP2011130208A (ja) 撮像装置、画像処理装置、画像処理方法
US20130222421A1 (en) Display control apparatus, display control method, and recording medium
JP7137710B2 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP6996025B2 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP6663282B2 (ja) 撮像装置、撮像システム、撮像方法およびプログラム
WO2021039113A1 (ja) 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
JP7410088B2 (ja) 撮像素子、撮像装置、画像データ出力方法、及びプログラム
JP7458730B2 (ja) 情報処理装置、情報処理装置の制御方法、及びそのプログラム
JP2008066910A (ja) 画像処理装置、画像処理方法及びプログラム
JP2007259304A (ja) 撮像装置及びその制御方法、コンピュータプログラム及び記憶媒体
KR101700356B1 (ko) 디지털 촬영 장치 및 촬영 방법
JP2014036432A (ja) 撮像装置
JP2013201476A (ja) 撮像装置
JP2011130209A (ja) 撮像装置、画像処理装置、画像処理方法
JP2005268864A (ja) デジタルカメラ
JP2007060292A (ja) デジタルカメラ及び画質補正方法
JP2007053574A (ja) 撮像装置および記録用画像データの記録方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220120

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220902

R150 Certificate of patent or registration of utility model

Ref document number: 7137710

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150