JP7435659B2 - Image sensor and imaging device - Google Patents
Image sensor and imaging device Download PDFInfo
- Publication number
- JP7435659B2 JP7435659B2 JP2022082085A JP2022082085A JP7435659B2 JP 7435659 B2 JP7435659 B2 JP 7435659B2 JP 2022082085 A JP2022082085 A JP 2022082085A JP 2022082085 A JP2022082085 A JP 2022082085A JP 7435659 B2 JP7435659 B2 JP 7435659B2
- Authority
- JP
- Japan
- Prior art keywords
- image sensor
- image signal
- section
- unit
- substrate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 75
- 238000012545 processing Methods 0.000 claims description 110
- 230000005540 biological transmission Effects 0.000 claims description 84
- 239000000758 substrate Substances 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 230000000149 penetrating effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims 10
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 36
- 230000008054 signal transmission Effects 0.000 description 34
- 238000011156 evaluation Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 7
- 239000002131 composite material Substances 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 3
- 210000000746 body region Anatomy 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
本発明は、画像処理装置および撮像装置に関する。 The present invention relates to an image processing device and an imaging device.
画像信号を生成する撮像部の解像度等が向上するにつれて、撮像部から画像処理回路への画像信号伝送量も増加する(例えば、特許文献1参照)。
特許文献1 特開2008-219319号公報
As the resolution of an imaging unit that generates an image signal improves, the amount of image signal transmitted from the imaging unit to an image processing circuit also increases (see, for example, Patent Document 1).
Patent Document 1 Japanese Patent Application Publication No. 2008-219319
信号伝送路の容量を並列化により拡大する場合は、撮像部と画像処理回路の双方を並列信号伝送に対応させなくてはならない。このため、撮像装置の構成部品を大幅に変更しなければならない。 If the capacity of the signal transmission path is to be expanded by parallelization, both the imaging unit and the image processing circuit must be compatible with parallel signal transmission. Therefore, the components of the imaging device must be significantly changed.
本発明の第一態様においては、複数のフレームを含む原画像信号を撮像部から受信する原画像信号受信部と、原画像信号を参照して、原画像信号受信部が受信した原画像信号に含まれる複数のフレームのフレーム数よりも少ない数のフレームを含む送信画像信号を生成する送信画像信号生成部と、送信画像信号生成部が生成した送信画像信号を、信号伝送路を介して外部の画像処理回路に送信する送信画像信号送信部とを備える画像信号処理装置が提供される。 In the first aspect of the present invention, there is provided an original image signal receiving section that receives an original image signal including a plurality of frames from an imaging section, and an original image signal received by the original image signal receiving section with reference to the original image signal. A transmission image signal generation section that generates a transmission image signal that includes a frame number smaller than the number of frames included in the plurality of frames, and a transmission image signal generated by the transmission image signal generation section that is transmitted to an external device via a signal transmission path. An image signal processing device is provided that includes a transmission image signal transmitter that transmits to an image processing circuit.
本発明の第二態様においては、露光毎に原画像信号を生成する撮像部と、複数のフレームを含む原画像信号を撮像部から受信する原画像信号受信部と、原画像信号を参照して、原画像信号受信部が受信した原画像信号に含まれる複数のフレームのフレーム数よりも少ない数のフレームを含む送信画像信号を生成する送信画像信号生成部と、送信画像信号生成部が生成した送信画像信号を、信号伝送路を介して外部の画像処理回路に送信する送信画像信号送信部とを備える画像信号処理ユニットが提供される。 In the second aspect of the present invention, there is provided an imaging unit that generates an original image signal for each exposure, an original image signal receiving unit that receives an original image signal including a plurality of frames from the imaging unit, and an original image signal that refers to the original image signal. , a transmission image signal generation unit that generates a transmission image signal including a frame number smaller than the number of frames included in the original image signal received by the original image signal reception unit; An image signal processing unit is provided that includes a transmission image signal transmitter that transmits a transmission image signal to an external image processing circuit via a signal transmission path.
本発明の第三態様においては、上記画像信号処理ユニットを備える撮像装置が提供される。 In a third aspect of the present invention, there is provided an imaging device including the image signal processing unit described above.
上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。これらの特徴群のサブコンビネーションも発明となり得る。 The above summary of the invention is not an exhaustive list of all necessary features of the invention. Subcombinations of these features may also constitute inventions.
発明の実施の形態を通じて本発明を説明する。下記の実施形態は、特許請求の範囲に係る発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 The present invention will be explained through embodiments of the invention. The embodiments described below do not limit the claimed invention. Not all combinations of features described in the embodiments are essential to the solution of the invention.
図1は、撮像装置100のブロック図である。撮像装置100は、撮像部120、画像信号処理装置200、システム制御部140および画像処理部150を備える。
FIG. 1 is a block diagram of an
撮像部120は、光学系110を通じて入射した被写界光を受光して電気信号に変換する撮像素子を含み、撮像素子が露光される毎に生じるフレームに対応した原画像信号を生成する。光学系110は、複数のレンズの他、絞り、シャッタ、光学フィルタ等の光学部材を含む。
The
撮像部120の撮像素子としては、CMOSセンサ、CCDセンサ等を用いることができる。また、撮像素子は、複数のA/Dコンバータ等をデバイス内部に備えて並列読み出しを行い、高解像度且つ高フレームレートで画像信号を出力できる。なお、撮像部120の撮像素子がベイヤー配列等のカラーフィルタを有する場合に撮像部120が出力する原画像信号は、色毎に画素を補完する前の画像信号であってもよい。
As the imaging element of the
画像信号処理装置200は、原画像信号受信部210、送信画像信号生成部201、フレームメモリ230および送信画像信号送信部240を有する。原画像信号受信部210は、撮像部120が生成した、複数のフレームを含む原画像信号を取得する。
The image
なお、撮像素子が例えば20メガピクセルの解像度と、240FPSの読出速度とを有する場合、撮像部120から画像信号処理装置200に向かって出力される原画像信号の出力ビットレートは57.6Gbps以上にも及ぶ。これに対して、画像信号処理装置200における原画像信号受信部210は、例えば、48チャンネルの多並列信号線路を通じて撮像部120に結合される。これにより、信号伝送路におけるチャンネル当たりの信号速度は低減され、撮像部120と原画像信号受信部210とをフレキシブルケーブルにより結合できる。
Note that when the image sensor has a resolution of 20 megapixels and a readout speed of 240 FPS, for example, the output bit rate of the original image signal output from the
送信画像信号生成部201は、取得した原画像信号を処理して送信画像信号を生成する。送信画像信号は、画像信号をフレーム単位で含む。送信画像信号生成部201における処理については、他の図を参照して後述する。
The transmission image
フレームメモリ230は、随時読み書きができるDRAMを含み、送信画像信号生成部201の作業領域となる。よって、フレームメモリ230は、少なくとも複数フレーム分の画像信号を格納し得る容量を有する。
The
送信画像信号送信部240は、送信画像信号生成部201が生成した送信画像信号を、画像信号処理装置200の外部に配された画像処理部150に送信する。なお、原画像信号受信部210、送信画像信号生成部201および送信画像信号送信部240は、共通の汎用プロセッサにおいて実行されるプログラムとして実装される場合もある。
The transmission image
送信画像信号送信部240が出力する送信画像信号は、画像信号処理装置200に対して外部に配された信号伝送路130を通じて、画像処理部150が受信できる信号形式で送信される。信号伝送路130は、例えば、画像信号処理装置200と画像処理部150とを結合するフレキシブル基板、プリント基板上のプリント配線、ワイヤ等により形成される。
The transmission image signal outputted by the transmission image
撮像装置100における画像処理部150は、画像信号の補間処理、圧縮処理、縮小処理等を実行する。また、画像処理部150は、処理した画像信号を、JPEG形式等、予め定められたファイルフォーマットに従って画像ファイル化する。これにより、処理された送信画像信号は、例えば、表示部180にスルー画等として表示される。また、画像処理部150に処理された送信画像信号は、二次記録媒体190に画像ファイルとして格納される。
The
ワークメモリ160は、随時読み書きができるDRAMを含み、画像処理部150の作業領域となる。よって、ワークメモリ160は、少なくとも複数フレーム分の画像信号を格納し得る容量を有する。
The
システム制御部140は、撮像部120、画像信号処理装置200および画像処理部150の動作を包括的に制御する。即ち、システム制御部140は、シャッタボタン、コマンドダイヤル等の操作部材170が外部から操作された場合に、例えば、撮像部120における原画像信号のフレームレートを変更することにより、操作に応じた動作を撮像部120に実行させる。
The system control unit 140 comprehensively controls the operations of the
また、システム制御部140は、撮像部120から画像信号処理装置200への原画像信号の受け渡し、画像信号処理装置200から画像処理部150への送信画像信号の受け渡し等の通信制御も司る。更に、画像信号処理装置200および画像処理部150の各々における内部処理も、システム制御部140の制御の下に実行される。なお、システム制御部140および画像処理部150は、共通のASICにおいて実行されるプログラムとして実装されてもよい。
The system control unit 140 also controls communications such as the delivery of original image signals from the
図2は、送信画像信号生成部201の一例を示すブロック図である。送信画像信号生成部201は、切替回路221、バイパス回路222および本回路223を有する。更に、本回路223は、リサイズ回路224、アライメント検出回路225、アライメント調整回路226およびフレーム合成回路227を含む。
FIG. 2 is a block diagram showing an example of the transmission image
切替回路221は、システム制御部140からの指示により、原画像信号受信部210が受信した複数、例えば2つのフレーム301、302を含む画像信号を、バイパス回路222および本回路223のいずれかに選択的に結合する。入力がバイパス回路222に結合された場合、原画像信号は、バイパス回路222を通じて、送信画像信号送信部240に直結される。よって、この場合は、原画像信号受信部210が受信した原画像信号が、そのまま送信画像信号送信部240に伝達される。
The
切替回路221が、入力を本回路223に結合した場合、原画像信号は、リサイズ回路224およびアライメント調整回路226の両方に伝えられる。リサイズ回路224は、アライメント検出回路225が、複数フレーム301、302の画像信号における像の位置ずれを検出できる範囲で、原画像信号の解像度が低減される。これにより、アライメント検出回路225は、原画像信号におけるフレーム相互の像の位置ずれを高速に検出できる。
When switching
アライメント検出回路225は、フレーム相互における像の位置ずれを検出して、検出結果をアライメント調整回路226に通知する。アライメント調整回路226は、アライメント検出回路225から取得した検出結果に基づいてフレーム毎に像の位置を調整し、フレーム相互の位置ずれを解消させる。フレーム合成回路227は、位置ずれが解消された複数のフレームを合成することにより、雑音を抑圧したひとつの画像の画像信号を生成する。ここで、画像信号の合成方法としては、加算平均法を例示できるが、この方法に限られるわけではない。
The
こうして生成された単一フレームの画像信号は、送信画像信号として、送信画像信号送信部240に送信される。送信画像信号送信部240は、2フレーム分の原画像信号から生成された1フレーム分の送信画像信号を、信号伝送路130を通じて画像処理部150に送信する。
The single frame image signal generated in this way is transmitted to the transmission
このように、画像信号処理装置200は、複数フレーム分の原画像信号を参照して、より少ないフレーム数の送信画像信号を生成して画像処理部150に送信する。これにより、信号伝送路130における信号速度を低減でき、信号伝送路130の伝送速度、および、画像処理部150の処理速度よりも高速な読出速度を有する撮像素子が導入された場合であっても、既存の信号伝送路130および画像処理部150を使用できる。
In this way, the image
また、送信画像信号生成部201において雑音の抑圧処理が既に実行されているので、画像処理部150における画像処理の負荷を低減できる。なお、複数フレームの原画像信号から生成された送信画像信号は、画素数、ビット深度等が削減または抑圧されているわけではない。よって、送信画像信号は、撮像部120により撮像された原画像信号の品質を保っている。
Furthermore, since noise suppression processing has already been performed in the transmission image
上記の例では、送信画像信号生成部201が、2つのフレーム301、302の画像信号から1つのフレーム303を生成するように記載した。しかしながら、送信画像信号生成部201は、撮影素子から時間的に連続したN(Nは2以上の整数)枚のフレームを含む原画像信号を受信し、Nよりも少ないM(Mは1以上の整数)枚のフレームを含む送信画像信号を生成すればよく、上記の枚数に限定されるわけではない。
In the above example, the transmission image
図3は、システム制御部140による切替回路221の制御手順を示す流れ図である。システム制御部140は、撮像装置100の動作モードに応じて、撮像部120における撮像素子の読出速度を変更させる制御を実行する。なお、撮像装置100の動作モードとは、例えば、ライブビューモード、静止画撮影モード、動画撮影モード等、ユーザが予め選択した動作モードを含む。システム制御部140は、設定された動作モードに応じて、出力する原画像信号のフレームレートを撮像部120に指示する。
FIG. 3 is a flowchart showing a control procedure for the
ここで、システム制御部140が指示したフレームレートが予め設定された閾値以下である場合(ステップS101:NO)、システム制御部140は、切替回路221をバイパス回路222側に切り替える(ステップS102)。これにより、原画像信号受信部210が受信した原画像信号は、そのまま送信画像信号送信部240に伝達され、画像処理部150に送信される。
Here, if the frame rate instructed by the system control unit 140 is less than or equal to the preset threshold (step S101: NO), the system control unit 140 switches the
また、システム制御部140が設定した読出速度が予め設定された閾値を超えた場合(ステップS101:YES)、システム制御部140は、切替回路221を本回路223側に切り替える(ステップS103)。これにより、送信画像信号生成部201は、原画像信号受信部210が受信した複数フレームの原画像信号から、より少ないフレーム数の送信画像信号を生成して、送信画像信号送信部240から画像処理部150に送信する。
Further, when the read speed set by the system control unit 140 exceeds a preset threshold (step S101: YES), the system control unit 140 switches the
ここで、システム制御部140が切替回路221を切り替える閾値は、例えば、信号伝送路130により伝送される送信画像信号のフレームレートの限界により決定される。即ち、撮像部120が出力する原画像信号のフレームレートは、システム制御部140による制御に従って変化する。
Here, the threshold value at which the system control unit 140 switches the
撮像部120が出力する原画像信号のフレームレートが、フレキシブル基板等を用いて形成した信号伝送路130を通じて伝送できる速度よりも速い場合、システム制御部140は、切替回路221を本回路223側に切り替える。これにより、信号伝送路130を通じて送信される送信画像信号のフレームレートを、信号伝送路130を通じて伝送できるフレームレートまで低減される。
If the frame rate of the original image signal output by the
撮像部120が出力する原画像信号のフレームレートが、フレキシブル基板等を用いて形成した信号伝送路130を通じて伝送できる速度よりも遅い場合、システム制御部140は、切替回路221を、バイパス回路222側に切り替える。これにより、送信画像信号生成部201は、原画像信号を処理することなく、そのまま、送信画像信号として信号伝送路130に送出する。
If the frame rate of the original image signal output by the
また、システム制御部140が切替回路221を切り替える閾値は、画像処理部150が処理できるフレームレートの上限に応じて決定してもよい。これにより、撮像部120が出力する原画像信号のフレームレートにかかわらず、処理できる範囲のフレームレートの送信画像信号が画像処理部150に送信される。
Further, the threshold value at which the system control unit 140 switches the
なお、送信画像信号生成部201が原画像信号を処理しない場合は、フレームメモリ230は使用されていない。よって、フレームメモリ230を、動画撮影中に撮影した静止画等を格納する等のバッファメモリとして利用してもよい。
Note that when the transmission image
図4は、撮像部120および画像信号処理装置200の実装形態を例示する模式図である。図示の例において、送信画像信号生成部201を含む画像信号処理装置200が実装された基板250は、撮像素子122を含む撮像部120が実装された基板121の直近に隣接して配される。これにより、多並列化信号線路を形成して一対の基板121、250を結合するフレキシブルケーブル124の寸法を短縮して、伝送される原画像信号の減衰を抑制できる。
FIG. 4 is a schematic diagram illustrating an implementation form of the
なお、画像信号処理装置200から出力される送信画像信号も、フレキシブルケーブル131により送信される。ただし、撮像素子122を含む撮像部120は、光学系110に対する光学的な条件により配置できる場所が制限される。一方、画像処理部150は、回路規模が大きく、撮像装置100における配置が制限される。このため、画像処理部150に結合される信号伝送路130を形成するフレキシブルケーブル131の長さは、撮像部120に結合されたフレキシブルケーブル124よりも長くなる場合が多い。
Note that the transmission image signal output from the image
しかしながら、送信画像信号生成部201を用いることにより、例えば、240FPSの読出速度を有する撮像素子を用いて、雑音が抑圧された60FPSの信号を、多並列化されていない信号伝送路130と、多並列I/O回路のない画像処理回路を用いて処理できる。また、画像処理部150が受信する送信画像信号は、画像信号処理装置200において、一部の画像処理を既に実行されているので、画像処理部150における負荷が軽減される。
However, by using the transmission image
なお、上記の例では、基板121、250の間をフレキシブルケーブルにより結合した。しかしながら、プリント基板、ワイヤ等、他の部材を用いて結合してもよいことはもちろんである。
In addition, in the above example, the
図5は、撮像部120および画像信号処理装置200の他の実装形態を例示する模式図である。図示の例においては、画像信号処理装置200が、撮像素子122を含む撮像部120が実装された基板121に実装される。これにより、撮像部120および原画像信号受信部210を、フレキシブルケーブルを用いることなく結合して、原画像信号の減衰を抑制できる。
FIG. 5 is a schematic diagram illustrating another implementation form of the
また、撮像部120および画像信号処理装置200を一体的に取り扱うことにより、高い読み出し速度を有する撮像部120を、読み出し速度の低い旧来の撮像部120と同じように取り扱うことができる。これにより、読み出し速度の高い撮像部120の利点を、低い開発コストで利用できる。
Further, by handling the
図6は、撮像部120および画像信号処理装置200のまた他の実装形態を例示する模式的断面図である。図示の例において、画像信号処理装置200が実装された基板250は、撮像素子122を含む撮像部120が実装された基板121に対して積層されている。また、基板250上の画像信号処理装置200は、基板121を貫通して形成された複数のビア126を通じて撮像部120に電気的に結合される。これにより、撮像部120および原画像信号受信部210の間の信号伝送路は極限まで短縮され、原画像信号の減衰をいっそう抑制できる。
FIG. 6 is a schematic cross-sectional view illustrating another implementation form of the
また、基板250を基板121に積層することにより、撮像部120と画像信号処理装置200とを備えた撮像ユニットを、単独の撮像部120と殆ど変わらない空間に実装できる。よって、高い読み出し速度を有する撮像部120を、撮像装置100の規模を拡大することなく、旧来の撮像部120と同じように取り扱うことができる。
Further, by stacking the
なお、上記の例では、基板121、250の間をビア126により結合した。しかしながら、ボンディングワイヤ、バンプ等の他の部材を用いて結合してもよいことはもちろんである。
Note that in the above example, the
図7は、撮像部120および画像信号処理装置200の更に他の実装形態を例示する模式的断面図である。図示の例において、画像信号処理装置200が実装された基板250は、裏面照射型の撮像部120に対して積層されている。
FIG. 7 is a schematic cross-sectional view illustrating still another implementation form of the
即ち、撮像部120は、互いに積層された受光基板123および論理基板125を有する。受光基板123は、研磨により薄化された基板121の裏面から被写界光を受光して電気信号に変換する。論理基板125は、受光基板123において生成された電気信号をデジタル化するアナログ/デジタルコンバータ等の論理回路128が実装され、原画像信号を生成する。
That is, the
受光基板123と論理基板125は、個別に作製された上で相互に積層して貼り合わされる。また、受光基板123の撮像素子122と論理基板125の論理回路128とは、受光基板123を厚さ方向に貫通して形成されたビア126等を通じて結合される。
The light-receiving
画像信号処理装置200が形成された基板250は、上記した撮像部120の受光基板123および論理基板125とは別に作製され、撮像部120の論理基板125に対して更に積層して貼り合わされる。基板250上の画像信号処理装置200は、論理基板125を厚さ方向に貫通して形成された複数のビア127等を通じて、論理基板125に実装された論理回路128に電気的に結合される。このような構造により、撮像素子122から論理回路128を通じて原画像信号受信部210に至る信号伝送路は極限まで短縮され、原画像信号の減衰が抑制される。
The
なお、上記の例では、受光基板123、論理基板125および基板250の間をビア126により結合した。しかしながら、ボンディングワイヤ、バンプ等の他の部材を用いて結合してもよいことはもちろんである。
Note that in the above example, the
図8は、送信画像信号生成部201に換えて使用できる他の送信画像信号生成部202のブロック図である。送信画像信号生成部202は、切替回路221、バイパス回路222および本回路223を有する。更に、本回路223は、合成マップ生成回路261、フレーム合成回路262、動体領域抽出回路263および動体領域置換回路264を含み、いわゆるHDR合成(Hi Dynamic Range Imaging)処理を実行する。
FIG. 8 is a block diagram of another transmission image signal generation section 202 that can be used in place of the transmission image
切替回路221は、システム制御部140からの指示により、原画像信号受信部210が受信した複数のフレーム311、312、313を含む原画像信号を、バイパス回路222および本回路223のいずれかに選択的に結合する。切替回路221の結合先の選択は、先に説明した送信画像信号生成部201の場合と同様に、原画像信号受信部210が受信した原画像信号のフレームレートの多寡により決定される。
The
即ち、原画像信号のフレームレートが、信号伝送路130の帯域で伝送できる範囲に含まれており、且つ、画像処理部150により処理できる範囲に含まれている場合、切替回路221は、原画像信号受信部210をバイパス回路222に結合する。これにより、原画像信号は、そのまま送信画像信号として、送信画像信号送信部240から送信される。
That is, if the frame rate of the original image signal is included in the range that can be transmitted in the band of the
また、原画像信号のフレームレートが、信号伝送路130の帯域で伝送できる範囲を超えている場合、あるいは、画像処理部150により処理できる範囲を超えている場合、切替回路221は、原画像信号受信部210を本回路223に結合する。これにより、原画像信号は、合成マップ生成回路261および動体領域抽出回路263の両方に伝えられる。
Furthermore, if the frame rate of the original image signal exceeds the range that can be transmitted in the band of the
合成マップ生成回路261は、表示装置のダイナミックレンジを最大限に活かすべく、複数のフレーム311、312、313を合成する割合を算出する。フレーム合成回路262は、合成マップ生成回路261により算出された割合に従って、複数のフレーム311、312、313を合成して、単一のフレーム314を生成する。これにより、ダイナミックレンジを有効に利用して表現された単一のフレーム314が生成される。
The composite
ただし、複数のフレーム311、312、313において移動した被写体に関しては、画像の輝度を合成した場合に、輪郭がぼけてしまう。そこで、動体領域抽出回路263が、複数のフレーム311、312、313相互の間で移動した被写体を含む領域を抽出し、動体領域置換回路264が、生成されたフレーム314において、動体領域を鮮明な像に置換する。これにより、フレーム314は、ダイナミックレンジを有効に利用し、且つ、被写体の輪郭が鮮明な画像となる。
However, for a subject that has moved in
このように、送信画像信号生成部202を備えた画像信号処理装置200は、フレーム毎に撮像する場合の露出条件が異なる複数のフレームを合成して、表示装置のダイナミックレンジを最大限に活かせる単一の画像を合成する。よって、HDR合成処理を実行する送信画像信号生成部202は、複数フレームの原画像信号から、よりフレーム数の少ない送信画像信号を生成して画像処理部150に送り出すことができる。
In this way, the image
これにより、信号伝送路130の伝送速度、および、画像処理部150の処理速度よりも高速な読出速度を有する撮像素子が導入された場合であっても、既存の信号伝送路130および画像処理部150を使用できる。また、送信画像信号生成部201においてHDR合成処理が既に実行されているので、画像処理部150における画像処理の負荷が更に低減される。
As a result, even if an image sensor having a readout speed faster than the transmission speed of the
なお、切替回路221が原画像信号受信部210を本回路223に結合している場合は、原画像信号に対して常時HDR合成処理が実行される。しかしながら、ユーザがHDR合成処理を望まない場合、送信画像信号生成部202は、他の処理により原画像信号のフレームレートを低減してもよい。
Note that when the
図9は、送信画像信号生成部201、202に換えて使用できるまた他の送信画像信号生成部203のブロック図である。送信画像信号生成部203は、切替回路221、バイパス回路222および本回路223を有する。更に、本回路223は、顔検出回路271、顔画像生成回路272、表情評価回路273およびフレーム選択回路274を含む。
FIG. 9 is a block diagram of another transmission image signal generation section 203 that can be used in place of the transmission image
切替回路221は、送信画像信号生成部201、202と同様に、システム制御部140からの指示により、原画像信号受信部210が受信した複数のフレーム321、322、323、324、325を含む画像信号を、バイパス回路222および本回路223のいずれかに選択的に結合する。入力がバイパス回路222に結合された場合、原画像信号は、バイパス回路222を通じて、送信画像信号送信部240に直結される。
Similar to the transmission image
切替回路221が、入力を本回路223に結合した場合、複数のフレーム321~325を含む原画像信号は、まず、顔検出回路271において、それぞれの画像に含まれる被写体としての顔を検出される。次いで、顔画像生成回路272は、検出された顔のそれぞれを画像化する。これにより、検出された顔の各々について、表情が画像に現れる。
When the
次に、表情評価回路273は、生成された顔画像のそれぞれにおいて表情の評価値を算出する。評価値としては、口角の形状による笑顔の検出を例示できる。また、検出された顔が撮像装置100の方を向いていること、検出された画像において目が開いていること等、他の評価値を用いてもよい。更に、複数の評価値を参照して総合的な評価を算出してもよい。
Next, the facial
こうして、複数のフレーム321~325の各々に対して評価値が算出されると、フレーム選択回路274は、評価値の高いフレーム322のみを選択して送信画像信号を生成する。よって、画像処理部150には、評価値の高いフレーム322が送信され、ユーザの意図が反映されている確率が高い画像が画像処理部150により処理され、最終的に記録される。
When the evaluation value is calculated for each of the plurality of
なお、フレーム選択回路274により選択されるフレーム322は単一とは限らず、予め設定された閾値を超える複数のフレーム322が選択されてもよい。ただし、いずれの場合も、最終的に、送信画像信号に含まれるフレーム322のフレーム数は、原画像信号に含まれるフレーム数よりも少ない。よって、信号伝送路130の伝送速度、および、画像処理部150の処理速度よりも高速な読出速度を有する撮像素子が導入された場合であっても、既存の信号伝送路130および画像処理部150を使用できる。
Note that the
また、顔検出と笑顔による評価を例にあげて説明したが、他の選択基準によりフレームを選択できることはいうまでもない。画像信号処理装置200は、動体追尾等により主要被写体を特定し、特定した主要被写体が画像全体に占める面積の割合が大きいこと、主要被写体が画像の中央に位置すること、画像における主要被写体の露出バランスが良好であること等、他の評価値により、あるいは、他の評価値も併せて、画像処理部150に送信するフレームを選択してもよい。
Further, although the description has been given using face detection and evaluation based on smiles as examples, it goes without saying that frames can be selected based on other selection criteria. The image
なお、切替回路221が原画像信号受信部210を本回路223に結合している場合は、上記のようなフレーム選択処理が常時実行される。しかしながら、ユーザがフレームの自動的な選択を望まない場合、送信画像信号生成部203は、他の処理により原画像信号のフレームレートを低減するようにしてもよい。
Note that when the
以上、本発明の実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 Although the embodiments of the present invention have been described above, the technical scope of the present invention is not limited to the range described in the above embodiments. It will be apparent to those skilled in the art that various changes or improvements can be made to the embodiments described above. It is clear from the claims that such modifications or improvements may be included within the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の語を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process, such as the operation, procedure, step, and stage in the apparatus, system, program, and method shown in the claims, specification, and drawings, is specifically defined as "before" or "before". It should be noted that they can be implemented in any order unless the output of the previous process is used in the subsequent process. Even if words such as "first" and "next" are used to explain the claims, specifications, and operational flows in the drawings for convenience, this does not mean that the operations must be performed in this order. It's not a thing.
100 撮像装置、110 光学系、120 撮像部、121、250 基板、122 撮像素子、123 受光基板、124、131 フレキシブルケーブル、125 論理基板、126、127 ビア、128 論理回路、130 信号伝送路、140 システム制御部、150 画像処理部、160 ワークメモリ、170 操作部材、180 表示部、190 二次記録媒体、200 画像信号処理装置、210 原画像信号受信部、201、202、203 送信画像信号生成部、221 切替回路、222 バイパス回路、223 本回路、224 リサイズ回路、225 アライメント検出回路、226 アライメント調整回路、227、262 フレーム合成回路、230 フレームメモリ、240 送信画像信号送信部、261 合成マップ生成回路、263 動体領域抽出回路、264 動体領域置換回路、271 顔検出回路、272 顔画像生成回路、273 表情評価回路、274 フレーム選択回路、301、302、303、311、312、313、314、321、322、323、324、325 フレーム 100 imaging device, 110 optical system, 120 imaging unit, 121, 250 board, 122 imaging element, 123 light receiving board, 124, 131 flexible cable, 125 logic board, 126, 127 via, 128 logic circuit, 130 signal transmission path, 140 system control unit, 150 image processing unit, 160 work memory, 170 operating member, 180 display unit, 190 secondary recording medium, 200 image signal processing device, 210 original image signal receiving unit, 201, 202, 203 transmission image signal generation unit , 221 switching circuit, 222 bypass circuit, 223 main circuit, 224 resizing circuit, 225 alignment detection circuit, 226 alignment adjustment circuit, 227, 262 frame synthesis circuit, 230 frame memory, 240 transmission image signal transmission section, 261 synthesis map generation circuit , 263 moving body region extraction circuit, 264 moving body region replacement circuit, 271 face detection circuit, 272 face image generation circuit, 273 facial expression evaluation circuit, 274 frame selection circuit, 301, 302, 303, 311, 312, 313, 314, 321, 322, 323, 324, 325 frames
Claims (13)
前記受光部で生成されたアナログ信号をデジタル信号に変換する変換部と、
前記第1基板に積層する第2基板に設けられ、前記変換部から第1伝送速度で送られてきた信号を処理する第1処理部と、
前記第2基板に設けられ、前記第1処理部で処理された信号を前記第1伝送速度よりも低減した第2伝送速度で出力する出力部と、
を備える撮像素子。 a light receiving section provided on the first substrate and configured to receive light and generate a signal;
a conversion unit that converts the analog signal generated by the light receiving unit into a digital signal;
a first processing section that is provided on a second substrate stacked on the first substrate and processes a signal sent from the conversion section at a first transmission rate ;
an output section provided on the second substrate and outputting the signal processed by the first processing section at a second transmission speed lower than the first transmission speed;
An image sensor comprising:
前記第1処理部は、前記変換部で変換された信号に基づく画像データを生成し、
前記出力部は、前記第1処理部で生成された画像データを出力する撮像素子。 The image sensor according to claim 1,
The first processing unit generates image data based on the signal converted by the conversion unit ,
The output unit is an image sensor that outputs the image data generated by the first processing unit.
前記第1処理部は、前記変換部で変換された信号に基づく画像データを加算し、
前記出力部は、前記第1処理部で加算された画像データを出力する撮像素子。 The image sensor according to claim 1 or 2,
The first processing unit adds image data based on the signal converted by the conversion unit ,
The output unit is an image sensor that outputs the image data added by the first processing unit.
前記第1処理部は、前記変換部で変換された信号に基づく画像の解像度を低減した画像データを生成し、
前記出力部は、前記第1処理部で解像度が低減された画像データを出力する撮像素子。 The image sensor according to any one of claims 1 to 3,
The first processing unit generates image data with reduced resolution of an image based on the signal converted by the conversion unit ,
The output unit is an image sensor that outputs image data whose resolution has been reduced by the first processing unit.
前記第1処理部は、前記変換部で変換された信号に基づく画像から、動体検出および顔検出の少なくとも1方を行う撮像素子。 The image sensor according to any one of claims 1 to 4,
The first processing section is an image sensor that performs at least one of moving object detection and face detection from an image based on the signal converted by the conversion section .
前記出力部は、前記受光部から前記第2伝送速度以下で信号が送られてきた場合、前記第2伝送速度以下で信号を出力する撮像素子。 The image sensor according to any one of claims 1 to 5,
The output unit is an image sensor that outputs a signal at a rate lower than the second transmission rate when a signal is sent from the light receiving unit at a rate lower than the second transmission rate.
前記第1処理部が前記変換部で変換された信号を処理するための記憶部を備える撮像素子。 The image sensor according to any one of claims 1 to 6,
An image sensor including a storage section for the first processing section to process the signal converted by the conversion section .
前記変換部から前記第1伝送速度で送られてきた信号を受信する受信部を備え、 comprising a receiving section that receives a signal sent from the converting section at the first transmission rate,
前記第1処理部は、前記受信部で受信された信号を処理する撮像素子。 The first processing section is an image sensor that processes the signal received by the receiving section.
前記第1基板の周辺に設けれ、前記第1基板を貫通し、受光部と前記第1処理部とを電気的に接続するための貫通電極を備える撮像素子。 The image sensor according to any one of claims 1 to 8,
An image sensor including a through electrode provided around the first substrate, penetrating the first substrate, and electrically connecting a light receiving section and the first processing section.
前記変換部は、前記第2基板に設けられる撮像素子。 The conversion unit is an image sensor provided on the second substrate.
前記変換部は、前記第1基板と前記第2基板との間に設けられた第3基板に設けられる撮像素子。 The image sensor according to any one of claims 1 to 9 ,
The conversion unit is an image sensor provided on a third substrate provided between the first substrate and the second substrate .
前記第3基板の周辺に設けれ、前記第3基板を貫通し、前記第1処理部と前記変換部とを電気的に接続するための貫通電極を備える撮像素子。 The image sensor according to claim 11 ,
An image sensor including a through electrode provided around the third substrate, penetrating the third substrate, and electrically connecting the first processing section and the conversion section .
前記撮像素子から出力された信号に基づいて、画像データを生成する生成部と、
を備える撮像装置。 An image sensor according to any one of claims 1 to 12,
a generation unit that generates image data based on the signal output from the image sensor;
An imaging device comprising:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022082085A JP7435659B2 (en) | 2020-02-27 | 2022-05-19 | Image sensor and imaging device |
JP2024017628A JP2024045470A (en) | 2020-02-27 | 2024-02-08 | Image processing apparatus and imaging apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020032322A JP2020096367A (en) | 2020-02-27 | 2020-02-27 | Image processing apparatus and imaging apparatus |
JP2022082085A JP7435659B2 (en) | 2020-02-27 | 2022-05-19 | Image sensor and imaging device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020032322A Division JP2020096367A (en) | 2020-02-27 | 2020-02-27 | Image processing apparatus and imaging apparatus |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024017628A Division JP2024045470A (en) | 2020-02-27 | 2024-02-08 | Image processing apparatus and imaging apparatus |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022107659A JP2022107659A (en) | 2022-07-22 |
JP2022107659A5 JP2022107659A5 (en) | 2022-12-28 |
JP7435659B2 true JP7435659B2 (en) | 2024-02-21 |
Family
ID=71086270
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020032322A Pending JP2020096367A (en) | 2020-02-27 | 2020-02-27 | Image processing apparatus and imaging apparatus |
JP2022082085A Active JP7435659B2 (en) | 2020-02-27 | 2022-05-19 | Image sensor and imaging device |
JP2024017628A Pending JP2024045470A (en) | 2020-02-27 | 2024-02-08 | Image processing apparatus and imaging apparatus |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020032322A Pending JP2020096367A (en) | 2020-02-27 | 2020-02-27 | Image processing apparatus and imaging apparatus |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024017628A Pending JP2024045470A (en) | 2020-02-27 | 2024-02-08 | Image processing apparatus and imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP2020096367A (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008017090A (en) | 2006-07-05 | 2008-01-24 | Casio Comput Co Ltd | Imaging apparatus and electronic zoom method |
JP2011159958A (en) | 2010-01-08 | 2011-08-18 | Sony Corp | Semiconductor device, solid-state imaging apparatus, and camera system |
JP2013051674A (en) | 2011-08-02 | 2013-03-14 | Canon Inc | Imaging device in which peripheral circuit is arranged and increase in chip area is suppressed, and imaging apparatus |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10224696A (en) * | 1997-01-31 | 1998-08-21 | Toshiba Corp | Solid-state image pickup element and image system using the solid-state image pickup element |
-
2020
- 2020-02-27 JP JP2020032322A patent/JP2020096367A/en active Pending
-
2022
- 2022-05-19 JP JP2022082085A patent/JP7435659B2/en active Active
-
2024
- 2024-02-08 JP JP2024017628A patent/JP2024045470A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008017090A (en) | 2006-07-05 | 2008-01-24 | Casio Comput Co Ltd | Imaging apparatus and electronic zoom method |
JP2011159958A (en) | 2010-01-08 | 2011-08-18 | Sony Corp | Semiconductor device, solid-state imaging apparatus, and camera system |
JP2013051674A (en) | 2011-08-02 | 2013-03-14 | Canon Inc | Imaging device in which peripheral circuit is arranged and increase in chip area is suppressed, and imaging apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2024045470A (en) | 2024-04-02 |
JP2020096367A (en) | 2020-06-18 |
JP2022107659A (en) | 2022-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2015041792A (en) | Image processing apparatus and imaging apparatus | |
US8576293B2 (en) | Multi-channel imager | |
KR100593575B1 (en) | Imaging device | |
KR102277599B1 (en) | Imaging element, control method, and imaging device | |
KR100798230B1 (en) | Imaging device, imaging method and computerreadable recording medium | |
KR101395433B1 (en) | Imaging device and imaging method | |
US8564685B2 (en) | Video signal capturing apparatus, signal processing and control apparatus, and video signal capturing, video signal processing, and transferring system and method | |
US11589059B2 (en) | Video compression apparatus, electronic apparatus, and video compression program | |
US20240031582A1 (en) | Video compression apparatus, electronic apparatus, and video compression program | |
KR20000011791A (en) | Signal processing apparatus, control method for signal processing apparatus, imaging apparatus and recording/reproducing apparatus | |
KR102413830B1 (en) | Imaging element and imaging apparatus | |
JP6669196B2 (en) | Imaging device and imaging device | |
JP7435659B2 (en) | Image sensor and imaging device | |
US20230328274A1 (en) | Video compression apparatus and video compression program | |
JP2006080860A (en) | Camera and camera image transfer system | |
JP4264602B2 (en) | Image processing device | |
CN102273188B (en) | Image capture device | |
US9979919B2 (en) | Solid-state imaging device and imaging system | |
JP2014093630A (en) | Image pickup processing device | |
KR100687454B1 (en) | Imaging apparatus and recording/reproducing apparatus | |
JP2008035307A (en) | Information processor | |
WO2020174978A1 (en) | Imaging device, method for processing image data of imaging device, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231019 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7435659 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |