JP7435659B2 - Image sensor and imaging device - Google Patents
Image sensor and imaging device Download PDFInfo
- Publication number
- JP7435659B2 JP7435659B2 JP2022082085A JP2022082085A JP7435659B2 JP 7435659 B2 JP7435659 B2 JP 7435659B2 JP 2022082085 A JP2022082085 A JP 2022082085A JP 2022082085 A JP2022082085 A JP 2022082085A JP 7435659 B2 JP7435659 B2 JP 7435659B2
- Authority
- JP
- Japan
- Prior art keywords
- image sensor
- image signal
- section
- unit
- substrate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 75
- 238000012545 processing Methods 0.000 claims description 110
- 230000005540 biological transmission Effects 0.000 claims description 84
- 239000000758 substrate Substances 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 230000000149 penetrating effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims 10
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 36
- 230000008054 signal transmission Effects 0.000 description 34
- 238000011156 evaluation Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 7
- 239000002131 composite material Substances 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 3
- 210000000746 body region Anatomy 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
本発明は、画像処理装置および撮像装置に関する。 The present invention relates to an image processing device and an imaging device.
画像信号を生成する撮像部の解像度等が向上するにつれて、撮像部から画像処理回路への画像信号伝送量も増加する（例えば、特許文献１参照）。
特許文献１ 特開２００８－２１９３１９号公報
As the resolution of an imaging unit that generates an image signal improves, the amount of image signal transmitted from the imaging unit to an image processing circuit also increases (see, for example, Patent Document 1).
Patent Document 1 Japanese Patent Application Publication No. 2008-219319
信号伝送路の容量を並列化により拡大する場合は、撮像部と画像処理回路の双方を並列信号伝送に対応させなくてはならない。このため、撮像装置の構成部品を大幅に変更しなければならない。 If the capacity of the signal transmission path is to be expanded by parallelization, both the imaging unit and the image processing circuit must be compatible with parallel signal transmission. Therefore, the components of the imaging device must be significantly changed.
本発明の第一態様においては、複数のフレームを含む原画像信号を撮像部から受信する原画像信号受信部と、原画像信号を参照して、原画像信号受信部が受信した原画像信号に含まれる複数のフレームのフレーム数よりも少ない数のフレームを含む送信画像信号を生成する送信画像信号生成部と、送信画像信号生成部が生成した送信画像信号を、信号伝送路を介して外部の画像処理回路に送信する送信画像信号送信部とを備える画像信号処理装置が提供される。 In the first aspect of the present invention, there is provided an original image signal receiving section that receives an original image signal including a plurality of frames from an imaging section, and an original image signal received by the original image signal receiving section with reference to the original image signal. A transmission image signal generation section that generates a transmission image signal that includes a frame number smaller than the number of frames included in the plurality of frames, and a transmission image signal generated by the transmission image signal generation section that is transmitted to an external device via a signal transmission path. An image signal processing device is provided that includes a transmission image signal transmitter that transmits to an image processing circuit.
本発明の第二態様においては、露光毎に原画像信号を生成する撮像部と、複数のフレームを含む原画像信号を撮像部から受信する原画像信号受信部と、原画像信号を参照して、原画像信号受信部が受信した原画像信号に含まれる複数のフレームのフレーム数よりも少ない数のフレームを含む送信画像信号を生成する送信画像信号生成部と、送信画像信号生成部が生成した送信画像信号を、信号伝送路を介して外部の画像処理回路に送信する送信画像信号送信部とを備える画像信号処理ユニットが提供される。 In the second aspect of the present invention, there is provided an imaging unit that generates an original image signal for each exposure, an original image signal receiving unit that receives an original image signal including a plurality of frames from the imaging unit, and an original image signal that refers to the original image signal. , a transmission image signal generation unit that generates a transmission image signal including a frame number smaller than the number of frames included in the original image signal received by the original image signal reception unit; An image signal processing unit is provided that includes a transmission image signal transmitter that transmits a transmission image signal to an external image processing circuit via a signal transmission path.
本発明の第三態様においては、上記画像信号処理ユニットを備える撮像装置が提供される。 In a third aspect of the present invention, there is provided an imaging device including the image signal processing unit described above.
上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。これらの特徴群のサブコンビネーションも発明となり得る。 The above summary of the invention is not an exhaustive list of all necessary features of the invention. Subcombinations of these features may also constitute inventions.
発明の実施の形態を通じて本発明を説明する。下記の実施形態は、特許請求の範囲に係る発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 The present invention will be explained through embodiments of the invention. The embodiments described below do not limit the claimed invention. Not all combinations of features described in the embodiments are essential to the solution of the invention.
図１は、撮像装置１００のブロック図である。撮像装置１００は、撮像部１２０、画像信号処理装置２００、システム制御部１４０および画像処理部１５０を備える。
FIG. 1 is a block diagram of an
撮像部１２０は、光学系１１０を通じて入射した被写界光を受光して電気信号に変換する撮像素子を含み、撮像素子が露光される毎に生じるフレームに対応した原画像信号を生成する。光学系１１０は、複数のレンズの他、絞り、シャッタ、光学フィルタ等の光学部材を含む。
The
撮像部１２０の撮像素子としては、ＣＭＯＳセンサ、ＣＣＤセンサ等を用いることができる。また、撮像素子は、複数のＡ／Ｄコンバータ等をデバイス内部に備えて並列読み出しを行い、高解像度且つ高フレームレートで画像信号を出力できる。なお、撮像部１２０の撮像素子がベイヤー配列等のカラーフィルタを有する場合に撮像部１２０が出力する原画像信号は、色毎に画素を補完する前の画像信号であってもよい。
As the imaging element of the
画像信号処理装置２００は、原画像信号受信部２１０、送信画像信号生成部２０１、フレームメモリ２３０および送信画像信号送信部２４０を有する。原画像信号受信部２１０は、撮像部１２０が生成した、複数のフレームを含む原画像信号を取得する。
The image
なお、撮像素子が例えば２０メガピクセルの解像度と、２４０ＦＰＳの読出速度とを有する場合、撮像部１２０から画像信号処理装置２００に向かって出力される原画像信号の出力ビットレートは５７．６Ｇｂｐｓ以上にも及ぶ。これに対して、画像信号処理装置２００における原画像信号受信部２１０は、例えば、４８チャンネルの多並列信号線路を通じて撮像部１２０に結合される。これにより、信号伝送路におけるチャンネル当たりの信号速度は低減され、撮像部１２０と原画像信号受信部２１０とをフレキシブルケーブルにより結合できる。
Note that when the image sensor has a resolution of 20 megapixels and a readout speed of 240 FPS, for example, the output bit rate of the original image signal output from the
送信画像信号生成部２０１は、取得した原画像信号を処理して送信画像信号を生成する。送信画像信号は、画像信号をフレーム単位で含む。送信画像信号生成部２０１における処理については、他の図を参照して後述する。
The transmission image
フレームメモリ２３０は、随時読み書きができるＤＲＡＭを含み、送信画像信号生成部２０１の作業領域となる。よって、フレームメモリ２３０は、少なくとも複数フレーム分の画像信号を格納し得る容量を有する。
The
送信画像信号送信部２４０は、送信画像信号生成部２０１が生成した送信画像信号を、画像信号処理装置２００の外部に配された画像処理部１５０に送信する。なお、原画像信号受信部２１０、送信画像信号生成部２０１および送信画像信号送信部２４０は、共通の汎用プロセッサにおいて実行されるプログラムとして実装される場合もある。
The transmission image
送信画像信号送信部２４０が出力する送信画像信号は、画像信号処理装置２００に対して外部に配された信号伝送路１３０を通じて、画像処理部１５０が受信できる信号形式で送信される。信号伝送路１３０は、例えば、画像信号処理装置２００と画像処理部１５０とを結合するフレキシブル基板、プリント基板上のプリント配線、ワイヤ等により形成される。
The transmission image signal outputted by the transmission image
撮像装置１００における画像処理部１５０は、画像信号の補間処理、圧縮処理、縮小処理等を実行する。また、画像処理部１５０は、処理した画像信号を、ＪＰＥＧ形式等、予め定められたファイルフォーマットに従って画像ファイル化する。これにより、処理された送信画像信号は、例えば、表示部１８０にスルー画等として表示される。また、画像処理部１５０に処理された送信画像信号は、二次記録媒体１９０に画像ファイルとして格納される。
The
ワークメモリ１６０は、随時読み書きができるＤＲＡＭを含み、画像処理部１５０の作業領域となる。よって、ワークメモリ１６０は、少なくとも複数フレーム分の画像信号を格納し得る容量を有する。
The
システム制御部１４０は、撮像部１２０、画像信号処理装置２００および画像処理部１５０の動作を包括的に制御する。即ち、システム制御部１４０は、シャッタボタン、コマンドダイヤル等の操作部材１７０が外部から操作された場合に、例えば、撮像部１２０における原画像信号のフレームレートを変更することにより、操作に応じた動作を撮像部１２０に実行させる。
The system control unit 140 comprehensively controls the operations of the
また、システム制御部１４０は、撮像部１２０から画像信号処理装置２００への原画像信号の受け渡し、画像信号処理装置２００から画像処理部１５０への送信画像信号の受け渡し等の通信制御も司る。更に、画像信号処理装置２００および画像処理部１５０の各々における内部処理も、システム制御部１４０の制御の下に実行される。なお、システム制御部１４０および画像処理部１５０は、共通のＡＳＩＣにおいて実行されるプログラムとして実装されてもよい。
The system control unit 140 also controls communications such as the delivery of original image signals from the
図２は、送信画像信号生成部２０１の一例を示すブロック図である。送信画像信号生成部２０１は、切替回路２２１、バイパス回路２２２および本回路２２３を有する。更に、本回路２２３は、リサイズ回路２２４、アライメント検出回路２２５、アライメント調整回路２２６およびフレーム合成回路２２７を含む。
FIG. 2 is a block diagram showing an example of the transmission image
切替回路２２１は、システム制御部１４０からの指示により、原画像信号受信部２１０が受信した複数、例えば２つのフレーム３０１、３０２を含む画像信号を、バイパス回路２２２および本回路２２３のいずれかに選択的に結合する。入力がバイパス回路２２２に結合された場合、原画像信号は、バイパス回路２２２を通じて、送信画像信号送信部２４０に直結される。よって、この場合は、原画像信号受信部２１０が受信した原画像信号が、そのまま送信画像信号送信部２４０に伝達される。
The
切替回路２２１が、入力を本回路２２３に結合した場合、原画像信号は、リサイズ回路２２４およびアライメント調整回路２２６の両方に伝えられる。リサイズ回路２２４は、アライメント検出回路２２５が、複数フレーム３０１、３０２の画像信号における像の位置ずれを検出できる範囲で、原画像信号の解像度が低減される。これにより、アライメント検出回路２２５は、原画像信号におけるフレーム相互の像の位置ずれを高速に検出できる。
When switching
アライメント検出回路２２５は、フレーム相互における像の位置ずれを検出して、検出結果をアライメント調整回路２２６に通知する。アライメント調整回路２２６は、アライメント検出回路２２５から取得した検出結果に基づいてフレーム毎に像の位置を調整し、フレーム相互の位置ずれを解消させる。フレーム合成回路２２７は、位置ずれが解消された複数のフレームを合成することにより、雑音を抑圧したひとつの画像の画像信号を生成する。ここで、画像信号の合成方法としては、加算平均法を例示できるが、この方法に限られるわけではない。
The
こうして生成された単一フレームの画像信号は、送信画像信号として、送信画像信号送信部２４０に送信される。送信画像信号送信部２４０は、２フレーム分の原画像信号から生成された１フレーム分の送信画像信号を、信号伝送路１３０を通じて画像処理部１５０に送信する。
The single frame image signal generated in this way is transmitted to the transmission
このように、画像信号処理装置２００は、複数フレーム分の原画像信号を参照して、より少ないフレーム数の送信画像信号を生成して画像処理部１５０に送信する。これにより、信号伝送路１３０における信号速度を低減でき、信号伝送路１３０の伝送速度、および、画像処理部１５０の処理速度よりも高速な読出速度を有する撮像素子が導入された場合であっても、既存の信号伝送路１３０および画像処理部１５０を使用できる。
In this way, the image
また、送信画像信号生成部２０１において雑音の抑圧処理が既に実行されているので、画像処理部１５０における画像処理の負荷を低減できる。なお、複数フレームの原画像信号から生成された送信画像信号は、画素数、ビット深度等が削減または抑圧されているわけではない。よって、送信画像信号は、撮像部１２０により撮像された原画像信号の品質を保っている。
Furthermore, since noise suppression processing has already been performed in the transmission image
上記の例では、送信画像信号生成部２０１が、２つのフレーム３０１、３０２の画像信号から１つのフレーム３０３を生成するように記載した。しかしながら、送信画像信号生成部２０１は、撮影素子から時間的に連続したＮ（Ｎは２以上の整数）枚のフレームを含む原画像信号を受信し、Ｎよりも少ないＭ（Ｍは１以上の整数）枚のフレームを含む送信画像信号を生成すればよく、上記の枚数に限定されるわけではない。
In the above example, the transmission image
図３は、システム制御部１４０による切替回路２２１の制御手順を示す流れ図である。システム制御部１４０は、撮像装置１００の動作モードに応じて、撮像部１２０における撮像素子の読出速度を変更させる制御を実行する。なお、撮像装置１００の動作モードとは、例えば、ライブビューモード、静止画撮影モード、動画撮影モード等、ユーザが予め選択した動作モードを含む。システム制御部１４０は、設定された動作モードに応じて、出力する原画像信号のフレームレートを撮像部１２０に指示する。
FIG. 3 is a flowchart showing a control procedure for the
ここで、システム制御部１４０が指示したフレームレートが予め設定された閾値以下である場合（ステップＳ１０１：ＮＯ）、システム制御部１４０は、切替回路２２１をバイパス回路２２２側に切り替える（ステップＳ１０２）。これにより、原画像信号受信部２１０が受信した原画像信号は、そのまま送信画像信号送信部２４０に伝達され、画像処理部１５０に送信される。
Here, if the frame rate instructed by the system control unit 140 is less than or equal to the preset threshold (step S101: NO), the system control unit 140 switches the
また、システム制御部１４０が設定した読出速度が予め設定された閾値を超えた場合（ステップＳ１０１：ＹＥＳ）、システム制御部１４０は、切替回路２２１を本回路２２３側に切り替える（ステップＳ１０３）。これにより、送信画像信号生成部２０１は、原画像信号受信部２１０が受信した複数フレームの原画像信号から、より少ないフレーム数の送信画像信号を生成して、送信画像信号送信部２４０から画像処理部１５０に送信する。
Further, when the read speed set by the system control unit 140 exceeds a preset threshold (step S101: YES), the system control unit 140 switches the
ここで、システム制御部１４０が切替回路２２１を切り替える閾値は、例えば、信号伝送路１３０により伝送される送信画像信号のフレームレートの限界により決定される。即ち、撮像部１２０が出力する原画像信号のフレームレートは、システム制御部１４０による制御に従って変化する。
Here, the threshold value at which the system control unit 140 switches the
撮像部１２０が出力する原画像信号のフレームレートが、フレキシブル基板等を用いて形成した信号伝送路１３０を通じて伝送できる速度よりも速い場合、システム制御部１４０は、切替回路２２１を本回路２２３側に切り替える。これにより、信号伝送路１３０を通じて送信される送信画像信号のフレームレートを、信号伝送路１３０を通じて伝送できるフレームレートまで低減される。
If the frame rate of the original image signal output by the
撮像部１２０が出力する原画像信号のフレームレートが、フレキシブル基板等を用いて形成した信号伝送路１３０を通じて伝送できる速度よりも遅い場合、システム制御部１４０は、切替回路２２１を、バイパス回路２２２側に切り替える。これにより、送信画像信号生成部２０１は、原画像信号を処理することなく、そのまま、送信画像信号として信号伝送路１３０に送出する。
If the frame rate of the original image signal output by the
また、システム制御部１４０が切替回路２２１を切り替える閾値は、画像処理部１５０が処理できるフレームレートの上限に応じて決定してもよい。これにより、撮像部１２０が出力する原画像信号のフレームレートにかかわらず、処理できる範囲のフレームレートの送信画像信号が画像処理部１５０に送信される。
Further, the threshold value at which the system control unit 140 switches the
なお、送信画像信号生成部２０１が原画像信号を処理しない場合は、フレームメモリ２３０は使用されていない。よって、フレームメモリ２３０を、動画撮影中に撮影した静止画等を格納する等のバッファメモリとして利用してもよい。
Note that when the transmission image
図４は、撮像部１２０および画像信号処理装置２００の実装形態を例示する模式図である。図示の例において、送信画像信号生成部２０１を含む画像信号処理装置２００が実装された基板２５０は、撮像素子１２２を含む撮像部１２０が実装された基板１２１の直近に隣接して配される。これにより、多並列化信号線路を形成して一対の基板１２１、２５０を結合するフレキシブルケーブル１２４の寸法を短縮して、伝送される原画像信号の減衰を抑制できる。
FIG. 4 is a schematic diagram illustrating an implementation form of the
なお、画像信号処理装置２００から出力される送信画像信号も、フレキシブルケーブル１３１により送信される。ただし、撮像素子１２２を含む撮像部１２０は、光学系１１０に対する光学的な条件により配置できる場所が制限される。一方、画像処理部１５０は、回路規模が大きく、撮像装置１００における配置が制限される。このため、画像処理部１５０に結合される信号伝送路１３０を形成するフレキシブルケーブル１３１の長さは、撮像部１２０に結合されたフレキシブルケーブル１２４よりも長くなる場合が多い。
Note that the transmission image signal output from the image
しかしながら、送信画像信号生成部２０１を用いることにより、例えば、２４０ＦＰＳの読出速度を有する撮像素子を用いて、雑音が抑圧された６０ＦＰＳの信号を、多並列化されていない信号伝送路１３０と、多並列Ｉ／Ｏ回路のない画像処理回路を用いて処理できる。また、画像処理部１５０が受信する送信画像信号は、画像信号処理装置２００において、一部の画像処理を既に実行されているので、画像処理部１５０における負荷が軽減される。
However, by using the transmission image
なお、上記の例では、基板１２１、２５０の間をフレキシブルケーブルにより結合した。しかしながら、プリント基板、ワイヤ等、他の部材を用いて結合してもよいことはもちろんである。
In addition, in the above example, the
図５は、撮像部１２０および画像信号処理装置２００の他の実装形態を例示する模式図である。図示の例においては、画像信号処理装置２００が、撮像素子１２２を含む撮像部１２０が実装された基板１２１に実装される。これにより、撮像部１２０および原画像信号受信部２１０を、フレキシブルケーブルを用いることなく結合して、原画像信号の減衰を抑制できる。
FIG. 5 is a schematic diagram illustrating another implementation form of the
また、撮像部１２０および画像信号処理装置２００を一体的に取り扱うことにより、高い読み出し速度を有する撮像部１２０を、読み出し速度の低い旧来の撮像部１２０と同じように取り扱うことができる。これにより、読み出し速度の高い撮像部１２０の利点を、低い開発コストで利用できる。
Further, by handling the
図６は、撮像部１２０および画像信号処理装置２００のまた他の実装形態を例示する模式的断面図である。図示の例において、画像信号処理装置２００が実装された基板２５０は、撮像素子１２２を含む撮像部１２０が実装された基板１２１に対して積層されている。また、基板２５０上の画像信号処理装置２００は、基板１２１を貫通して形成された複数のビア１２６を通じて撮像部１２０に電気的に結合される。これにより、撮像部１２０および原画像信号受信部２１０の間の信号伝送路は極限まで短縮され、原画像信号の減衰をいっそう抑制できる。
FIG. 6 is a schematic cross-sectional view illustrating another implementation form of the
また、基板２５０を基板１２１に積層することにより、撮像部１２０と画像信号処理装置２００とを備えた撮像ユニットを、単独の撮像部１２０と殆ど変わらない空間に実装できる。よって、高い読み出し速度を有する撮像部１２０を、撮像装置１００の規模を拡大することなく、旧来の撮像部１２０と同じように取り扱うことができる。
Further, by stacking the
なお、上記の例では、基板１２１、２５０の間をビア１２６により結合した。しかしながら、ボンディングワイヤ、バンプ等の他の部材を用いて結合してもよいことはもちろんである。
Note that in the above example, the
図７は、撮像部１２０および画像信号処理装置２００の更に他の実装形態を例示する模式的断面図である。図示の例において、画像信号処理装置２００が実装された基板２５０は、裏面照射型の撮像部１２０に対して積層されている。
FIG. 7 is a schematic cross-sectional view illustrating still another implementation form of the
即ち、撮像部１２０は、互いに積層された受光基板１２３および論理基板１２５を有する。受光基板１２３は、研磨により薄化された基板１２１の裏面から被写界光を受光して電気信号に変換する。論理基板１２５は、受光基板１２３において生成された電気信号をデジタル化するアナログ／デジタルコンバータ等の論理回路１２８が実装され、原画像信号を生成する。
That is, the
受光基板１２３と論理基板１２５は、個別に作製された上で相互に積層して貼り合わされる。また、受光基板１２３の撮像素子１２２と論理基板１２５の論理回路１２８とは、受光基板１２３を厚さ方向に貫通して形成されたビア１２６等を通じて結合される。
The light-receiving
画像信号処理装置２００が形成された基板２５０は、上記した撮像部１２０の受光基板１２３および論理基板１２５とは別に作製され、撮像部１２０の論理基板１２５に対して更に積層して貼り合わされる。基板２５０上の画像信号処理装置２００は、論理基板１２５を厚さ方向に貫通して形成された複数のビア１２７等を通じて、論理基板１２５に実装された論理回路１２８に電気的に結合される。このような構造により、撮像素子１２２から論理回路１２８を通じて原画像信号受信部２１０に至る信号伝送路は極限まで短縮され、原画像信号の減衰が抑制される。
The
なお、上記の例では、受光基板１２３、論理基板１２５および基板２５０の間をビア１２６により結合した。しかしながら、ボンディングワイヤ、バンプ等の他の部材を用いて結合してもよいことはもちろんである。
Note that in the above example, the
図８は、送信画像信号生成部２０１に換えて使用できる他の送信画像信号生成部２０２のブロック図である。送信画像信号生成部２０２は、切替回路２２１、バイパス回路２２２および本回路２２３を有する。更に、本回路２２３は、合成マップ生成回路２６１、フレーム合成回路２６２、動体領域抽出回路２６３および動体領域置換回路２６４を含み、いわゆるＨＤＲ合成（Ｈｉ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｉｍａｇｉｎｇ）処理を実行する。
FIG. 8 is a block diagram of another transmission image signal generation section 202 that can be used in place of the transmission image
切替回路２２１は、システム制御部１４０からの指示により、原画像信号受信部２１０が受信した複数のフレーム３１１、３１２、３１３を含む原画像信号を、バイパス回路２２２および本回路２２３のいずれかに選択的に結合する。切替回路２２１の結合先の選択は、先に説明した送信画像信号生成部２０１の場合と同様に、原画像信号受信部２１０が受信した原画像信号のフレームレートの多寡により決定される。
The
即ち、原画像信号のフレームレートが、信号伝送路１３０の帯域で伝送できる範囲に含まれており、且つ、画像処理部１５０により処理できる範囲に含まれている場合、切替回路２２１は、原画像信号受信部２１０をバイパス回路２２２に結合する。これにより、原画像信号は、そのまま送信画像信号として、送信画像信号送信部２４０から送信される。
That is, if the frame rate of the original image signal is included in the range that can be transmitted in the band of the
また、原画像信号のフレームレートが、信号伝送路１３０の帯域で伝送できる範囲を超えている場合、あるいは、画像処理部１５０により処理できる範囲を超えている場合、切替回路２２１は、原画像信号受信部２１０を本回路２２３に結合する。これにより、原画像信号は、合成マップ生成回路２６１および動体領域抽出回路２６３の両方に伝えられる。
Furthermore, if the frame rate of the original image signal exceeds the range that can be transmitted in the band of the
合成マップ生成回路２６１は、表示装置のダイナミックレンジを最大限に活かすべく、複数のフレーム３１１、３１２、３１３を合成する割合を算出する。フレーム合成回路２６２は、合成マップ生成回路２６１により算出された割合に従って、複数のフレーム３１１、３１２、３１３を合成して、単一のフレーム３１４を生成する。これにより、ダイナミックレンジを有効に利用して表現された単一のフレーム３１４が生成される。
The composite
ただし、複数のフレーム３１１、３１２、３１３において移動した被写体に関しては、画像の輝度を合成した場合に、輪郭がぼけてしまう。そこで、動体領域抽出回路２６３が、複数のフレーム３１１、３１２、３１３相互の間で移動した被写体を含む領域を抽出し、動体領域置換回路２６４が、生成されたフレーム３１４において、動体領域を鮮明な像に置換する。これにより、フレーム３１４は、ダイナミックレンジを有効に利用し、且つ、被写体の輪郭が鮮明な画像となる。
However, for a subject that has moved in
このように、送信画像信号生成部２０２を備えた画像信号処理装置２００は、フレーム毎に撮像する場合の露出条件が異なる複数のフレームを合成して、表示装置のダイナミックレンジを最大限に活かせる単一の画像を合成する。よって、ＨＤＲ合成処理を実行する送信画像信号生成部２０２は、複数フレームの原画像信号から、よりフレーム数の少ない送信画像信号を生成して画像処理部１５０に送り出すことができる。
In this way, the image
これにより、信号伝送路１３０の伝送速度、および、画像処理部１５０の処理速度よりも高速な読出速度を有する撮像素子が導入された場合であっても、既存の信号伝送路１３０および画像処理部１５０を使用できる。また、送信画像信号生成部２０１においてＨＤＲ合成処理が既に実行されているので、画像処理部１５０における画像処理の負荷が更に低減される。
As a result, even if an image sensor having a readout speed faster than the transmission speed of the
なお、切替回路２２１が原画像信号受信部２１０を本回路２２３に結合している場合は、原画像信号に対して常時ＨＤＲ合成処理が実行される。しかしながら、ユーザがＨＤＲ合成処理を望まない場合、送信画像信号生成部２０２は、他の処理により原画像信号のフレームレートを低減してもよい。
Note that when the
図９は、送信画像信号生成部２０１、２０２に換えて使用できるまた他の送信画像信号生成部２０３のブロック図である。送信画像信号生成部２０３は、切替回路２２１、バイパス回路２２２および本回路２２３を有する。更に、本回路２２３は、顔検出回路２７１、顔画像生成回路２７２、表情評価回路２７３およびフレーム選択回路２７４を含む。
FIG. 9 is a block diagram of another transmission image signal generation section 203 that can be used in place of the transmission image
切替回路２２１は、送信画像信号生成部２０１、２０２と同様に、システム制御部１４０からの指示により、原画像信号受信部２１０が受信した複数のフレーム３２１、３２２、３２３、３２４、３２５を含む画像信号を、バイパス回路２２２および本回路２２３のいずれかに選択的に結合する。入力がバイパス回路２２２に結合された場合、原画像信号は、バイパス回路２２２を通じて、送信画像信号送信部２４０に直結される。
Similar to the transmission image
切替回路２２１が、入力を本回路２２３に結合した場合、複数のフレーム３２１～３２５を含む原画像信号は、まず、顔検出回路２７１において、それぞれの画像に含まれる被写体としての顔を検出される。次いで、顔画像生成回路２７２は、検出された顔のそれぞれを画像化する。これにより、検出された顔の各々について、表情が画像に現れる。
When the
次に、表情評価回路２７３は、生成された顔画像のそれぞれにおいて表情の評価値を算出する。評価値としては、口角の形状による笑顔の検出を例示できる。また、検出された顔が撮像装置１００の方を向いていること、検出された画像において目が開いていること等、他の評価値を用いてもよい。更に、複数の評価値を参照して総合的な評価を算出してもよい。
Next, the facial
こうして、複数のフレーム３２１～３２５の各々に対して評価値が算出されると、フレーム選択回路２７４は、評価値の高いフレーム３２２のみを選択して送信画像信号を生成する。よって、画像処理部１５０には、評価値の高いフレーム３２２が送信され、ユーザの意図が反映されている確率が高い画像が画像処理部１５０により処理され、最終的に記録される。
When the evaluation value is calculated for each of the plurality of
なお、フレーム選択回路２７４により選択されるフレーム３２２は単一とは限らず、予め設定された閾値を超える複数のフレーム３２２が選択されてもよい。ただし、いずれの場合も、最終的に、送信画像信号に含まれるフレーム３２２のフレーム数は、原画像信号に含まれるフレーム数よりも少ない。よって、信号伝送路１３０の伝送速度、および、画像処理部１５０の処理速度よりも高速な読出速度を有する撮像素子が導入された場合であっても、既存の信号伝送路１３０および画像処理部１５０を使用できる。
Note that the
また、顔検出と笑顔による評価を例にあげて説明したが、他の選択基準によりフレームを選択できることはいうまでもない。画像信号処理装置２００は、動体追尾等により主要被写体を特定し、特定した主要被写体が画像全体に占める面積の割合が大きいこと、主要被写体が画像の中央に位置すること、画像における主要被写体の露出バランスが良好であること等、他の評価値により、あるいは、他の評価値も併せて、画像処理部１５０に送信するフレームを選択してもよい。
Further, although the description has been given using face detection and evaluation based on smiles as examples, it goes without saying that frames can be selected based on other selection criteria. The image
なお、切替回路２２１が原画像信号受信部２１０を本回路２２３に結合している場合は、上記のようなフレーム選択処理が常時実行される。しかしながら、ユーザがフレームの自動的な選択を望まない場合、送信画像信号生成部２０３は、他の処理により原画像信号のフレームレートを低減するようにしてもよい。
Note that when the
以上、本発明の実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 Although the embodiments of the present invention have been described above, the technical scope of the present invention is not limited to the range described in the above embodiments. It will be apparent to those skilled in the art that various changes or improvements can be made to the embodiments described above. It is clear from the claims that such modifications or improvements may be included within the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の語を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process, such as the operation, procedure, step, and stage in the apparatus, system, program, and method shown in the claims, specification, and drawings, is specifically defined as "before" or "before". It should be noted that they can be implemented in any order unless the output of the previous process is used in the subsequent process. Even if words such as "first" and "next" are used to explain the claims, specifications, and operational flows in the drawings for convenience, this does not mean that the operations must be performed in this order. It's not a thing.
１００ 撮像装置、１１０ 光学系、１２０ 撮像部、１２１、２５０ 基板、１２２ 撮像素子、１２３ 受光基板、１２４、１３１ フレキシブルケーブル、１２５ 論理基板、１２６、１２７ ビア、１２８ 論理回路、１３０ 信号伝送路、１４０ システム制御部、１５０ 画像処理部、１６０ ワークメモリ、１７０ 操作部材、１８０ 表示部、１９０ 二次記録媒体、２００ 画像信号処理装置、２１０ 原画像信号受信部、２０１、２０２、２０３ 送信画像信号生成部、２２１ 切替回路、２２２ バイパス回路、２２３ 本回路、２２４ リサイズ回路、２２５ アライメント検出回路、２２６ アライメント調整回路、２２７、２６２ フレーム合成回路、２３０ フレームメモリ、２４０ 送信画像信号送信部、２６１ 合成マップ生成回路、２６３ 動体領域抽出回路、２６４ 動体領域置換回路、２７１ 顔検出回路、２７２ 顔画像生成回路、２７３ 表情評価回路、２７４ フレーム選択回路、３０１、３０２、３０３、３１１、３１２、３１３、３１４、３２１、３２２、３２３、３２４、３２５ フレーム 100 imaging device, 110 optical system, 120 imaging unit, 121, 250 board, 122 imaging element, 123 light receiving board, 124, 131 flexible cable, 125 logic board, 126, 127 via, 128 logic circuit, 130 signal transmission path, 140 system control unit, 150 image processing unit, 160 work memory, 170 operating member, 180 display unit, 190 secondary recording medium, 200 image signal processing device, 210 original image signal receiving unit, 201, 202, 203 transmission image signal generation unit , 221 switching circuit, 222 bypass circuit, 223 main circuit, 224 resizing circuit, 225 alignment detection circuit, 226 alignment adjustment circuit, 227, 262 frame synthesis circuit, 230 frame memory, 240 transmission image signal transmission section, 261 synthesis map generation circuit , 263 moving body region extraction circuit, 264 moving body region replacement circuit, 271 face detection circuit, 272 face image generation circuit, 273 facial expression evaluation circuit, 274 frame selection circuit, 301, 302, 303, 311, 312, 313, 314, 321, 322, 323, 324, 325 frames
Claims (13)
前記受光部で生成されたアナログ信号をデジタル信号に変換する変換部と、
前記第１基板に積層する第２基板に設けられ、前記変換部から第１伝送速度で送られてきた信号を処理する第１処理部と、
前記第２基板に設けられ、前記第１処理部で処理された信号を前記第１伝送速度よりも低減した第２伝送速度で出力する出力部と、
を備える撮像素子。 a light receiving section provided on the first substrate and configured to receive light and generate a signal;
a conversion unit that converts the analog signal generated by the light receiving unit into a digital signal;
a first processing section that is provided on a second substrate stacked on the first substrate and processes a signal sent from the conversion section at a first transmission rate ;
an output section provided on the second substrate and outputting the signal processed by the first processing section at a second transmission speed lower than the first transmission speed;
An image sensor comprising:
前記第１処理部は、前記変換部で変換された信号に基づく画像データを生成し、
前記出力部は、前記第１処理部で生成された画像データを出力する撮像素子。 The image sensor according to claim 1,
The first processing unit generates image data based on the signal converted by the conversion unit ,
The output unit is an image sensor that outputs the image data generated by the first processing unit.
前記第１処理部は、前記変換部で変換された信号に基づく画像データを加算し、
前記出力部は、前記第１処理部で加算された画像データを出力する撮像素子。 The image sensor according to claim 1 or 2,
The first processing unit adds image data based on the signal converted by the conversion unit ,
The output unit is an image sensor that outputs the image data added by the first processing unit.
前記第１処理部は、前記変換部で変換された信号に基づく画像の解像度を低減した画像データを生成し、
前記出力部は、前記第１処理部で解像度が低減された画像データを出力する撮像素子。 The image sensor according to any one of claims 1 to 3,
The first processing unit generates image data with reduced resolution of an image based on the signal converted by the conversion unit ,
The output unit is an image sensor that outputs image data whose resolution has been reduced by the first processing unit.
前記第１処理部は、前記変換部で変換された信号に基づく画像から、動体検出および顔検出の少なくとも１方を行う撮像素子。 The image sensor according to any one of claims 1 to 4,
The first processing section is an image sensor that performs at least one of moving object detection and face detection from an image based on the signal converted by the conversion section .
前記出力部は、前記受光部から前記第２伝送速度以下で信号が送られてきた場合、前記第２伝送速度以下で信号を出力する撮像素子。 The image sensor according to any one of claims 1 to 5,
The output unit is an image sensor that outputs a signal at a rate lower than the second transmission rate when a signal is sent from the light receiving unit at a rate lower than the second transmission rate.
前記第１処理部が前記変換部で変換された信号を処理するための記憶部を備える撮像素子。 The image sensor according to any one of claims 1 to 6,
An image sensor including a storage section for the first processing section to process the signal converted by the conversion section .
前記変換部から前記第１伝送速度で送られてきた信号を受信する受信部を備え、 comprising a receiving section that receives a signal sent from the converting section at the first transmission rate,
前記第１処理部は、前記受信部で受信された信号を処理する撮像素子。 The first processing section is an image sensor that processes the signal received by the receiving section.
前記第１基板の周辺に設けれ、前記第１基板を貫通し、受光部と前記第１処理部とを電気的に接続するための貫通電極を備える撮像素子。 The image sensor according to any one of claims 1 to 8,
An image sensor including a through electrode provided around the first substrate, penetrating the first substrate, and electrically connecting a light receiving section and the first processing section.
前記変換部は、前記第２基板に設けられる撮像素子。 The conversion unit is an image sensor provided on the second substrate.
前記変換部は、前記第１基板と前記第２基板との間に設けられた第３基板に設けられる撮像素子。 The image sensor according to any one of claims 1 to 9 ,
The conversion unit is an image sensor provided on a third substrate provided between the first substrate and the second substrate .
前記第３基板の周辺に設けれ、前記第３基板を貫通し、前記第１処理部と前記変換部とを電気的に接続するための貫通電極を備える撮像素子。 The image sensor according to claim 11 ,
An image sensor including a through electrode provided around the third substrate, penetrating the third substrate, and electrically connecting the first processing section and the conversion section .
前記撮像素子から出力された信号に基づいて、画像データを生成する生成部と、
を備える撮像装置。 An image sensor according to any one of claims 1 to 12,
a generation unit that generates image data based on the signal output from the image sensor;
An imaging device comprising:
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022082085A JP7435659B2 (en) | 2020-02-27 | 2022-05-19 | Image sensor and imaging device |
| JP2024017628A JP2024045470A (en) | 2020-02-27 | 2024-02-08 | Image processing apparatus and imaging apparatus |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020032322A JP2020096367A (en) | 2020-02-27 | 2020-02-27 | Image processing apparatus and imaging apparatus |
| JP2022082085A JP7435659B2 (en) | 2020-02-27 | 2022-05-19 | Image sensor and imaging device |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020032322A Division JP2020096367A (en) | 2020-02-27 | 2020-02-27 | Image processing apparatus and imaging apparatus |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024017628A Division JP2024045470A (en) | 2020-02-27 | 2024-02-08 | Image processing apparatus and imaging apparatus |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2022107659A JP2022107659A (en) | 2022-07-22 |
| JP2022107659A5 JP2022107659A5 (en) | 2022-12-28 |
| JP7435659B2 true JP7435659B2 (en) | 2024-02-21 |
Family
ID=71086270
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020032322A Pending JP2020096367A (en) | 2020-02-27 | 2020-02-27 | Image processing apparatus and imaging apparatus |
| JP2022082085A Active JP7435659B2 (en) | 2020-02-27 | 2022-05-19 | Image sensor and imaging device |
| JP2024017628A Pending JP2024045470A (en) | 2020-02-27 | 2024-02-08 | Image processing apparatus and imaging apparatus |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020032322A Pending JP2020096367A (en) | 2020-02-27 | 2020-02-27 | Image processing apparatus and imaging apparatus |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024017628A Pending JP2024045470A (en) | 2020-02-27 | 2024-02-08 | Image processing apparatus and imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (3) | JP2020096367A (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008017090A (en) | 2006-07-05 | 2008-01-24 | Casio Comput Co Ltd | Imaging apparatus and electronic zoom method |
| JP2011159958A (en) | 2010-01-08 | 2011-08-18 | Sony Corp | Semiconductor device, solid-state imaging apparatus, and camera system |
| JP2013051674A (en) | 2011-08-02 | 2013-03-14 | Canon Inc | Imaging device in which peripheral circuit is arranged and increase in chip area is suppressed, and imaging apparatus |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10224696A (en) * | 1997-01-31 | 1998-08-21 | Toshiba Corp | Solid-state image pickup element and image system using the solid-state image pickup element |
-
2020
- 2020-02-27 JP JP2020032322A patent/JP2020096367A/en active Pending
-
2022
- 2022-05-19 JP JP2022082085A patent/JP7435659B2/en active Active
-
2024
- 2024-02-08 JP JP2024017628A patent/JP2024045470A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008017090A (en) | 2006-07-05 | 2008-01-24 | Casio Comput Co Ltd | Imaging apparatus and electronic zoom method |
| JP2011159958A (en) | 2010-01-08 | 2011-08-18 | Sony Corp | Semiconductor device, solid-state imaging apparatus, and camera system |
| JP2013051674A (en) | 2011-08-02 | 2013-03-14 | Canon Inc | Imaging device in which peripheral circuit is arranged and increase in chip area is suppressed, and imaging apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024045470A (en) | 2024-04-02 |
| JP2020096367A (en) | 2020-06-18 |
| JP2022107659A (en) | 2022-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2015041792A (en) | Image processing apparatus and imaging apparatus | |
| US8576293B2 (en) | Multi-channel imager | |
| KR100593575B1 (en) | Imaging device | |
| KR102277599B1 (en) | Imaging element, control method, and imaging device | |
| KR100798230B1 (en) | Imaging device, imaging method and computerreadable recording medium | |
| KR101395433B1 (en) | Imaging device and imaging method | |
| US8564685B2 (en) | Video signal capturing apparatus, signal processing and control apparatus, and video signal capturing, video signal processing, and transferring system and method | |
| US11589059B2 (en) | Video compression apparatus, electronic apparatus, and video compression program | |
| US20240031582A1 (en) | Video compression apparatus, electronic apparatus, and video compression program | |
| KR20000011791A (en) | Signal processing apparatus, control method for signal processing apparatus, imaging apparatus and recording/reproducing apparatus | |
| KR102413830B1 (en) | Imaging element and imaging apparatus | |
| JP6669196B2 (en) | Imaging device and imaging device | |
| JP7435659B2 (en) | Image sensor and imaging device | |
| US20230328274A1 (en) | Video compression apparatus and video compression program | |
| JP2006080860A (en) | Camera and camera image transfer system | |
| JP4264602B2 (en) | Image processing device | |
| CN102273188B (en) | Image capture device | |
| US9979919B2 (en) | Solid-state imaging device and imaging system | |
| JP2014093630A (en) | Image pickup processing device | |
| KR100687454B1 (en) | Imaging apparatus and recording/reproducing apparatus | |
| JP2008035307A (en) | Information processor | |
| WO2020174978A1 (en) | Imaging device, method for processing image data of imaging device, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220524 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230816 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231019 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240122 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7435659 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |