JP2014220627A

JP2014220627A - 画像処理装置

Info

Publication number: JP2014220627A
Application number: JP2013098001A
Authority: JP
Inventors: 義宏小林; Yoshihiro Kobayashi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-05-07
Filing date: 2013-05-07
Publication date: 2014-11-20
Anticipated expiration: 2033-05-07
Also published as: JP6173022B2

Abstract

【課題】メモリと処理回路の半導体を積層した場合にも、貫通電極並びに動作ノイズの影響を受けにくく、互いのアクセス性能を最高性能で使用できる構成を実現する。
【解決手段】メイン基板に、画像処理用の複数の第１の集積回路が積層される。この複数の第１の集積回路に対して、それぞれがメモリを含む複数の第２の集積回路が更に積層される。複数の第１及び第２の集積回路のうち隣接する第１及び第２の集積回路が電気的に接続されて第１のペアを形成し、この第１のペアを挟む第１及び第２の集積回路が貫通電極を介して電気的に接続されて第２のペアを形成する。動画モードにおいては、第１のペアの第１の集積回路が第１のペアの第２の集積回路に供給するクロックの周波数が、第２のペアの第１の集積回路が第２のペアの第２の集積回路に供給するクロックの周波数よりも高くなるよう制御される。
【選択図】図３

Description

本発明は、画像処理装置に関する。

高速な連写機能を備えたデジタルカメラでは、撮像素子の高画素化等に伴い撮像素子から転送されるデータ量が急激に増大していることから、より高いメモリアクセス性能が要求される。このような連写機能を持つカメラは例えば特許文献１に開示されている。また、動画撮影機能を備えたデジタルカメラでは、リアルタイム性が要求されることから、静止画の連写機能以上に高いメモリアクセス性能が要求される。

一方、デジタルカメラ等の画像処理装置は、画像処理回路やメモリ等の半導体装置を備える。画像処理回路を有する半導体チップとメモリ等の半導体チップとを縦方向に積層することで実装面積を削減する構成が、特許文献２に開示されている。

特許第４２５０５１１号特開２００９−２７７３３４号公報

しかしながら、近年では、動画撮影中に静止画撮影を可能とする機能が搭載されており、より高いメモリアクセス性能と、複数の画像処理回路に対するより効率的な制御が要求されている。

また、複数の半導体チップを積層した場合に、チップ間接続容量の増加、積層チップ間を通過する際の動作ノイズ等により、伝搬遅延が増加する。

本発明は、これらの問題の少なくとも１つを解決する。例えば本発明は、メモリを含む集積回路チップと画像処理回路を含む集積回路チップとを積層した場合でも、貫通電極や動作ノイズの影響を受けにくく、互いのアクセス性能を最高性能で使用することのできる画像処理装置を提供する。

本発明の一側面によれば、メイン基板と、
それぞれが画像処理を行う回路であって、前記メイン基板に積層される複数の第１の集積回路と、それぞれが前記第１の集積回路による画像処理のために用いられるメモリを含む回路であって、前記第１の集積回路に対して、更に積層される複数の第２の集積回路と、動画データを処理する動画モードを含む複数のモードの一つを設定するモード設定手段と、前記モード設定手段により設定されたモードに応じて前記複数の第１の集積回路を制御する制御手段とを有し、前記複数の第１の集積回路及び前記複数の第２の集積回路のうち隣接する第１の集積回路と第２の集積回路とが電気的に接続されて第１のペアを形成するとともに、前記第１のペアを挟む第１の集積回路と第２の集積回路とが、前記第１のペアの第１の集積回路と第２の集積回路とにそれぞれ設けられた貫通電極を介して電気的に接続されて第２のペアを形成し、前記第１のペアの第１の集積回路が前記第１のペアの第２の集積回路にクロックを供給し、前記第２のペアの第１の集積回路が前記第２のペアの第２の集積回路にクロックを供給し、前記制御手段は、前記動画モードにおいて、前記第１のペアの第１の集積回路が前記第１のペアの第２の集積回路に供給するクロックの周波数を、前記第２のペアの第１の集積回路が前記第２のペアの第２の集積回路に供給するクロックの周波数よりも高くなるように制御することを特徴とする画像処理装置が提供される。

本発明によれば、メモリを含む集積回路チップと画像処理回路を含む集積回路チップとを積層した場合でも、貫通電極並びに動作ノイズの影響を受けにくく、互いのアクセス性能を最高性能で使用することのできる画像処理装置が提供される。

実施形態における撮像装置のブロック図。実施形態における画像処理回路のブロック図。実施形態における画像処理回路の積層方法を説明する図。実施形態における積層に伴う信号伝搬遅延を説明する図。実施形態における静止画処理状態を説明する図。実施形態における動画処理状態を説明する図。実施形態における静止画及び動画処理時のタイミングチャート。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。

図１は、本発明の実施形態における画像処理装置の一例である撮像装置１００の構成を示す図である。図１において、レンズユニット１０は、ズーム機構や絞り機構等を有する。撮像素子１２は、光学像を電気信号に変換する。撮像素子は例えばＣＣＤ素子で構成される。Ａ／Ｄ変換器１４は、撮像素子１２のアナログ出力信号をデジタル信号に変換する。タイミング発生回路１６は、撮像素子１２、Ａ／Ｄ変換器１４、Ｄ／Ａ変換器１８にクロック信号や制御信号を供給する。このタイミング発生回路１６は、システム制御回路７０により制御される。Ｄ／Ａ変換器１８は、画像処理回路から供給されたデジタル画像データをアナログ信号に変換する。表示パネル２０は、撮像装置１００の表示部としての機能を担い、例えばＬＣＤ等で構成される。メモリＢ４４又はメモリＡ５４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器１８を介して表示パネル２０に供給され、撮影した静止画像、動画像又はライブビュー画像が表示パネル２０上に表示される。

撮像装置１００はモードダイヤルスイッチ２２を備える。これにより使用者は、電源オフ、自動撮影モード、マニュアル撮影モード、パノラマ撮影モード、再生モード、動画モード、等の複数のモードの一つを設定することができる。シャッタースイッチ２４は、シャッターボタン２６の使用途中（半押し）で、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作の開始を指示する。

撮像装置１００の制御を司るシステム制御回路７０は、シャッターボタン２６の使用完了（全押し、即ち使用者指示）に応答して露光処理を実行する。システム制御回路７０は、露光処理として、撮像素子１２からの信号をＡ／Ｄ変換器１４によりデジタル信号への変換を指示し、得られたデジタル信号を画像処理回路Ｂ４０又は画像処理回路Ａ５０を介してメモリＢ４４又はメモリＡ５４に格納する。システム制御回路７０は、静止画撮影の指示があった場合は、撮影指示に応じた一画面の画像データを取得し、動画撮影開始の指示があった場合は、撮影開始の指示から撮影停止の指示までの間、動画データを取り込む。また、本実施形態では、動画撮影中に静止画撮影を行うことが可能である。その後、システム制御回路７０は、画像処理回路Ｂ４０又は画像処理回路Ａ５０に対して一連の撮影処理の開始を指示する。指示を受けた画像処理回路Ｂ４０又は画像処理回路Ａ５０は、現像処理、符号化処理等を行い、処理後の画像データを、カードＩ／Ｆ５６を介して記録媒体５８に書き込む記録処理等を行う。

撮像装置１００は更に、ズームレバー２８を備える。システム制御回路７０は、使用者によるズームレバー２８の操作に応じて、レンズユニット１０へのズーム動作の指示、あるいは、電子ズーム倍率の設定を行う。レンズ制御部３０は、システム制御回路７０の指示に従い、レンズユニット１０の焦点制御、ズーム制御、絞り値、シャッタースピードの制御等を行う。フラッシュ３２は、システム制御回路７０の指示に従いフラッシュ発光を行う。フラッシュ３２はまた、ＡＦ補助光の投光機能やフラッシュ調光機能も有する。

画像処理回路Ｂ４０及び画像処理回路Ａ５０はそれぞれ、Ａ／Ｄ変換器１４から出力されるデータに対して、ＲＯＭ−Ｂ４２又はＲＯＭ−Ａ５２に格納された情報に基づいて、色変換処理や画素補間処理等の現像処理を実施する。画像処理回路Ｂ４０及び画像処理回路Ａ５０は、メモリＢ４４又はメモリＡ５４に格納されたデータに対しても、同様の現像処理を実施することができる。画像処理回路Ｂ４０及び画像処理回路Ａ５０の他の処理については、後述する。

ＲＯＭ−Ｂ４２及びＲＯＭ−Ａ５２は、画像処理回路Ｂ４０及び画像処理回路Ａ５０が動作する際に参照する定数、変数等を記憶する。メモリＢ４４及びメモリＡ５４は、撮影した静止画像及び／又は動画像の画像処理や圧縮伸長時の処理のために必要なデータを記憶する。メモリＢ４４、メモリＡ５４はまた、表示画像データの書き込み領域としても使用される。メモリＢ４４、メモリＡ５４はいずれも、所定枚数の静止画像や所定時間の動画像を格納するに十分な記録容量を備えている。本実施形態において、画像処理回路Ｂ４０及び画像処理回路Ａ５０はそれぞれ、同一構成の画像処理用集積回路（ＩＣ）チップとして構成される。また、メモリＢ４４及びメモリＡ５４は、例えばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）であり、それぞれ一つの集積回路チップとして構成される。メモリＢ４４及びメモリＡ５４は、同一容量のメモリであってもよいし、異なる容量のメモリであっても構わない。

記録媒体５８は、撮影した静止画像及び／又は動画像データを記録するメモリカード等の記録媒体である。撮影した静止画像データや動画像データは、画像処理回路Ａ５０からカードＩ／Ｆ５６を介して記録媒体５８へと転送される。記録媒体５８は、半導体メモリや磁気ディスク等で構成され、撮像装置１００に内蔵されているものもあってもよいし、着脱可能に構成されているものであってもよい。

外部インターフェースである外部Ｉ／Ｆ６０は、撮影により得られた静止画像及び／又は動画像データを撮像装置１００の外部に転送する。外部Ｉ／Ｆ６０はまた、撮像装置１００の外部に保存された静止画像及び／又は動画像データを撮像装置１００に転送することも行う。外部Ｉ／Ｆ６０は例えば、ＵＳＢ又はワイヤレスＬＡＮ等により構成される。

システム制御回路７０は、上述したように、撮像装置１００の統括制御を行う。ＲＯＭ−Ｃ７２は、システム制御回路７０が動作する際に参照する定数、変数、プログラム等を記憶している。メモリＣ７４は、システム制御回路７０が動作する際に作業領域として使用される。電源制御部８０は、例えば電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成される。電源制御部８０は例えば、電池装着の有無、電池の種類及び電池残量を検出し、その検出結果及びシステム制御回路７０の指示に基づいてＤＣ−ＤＣコンバータを制御して、必要な電圧を必要な期間だけ各部に供給する。コネクタ８２は、電源制御部８０と電源部８４との接続を行う。電源部８４は、例えばアルカリ電池やリチウム電池等の一次電池、Ｌｉ電池等の二次電池、ＡＣアダプタ等で構成される。

図２は、本実施形態における画像処理回路Ｂ４０及び画像処理回路Ａ５０の詳細なブロック構成を示す図である。本実施形態において、画像処理回路Ｂ４０と画像処理回路Ａ５０は、同一構成の集積回路であるため、以下では代表的に画像処理回路Ａ５０の構成について説明する。画像処理回路Ｂ４０と画像処理回路Ａ５０は、半導体により構成される。制御部２００は、画像処理回路Ａ５０の制御を司る。制御部２００はＣＰＵを含み、ＲＯＭコントローラ２０４を介して受信したＲＯＭ−Ａ５２に格納された情報に基づいて、画像処理回路Ａ５０全体の動作制御を行う。クロック生成回路２０２は、制御部２００の指示に基づき、画像処理回路Ａ５０内部の各ブロックの動作に必要な周波数のクロックを生成し、各部に供給する。クロック生成回路２０２で生成されたクロックは、メモリコントローラ２０６を介してメモリＡ５４へも供給される。メモリコントローラ２０６は、制御部２００の指示に基づき、画像処理回路Ａ５０内部の各ブロックからメモリＡ５４に対するデータの書き込み、又は、メモリＡ５４から画像処理回路Ａ５０内部の各ブロックへのデータの読み出しを行う。

撮像インターフェース２０８は、撮像素子１２で撮像された信号をＡ／Ｄ変換器１４を介して高速に取り込む。撮像インターフェース２０８から取り込まれたデータは、メモリコントローラ２０６を介してメモリＡ５４に転送される。ディスプレイコントローラ２１０は、メモリＡ５４に書き込まれた画像データ及び／又はアイコン等のデータを、メモリコントローラ２０６を介して読み込み、Ｄ／Ａ変換器１８を介して表示パネル２０に送信する。チップ間通信インターフェース２１２は、画像処理回路Ｂ４０内部のチップ間通信インターフェース２１２と通信する。画像処理回路Ａ５０は、チップ間通信インターフェース２１２を介して、画像処理回路Ｂ４０で処理された画像データ等を取り込むことができる。

カードコントローラ２１４は、メモリＡ５４からメモリコントローラ２０６を介して読み込んだデータを、カードＩ／Ｆ５６を介して記録媒体５８へ転送する。カードコントローラ２１４はまた、記録媒体５８からカードＩ／Ｆ５６を介して読み込んだデータを、メモリコントローラ２０６を介してメモリＡ５４に転送する。外部通信インターフェース２１６は、メモリＡ５４からメモリコントローラ２０６を介して読み込んだデータを、外部Ｉ／Ｆ６０を介して撮像装置１００の外部に転送する。外部通信インターフェース２１６はまた、撮像装置１００の外部から外部Ｉ／Ｆ６０を介して読み込んだデータを、メモリコントローラ２０６を介してメモリＡ５４に転送する。

フォーカス検出回路２２０は、メモリＡ５４からメモリコントローラ２０６を介して読み込んだ単数又は複数フレームの画像データ又は撮像インターフェース２０８を介して取り込まれた画像データを参照して、オートフォーカスに必要な情報の抽出を行う。抽出結果は、メモリコントローラ２０６を介してメモリＡ５４に転送される。なお、抽出結果は直接、制御部２００からも参照できる。顔検出回路２２２は、メモリＡ５４からメモリコントローラ２０６を介して読み込んだ単数又は複数フレームの画像データ内に含まれる顔情報の抽出を行う。抽出結果は、メモリコントローラ２０６を介してメモリＡ５４に転送される。なお、抽出結果は直接、制御部２００からも参照できる。個人認証回路２２４は、顔検出回路２２２で抽出した顔情報が所定の個人の特徴に合致するか否かの認証処理を行う。認証結果は、メモリコントローラ２０６を介してメモリＡ５４に転送される。なお、認証結果は直接、制御部２００からも参照できる。笑顔検出回路２２６は、顔検出回路２２２で抽出した顔から笑顔の検出を行う。検出結果は、メモリコントローラ２０６を介してメモリＡ５４に転送される。なお、検出結果は直接、制御部２００からも参照できる。動き検出回路２２８は、メモリＡ５４からメモリコントローラ２０６を介して読み込んだ複数フレームの画像データを参照して、複数フレーム間で移動する被写体の動き検出を行う。検出結果はメモリコントローラ２０６を介してメモリＡ５４に転送される。なお、検出結果は直接、制御部２００からも参照できる。

現像処理回路２３０は、撮像インターフェース２０８及びメモリコントローラ２０６を介してメモリＡ５４に取り込まれた画像データに対して現像処理を行う。現像処理としては例えば、ホワイトバランス処理等の色補正、撮像素子１２の素子配列等に応じた輝度及び色差への補間処理等が含まれる。現像処理された画像データはメモリコントローラ２０６を介してメモリＡ５４に転送される。拡大縮小回路２３２は、現像処理回路２３０で現像された画像データ等をメモリＡ５４からメモリコントローラ２０６を介して読み込み、予め設定された記録サイズ又は表示パネルの出力解像度等に合わせて、拡大縮小処理を行う。拡大縮小処理された画像データはメモリコントローラ２０６を介してメモリＡ５４に転送される。静止画符号化回路２３６は、現像処理回路２３０及び拡大縮小回路２３２で処理された画像データをメモリＡ５４からメモリコントローラ２０６を介して読み込み、例えばＪＰＥＧ処理等の静止画符号化処理を行う。符号化されたデータは、メモリコントローラ２０６を介してメモリＡ５４に転送され、さらに、カードコントローラ２１４及びカードＩ／Ｆ５６を介して、記録媒体５８に転送される。動画符号化回路２３８は、現像処理回路２３０及び拡大縮小回路２３２で処理された単数又は複数の画像データをメモリＡ５４からメモリコントローラ２０６を介して読み込み、例えばＨ．２６４等の動画符号化処理を行う。符号化されたデータは、メモリコントローラ２０６を介してメモリＡ５４に転送され、さらに、カードコントローラ２１４及びカードＩ／Ｆ５６を介して記録媒体５８に転送する。

次に、図３を参照して、本実施形態における画像処理回路Ｂ４０、画像処理回路Ａ５０、メモリＢ４４及びメモリＡ５４の積層方法を説明する。同図には、積層されるこれらの集積回路と、Ａ／Ｄ変換器１４、Ｄ／Ａ変換器１８、カードＩ／Ｆ５６、ＲＯＭ−Ｂ４２及びＲＯＭ−Ａ５２との接続断面構造が示されている。本実施形態において、メイン基板３００には、積層された複数の第１の集積回路である画像処理回路Ａ５０及び画像処理回路Ｂ４０が搭載される。また、複数の第１の集積回路に対して、複数の第２の集積回路であるメモリＢ４４及びメモリＡ５４が更に積層される。メモリＢ４４及びメモリＡ５４はそれぞれ、画像処理回路Ｂ４０及び画像処理回路Ａ５０による画像処理のために用いられるメモリを含む回路である。

メイン基板３００は、メイン基板上に実装される半導体部品を接続するための配線パターンを有し、配線パターンのための複数の導体層と絶縁層とにより構成される。インターポーザー３１０は、半導体チップのＩＯ端子とメイン基板とを接続するための配線パターンを有し、配線パターンのための複数の導体層と絶縁層とにより構成される。ボール３０２は、各半導体チップのインターポーザー３１０とメイン基板３００とを電気的に接続するための球状の導体物で形成される。

複数のマイクロバンプ３１２、３１４、３１６、３１８は、半導体チップである画像処理回路Ａ５０とインターポーザー３１０とを電気的に接続するための微細な導体物で形成される。複数のマイクロバンプ３２０、３２２、３２４、３２６は、積層方向に隣接する画像処理回路Ｂ４０と画像処理回路Ａ５０とを電気的に接続する。複数のマイクロバンプ３３０は、積層方向に隣接する画像処理回路Ｂ４０とメモリＢ４４とを電気的に接続する。複数のマイクロバンプ３４０は、積層方向に隣接するメモリＢ４４とメモリＡ５４とを電気的に接続する。

複数の貫通電極３５０、３５２、３５４は、半導体チップである画像処理回路Ｂ４０及び画像処理回路Ａ５０の上面と下面とを、半導体チップ内部を経由して電気的に接続する。貫通電極は一般に、スルーシリコンビア（ＴｈｒｏｕｇｈＳｉｌｌｉｃｏｎＶｉａ、以下「ＴＳＶ」という。）と呼ばれる。複数のＴＳＶ３５６は、半導体チップであるメモリＢ４４及びメモリＡ５４の上面と下面とを、半導体チップ内部を経由して電気的に接続する。メモリＢ４４及びメモリＡ５４はそれぞれ、コントローラ・メモリセル３６０を有する。

上記したように、複数のマイクロバンプ３３０は、隣接する画像処理回路Ｂ４０とメモリＢ４４とを電気的に接続する。このマイクロバンプ３３０を介した電気的接続によって、画像処理回路Ｂ４０とメモリＢ４４とは第１のペアを形成する。具体的には、画像処理回路Ｂ４０のメモリコントローラ２０６は、マイクロバンプ３３０を介してメモリＢ４４のコントローラ・メモリセル３６０に接続される。

画像処理回路Ｂ４０のＲＯＭコントローラ２０４は、マイクロバンプ３２２、ＴＳＶ３５２、マイクロバンプ３１２、インターポーザー３１０、ボール３０２、及びメイン基板３００を介して、ＲＯＭ−Ｂ４２に接続される。画像処理回路Ｂ４０の撮像インターフェース２０８は、マイクロバンプ３２４、ＴＳＶ３５４、マイクロバンプ３１４、インターポーザー３１０、ボール３０２、及びメイン基板３００を介して、Ａ／Ｄ変換器１４に接続される。画像処理回路Ｂ４０及び画像処理回路Ａ５０のチップ間通信インターフェース２１２はそれぞれ、マイクロバンプ３２６を介して互いに接続される。

第１のペアを挟む画像処理回路Ａ５０とメモリＡ５４とは、第１のペアを貫通する貫通電極を介して電気的に接続されて第２のペアを形成する。具体的には、画像処理回路Ａ５０のメモリコントローラ２０６は、マイクロバンプ３２０、ＴＳＶ３５０、マイクロバンプ３３０、ＴＳＶ３５６、及びマイクロバンプ３４０を介して、メモリＡ５４のコントローラ・メモリセル３６０に接続される。

画像処理回路Ａ５０のＲＯＭコントローラ２０４は、マイクロバンプ３１２、インターポーザー３１０、ボール３０２、及びメイン基板３００を介して、ＲＯＭ−Ａ５２に接続される。画像処理回路Ａ５０の撮像インターフェース２０８は、マイクロバンプ３１４、インターポーザー３１０、ボール３０２、及びメイン基板３００を介して、Ａ／Ｄ変換器１４に接続される。画像処理回路Ａ５０のカードコントローラ２１４は、マイクロバンプ３１６、インターポーザー３１０、ボール３０２、及びメイン基板３００を介して、カードＩ／Ｆ５６に接続される。画像処理回路Ａ５０のディスプレイコントローラ２１０は、マイクロバンプ３１８、インターポーザー３１０、ボール３０２、及びメイン基板３００を介して、Ｄ／Ａ変換器１８に接続される。

次に、画像処理回路Ａ５０とメモリＡ５４との接続関係に係る電気的特性と、画像処理回路Ｂ４０とメモリＢ４４との接続関係に係る電気的特性の違いに伴う信号伝搬特性の違いを、図４を用いて説明する。

図４（ａ）は、画像処理回路Ｂ４０からメモリＢ４４に供給するクロック信号線について、チップ間の接続容量に着目した等価回路である。図３に示されるように、画像処理回路Ｂ４０とメモリＢ４４とは、マイクロバンプ３３０により接続される。この間のメモリアクセスに影響する容量性負荷Ｃ＿Ｂは、それぞれの半導体チップの入力容量を除くとマイクロバンプとの接続に関わる容量性負荷のみであるので、
Ｃ＿Ｂ＝Ｃ３３０
となる。

一方、図４（ｂ）は、画像処理回路Ａ５０からメモリＡ５４に供給するクロック信号線について、チップ間の接続容量に着目した等価回路である。図３に示されるように、画像処理回路Ａ５０とメモリＡ５４とは、マイクロバンプ３２０、ＴＳＶ３５０、マイクロバンプ３３０、ＴＳＶ３５６、及びマイクロバンプ３４０を介して接続される。この間のメモリアクセスに影響する容量性負荷Ｃ＿Ａは、それぞれの半導体チップの入力容量を除くと各マイクロバンプ及び各ＴＳＶ接続に関わる容量性負荷の総和になるので、
Ｃ＿Ａ＝Ｃ３２０＋Ｃ３５０＋Ｃ３３０＋Ｃ３５６＋Ｃ３４０
となる。

図４（ｃ）は、容量性負荷Ｃ＿Ｂ及びＣ＿Ａに伴う信号の伝搬遅延の違いを模式的に示すものである。容量性負荷の充放電にかかる時間（Ｔａ、Ｔｂ）は、単純に容量性負荷の大きさに比例する。この充放電にかかる時間に対してメモリアクセスにかかる信号の周波数が高すぎる場合には、十分な振幅で動作させることができない。このため、このような場合には、メモリアクセスにかかる波形品質が劣化し、結果として正常なメモリアクセスが阻害される可能性がある。さらに、この充放電にかかる時間はそのまま半導体チップ間を伝搬する信号遅延に影響する。このため、画像処理回路Ａ５０とメモリＡ５４との間のメモリアクセスにかかる信号の伝搬遅延は、画像処理回路Ｂ４０とメモリＢ４４との間のメモリアクセスにかかる信号の伝搬遅延に比べて大きくなる。従って、図３の構成においては、Ｃ＿Ａ＞Ｃ＿Ｂの関係から明らかなように、画像処理回路Ａ５０とメモリＡ５４のメモリアクセス性能に比べ、画像処理回路Ｂ４０とメモリＢ４４の方が、より高いメモリアクセス性能を得ることが可能である。

次に、撮像装置１００における静止画撮影時と動画撮影時における画像処理回路Ｂ４０と画像処理回路Ａ５０の機能割当の一実施形態について、図５及び図６を用いて説明する。なお、本実施形態においては、以下に説明する機能割当は、システム制御回路７０の制御により行われる。図５は、撮像装置１００が静止画撮影における連写撮影時における機能割当を図示したものであり、それぞれ斜線で示された回路が未使用状態となる。ここで、連写撮影時において最も高い処理能力が要求されるのは、撮像インターフェース２０８を介して撮像素子１２からの画像データの取り込み性能である。連写撮影を継続するためには、撮像インターフェース２０８を介して取り込んだ画像データを滞りなく処理してカードコントローラ２１４及びカードＩ／Ｆ５６を介して記録媒体５８に転送する必要がある。このため本実施形態では、１フレーム分の画像データ毎に、現像及び静止画符号化に関連する処理を、画像処理回路Ｂ４０と画像処理回路Ａ５０とで交互に切り替えて処理を行う。連写撮影時において、撮像処理から、現像処理、静止画符号化処理に至る一連の静止画処理には、撮像インターフェース２０８、現像処理回路２３０、拡大縮小回路２３２、静止画符号化回路２３６の動作が必要である。そこで本実施形態では、連写撮影時においては、上記一連の静止画処理に必要とされる上記各回路の処理機能を、画像処理回路Ｂ４０及び画像処理回路Ａ５０のいずれにも割り当てる。一方、動画処理に必要であるが静止画処理には必要のない、動画符号化回路２３８及び動き検出回路２２８の各処理機能は、いずれの画像処理回路にも割り当てない。

また、図４で説明したとおり、ＴＳＶを経由した信号の伝搬遅延は、ＴＳＶを経由しない信号の伝搬遅延よりも大きい。このため、ディスプレイコントローラ２１０、カードコントローラ２１４及び外部通信インターフェース２１６の各制御機能は、画像処理回路Ａ５０のみに割り当てられる。これにより、ＴＳＶ経由に伴う伝搬遅延の劣化を最小限に抑えることができる。この態様によれば例えば、カードコントローラ２１４の機能は画像処理回路Ａ５０に割り当てられる。そのため、画像処理回路Ｂ４０で符号化されたデータは、互いのチップ間通信インターフェース２１２を介して、更に、画像処理回路Ａ５０のカードコントローラ２１４を介して、記録媒体５８に転送される。

一方、フォーカス検出、顔検出、笑顔検出、個人認証等の検出系の処理については、連写撮影時においては、必ずしも毎フレーム処理する必要性がなく、さらにメモリアクセスさえできれば処理可能である。このため、フォーカス検出回路２２０、顔検出回路２２２、個人認証回路２２４、笑顔検出回路２２６の各機能は、画像処理回路Ｂ４０のみに割り当てる。ただし、静止画撮影時のモード設定等に応じて、これら検出系の処理についても、画像処理回路Ｂ４０と画像処理回路Ａ５０とで切り替える構成としてもよい。

図６は、撮像装置１００が動画撮影時における機能割当を図示したものであり、図５と同様に斜線で示された回路が未使用状態となる。ここで、動画撮影時において最も高い処理能力が要求されるのは、動画処理におけるフレーム間演算を必要とする場合のメモリアクセス性能と、さらに動画撮影時において同時に静止画撮影を指示された場合のメモリアクセス性能である。本実施形態においては、より高いメモリアクセス性能を要する動画処理のために、撮像インターフェース２０８、現像処理回路２３０、拡大縮小回路２３２、動画符号化回路２３８及び動き検出回路２２８の各処理機能を画像処理回路Ｂ４０に割り当てる。一方、動画撮影中における静止画処理のために、撮像インターフェース２０８、現像処理回路２３０、拡大縮小回路２３２、静止画符号化回路２３６の各処理機能を画像処理回路Ａ５０に割り当てる。

撮像インターフェース２０８を介して取り込んだ画像データは、現像処理、拡大縮小処理の一連の処理を実施したのち、メモリコントローラ２０６を介してメモリＢ４４に転送される。動画処理におけるフレーム間演算を実施する場合には、メモリＢ４４に転送された直前フレームの画像データを、メモリコントローラ２０６を介して、動画符号化回路２３８及び動き検出回路２２８に読み込む。ここで、撮像インターフェース２０８を介して取り込んだ処理対象フレームの画像データとの間でフレーム間演算処理を行った後、再びメモリコントローラ２０６を介してメモリＢ４４に転送される。このように、画像処理回路Ｂ４０は、メモリＢ４４との間で短時間に大量のデータ転送を必要とすることから、動画撮影に要求される処理性能は、静止画１枚あたりの処理性能よりも高いメモリアクセス性能とリアルタイム性を要求される。

図４で説明したとおり、ＴＳＶを介さずに接続されるメモリＢ４４と画像処理回路Ｂ４０は、ＴＳＶを介して接続されるメモリＡ５４と画像処理回路Ａ５０との接続よりも高いメモリアクセス性能が得られる。このことからも、動画処理に関わる各機能を、画像処理回路Ｂ４０に割り当てることが適切である。また、図５と同様に、ＴＳＶを経由した信号の伝搬遅延は、ＴＳＶを経由しない信号の伝搬遅延よりも劣る。このため、ディスプレイコントローラ２１０、カードコントローラ２１４及び外部通信インターフェース２１６の各機能は、画像処理回路Ａ５０のみに割り当てる。これにより、ＴＳＶ経由に伴う伝搬遅延の劣化を最小限に抑えることができる。さらに、この態様によれば例えば、カードコントローラ２１４の機能は画像処理回路Ａ５０に割り当てられる。そのため、画像処理回路Ｂ４０で符号化されたデータは、互いのチップ間通信インターフェース２１２を介して、更に、画像処理回路Ａ５０のカードコントローラ２１４を介して、記録媒体５８に転送される。

一方、フォーカス検出、顔検出、笑顔検出、個人認証等の検出系の処理については、動画撮影時においても、必ずしも毎フレーム処理する必要性がなく、さらにメモリアクセスさえできれば処理可能である。このため、フォーカス検出回路２２０、顔検出回路２２２、個人認証回路２２４、笑顔検出回路２２６の各機能は、画像処理回路Ｂ４０のみに割り当てる。ただし、静止画撮影時のモード設定等に応じて、静止画処理に必要な検出系の処理については、必要に応じて画像処理回路Ａ５０の機能を使用する構成としてもよい。

図７は、図５及び図６で説明した連写撮影時及び動画撮影時における、画像処理回路Ｂ４０と画像処理回路Ａ５０の時間毎の機能割当の様子と、メモリＢ４４とメモリＡ５４に供給されるクロック周波数の関係を図示したものである。図７（ａ）は、連写撮影時の画像処理回路Ｂ４０と画像処理回路Ａ５０の時間毎の機能割当の様子を示している。図７（ａ）によれば、撮像インターフェース２０８を介して画像を取り込む撮像処理と、静止画処理（現像処理、拡大縮小処理及び静止画符号化処理の一連の処理を含む。）とが、画像処理回路Ｂ４０と画像処理回路Ａ５０とで互い違いに、繰り返し実施される。図７（ａ）の状態における連写撮影時の処理性能としては、画像処理回路Ｂ４０と画像処理回路Ａ５０とで同等のメモリアクセス性能が必要とされる。そのため、画像処理回路Ｂ４０及び画像処理回路Ａ５０がそれぞれメモリＢ４４及びメモリＡ５４に供給するメモリクロックＢ及びメモリクロックＡの周波数は共に同一のＹＭＨｚとなる。

図７（ｂ）は、動画処理時の様子を示している。画像処理回路Ｂ４０は、撮像インターフェース２０８を介して画像を取り込む撮像処理と、動画処理（現像処理、拡大縮小処理及び動画符号化処理の一連の処理を含む。）とを繰り返し実施する。動画撮影中に静止画撮影指示があった場合のみ、撮像処理と静止画処理とを実施する。前述したとおり、図７（ｂ）の状態においては、動画処理機能を担う画像処理回路Ｂが必要とするメモリアクセス性能は、静止画処理機能を担う画像処理回路Ａのメモリアクセス性能よりも高い。さらに、画像処理回路Ａが静止画処理を実施している場合のメモリアクセス性能は、画像処理回路Ａが静止画処理を実施していない場合に比べて高い。したがって、メモリＢ４４及びメモリＡ５４に供給されるメモリクロックＢとメモリクロックＡの周波数は、次のように決定することができる。

メモリクロックＢ＝ＸＭＨｚ（動画撮影時）
メモリクロックＡ＝ＹＭＨｚ（静止画撮影時）
メモリクロックＡ＝ＺＭＨｚ（静止画非撮影時）
ここで、各クロックの周波数関係は、Ｘ＞Ｙ＞Ｚである。

システム制御回路７０は、撮像装置１００の動作状態（モード）に応じて画像処理回路Ａ５０と画像処理回路Ｂ４０の制御部２００を制御して、クロックの周波数を制御する。画像処理回路Ｂ４０及び画像処理回路Ａ５０におけるクロック生成回路２０２は、図７に示すように、制御部２００からの指示に応じて、各画像処理回路の状態に応じた周波数のクロックを発生する。そして、クロック生成回路２０２により生成されたクロックは、メモリコントローラ２０６を介して、各画像処理回路に接続されているメモリＢ４４、メモリＡ５４に供給される。

以上説明した実施形態によれば、画像処理回路Ｂ４０とメモリＢ４４、画像処理回路Ａ５０とメモリＡ５４の接続関係を考慮して、各メモリクロックの周波数制御が適切に行われる。これにより最適なパフォーマンスを達成することが可能となる。

（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims

メイン基板と、
それぞれが画像処理を行う回路であって、前記メイン基板に積層される複数の第１の集積回路と、
それぞれが前記第１の集積回路による画像処理のために用いられるメモリを含む回路であって、前記第１の集積回路に対して、更に積層される複数の第２の集積回路と、
動画データを処理する動画モードを含む複数のモードの一つを設定するモード設定手段と、
前記モード設定手段により設定されたモードに応じて前記複数の第１の集積回路を制御する制御手段と
を有し、
前記複数の第１の集積回路及び前記複数の第２の集積回路のうち隣接する第１の集積回路と第２の集積回路とが電気的に接続されて第１のペアを形成するとともに、前記第１のペアを挟む第１の集積回路と第２の集積回路とが、前記第１のペアの第１の集積回路と第２の集積回路とにそれぞれ設けられた貫通電極を介して電気的に接続されて第２のペアを形成し、前記第１のペアの第１の集積回路が前記第１のペアの第２の集積回路にクロックを供給し、前記第２のペアの第１の集積回路が前記第２のペアの第２の集積回路にクロックを供給し、
前記制御手段は、前記動画モードにおいて、前記第１のペアの第１の集積回路が前記第１のペアの第２の集積回路に供給するクロックの周波数を、前記第２のペアの第１の集積回路が前記第２のペアの第２の集積回路に供給するクロックの周波数よりも高くなるように制御する
ことを特徴とする画像処理装置。
前記第１のペアの第１の集積回路に、動画処理に関連する処理機能が割り当てられることを特徴とする請求項１に記載の画像処理装置。
前記動画処理に関連する処理機能は、現像、動画符号化、及び動き検出のうちの少なくともいずれかの処理機能を含むことを特徴とする請求項２に記載の画像処理装置。
撮像手段を備え、
前記第２のペアの第１の集積回路に、前記撮像手段による動画撮影中における静止画処理に関連する処理機能が割り当てられることを特徴とする請求項２又は３に記載の画像処理装置。
前記動画撮影中における静止画処理に関連する処理機能は、現像及び静止画符号化の少なくともいずれかの処理機能を含むことを特徴とする請求項４に記載の画像処理装置。
画像の表示を行う表示部と、
記録媒体に画像データを記録する記録手段と、
外部との通信を行うための外部インターフェースと、
を更に有し、
前記第２のペアの第１の集積回路に、前記表示部、前記画像データの記録、及び前記外部インターフェースに関連する制御機能が割り当てられることを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
前記制御手段は、前記動画モードにおいて動画撮影中に静止画処理を実施するときの、前記第２のペアの第１の集積回路が前記第２のペアの第２の集積回路に供給するクロックの周波数を、静止画処理を実施しないときのクロックの周波数よりも高くすることを特徴とする請求項４に記載の画像処理装置。
前記貫通電極は、スルーシリコンビアにより構成されることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。