JP2018525853A - 一体化されたメモリおよびプロセッサを有するスマートイメージセンサ - Google Patents
一体化されたメモリおよびプロセッサを有するスマートイメージセンサ Download PDFInfo
- Publication number
- JP2018525853A JP2018525853A JP2017555348A JP2017555348A JP2018525853A JP 2018525853 A JP2018525853 A JP 2018525853A JP 2017555348 A JP2017555348 A JP 2017555348A JP 2017555348 A JP2017555348 A JP 2017555348A JP 2018525853 A JP2018525853 A JP 2018525853A
- Authority
- JP
- Japan
- Prior art keywords
- program code
- image sensor
- images
- memory
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 claims abstract description 31
- 230000003287 optical effect Effects 0.000 claims abstract description 12
- 238000010801 machine learning Methods 0.000 claims abstract description 11
- 230000004044 response Effects 0.000 claims abstract description 10
- 230000008859 change Effects 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 9
- 230000006641 stabilisation Effects 0.000 claims description 6
- 238000011105 stabilization Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 4
- 238000010191 image analysis Methods 0.000 claims description 3
- 239000004065 semiconductor Substances 0.000 claims 2
- 238000000034 method Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 238000013459 approach Methods 0.000 description 7
- 238000007405 data analysis Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
- H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本願は、「Smart Image Sensor Having Integrated Memory and Processor(一体化されたメモリおよびプロセッサを有するスマートイメージセンサ)」と題された、2015年8月19日に出願された米国仮特許出願第62/207,232号の利益を主張し、ここにその全体が引用により援用される。
発明の分野は、一般に撮像に関し、より具体的には、集積メモリおよびプロセッサを有するカメラに関する。
図1は、コンピュータシステム内のカメラ関連機能の従来のデータフロー1、2、3を示す図である。多くの現在のコンピュータシステムでは、カメラ101は処理知能をほとんど、または全く有していない。その結果、カメラ101自体の複雑な機能、または、カメラ画像を使用するアプリケーションは、コンピュータシステムの汎用の、単数または複数の処理コア105(1つ以上のアプリケーションプロセッサ(applications processors)など)で実行されることが典型的である。
装置について説明する。この装置は、メモリとプロセッサとを有するスマートイメージセンサを備え、メモリおよびプロセッサはイメージセンサとローカルに一体化される。メモリは、イメージセンサとプロセッサとに接続される。メモリは、プロセッサによって実行されるべき第1のプログラムコードを格納する。メモリは、プロセッサによって実行されるべき第2のプログラムコードを格納する。第1のプログラムコードは、スマートイメージセンサに、イメージセンサによって撮像された1つ以上の画像を分析させる。この分析は、1つ以上の画像内の対象領域(region of interest)を、以前に撮像された画像からの機械学習を用いて識別する。第2のプログラムコードは、スマートイメージセンサに、第1のプログラムコードの実行によって実行される1つ以上の画像の分析に応じて、イメージセンシングおよび/または光学パラメータを変更させる。代替的に、またはこれと組み合わせて、メモリは、プロセッサによって実行されるべき第3のプログラムコードおよびプロセッサによって実行されるべき第4のプログラムコードを格納する。第3のプログラムコードは、イメージセンサによって撮像された複数の画像をメモリに格納する。第4のプログラムコードは、メモリ内の複数の画像をマージする。
図2は、カメラ特有の処理知能を、たとえばカメラパッケージ201自体に移行する、改良されたアプローチを示す図である。図2に示すように、カメラパッケージ201内に位置する典型的な光学素子/サーボ202およびイメージセンサ203とは別に、メモリ204およびプロセッサ205も存在する。図2に示すように、さまざまなデバイス202〜205を、カメラパッケージ201内で積み重ねてもよい。これらの構成要素202〜205の全てを1つのカメラパッケージ201において組み合わせることによって、多くのカメラ特有の機能をカメラ自体の中で実行することが可能になり、それによって、システムメモリまでのおよびそれを越えたフローが長くなりかつ非効率になることを防止できる。
Claims (23)
- スマートイメージセンサを備える装置であって、
前記スマートイメージセンサは、イメージセンサとローカルに一体化されたメモリおよびプロセッサを含み、前記メモリは、前記イメージセンサおよび前記プロセッサに接続され、前記メモリは、前記プロセッサによって実行されるべき第1のプログラムコードを格納し、前記メモリは、前記プロセッサによって実行されるべき第2のプログラムコードを格納し、前記第1のプログラムコードは、前記スマートイメージセンサに、前記イメージセンサによって撮像された1つ以上の画像の分析を行なわせ、前記第1のプログラムコードは、前記イメージセンサによって撮像された前記1つ以上の画像のシーン分析を行なうためのシーン分析プログラムコードを含み、前記シーン分析は、以前に撮像された画像からの機械学習を用いて前記1つ以上の画像内において対象領域を識別し、前記第2のプログラムコードは、前記スマートイメージセンサに、前記第1のプログラムコードの実行によって行なわれた前記1つ以上の画像の分析に応じて、イメージセンシングおよび/または光学パラメータを変更させる、装置。 - 前記メモリ、前記プロセッサ、および前記イメージセンサは、同一の半導体チップパッケージ内で一体化される、請求項1に記載の装置。
- 前記第2のプログラムコードは、前記第1のプログラムコードによって実行される前記シーン分析に応じてフォーカスパラメータを変更するためのオートフォーカスプログラムコードを含む、請求項1に記載の装置。
- 前記フォーカスパラメータの前記変更は、位相検出オートフォーカシングと同時に行なわれるレーザオートフォーカシングを用いて実現される、請求項3に記載の装置。
- 前記フォーカスパラメータの変更は、レーザオートフォーカシングおよび位相検出オートフォーカシングのうちのどちらかまたは双方の後に行なわれるコントラストオートフォーカシングを用いて実現される、請求項5に記載の装置。
- 前記第1のプログラムコードは、前記イメージセンサによって撮像される前記1つ以上の画像の質を決定するための画質プログラムコードを含む、請求項1に記載の装置。
- 前記第2のプログラムコードは、前記第1のプログラムコードによって決定された前記画像の前記質に応じて、前記イメージセンサの露光時間、画像解像度およびダイナミックレンジのいずれかをそれに対応して変更するための露光時間設定プログラムコード、画像解像度プログラムコード、およびダイナミックレンジプログラムコードのうちのいずれかを含む、請求項7に記載の装置。
- 前記第1のプログラムコードは、前記イメージセンサによって撮像された複数の画像に動作分析を行うための動作分析プログラムコードを含む、請求項1に記載の装置。
- 前記第2のプログラムコードは、前記イメージセンサによって撮像された前記複数の画像のフレームレートを変更するためのフレームレートプログラムコードを含む、請求項9に記載の装置。
- 前記イメージセンサは、異なるダイナミックレンジおよび/または解像度を有する光学処理経路を提供するアナログ―デジタル変換器のバンクを含む、請求項1に記載の装置。
- スマートイメージセンサを備える装置であって、
前記スマートイメージセンサは、イメージセンサとローカルに一体化されたメモリおよびプロセッサを含み、前記メモリは、前記イメージセンサおよび前記プロセッサに接続され、前記メモリは、前記プロセッサによって実行されるべき第1のプログラムコードを格納し、前記メモリは、前記プロセッサによって実行されるべき第2のプログラムコードを格納し、前記第1のプログラムコードは、前記スマートイメージセンサによって撮像された複数の画像の対象領域を以前に撮像された画像からの機械学習を用いて識別し、その識別に応じて前記複数の画像を前記メモリに格納し、前記第2のプログラムコードは、前記メモリ内の前記複数の画像をマージする、装置。 - 対応するカメラ動きデータが前記複数の画像と共に前記メモリに格納され、前記第2のプログラムコードは、前記複数の画像を揃えかつマージするために前記カメラ動きデータを用いて電子式手振れ補正を行なう、請求項12に記載の装置。
- 前記第1のプログラムコードは前記複数の画像の組を前記メモリに格納し、前記組は、それぞれ異なる数の前記複数の画像を有し、前記第2のプログラムコードは、前記組のうちの異なる1つの組内のそれぞれの画像をマージしてハイダイナミックレンジビデオストリームのソースを生成する、請求項12に記載の装置。
- コンピュータシステムであって、
1つ以上のアプリケーションプロセッサと、
前記1つ以上のアプリケーションプロセッサに結合されたメモリコントローラと、
前記メモリコントローラに結合されたシステムメモリと、
前記メモリコントローラに結合されたI/Oコントロールハブと、
前記I/Oコントロールハブに接続されたスマートイメージセンサとを備え、前記スマートイメージセンサは、イメージセンサとローカルに一体化されたメモリおよびプロセッサを含み、前記メモリは、前記イメージセンサおよび前記プロセッサに結合され、前記メモリは、
a)前記プロセッサによって実行されるべき第1のプログラムコードおよび前記プロセッサによって実行されるべき第2のプログラムコードであって、前記第1のプログラムコードは、前記スマートイメージセンサに、前記イメージセンサによって撮像された1つ以上の画像の分析を行なわせ、前記分析は、以前に撮像された画像からの機械学習を用いて前記1つ以上の画像内の対象領域を識別し、前記第2のプログラムコードは、前記スマートイメージセンサに、前記第1のプログラムコードの実行によって行なわれる前記1つ以上の画像の分析に応じてイメージセンシングおよび/または光学パラメータを変更させる、第1のプログラムコードおよび第2のプログラムコードと、
b)前記プロセッサによって実行されるべき第3のプログラムコードおよび前記プロセッサによって実行されるべき第4のプログラムコードであって、前記第3のプログラムコードは、前記イメージセンサによって撮像された複数の画像を前記メモリに格納し、前記第4のプログラムコードは、前記メモリ内の前記複数の画像をマージする、第3のプログラムコードおよび第4のプログラムコードと、
のうちのどちらかまたは双方を格納する、コンピュータシステム。 - 前記メモリ、前記プロセッサ、および前記イメージセンサは、同一の半導体チップパッケージ内で一体化される、請求項15に記載のコンピュータシステム。
- 前記第2のプログラムコードは、前記第1のプログラムコードによって実行されるシーン分析に応じてフォーカスパラメータを変更するためのオートフォーカスプログラムコードを含む、請求項15に記載のコンピュータシステム。
- 前記第1のプログラムコードは、前記イメージセンサによって撮像される前記1つ以上の画像の質を決定するための画質プログラムコードを含む、請求項15に記載のコンピュータシステム。
- 前記第2のプログラムコードは、前記第1のプログラムコードによって決定される前記画像の前記質に応じて、前記イメージセンサの露光時間、画像解像度およびダイナミックレンジのいずれかをそれに対応して変更させる露光時間設定プログラムコード、画像解像度プログラムコード、およびダイナミックレンジプログラムコードのうちのいずれかを含む、請求項18に記載のコンピュータシステム。
- 前記第1のプログラムコードは、前記イメージセンサによって撮像される複数の画像に動作分析を行うための動作分析プログラムコードを含む、請求項15に記載のコンピュータシステム。
- 前記第2のプログラムコードは、前記イメージセンサによって撮像される前記複数の画像のフレームレートを変更するためのフレームレートプログラムコードを含む、請求項20に記載のコンピュータシステム。
- 対応するカメラ動きデータが前記複数の画像と共に前記メモリに格納され、前記第4のプログラムコードは、前記複数の画像を揃えかつマージするために前記動きデータを用いて電子式手振れ補正を行なう、請求項15に記載のコンピュータシステム。
- 前記第3のプログラムコードは前記複数の画像の組を前記メモリに格納し、前記組は、それぞれ異なる数の前記複数の画像を有し、前記第4のプログラムコードは、前記組のうちの異なる1つの組内のそれぞれの画像をマージしてハイダイナミックレンジビデオストリームのソースを生成する、請求項15に記載のコンピュータシステム。
- スマートイメージセンサ内のマシン読取り可能な媒体であって、前記スマートイメージセンサは、ローカルに一体化されたメモリ、プロセッサ、およびイメージセンサで構成され、前記メモリは前記イメージセンサおよび前記プロセッサに結合され、前記マシン読取り可能な媒体は、
a)前記プロセッサによって実行されるべき第1のプログラムコードおよび前記プロセッサによって実行されるべき第2のプログラムコードであって、前記第1のプログラムコードは、前記スマートイメージセンサに、前記イメージセンサによって撮像された1つ以上の画像の分析を行なわせ、前記分析は、以前に撮像された画像からの機械学習を用いて前記1つ以上の画像内の対象領域を識別し、前記第2のプログラムコードは、前記スマートイメージセンサに、前記第1のプログラムコードの実行によって行なわれる前記1つ以上の画像の分析に応じてイメージセンシングおよび/または光学パラメータを変更させる、第1のプログラムコードおよび第2のプログラムコードと、
b)前記プロセッサによって実行されるべき第3のプログラムコードおよび前記プロセッサによって実行されるべき第4のプログラムコードであって、前記第3のプログラムコードは、前記イメージセンサによって撮像された複数の画像を前記メモリに格納し、前記第4のプログラムコードは、前記メモリ内の前記複数の画像をマージする、第3のプログラムコードおよび第4のプログラムコードと、
のうちのどちらかまたは双方を格納する、マシン読取り可能な媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562207232P | 2015-08-19 | 2015-08-19 | |
US62/207,232 | 2015-08-19 | ||
US15/236,798 US10129477B2 (en) | 2015-08-19 | 2016-08-15 | Smart image sensor having integrated memory and processor |
US15/236,798 | 2016-08-15 | ||
PCT/US2016/047340 WO2017031205A1 (en) | 2015-08-19 | 2016-08-17 | Smart image sensor having integrated memory and processor |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018525853A true JP2018525853A (ja) | 2018-09-06 |
JP6644809B2 JP6644809B2 (ja) | 2020-02-12 |
Family
ID=56894251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017555348A Active JP6644809B2 (ja) | 2015-08-19 | 2016-08-17 | 一体化されたメモリおよびプロセッサを有するスマートイメージセンサ |
Country Status (6)
Country | Link |
---|---|
US (2) | US10129477B2 (ja) |
EP (1) | EP3338443A1 (ja) |
JP (1) | JP6644809B2 (ja) |
KR (1) | KR101953813B1 (ja) |
CN (1) | CN108141525A (ja) |
WO (1) | WO2017031205A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6239026B2 (ja) * | 2015-05-29 | 2017-11-29 | キヤノン株式会社 | 撮像素子および撮像装置 |
US10810461B2 (en) * | 2017-02-03 | 2020-10-20 | Panasonic Intellectual Property Management Co., Ltd. | Learned model generating method, learned model generating device, and learned model use device |
CN110475072B (zh) * | 2017-11-13 | 2021-03-09 | Oppo广东移动通信有限公司 | 拍摄图像的方法、装置、终端和存储介质 |
US10305604B1 (en) * | 2017-12-28 | 2019-05-28 | Facebook, Inc. | Coherent aperture combining using machine learning |
KR102460390B1 (ko) | 2018-01-24 | 2022-10-28 | 삼성전자주식회사 | 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체 |
JP2021513772A (ja) * | 2018-01-29 | 2021-05-27 | 安徽▲雲▼塔▲電▼子科技有限公司 | スマートセンサシステムアーキテクチャ、その実現方法および装置 |
US10931304B1 (en) * | 2019-09-25 | 2021-02-23 | Arm Ip Limited | Sensor content encoding |
US11438502B2 (en) | 2020-05-14 | 2022-09-06 | Qualcomm Incorporated | Image signal processor resource management |
WO2021263193A1 (en) * | 2020-06-27 | 2021-12-30 | Unicorn Labs Llc | Smart sensor |
US11537321B2 (en) * | 2020-07-14 | 2022-12-27 | Micron Technology, Inc. | Data selection based on quality |
US11474743B2 (en) | 2020-08-13 | 2022-10-18 | Micron Technology, Inc. | Data modification |
US11490000B2 (en) | 2020-10-13 | 2022-11-01 | Qualcomm Incorporated | Depth-assisted auto focus |
US11849232B2 (en) * | 2020-11-03 | 2023-12-19 | Samsung Electronics Co., Ltd. | Integrated image sensor with internal feedback and operation method thereof |
US20220408049A1 (en) * | 2021-06-22 | 2022-12-22 | Meta Platforms Technologies, Llc | Multi-layer stacked camera-image-sensor circuit |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008289120A (ja) * | 2007-04-18 | 2008-11-27 | Panasonic Corp | 撮像装置、撮像方法、集積回路およびプログラム |
JP2009081808A (ja) * | 2007-09-27 | 2009-04-16 | Fujifilm Corp | 撮影制御装置、撮影制御方法、撮影制御プログラム、および撮影装置 |
JP2011075965A (ja) * | 2009-10-01 | 2011-04-14 | Canon Inc | オートフォーカスレンズ装置 |
WO2011067906A1 (ja) * | 2009-12-01 | 2011-06-09 | パナソニック株式会社 | 認識用撮像装置及びその制御方法 |
JP2013003501A (ja) * | 2011-06-21 | 2013-01-07 | Nikon Corp | カメラ |
JP2013255035A (ja) * | 2012-06-05 | 2013-12-19 | Nikon Corp | 撮像素子 |
JP2015136093A (ja) * | 2013-12-20 | 2015-07-27 | ソニー株式会社 | 撮像素子、撮像装置、および電子装置 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5262871A (en) * | 1989-11-13 | 1993-11-16 | Rutgers, The State University | Multiple resolution image sensor |
JP3046100B2 (ja) * | 1991-07-22 | 2000-05-29 | 株式会社フォトロン | 画像記録装置 |
US5452004A (en) * | 1993-06-17 | 1995-09-19 | Litton Systems, Inc. | Focal plane array imaging device with random access architecture |
US5850470A (en) * | 1995-08-30 | 1998-12-15 | Siemens Corporate Research, Inc. | Neural network for locating and recognizing a deformable object |
US6678393B1 (en) | 1997-12-23 | 2004-01-13 | Intel Corporation | Image selection based on image content |
JP4178608B2 (ja) * | 1998-04-16 | 2008-11-12 | 株式会社ニコン | 固体撮像装置 |
US6584235B1 (en) * | 1998-04-23 | 2003-06-24 | Micron Technology, Inc. | Wide dynamic range fusion using memory look-up |
US7129978B1 (en) | 1998-07-13 | 2006-10-31 | Zoran Corporation | Method and architecture for an improved CMOS color image sensor |
US6879340B1 (en) * | 1998-08-19 | 2005-04-12 | Micron Technology Inc. | CMOS imager with integrated non-volatile memory |
US6891570B2 (en) * | 2001-01-31 | 2005-05-10 | Itt Manufacturing Enterprises Inc. | Method and adaptively deriving exposure time and frame rate from image motion |
CN1220111C (zh) * | 2001-04-12 | 2005-09-21 | 株式会社理光 | 摄影装置 |
KR100600847B1 (ko) | 2001-12-21 | 2006-07-14 | 삼성에스디아이 주식회사 | 스캐너 부착형 표시장치 |
US7106367B2 (en) * | 2002-05-13 | 2006-09-12 | Micron Technology, Inc. | Integrated CMOS imager and microcontroller |
US8155397B2 (en) * | 2007-09-26 | 2012-04-10 | DigitalOptics Corporation Europe Limited | Face tracking in a camera processor |
US7209601B2 (en) | 2003-07-22 | 2007-04-24 | Omnivision Technologies, Inc. | CMOS image sensor using high frame rate with frame addition and movement compensation |
JP4402400B2 (ja) * | 2003-08-28 | 2010-01-20 | オリンパス株式会社 | 物体認識装置 |
US8331723B2 (en) * | 2004-03-25 | 2012-12-11 | Ozluturk Fatih M | Method and apparatus to correct digital image blur due to motion of subject or imaging device |
JP4130641B2 (ja) * | 2004-03-31 | 2008-08-06 | 富士フイルム株式会社 | ディジタル・スチル・カメラおよびその制御方法 |
WO2006029394A2 (en) * | 2004-09-09 | 2006-03-16 | Transchip, Inc. | Imager flicker compensation systems and methods |
JP5087856B2 (ja) * | 2006-04-05 | 2012-12-05 | 株式会社ニコン | 電子カメラ |
JP4861057B2 (ja) | 2006-05-29 | 2012-01-25 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP4717766B2 (ja) * | 2006-09-14 | 2011-07-06 | キヤノン株式会社 | 画像表示装置、撮像装置、画像表示方法、記憶媒体、及び、プログラム |
US8144214B2 (en) | 2007-04-18 | 2012-03-27 | Panasonic Corporation | Imaging apparatus, imaging method, integrated circuit, and storage medium |
CN201393267Y (zh) * | 2009-02-06 | 2010-01-27 | 无锡锦腾智能科技有限公司 | 高动态范围图像获取装置 |
US8648959B2 (en) * | 2010-11-11 | 2014-02-11 | DigitalOptics Corporation Europe Limited | Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing |
JP5898466B2 (ja) * | 2011-11-11 | 2016-04-06 | キヤノン株式会社 | 撮像装置、その制御方法、及びプログラム |
GB2511405B (en) * | 2012-12-28 | 2016-01-27 | Canon Kk | Image pickup element, image pickup apparatus, and method and program for controlling the same |
WO2014138695A1 (en) * | 2013-03-08 | 2014-09-12 | Pelican Imaging Corporation | Systems and methods for measuring scene information while capturing images using array cameras |
US9692975B2 (en) | 2013-04-10 | 2017-06-27 | Microsoft Technology Licensing, Llc | Motion blur-free capture of low light high dynamic range images |
CN103647901B (zh) * | 2013-12-24 | 2017-06-20 | 中国科学院半导体研究所 | 基于fpga的低成本无外置存储器的图像数据采集传输*** |
FR3030791A1 (ja) * | 2014-12-23 | 2016-06-24 | Stmicroelectronics (Grenoble 2) Sas |
-
2016
- 2016-08-15 US US15/236,798 patent/US10129477B2/en active Active
- 2016-08-17 WO PCT/US2016/047340 patent/WO2017031205A1/en active Application Filing
- 2016-08-17 EP EP16763368.4A patent/EP3338443A1/en not_active Withdrawn
- 2016-08-17 CN CN201680028443.9A patent/CN108141525A/zh active Pending
- 2016-08-17 JP JP2017555348A patent/JP6644809B2/ja active Active
- 2016-08-17 KR KR1020177031190A patent/KR101953813B1/ko active IP Right Grant
-
2018
- 2018-10-10 US US16/155,998 patent/US10547779B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008289120A (ja) * | 2007-04-18 | 2008-11-27 | Panasonic Corp | 撮像装置、撮像方法、集積回路およびプログラム |
JP2009081808A (ja) * | 2007-09-27 | 2009-04-16 | Fujifilm Corp | 撮影制御装置、撮影制御方法、撮影制御プログラム、および撮影装置 |
JP2011075965A (ja) * | 2009-10-01 | 2011-04-14 | Canon Inc | オートフォーカスレンズ装置 |
WO2011067906A1 (ja) * | 2009-12-01 | 2011-06-09 | パナソニック株式会社 | 認識用撮像装置及びその制御方法 |
JP2013003501A (ja) * | 2011-06-21 | 2013-01-07 | Nikon Corp | カメラ |
JP2013255035A (ja) * | 2012-06-05 | 2013-12-19 | Nikon Corp | 撮像素子 |
JP2015136093A (ja) * | 2013-12-20 | 2015-07-27 | ソニー株式会社 | 撮像素子、撮像装置、および電子装置 |
Also Published As
Publication number | Publication date |
---|---|
US10547779B2 (en) | 2020-01-28 |
KR101953813B1 (ko) | 2019-03-04 |
US10129477B2 (en) | 2018-11-13 |
WO2017031205A1 (en) | 2017-02-23 |
EP3338443A1 (en) | 2018-06-27 |
CN108141525A (zh) | 2018-06-08 |
US20170054895A1 (en) | 2017-02-23 |
US20190052808A1 (en) | 2019-02-14 |
KR20170131657A (ko) | 2017-11-29 |
JP6644809B2 (ja) | 2020-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6644809B2 (ja) | 一体化されたメモリおよびプロセッサを有するスマートイメージセンサ | |
US20210037178A1 (en) | Systems and methods for adjusting focus based on focus target information | |
US10715716B2 (en) | Electronic device for recording image as peer multiple frame rates using camera and method for operating same | |
US20190215440A1 (en) | Systems and methods for tracking a region using an image sensor | |
US7801432B2 (en) | Imaging apparatus and method for controlling the same | |
US10021307B2 (en) | Processing apparatus for camera shake correction | |
US20140218569A1 (en) | Imaging apparatus, control method therefor, and storage medium | |
US8891000B2 (en) | System and method of driving shutter by tendency of moving object | |
US10516823B2 (en) | Camera with movement detection | |
US20150130954A1 (en) | Image correcting apparatus and method for imaging device | |
KR102661185B1 (ko) | 전자 장치 및 그의 이미지 촬영 방법 | |
US9451149B2 (en) | Processing apparatus, processing method, and program | |
JP6212991B2 (ja) | 画像処理装置、撮像装置およびプログラム | |
JP2018007272A (ja) | 画像処理装置、撮像装置およびプログラム | |
US20160379051A1 (en) | View finder apparatus and method of operating the same | |
US11575841B2 (en) | Information processing apparatus, imaging apparatus, method, and storage medium | |
JP2010074315A (ja) | 被写体追尾方法及び撮像装置 | |
CN103581538A (zh) | 数字拍摄设备和控制所述数字拍摄设备的方法 | |
US11792505B2 (en) | Enhanced object detection | |
US20230353881A1 (en) | Methods and systems for shift estimation for one or more output frames | |
JP2018014659A (ja) | 撮像装置 | |
WO2023282963A1 (en) | Enhanced object detection | |
JP2013162453A (ja) | 撮像装置 | |
US20170364772A1 (en) | Differential image processing | |
JP2019129492A (ja) | 撮像装置および制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180402 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180402 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190305 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190605 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190903 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191217 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200108 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6644809 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |