JP2020136900A - 撮像装置、画像記録装置、および撮像方法 - Google Patents

撮像装置、画像記録装置、および撮像方法 Download PDF

Info

Publication number
JP2020136900A
JP2020136900A JP2019027848A JP2019027848A JP2020136900A JP 2020136900 A JP2020136900 A JP 2020136900A JP 2019027848 A JP2019027848 A JP 2019027848A JP 2019027848 A JP2019027848 A JP 2019027848A JP 2020136900 A JP2020136900 A JP 2020136900A
Authority
JP
Japan
Prior art keywords
image
unit
frame rate
imaging
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019027848A
Other languages
English (en)
Inventor
渡部 剛史
Takashi Watabe
剛史 渡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2019027848A priority Critical patent/JP2020136900A/ja
Priority to CN202080013988.9A priority patent/CN113424517B/zh
Priority to PCT/JP2020/005203 priority patent/WO2020170889A1/ja
Priority to US17/429,719 priority patent/US11917308B2/en
Publication of JP2020136900A publication Critical patent/JP2020136900A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/617Upgrading or updating of programs or applications for camera control
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】重要な瞬間を記録することができる撮像装置、画像記録装置、および撮像方法を提供すること。【解決手段】本開示に係る撮像装置は、撮像部と、変更部とを有する。撮像部は、周囲の画像を撮像して画像データを生成する。変更部は、画像データに基づいて予測される所定の事象が発生する可能性の高さに応じて、撮像部に撮像させる画像のフレームレートを変更する。【選択図】図1

Description

本開示は、撮像装置、画像記録装置、および撮像方法に関する。
車両に搭載されて車両の周囲の画像を撮像し、撮像画像の画像データをメモリに記憶することによって、例えば、自動車事故発生時の状況を記録可能としたドライブレコーダがある。ドライブレコーダは、画像を撮像するフレームレートを比較的低く設定すると、長時間の画像を記録することができるが、事故発生時の重要な瞬間が記録できていない場合がある。
一方、ドライブレコーダは、フレームレートを比較的高く設定すると、事故発生時の重要な瞬間を逃さずに記録することができるが、画像データを記憶するメモリの容量に上限があるため、事故発生前後の画像を消去して記録に残すことができない場合がある。
このため、例えば、外部から入力される各種情報に基づいて車両の運転状態を判定し、判定結果に応じて、フレームレートを変更する車両用映像処理装置がある(例えば、特許文献1)。
特開2007−214769号公報
しかしながら、上記の従来技術では、重要な瞬間を記録することができない場合がある。そこで、本開示では、重要な瞬間を記録することができる撮像装置、画像記録装置、および撮像方法を提案する。
本開示に係る撮像装置は、撮像部と、変更部とを有する。撮像部は、周囲の画像を撮像して画像データを生成する。変更部は、前記画像データに基づいて予測される所定の事象が発生する可能性の高さに応じて、前記撮像部に撮像させる画像のフレームレートを変更する。
本開示に係る画像記録装置の概略構成例を示すブロック図である。 本開示に係る事故予測スコアとフレームレートおよび解像度の関係を示す説明図である。 本開示に係る照度とフレームレートの上限との関係を示す説明図である。 本開示に係るフレームレートと撮像画像の輝度との関係を示す説明図である。 本開示に係るCISの動作説明図である。 本開示に係るCISが実行する処理の一例を示すフローチャートである。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。以下では、本開示に係る画像記録装置が車両に搭載されるドライブレコーダである場合について説明するが、画像記録装置はドライブレコーダに限定されるものではない。
本開示に係る画像記録装置は、例えば、オートバイ、自転車、電動車イス、およびドローン等、任意の移動体に搭載されて周囲の画像を撮像して記録することもできる。また、本開示に係る画像記録装置は、例えば、野鳥や野生動物を観察するカメラ、街頭や建物、施設等に設置される監視カメラとして使用することもできる。
[1.画像記録装置の構成]
図1は、本開示に係る画像記録装置の概略構成を示すブロック図である。図1に示すように、画像記録装置1は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ(以下、CIS2と記載する)と、アプリケーションプロセッサ(以下、AP3と記載する)と、記録媒体4とを備える。
CIS2は、1チップで構成され、車両の前方、側方、または後方等の周囲を撮像する撮像装置の一例であり、撮像画像の画像データをAP3へ出力する。なお、本開示に係る撮像装置は、CIS2に限定されるものではなく、例えば、CCD(Charge Coupled Device)イメージセンサ等、他のイメージセンサであってもよい。
AP3は、画像記録装置1の用途に応じた各種アプリケーションプログラムを実行するCPU(Central Processing Unit)等のプロセッサの一例であるAP制御部31と、CIS2との間で情報通信を行う通信I/F(インターフェイス)32とを備える。
AP制御部31は、例えば、通信I/F32を介してCIS2から入力される画像データの補正処理や加工処理を行う他、通信I/F32を介して記録媒体4への画像データの書き込みおよび消去等を行う。AP制御部31は、最新の画像データを記録媒体4へ書き込み、記録容量の上限に達した場合には、最も古い画像データから順に最新の画像データを上書きする。
記録媒体4は、CIS2によって撮像される画像を記憶する記録部の一例であり、例えば、SDメモリカード等の着脱可能な記録デバイスである。記録媒体4は、直近の所定時間(例えば、1時間)に撮像された撮像画像の画像データを記録する。記録媒体4が記録可能な映像の時間は、画像が撮像されるフレームレートや画像の解像度によって変化する。
記録媒体4は、撮像画像のフレームレートや解像度が比較的低い場合には、記録可能な映像の時間を延長することはできるが、事故発生時の重要な瞬間を記録することができない場合がある。例えば、記録媒体4は、撮像される画像のフレーム間に事故が発生した場合、事故発生の瞬間の画像を記録することができない。
また、記録媒体4は、撮像画像のフレームレートや解像度が比較的高い場合には、事故発生の瞬間を記録することはできるが、撮像可能な映像の時間が短くなるため、事故発生前後の画像が消去され、記録に残すことができない場合がある。
例えば、記録媒体4は、1時間以上前から続くあおり運転が原因で事故が発生した場合、事故発生の瞬間の画像を記録できていても、事故の原因となったあおり運転の画像が消去されて記録に残すことができない。
このため、例えば、カーナビゲーション装置や障害物検出装置等の外部装置から収集する各種情報に基づいて判定する車両の運転状態に応じてフレームレートや解像度を変更することも行われているが、それでも、重要な瞬間を記録することができない場合がある。
例えば、記録媒体4は、外部からの情報収集が開始されてからフレームレートを変更するまでに時間が掛かり、事故が発生する前までにフレームレートを高める変更が間に合わない場合、事故発生の瞬間の画像を記録することができないことがある。
そこで、本開示に係るCIS2は、重要な瞬間を記録可能とする構成を備える。具体的には、CIS2は、撮像部5と、通信I/F(インターフェイス)6と、予測部7と、変更部8と、照度検出部9とを備える。
撮像部5は、受光部51と、読出部52とを備える。受光部51は、例えば、ズームレンズ、フォーカスレンズ、絞り等を備える光学系と、フォトダイオードなどの受光素子を含む単位画素が2次元マトリクス状に配列された画素アレイ部とを備える。
受光部51は、外部から入射する光を光学系によって画素アレイ部の受光面に結像する。画素アレイ部の各単位画素は、受光素子に入射した光を光電変換することで、入射光の光量に応じた電荷を読出可能に蓄積する。
読出部52は、各単位画素に蓄積された電荷を画素信号として読み出す読出回路と、読出回路によって読み出されたアナログの画素信号をデジタル値に変換することで、デジタルの画像データを生成するADC(Analog to Digital Converter)とを備える。読出部52は、生成した画像データを通信I/F6と予測部7とへ出力する。
通信I/F6は、撮像部5から入力される画像データをAP3へ出力する。また、通信/F6は、後述するDNN(Deep Neural Network)をAP3から取得して予測部7へ出力する。
予測部7は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などを有するマイクロコンピュータや各種の回路を含む。
予測部7は、CPUがROMに記憶されたプログラムを、RAMを作業領域として使用して実行することにより、撮像部5から入力される画像データに基づいて所定の事象が発生する可能性の高さを予測する。例えば、予測部7は、画像記録装置1が搭載された車両が車両事故に遭う(事故が発生する)可能性の高さを予測する。
なお、予測部7は、一部または全部がASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェアで構成されてもよい。
予測部7は、例えば、DNNを使用するDNN処理によって事故が発生する可能性の高さを示す事故予測スコアを算出する。DNNは、実際の事故発生前に撮像された多数の画像の画像データと、撮像後に事故が発生しなかった多数の画像の画像データを教師データとして使用した機械学習によって事前に生成される。
予測部7は、通信I/F6を介してAP3から取得するDNNを使用し、撮像部5から入力される画像データについてDNN処理を行うことによって事故予測スコアを算出し、事故予測スコアを変更部8へ出力する。事故予測スコアは、値が高いほど事故が発生する可能性が高いことを示すものとする。なお、DNNは、予め予測部7が記憶しておいてもよい。
予測部7は、例えば、車両の周囲に人がいる場合や、車両が交差点に近付いた場合、先行車両や後続車両との車間距離が近くなった場合等に、事故が発生する可能性が高いと予測する。このとき、予測部7は、車両の周囲にいる人までの距離、交差点までの距離、他車両との車間距離が短くなるほど高い事故予測スコアを算出する。
なお、予測部7は、DNNに限らず、RNN(Recurrent Neural Networks)やCNN(Convolutional Neural Network)など様々なニューラルネットワークを用いて事故予測スコアを算出することができる。また、予測部7は、決定木やサポートベクタマシンなどの他の様々な機械学習で学習した学習モデルを用いて事故予測スコアを算出する構成であってもよい。
変更部8は、予測部7から入力される事故予測スコアに応じて撮像部5に撮像させる画像のフレームレートおよび解像度を決定し、決定したフレームレートおよび解像度を設定する情報を撮像部5へ出力することによってフレームレートおよび解像度を変更する。
図2は、本開示に係る事故予測スコアとフレームレートおよび解像度との関係を示す説明図である。図2に示すように、変更部8は、事故予測スコアが高いほどフレームレートおよび解像度を高くするように変更する。
なお、変更部8は、フレームレートおよび解像度を高めた後に、予測部7から入力される事故予測スコアの値が低下した場合には、フレームレートおよび解像度を低くするように変更する。
なお、ここでは、変更部8が事故予測スコアに応じて、フレームレートおよび解像度を変更したが、変更部8は、フレームレートおよび解像度のうち、少なくともいずれか一方を事故予測スコアに応じて変更することもできる。
これにより、撮像部5は、事故が発生する可能性が高くなるほど、画像を撮像する時間間隔を短くするので、例えば、事故発生の瞬間等の事故発生時に重要となる瞬間の画像を撮像することができる。また、撮像部5は、事故が発生する可能性が高くなるほど、撮像画像の解像度を高めるので、事故発生時に重要となる事故発生の瞬間の高精細な画像を撮像することができる。
ここで、変更部8は、例えば、夜間で周囲が暗い状況で事故予測スコアが高くなった場合に、フレームレートを高くし過ぎると露光時間が短くなり、撮像画像全体が暗くなる所謂黒つぶれ等の弊害が生じる。
そこで、照度検出部9は、車両の周囲の照度を検出し、検出した照度を示す情報を変更部8へ出力する。変更部8は、照度検出部9から入力される照度を示す情報に基づき、周囲の照度に応じてフレームレートの変更範囲を決定する。
図3は、本開示に係る照度とフレームレートの上限との関係を示す説明図である。図3に示すように、変更部8は、車両の周囲の照度が低くなるほど、変更するフレームレートの上限を低くする決定を行う。これにより、変更部8は、夜間の撮像画像に黒つぶれが生じることを防止することができる。
また、撮像部5の読出部52は、変更部8によって変更されるフレームレートに応じて撮像画像の輝度データを調整する。変更部8は、撮像画像の輝度データを増幅する増幅器のゲインを変更することによって、撮像画像の輝度を調整する。
図4は、本開示に係るフレームレートと撮像画像の輝度との関係を示す説明図である。図4に示すように、読出部52は、フレームレートが高くなるほど、撮像画像の輝度を高くする調整を行う。これにより、フレームレートが高くなることによる撮像画像の黒つぶれの発生を防止することができる。
なお、ここでは、変更部8によるフレームレートの上限の変更、および読出部52による撮像画像の輝度調整を行う場合について説明したが、フレームレートの上限の変更と撮像画像の輝度調整とのうち、少なくともいずれか一方を行ってもよい。
このように、画像記録装置1では、CIS2の内部で予測部7が撮像部5によって撮像される画像データに基づいて事故が発生する可能性の高さを予測し、変更部8が予測された事故が発生する高さに応じて撮像画像のフレームレートおよび解像度を変更する。かかる画像記録装置1は、事故の発生を予測するために、外部から情報を収集する時間を必要としない。
これにより、画像記録装置1は、例えば、外部から収集する各種情報に基づいて事故の発生を予測してフレームを変更する装置に比べて、遅延なくフレームレートを変更することができる。したがって、画像記録装置1は、例えば、事故発生時に、重要な事故発生の瞬間の画像を記録することができる。
[2.CISの動作例]
次に、図5を参照し、CIS2動作例について説明する。ここでは、CIS2の動作による効果を明確にするため、3つの対比例を説明した後に、CIS2の動作を説明する。図5は、本開示に係るCISの動作説明図である。
図5には、3つの対比例として、低フレームレート固定の場合、高フレームレート固定の場合、外部情報に基づく可変フレームレートの場合の撮像動作を示し、CIS2の動作例として、画像データに基づく可変フレームレートの場合の撮像動作を示している。
また、ここでは、例えば、時刻t1から先行車両が後続車両からあおり運転の被害を受け、その後、時刻t3で衝突事故が発生する場合を例に挙げて説明する。図5に示すように、低フレームレート固定の場合、画像を撮像する時間間隔が長く、撮像画像の枚数も少ないため、画像データのデータ量が小さくなり、その分、撮像可能な時間が長くなる。
しかし、低フレームレート固定の場合、例えば、あおり運転のように継続的に行われる事象の画像を時刻t1で撮像することができても、時刻t3で事故が発生したときに、その一瞬の事象を撮像することができないことがある。
一方、高フレームレート固定の場合、画像を撮像する時間間隔が短いため、時刻t3で事故発生の瞬間の画像を撮像することができる。しかし、高フレームレート固定の場合、撮像画像の枚数が記録容量の上限に達するまでの時間が低フレームレート固定場合よりも短いので、例えば、時刻t1で撮像した事故原因となるあおり運転中の画像を消去することがある。
また、外部情報に基づく可変フレームレートの場合、例えば、外部から収集する外部情報に基づいて事故の発生を予測した場合に、低フレームレートから高フレームレートに変更することができる。
しかし、外部情報に基づく可変フレームレートの場合、外部情報を収集するために、外部装置との間で通信を行う必要があり、また、複数の外部情報に基づいて事故を予測する必要があるため、かかる通信および予測に時間が掛かる。
そのため、外部情報に基づく可変フレームレートの場合には、事故が発生する時刻t3までに低フレームレートから高フレームレートに変更することができない場合がある。かかる場合、例えば、事故発生後の時刻t4から高フレームレートでの撮像が開始され、時刻t3で事故発生の瞬間の画像を撮像できないことがある。
これに対して、CIS2は、撮像した画像データに基づく可変フレームレートで撮像を行う。このため、CIS2は、外部装置から情報を収集する必要がないので、画像データから事故の発生を予測した場合に、外部情報に基づく可変フレームレートの場合よりも短時間で、低フレームレートから高フレームレートへの変更を行うことができる。
したがって、CIS2は、例えば、平常時には低フレームレートで撮像を行うことで、画像データの記録時間を延長しつつ、時刻t1であおり運転中の画像から事故の発生を予測した場合、事故発生前の時刻t2で高フレームレートに変更することができる。
これにより、CIS2は、例えば、事故の原因となるあおり運転中の画像、および事故発生の瞬間の画像の双方を撮像してAP3へ出力することによって、記録媒体4に記録させることができる。
[3.CISが実行する処理]
次に、図6を参照し、CIS2が実行する処理について説明する。図6は、本開示に係るCISが実行する処理の一例を示すフローチャートである。CIS2は、車両の電源がONにされると、図6に示す処理を実行する。
具体的には、図6に示すように、CIS2は、まず、AP3から学習済のDNNを取得する(ステップS101)。続いて、CIS2は、画像を撮像してAP3へ出力する(ステップS102)。その後、CIS2は、周囲の照度を検出し(ステップS103)、照度に応じてフレームレートの変更範囲を決定する(ステップS104)。
続いて、CIS2は、DNNによる事故予測スコアを算出し(ステップS105)、事故予測スコアに基づいて、撮像画像のフレームレートおよび解像度を変更するか否かを判定する(ステップS106)。
そして、CIS2は、変更しないと判定した場合(ステップS106,No)、処理をステップS102へ移す。また、CIS2は、変更すると判定した場合(ステップS105,Yes)、事故予測スコアに応じて、フレームレートおよび解像度を変更する(ステップS107)。
続いて、CIS2は、変更したフレームレートに応じて撮像画像の輝度データを調整し(ステップS108)、処理をステップS102へ移す。その後、CIS2は、車両の電源がOFFにされるまで、ステップS102〜ステップS108の処理を繰り返し実行する。
[4.その他の実施形態]
上述した実施形態に係る処理は、上記した実施形態以外にも種々の異なる形態にて実施されてよい。画像記録装置1は、車両以外に設けられてもよい。
例えば、画像記録装置1は、ドローンに設けられてもよい。かかる場合、CIS2は、例えば、撮像目的の対象物を発見した場合に、フレームレートおよび解像度を高める。例えば、野鳥観察を目的として飛行中のドローンの場合、CIS2は、画像内に鳥を発見した場合に、フレームレートおよび解像度を高める。これにより、画像記録装置1は、撮像目的の対象物の決定的瞬間を撮像することができる。
また、CIS2は、撮像目的が鳥でない場合、急に画像フレームに入ってきた障害物を検知してフレームレートおよび解像度を高める。これにより、画像記録装置1は、例えば、突然、横から飛んできた鳥がドローンに衝突して墜落した場合に、墜落の原因が鳥であったことを記録に残すことができる。このとき、画像記録装置1は、上述したように、事故の予測後、迅速にフレームレートおよび解像度を変更するので、急に画像フレームに入り込んできた物も確実に撮像して記録に残すことができる。
また、CIS2は、例えば、風等の外的要因で、ドローンの操縦者の意図とは異なる方向に移動したことを画像から検知した場合、即座にフレームレートおよび解像度を高めることにより、墜落等の事故の瞬間を確実に記録に残すことができる。
また、画像記録装置1は、例えば、工場に設置されてもよい。かかる場合、CIS2は、例えば、工場で稼働するロボットや危険物の近くに人が近づいたときに、フレームレートおよび解像度を高める。これにより、画像記録装置1は、工場で発生する人身事故の状況を記録に残すことができる。
なお、上述した実施形態では、CIS2が予測部7を備える場合について説明したが、予測部7は、AP3側に設けられてもよい。かかる場合、CIS2は、撮像画像の画像データをAP3へ出力し、AP3に設けられる予測部7によって算出される事故予測スコアをAP3から取得し、上述した手順と同様の手順により、フレームレートおよび解像度の変更を行う。
ただし、予測部7がAP3側に設けられる場合には、画像データをAP3へ送信する時間と、事故予測スコアをAP3から取得する時間が掛かるため、予測部7は、CIS2側に設けられることが望ましい。
また、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図1に示した予測部7と変更部8とは統合されてもよい。
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
[5.効果]
CIS2は、撮像部5と、変更部8とを有する。撮像部5は、周囲の画像を撮像して画像データを生成する。変更部8は、画像データに基づいて予測される所定の事象が発生する可能性の高さに応じて、撮像部5に撮像させる画像のフレームレートを変更する。これにより、CIS2は、重要な瞬間を記録することができる。
変更部8は、所定の事象が発生する可能性が高いほどフレームレートを高める。これにより、CIS2は、所定の事象が発生する可能性が高いほど、その事象が発生する瞬間を逃すことなく記録に残すことができる。
変更部8は、所定の事象が発生する可能性に応じて撮像部撮像させる画像の解像度を変更する。これにより、CIS2は、例えば、所定の事象が発生する可能性の高さに応じて、画像データのデータ量を変更することで、撮像可能時間を調整することができる。
変更部8は、所定の事象が発生する可能性が高いほど解像度を高める。所定の事象が発生する可能性が高いほど、その事象を高精細な画像で記録することができる。
CIS2は、画像データに基づいて所定の事象が発生する可能性の高さを予測する予測部7を有する。これにより、CIS2は、予測部7がCIS2の外部に設けられる場合よりも、迅速にフレームレートや解像度を変更することができる。
予測部7は、DNNを使用するDNN処理によって所定の事象が発生する可能性の高さを予測する。これにより、予測部7は、所定の事象が発生する正確な可能性の高さを予測することができる。
予測部7は、事故が発生する可能性の高さを予測する。これによりCIS2は、フレームレートが固定の場合に比べて、確実に事故の全貌および事故発生の瞬間を記録に残すことができる。
CIS2は、周囲の照度を検出する照度検出部9を有する。変更部8は、照度検出部9によって検出される照度に応じてフレームレートの変更範囲を決定する。これにより、CIS2は、例えば、照度が低くなるほどフレームレートの上限を低くすることで、撮像画像に黒つぶれが生じることを防止することができる。
撮像部5は、変更部8によって変更されるフレームレートに応じて画像データにおける撮像画像の輝度データを調整する。これにより、CIS2は、例えば、フレームレートが高くなるほど、撮像画像の輝度を高めることで、フレームレートが変化しても撮像画像の視覚上の違和感のない画像を撮像することができる。
画像記録装置は、CIS2と、記録部とを有する。CIS2は、撮像部5と、変更部8とを有する。撮像部5は、周囲の画像を撮像して画像データを生成する。変更部8は、画像データに基づいて予測される所定の事象が発生する可能性の高さに応じて、撮像部5に撮像させる画像のフレームレートを変更する。記録媒体4は、CIS2によって撮像される画像を記録する。これにより、画像記録装置は、重要な瞬間を記録することができる。
本開示に係る撮像方法は、周囲の画像を撮像して画像データを生成し、画像データに基づいて予測される所定の事象が発生する可能性の高さに応じて、撮像する画像のフレームレートを変更する。これにより、重要な瞬間を記録することができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
周囲の画像を撮像して画像データを生成する撮像部と、
前記画像データに基づいて予測される所定の事象が発生する可能性の高さに応じて、前記撮像部に撮像させる画像のフレームレートを変更する変更部と
を有する撮像装置。
(2)
前記変更部は、
前記可能性が高いほど前記フレームレートを高める
前記(1)に記載の撮像装置。
(3)
前記変更部は、
前記可能性に応じて前記撮像部撮像させる画像の解像度を変更する
前記(1)または(3)に記載の撮像装置。
(4)
前記変更部は、
前記可能性が高いほど前記解像度を高める
前記(3)に記載の撮像装置。
(5)
前記画像データに基づいて前記所定の事象が発生する可能性の高さを予測する予測部
を有する前記(1)〜(4)のいずれかに記載の撮像装置。
(6)
前記予測部は、
DNN(Deep Neural Network)を使用するDNN処理によって前記可能性の高さを予測する
前記(5)に記載の撮像装置。
(7)
前記予測部は、
事故が発生する可能性の高さを予測する
前記(5)または(6)に記載の撮像装置。
(8)
前記周囲の照度を検出する照度検出部
を有し、
前記変更部は、
前記照度検出部によって検出される前記照度に応じて前記フレームレートの変更範囲を決定する
前記(1)〜(7)のいずれかに記載の撮像装置。
(9)
前記撮像部は、
前記変更部によって変更される前記フレームレートに応じて前記画像データにおける撮像画像の輝度データを調整する
前記(1)〜(8)のいずれかに記載の撮像装置。
(10)
周囲の画像を撮像して画像データを生成する撮像部と、
前記画像データに基づいて予測される所定の事象が発生する可能性の高さに応じて、前記撮像部に撮像させる画像のフレームレートを変更する変更部と
を有する撮像装置と、
前記撮像装置によって撮像される画像を記録する記録部と
を有する画像記録装置。
(11)
周囲の画像を撮像して画像データを生成し、
前記画像データに基づいて予測される所定の事象が発生する可能性の高さに応じて、撮像する画像のフレームレートを変更する
撮像方法。
1 画像記録装置
2 CIS
3 AP
31 AP制御部
32 通信I/F
4 記録媒体
5 撮像部
51 受光部
52 読出部
6 通信I/F
7 予測部
8 変更部
9 照度検出部

Claims (11)

  1. 周囲の画像を撮像して画像データを生成する撮像部と、
    前記画像データに基づいて予測される所定の事象が発生する可能性の高さに応じて、前記撮像部に撮像させる画像のフレームレートを変更する変更部と
    を有する撮像装置。
  2. 前記変更部は、
    前記可能性が高いほど前記フレームレートを高める
    請求項1に記載の撮像装置。
  3. 前記変更部は、
    前記可能性に応じて前記撮像部に撮像させる画像の解像度を変更する
    請求項1に記載の撮像装置。
  4. 前記変更部は、
    前記可能性が高いほど前記解像度を高める
    請求項3に記載の撮像装置。
  5. 前記画像データに基づいて前記所定の事象が発生する可能性の高さを予測する予測部
    を有する請求項1に記載の撮像装置。
  6. 前記予測部は、
    DNN(Deep Neural Network)を使用するDNN処理によって前記可能性の高さを予測する
    請求項5に記載の撮像装置。
  7. 前記予測部は、
    事故が発生する可能性の高さを予測する
    請求項5に記載の撮像装置。
  8. 前記周囲の照度を検出する照度検出部
    を有し、
    前記変更部は、
    前記照度検出部によって検出される前記照度に応じて前記フレームレートの変更範囲を決定する
    請求項1に記載の撮像装置。
  9. 前記撮像部は、
    前記変更部によって変更される前記フレームレートに応じて前記画像データにおける撮像画像の輝度データを調整する
    請求項1に記載の撮像装置。
  10. 周囲の画像を撮像して画像データを生成する撮像部と、
    前記画像データに基づいて予測される所定の事象が発生する可能性の高さに応じて、前記撮像部に撮像させる画像のフレームレートを変更する変更部と
    を有する撮像装置と、
    前記撮像装置によって撮像される画像を記録する記録部と
    を有する画像記録装置。
  11. 周囲の画像を撮像して画像データを生成し、
    前記画像データに基づいて予測される所定の事象が発生する可能性の高さに応じて、撮像する画像のフレームレートを変更する
    撮像方法。
JP2019027848A 2019-02-19 2019-02-19 撮像装置、画像記録装置、および撮像方法 Pending JP2020136900A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019027848A JP2020136900A (ja) 2019-02-19 2019-02-19 撮像装置、画像記録装置、および撮像方法
CN202080013988.9A CN113424517B (zh) 2019-02-19 2020-02-10 成像装置、图像记录装置和成像方法
PCT/JP2020/005203 WO2020170889A1 (ja) 2019-02-19 2020-02-10 撮像装置、画像記録装置、および撮像方法
US17/429,719 US11917308B2 (en) 2019-02-19 2020-02-10 Imaging device, image recording device, and imaging method for capturing a predetermined event

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019027848A JP2020136900A (ja) 2019-02-19 2019-02-19 撮像装置、画像記録装置、および撮像方法

Publications (1)

Publication Number Publication Date
JP2020136900A true JP2020136900A (ja) 2020-08-31

Family

ID=72144694

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019027848A Pending JP2020136900A (ja) 2019-02-19 2019-02-19 撮像装置、画像記録装置、および撮像方法

Country Status (4)

Country Link
US (1) US11917308B2 (ja)
JP (1) JP2020136900A (ja)
CN (1) CN113424517B (ja)
WO (1) WO2020170889A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023012821A (ja) * 2021-07-14 2023-01-26 トヨタ自動車株式会社 遠隔運転システム
WO2024087183A1 (en) * 2022-10-28 2024-05-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Imaging device, imaging device control method, and computer program product

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100663455B1 (ko) * 2002-04-22 2007-01-02 삼성전자주식회사 주변 조도에 따른 영상 표시장치 및 방법.
JP4364903B2 (ja) * 2004-03-17 2009-11-18 富士通マイクロエレクトロニクス株式会社 自動利得制御回路
US20060007314A1 (en) * 2004-07-10 2006-01-12 Kendall Fong Method and apparatus for capturing events having an indeterminate start time
JP4765649B2 (ja) 2006-02-08 2011-09-07 日産自動車株式会社 車両用映像処理装置、車両周囲監視システム並びに映像処理方法
JP4847165B2 (ja) * 2006-03-09 2011-12-28 株式会社日立製作所 映像記録再生方法及び映像記録再生装置
WO2008149925A1 (ja) * 2007-06-08 2008-12-11 Nikon Corporation 撮像装置、画像表示装置、プログラム
JP2009049946A (ja) * 2007-08-23 2009-03-05 Sharp Corp 撮像装置およびドアホンシステム
JP4930302B2 (ja) * 2007-09-14 2012-05-16 ソニー株式会社 撮像装置、その制御方法およびプログラム
TW200930066A (en) * 2007-12-21 2009-07-01 Altek Corp Digital photogrphic camera with brightness compensation and compensation method thereof
JP4483962B2 (ja) * 2008-03-25 2010-06-16 ソニー株式会社 撮像装置、撮像方法
JP2010003110A (ja) * 2008-06-20 2010-01-07 Panasonic Corp 車載用動画像データ記録装置
JP5225218B2 (ja) * 2008-07-02 2013-07-03 パナソニック株式会社 車両搭載型画像記録装置および画像記録方法
JP2010134745A (ja) 2008-12-05 2010-06-17 Fujitsu Ten Ltd ドライブレコーダ及びドライブレコーダの映像記録方法
US8149323B2 (en) * 2008-12-18 2012-04-03 Qualcomm Incorporated System and method to autofocus assisted by autoexposure control
JP2010286587A (ja) * 2009-06-10 2010-12-24 Sony Corp 画像表示装置、画像表示観察システム、画像表示方法、及びプログラム
US8754977B2 (en) * 2011-07-28 2014-06-17 Hewlett-Packard Development Company, L.P. Second camera for finding focal target in poorly exposed region of frame taken by first camera
JP5920158B2 (ja) 2012-10-09 2016-05-18 株式会社デンソー 移動体用画像記憶装置
JP6356552B2 (ja) * 2014-09-16 2018-07-11 東芝メモリ株式会社 情報処理装置
CN104967803B (zh) * 2015-07-01 2018-01-19 广东欧珀移动通信有限公司 一种视频录制方法及装置
US20170150222A1 (en) * 2015-11-19 2017-05-25 Electronics And Telecommunications Research Institute Appratus for audience measurement on multiple devices and method of analyzing data for the same
US10097765B2 (en) * 2016-04-20 2018-10-09 Samsung Electronics Co., Ltd. Methodology and apparatus for generating high fidelity zoom for mobile video
JP2018173944A (ja) 2017-03-30 2018-11-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報処理装置および情報処理方法
US20180307912A1 (en) * 2017-04-20 2018-10-25 David Lee Selinger United states utility patent application system and method for monitoring virtual perimeter breaches

Also Published As

Publication number Publication date
CN113424517A (zh) 2021-09-21
CN113424517B (zh) 2024-04-09
US11917308B2 (en) 2024-02-27
WO2020170889A1 (ja) 2020-08-27
US20220132029A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
JP7500962B2 (ja) 固体撮像素子、撮像装置、撮像方法および撮像プログラム
US7948538B2 (en) Image capturing apparatus, image capturing method, exposure control method, and program
US8081224B2 (en) Method and apparatus for image stabilization using multiple image captures
US7884868B2 (en) Image capturing element, image capturing apparatus, image capturing method, image capturing system, and image processing apparatus
US7444075B2 (en) Imaging device, camera, and imaging method
US11503233B2 (en) Solid-state imaging element and imaging device
JP7151234B2 (ja) カメラシステムおよびイベント記録システム
WO2020170889A1 (ja) 撮像装置、画像記録装置、および撮像方法
US10965890B2 (en) Imaging device and imaging system
WO2022019026A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
WO2020129657A1 (ja) センサ及び制御方法
JP2009017156A (ja) 撮像装置、並びに、監視装置および方法
JP2014146979A (ja) 監視カメラシステム、撮像装置及び撮像方法
JP2006311031A (ja) 移動体用撮像装置
JP2018201156A (ja) 画像処理装置および画像処理方法
JP2009146259A (ja) 車両ナンバー撮影システム、車両ナンバー撮影方法
JP7231092B2 (ja) イベント記録システム
WO2023105916A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US20220237747A1 (en) Monitoring camera and image quality improving method
JP2023130734A (ja) 画像処理装置、画像処理方法、およびプログラム
JPH04170874A (ja) 静止画撮像装置