JP2019114902A - 半導体装置、撮像システム、及びプログラム - Google Patents

Abstract

【課題】移動体又は被写体が移動している状況下において、取得する画像データの劣化を抑制する。【解決手段】半導体装置１００は、カメラの撮像条件を決定するための一連の処理を開始するトリガ信号に応じて、カメラの撮像予定時刻を決定する撮像時刻決定部１３４と、予め設定された時間毎に相対位置に関する情報を含む距離データを取得すると共に、トリガ信号に応じて、距離データから被写体を決定する被写体決定部１３３と、複数の異なる時刻に取得した複数の距離データから、被写体の移動ベクトルを算出する移動ベクトル算出部１３２と、移動ベクトルに基づいて、撮像予定時刻におけるカメラと被写体との相対位置である被写***置推定データを算出し、被写***置推定データに基づいて撮像予定時刻における撮像条件を決定し、決定した撮像条件に従い撮像予定時刻に撮像することをカメラに指示する撮像条件決定部とを備える。【選択図】図２

Description

本発明は半導体装置、撮像システム、及びプログラムに関する。

近年、自動車の先進運転支援システムや自動運転に関する技術開発が盛んにおこなわれている。これらのシステムは、撮像装置を含み、撮像装置を介して自動車の周囲の画像を取得する。取得した画像を利用することにより、これらのシステムは自動車の周囲の物体を認識する。そのため、周囲の物体の認識精度を向上させるためには、高精細な画像を取得することが望まれる。また、高精細な画像を取得する技術については、様々な提案がなされている。

特許文献１に記載されている画像入出力装置は、複数の異なる物体面に焦点を合わせる手段と、異なる物体面に焦点のあった複数の画像を入力する手段と、入力した画像を加え合わせる手段とを有している。そして、かかる画像入出力装置は、この手段により加え合わせた画像に対して空間周波数フィルタリングによる回復処理を施す手段を有している。

特許文献２に記載されている画像処理装置は、移動体に搭載され、所定の撮像視野に対応する画像信号群を生成する撮像部と、移動体の移動情報を取得する検知部と、所定時間後の自車両の到達地点を予測する到達地点予測部とを有する。そして、かかる画像処理装置は、この予測結果に基づいて画像信号群に対する処理範囲である演算範囲を設定する演算範囲設定部と、この設定された演算範囲に対応する画像信号群に基づいて撮像視野内に位置する物体までの距離を演算する演算部とを備える。

特開平１−３０９４７８号公報 特開２００６−３２２７９６号公報

しかしながら、特許文献１の技術は、静止した被写体に対して撮像センサの位置が前後に変化するときの、被写体を撮像した画像の解像度を維持するための指標である焦点深度に着目したものである。すなわち、特許文献１の技術は、撮像時に画像入力装置又は被写体が移動することが考慮されていない。また、特許文献２の技術は、出力された距離情報に応じて焦点距離を制御することが考慮されていない。

発明者らは、特許文献２に記載される移動体に搭載された撮像装置に、特許文献１に記載される技術を適用したシステムについて検討した。その結果、発明者らは、かかるシステムが撮像装置と被写体との距離を測定してから、撮像装置が被写体を撮像するまでに経過する間に、撮像装置の測距点と被写体の位置がずれることを見出した。測距点と被写体の位置がずれるにつれて、撮像した画像は、ぼやけた状態となる。すなわち、発明者らは、従来技術により自動車の周囲の画像を撮像した場合に、測距点と被写体の位置がずれることにより撮影した画像がぼやけた状態となるという問題を見出した。

その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

一実施の形態によれば、半導体装置は、カメラとの相対位置が変化している物体を前記カメラに撮像させるに際し、前記カメラの撮像条件を決定するための一連の処理を開始するトリガ信号に応じて、前記カメラの撮像予定時刻を決定する。また、半導体装置は、予め設定された時間毎に前記相対位置に関する情報を含む距離データを取得すると共に、前記トリガ信号に応じて、前記距離データから被写体を決定する。さらに、半導体装置は、複数の異なる時刻に取得した複数の前記距離データから、前記被写体の移動ベクトルを算出し、算出した移動ベクトルに基づいて、前記撮像予定時刻における前記カメラと前記被写体との相対位置を推定する。また、半導体装置は、前記相対位置に基づいて前記撮像予定時刻における前記撮像条件を決定し、決定した前記撮像条件に従い前記撮像予定時刻に撮像することを前記カメラに指示する。

前記一実施の形態によれば、半導体装置は、移動体又は被写体が移動している状況下において、取得する画像データの劣化を抑制することができる。

本実施の形態が搭載された自動車の概略構成図である。 実施の形態１にかかる半導体装置のハードウェア構成図である。 実施の形態１にかかる半導体装置の機能ブロック図である。 実施の形態１にかかる半導体装置における被写体情報更新処理を示すフローチャートである。 実施の形態１にかかる半導体装置が行う処理のフローチャートである。 実施の形態１にかかる半導体装置における撮像条件を決定する一連の処理を示すフローチャートである。 実施の形態２にかかる半導体装置の機能ブロック図である。 実施の形態２にかかる半導体装置における被写体情報更新処理を示すフローチャートである。 実施の形態３にかかる半導体装置の機能ブロック図である。 実施の形態３にかかる半導体装置における表示フレームレートの設定例を示す図である。 実施の形態４にかかる半導体装置の機能ブロック図である。 実施の形態４にかかる半導体装置におけるフォーカスエリアの設定例を示す図である。 実施の形態４にかかる移動体が登録された位置に停止した場合のフォーカスエリアの例を示す図である。 実施の形態４にかかる移動体が登録されていない位置に停止した場合のフォーカスエリアの例を示す図である。 実施の形態４にかかる半導体装置における被写体情報更新処理を示すフローチャートである。

説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。したがって、以下の説明において、回路として例示した構成は、ハードウェアまたはソフトウェアのいずれかまたはその両方によって実現することが可能であり、ある機能を実現する回路として示され構成は、同様の機能を実現するソフトウェアの一部としても示され得る。例えば、制御回路と記載された構成は、制御部として記載され得る。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

まず、図１を参照しながら、実施の形態について概略を説明する。図１は、本実施の形態が搭載された自動車の概略構成図である。図１は、自動車１の上面図である。自動車１は、撮像システム１０を搭載している。撮像システム１０は、カメラにより自動車の周囲を撮影するシステムである。撮像システム１０は、半導体装置１００、カメラ９８０、及び距離センサ９９０を主な構成要素として有している。撮像システム１０は、距離センサ９９０が生成した物体の距離データを半導体装置１００に処理させ、処理結果に基づいて、カメラ９８０に物体を撮像させる。撮像システム１０が撮像した画像は、例えばドライブレコーダ、カーナビゲーションシステムなどに利用され得る。

半導体装置１００は、自動車１のセンターコンソールなど任意の場所に設置される。カメラ９８０は、例えば自動車１の進行方向の画像を撮影する撮像素子を含む装置である。距離センサ９９０は、検出範囲にカメラ９８０が撮像する範囲を少なくとも含み、検出範囲内における各物体の位置および距離を検出する。距離センサ９９０は、例えば、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）のように遠距離にある対象までの距離を検出する装置である。半導体装置１００、カメラ９８０、及び距離センサ９９０は、適宜通信可能に接続されている。

＜実施の形態１＞
次に、図２を参照しながら、実施の形態１について説明する、図２は、実施の形態１にかかる半導体装置のハードウェア構成図である。半導体装置１００は、カメラとの相対位置が変化している物体をカメラに撮像させるための撮像条件を決定し、決定した撮像条件に基づいて、カメラに指示を送る。半導体装置１００は、距離センサ９９０、カメラ９８０、外部メモリ９７０、ＥＣＵ装置９６０、及びディスプレイ９５０に接続している。
半導体装置１００は、制御回路１１０、内部メモリ１２０、画像処理回路１３０、画像データ入力ＩＦ１４０、バスＩＦ１５０、画像データ出力ＩＦ１６０、バス１７０を主な構成として有している。

制御回路１１０は、ＣＰＵまたはＭＰＵ（Micro-processing unit）などと呼ばれる演算装置を含む制御回路である。制御回路１１０は、バス１７０を介して各部を制御する。制御回路１１０は、カメラ９８０の撮像条件を決定するための一連の処理を開始するトリガ信号を出力する。

内部メモリ１２０は、種々のデータを記憶する記憶装置である。内部メモリ１２０は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）やＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などの揮発性メモリ、もしくは、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）やフラッシュメモリなどの不揮発性メモリ、またはこれらの組み合わせにより構成される。内部メモリ１２０は、距離センサ９９０から受け取った距離データを記憶する。

画像処理回路１３０は、バス１７０を介して種々のデータを受けとり、受け取った種々のデータを演算し、演算結果を出力する演算回路である。画像処理回路１３０は、例えば、ＧＰＵ（Graphics Processing Unit）や画像処理アクセラレータなどの集積回路を含む。画像処理回路１３０は、制御回路１１０からトリガ信号を受け取り、受け取ったトリガ信号に応じて、前記カメラの撮像予定時刻を決定する。また、画像処理回路１３０は、制御回路１１０から受け取ったトリガ信号に応じて、内部メモリ１２０に記憶している距離データを取得し、取得した距離データから被写体を決定する。画像処理回路１３０は、複数の異なる時刻に取得した複数の距離データから、被写体の移動ベクトルを算出する。さらに、画像処理回路１３０は、移動ベクトルに基づいて、撮像予定時刻におけるカメラ９８０と被写体との相対位置を推定する。そして、画像処理回路１３０は、相対位置に基づいて撮像予定時刻における撮像条件を決定し、決定した撮像条件に従い撮像予定時刻に撮像することをカメラ９８０に指示する。画像処理回路１３０は、上述した機能の他、カメラ９８０が生成した複数の画像データを受け取り、受け取った複数の画像データを合成することもできる。

画像データ入力ＩＦ１４０は、半導体装置１００が半導体装置１００の外部装置から画像データを受け取り、受け取った画像データを、バス１７０を介して半導体装置１００の内部に送信するためのインターフェイス（ＩＦ：Interface）である。より具体的には、画像データ入力ＩＦ１４０は、距離センサ９９０から距離データを受け取り、受け取った距離データを、内部メモリ１２０に送信する。また、画像データ入力ＩＦ１４０は、カメラ９８０から画像データを受け取り、受け取った画像データを、バス１７０を介して、内部メモリ１２０または画像処理回路１３０などに送信する。画像データ入力ＩＦ１４０は、例えば、ＣＳＩ（Camera Serial Interface）のような画像データ入力用のインターフェイスである。なお、本説明において、画像データとは、距離センサ９９０が生成する距離データも含まれているものとする。

バスＩＦ１５０は、半導体装置１００が半導体装置１００の外部装置と種々のデータを送受信するためのインターフェイスである。より具体的には、バスＩＦ１５０は、カメラ９８０に対して撮像条件を指示する。また、バスＩＦ１５０は、外部メモリ９７０からプログラムデータを受け取り、受け取ったプログラムデータを内部メモリ１２０に送信する。また、バスＩＦ１５０は、ＥＣＵ装置から自動車１に関するデータを受け取り、受け取ったデータをバス１７０を介して内部メモリ１２０または画像処理回路１３０などに送信する。

画像データ出力ＩＦ１６０は、半導体装置１００が生成した画像データを半導体装置１００の外部に出力するためのインターフェイスである。より具体的には、画像データ出力ＩＦ１６０は、例えば、画像処理回路１３０が生成した画像データを、バス１７０を介して受け取り、受け取った画像データをディスプレイ９５０に出力する。

距離センサ９９０は、例えば、ＬＩＤＡＲのように遠距離にある対象までの距離を検出する装置である。距離センサ９９０は、検出対象である物体の、相対位置に関する情報を含む距離データを生成し、生成した距離データを、半導体装置１００の画像データ入力ＩＦ１４０に送信する。距離データには、検出対象である物体の形状、大きさ、位置が含まれている。すなわち、距離データを分析することにより、自動車１の周囲に存在する物体の種類や、自動車１と物体との相対位置を算出することができる。

カメラ９８０は、例えば自動車１の進行方向の画像を撮影する撮像素子を含む装置である。カメラ９８０は、撮像条件を半導体装置１００のバスＩＦ１５０から受け取り、受け取った撮像条件に従って撮像を行う。カメラ９８０は、撮像することにより生成した画像データを半導体装置１００の画像データ入力ＩＦ１４０に送信する。

外部メモリ９７０は、半導体装置１００のバスＩＦ１５０とデータの送受信を行う記憶装置である。外部メモリ９７０は、例えば、フラッシュメモリ、ＳＳＤ（Solid State Drive）、またはＨＤＤ（Hard Disc Drive）などの不揮発性記憶装置である。外部メモリ９７０は、予め記憶しておいたプログラムファイルを半導体装置１００のバスＩＦ１５０に送信し得る。また、外部メモリ９７０は、バスＩＦ１５０から、半導体装置１００が生成した画像データを受け取り得る。

ＥＣＵ装置９６０は、自動車１に搭載されている種々のＥＣＵ（Electronic Control Unit）を例示したものである。ＥＣＵ装置９６０は、例えば、自動車１の移動速度、ステアリングの操舵角、ＧＰＳ（Global Positioning System）からの自車位置情報などを管理する装置である。自動車１において、かかるＥＣＵ装置９６０は、車載イーサネット（登録商標）、ＣＡＮ（Controller Area Network）、またはＬＩＮ(Local Interconnect Network)などの車内通信バスにより通信可能に接続されている。本実施の形態においては、かかるＥＣＵ装置９６０は、半導体装置１００のバスＩＦ１５０に、自動車１の移動速度情報や自車位置情報などを送信する。

ディスプレイ９５０は、例えば、液晶ディスプレイなどの装置である。ディスプレイ９５０は、半導体装置１００の画像データ出力ＩＦ１６０を介して、半導体装置１００が生成した画像データを受け取り、受け取った画像データを、表示する。

次に、図３を参照しながら、半導体装置１００の機能ブロック及び信号の流れについて説明する。図３は、実施の形態１にかかる半導体装置の機能ブロック図である。

内部メモリ１２０は、距離センサ９９０から距離データを受け取り、受け取った距離データを距離データ記憶領域１２１に記憶する。内部メモリ１２０は、画像処理回路１３０からの要求に応じて、記憶した距離データを、画像処理回路１３０に送信する。なお、半導体装置１００は、予め設定された時間ごとに、距離センサ９９０からの距離データを受け取るように設定され得る。その場合、距離データ記憶領域１２１には、予め設定された時間ごとに、新たな距離データが書き込まれる。また、距離データ記憶領域１２１は、複数の距離データを記憶し、リングバッファのように、記憶されている距離データのうち最も古い距離データに、最新の距離データが順次上書きされる構成となっていてもよい。

制御回路１１０は、アプリケーション実行部１１１を有している。制御回路１１０は、所定のプログラムを実行することにより、カメラ９８０の撮像条件を決定するための一連の処理を開始するトリガ信号を画像処理回路１３０の被写体決定回路１３３に出力する。

画像処理回路１３０は、本開示にかかる主な構成として、物体データ生成回路１３１、移動ベクトル算出回路１３２、被写体決定回路１３３、および撮像時刻決定回路１３４を有している。また、画像処理回路１３０は、自車位置推定回路１３５、被写***置推定回路１３６、焦点距離補正回路１３７、および被写界深度判定回路１３８を有している。なお、当然ながら、ここで説明する画像処理回路１３０の構成は、画像処理回路１３０が有する全ての構成の内の一部を示しているに過ぎない。

物体データ生成回路１３１は、内部メモリ１２０の距離データ記憶領域１２１から距離データを受け取り、距離データに含まれる物体を検出するとともに、物体の位置を検出する。以降、距離データが生成するデータを物体データと称する。物体データには、物体データ生成回路１３１が検出した物体の距離データが含まれる。物体データ生成回路１３１は、被写体決定回路１３３に、最新の物体データを提供するために、予め設定された時間ごとに、距離データ記憶領域１２１から距離データを取得し、最新の物体データを更新し保持する。物体データ生成回路１３１は、物体データを、移動ベクトル算出回路１３２及び被写体決定回路１３３に送信する。

移動ベクトル算出回路１３２は、物体データ生成回路１３１から複数の異なる時刻における物体データを受け取り、受け取った複数の物体データに基づいて、検出した物体の移動ベクトルを算出する。移動ベクトル算出回路１３２は、物体データ生成回路１３１から予め設定された時間ごとに最新の物体データを受け取り、受け取った最新の物体データに基づいて、物体の移動ベクトルを更新し保持する。以降、物体の移動ベクトルに関するデータを、移動ベクトルデータと称する。移動ベクトル算出回路１３２は、移動ベクトルデータを、被写***置推定回路１３６に送信する。

被写体決定回路１３３は、カメラ９８０に撮像処理させるためのトリガ信号を受け取り、トリガ信号に応じて撮像対象である被写体を決定する機能を有する。被写体決定回路１３３は、制御回路１１０のトリガ部１１２からトリガ信号を受け取り、受け取ったトリガ信号に応じて、物体データから被写体を決定する。以降、被写体決定回路１３３が生成する被写体に関するデータを、被写体データと称する。被写体データは、被写体として選択された物体の距離データが含まれる。被写体決定回路１３３は、決定した被写体データを、撮像時刻決定回路１３４、自車位置推定回路１３５、及び被写***置推定回路１３６にそれぞれ送信する。

撮像時刻決定回路１３４は、被写体決定回路１３３から被写体データを受け取ると、撮像予定時刻を決定し、決定した撮像予定時刻を、自車位置推定回路１３５及び被写***置推定回路１３６に送信する機能を有する。また、撮像時刻決定回路１３４は、決定した撮像時刻をカメラ９８０に送信する。撮像時刻決定回路１３４は、被写体データに関わらず、撮像予定時刻を予め設定された間隔ごととしてもよい。また、撮像時刻決定回路１３４は、被写体データに含まれる被写体の数に応じて撮像予定時刻の間隔を決定してもよい。なお、連続撮像可能な間隔は撮像システムの各制約条件により決められるものである。すなわち、例えば、被写体が１つの場合には、撮像予定時刻を１回分決定し、被写体が４つ以上の場合には、撮像予定時刻を４回分決定してもよい。

焦点距離決定回路１３９は、撮像条件を決定し、決定した撮像条件に従い撮像予定時刻に撮像することをカメラ９８０に指示する。より具体的には、焦点距離決定回路１３９は、自動車１の移動に関するデータと、被写体データと、撮像予定時刻と、移動ベクトルデータとから、撮像予定時刻における自動車１と被写体との相対位置を推定する。また、焦点距離決定回路１３９は、推定した相対位置に基づいて撮像予定時刻における焦点距離を決定し、決定した焦点距離に従い撮像予定時刻に撮像することをカメラ９８０に指示する。焦点距離決定回路１３９は、自車位置推定回路１３５、被写***置推定回路１３６、および焦点距離補正回路１３７を含む。

自車位置推定回路１３５は、自動車１の移動に関するデータと、撮像予定時刻とから、撮像予定時刻における自動車１の移動距離を推定する機能を有する。自車位置推定回路１３５は、撮像時刻決定回路１３４から、撮像時刻に関するデータを受け取る。撮像時刻に関するデータとは、最新の被写体データにかかる距離データが生成された時刻、および撮像予定時刻である。また、自車位置推定回路１３５は、ＥＣＵ装置９６０から自車の移動データを受け取る。自車の移動データとは、例えば自動車１の移動速度に関する情報である。自車位置推定回路１３５は、自車の移動データを予め設定された期間分蓄積し、蓄積したデータの内、撮像時刻決定回路１３４から受け取った撮像時刻に関するデータに対応したデータを用いる。このような構成により、距離センサ９９０が距離データを生成した時刻に対応した自車の移動データを用いる。本実施例において、距離センサ９９０がデータを生成する周期（例えば２０ヘルツ）よりも、ＥＣＵ装置９６０がデータを生成する周期（例えば６０ヘルツ）の方が短い。このような場合に、距離センサ９９０のデータよりも短い周期で生成されるＥＣＵ装置９６０のデータを用いることにより、自動車１の移動距離を精度よく推定することが出来る。自車位置推定回路１３５は、受け取ったデータに基づいて、撮像予定時刻における自動車１の移動距離を推定し、焦点距離補正回路１３７に送信する。なお、以降、自車位置推定回路１３５が生成するこのデータを、自車位置推定データと称する。自車位置推定データは、移動体である自動車１の位置推定データであって、被写***置推定データを補正するためのデータである。

被写***置推定回路１３６は、被写体データと、移動ベクトルデータと、撮像予定時刻とから、撮像予定時刻における被写体との相対位置を推定する機能を有する。被写***置推定回路１３６は、移動ベクトル算出回路１３２から検出した移動ベクトルデータを受け取るとともに、被写体決定回路１３３から被写体データを受け取る。また、被写***置推定回路１３６は、撮像時刻決定回路１３４から撮像予定時刻に関するデータを受け取る。被写***置推定回路１３６は、受け取ったこれらのデータに基づいて、撮像予定時刻における被写体との相対位置を算出し、算出したデータを焦点距離補正回路１３７に送信する。なお、以降、被写体の位置を推定したデータを、被写***置推定データと称する。被写***置推定データは、撮像予定時刻における被写体の距離データが含まれる。

焦点距離補正回路１３７は、カメラの撮像条件である焦点距離を決定する機能を有する。焦点距離補正回路１３７は、自車位置推定回路１３５から自車位置推定データを受け取るとともに、被写***置推定回路１３６から被写***置推定データを受け取る。焦点距離補正回路１３７は、受け取ったこれらのデータに基づいて、撮像予定時刻におけるカメラの撮像条件である焦点距離の設定を決定する。より具体的には、焦点距離補正回路１３７は、被写***置推定データを、自車位置推定データによって補正する。すなわち、本実施例において、距離センサ９９０がデータを生成する周期よりも、ＥＣＵ装置９６０がデータを生成する周期の方が短い。そのため、焦点距離補正回路１３７は、被写***置推定データに含まれる自動車１の移動速度に関するデータを、自車位置推定データを用いて補正する。これにより、焦点距離を算出する精度を高めることができる。また、焦点距離補正回路１３７は、決定した焦点距離の設定に関するデータを、被写界深度判定回路１３８に送信する。また、焦点距離補正回路１３７は、被写界深度判定回路１３８により被写体の決定を修正すると判断されなかった場合に、決定した焦点距離に関するデータを、カメラ９８０に送信する。

被写界深度判定回路１３８は、撮像予定時刻が複数存在する場合において、撮像予定時刻ごとの被写界深度を算出し、焦点距離の設定が統合可能であるか否かを判定する機能を有する。被写界深度判定回路１３８は、焦点距離補正回路１３７から撮像条件である焦点距離の設定に関するデータを受け取り、受け取った焦点距離の設定に関する情報から、撮像予定時刻ごとの被写界深度を算出する。なお、被写界深度は一般に以下の式により算出される。

式（１）〜式（３）において、ｆＤＯＦは前方被写界深度を示し、ｃは許容錯乱円径を示し、Ｆは絞り値を示し、ｄは被写体距離を示し、ｒＤＯＦは後方被写界深度を示し、ＤＯＦは被写界深度を示す。被写界深度とは、カメラの焦点を被写体に合わせたときに、被写体前後の範囲の中で焦点が合っているように見える幅のことをいう。例えば、カメラが焦点距離の異なる被写体Ａと被写体Ｂとをそれぞれ撮像する場合において、被写体Ａの撮像にかかる被写界深度に、被写体Ｂの焦点距離が含まれている場合には、被写体Ａの撮像により、被写体Ｂも焦点が合っているように撮像される。この場合、カメラは被写体Ａに焦点を合わせた撮像を１回行えばよい。このような原理の下、被写界深度判定回路１３８は、撮像予定時刻ごとの被写界深度を算出し、焦点距離の設定が統合可能か否かを判定する。そして、焦点距離の設定が統合可能であると判定した場合、被写界深度判定回路１３８は、被写体の決定を再度行うためのデータを送信する。具体的には、例えば、被写体Ａに焦点を合わせて撮像する際の被写界深度に被写体Ｂの焦点距離が含まれる場合には、被写体Ｂを撮像対象から省略可能である。この場合、被写界深度判定回路１３８は、被写体決定回路１３３に、被写体Ｂに関する情報を撮像対象から削除するためのデータを送信する。

次に、図４を参照しながら、半導体装置１００における被写体情報の更新処理について説明する。図４は、実施の形態１にかかる半導体装置における被写体情報更新処理を示すフローチャートである。すなわち、図４は、物体データ生成回路１３１が最新の距離データを更新し、および、移動ベクトル算出回路１３２が最新の移動ベクトルに関する情報を更新するための処理である。

まず、物体データ生成回路１３１は、内部メモリ１２０が記憶している距離データを取得する（ステップＳ１０）。次に、物体データ生成回路１３１は、取得した距離データから物体を検出する（ステップＳ１１）。物体データ生成回路１３１が取得した距離データから物体を検出する手法は１つに限られず、様々な手法が既に開示されているためここでの詳述は省略する。具体例を１つ挙げると、物体データ生成回路１３１は、距離データに含まれる画像データの各画素の位置および輝度値から、各画素における輝度勾配を検出するとともに、検出した輝度勾配から各画素の特徴量を算出しうる。物体データ生成回路１３１は、このようにして算出した特徴量に基づいて、物体が存在することを検出しうる。

次に、物体データ生成回路１３１は、距離データ及び検出した物体に関するデータを、移動ベクトル算出回路１３２に送信する。移動ベクトル算出回路１３２は、かかるデータを受け取ると、過去に受け取った距離データと、最新の距離データとに基づいて、各物体の移動ベクトルを算出する（ステップＳ１２）。移動ベクトルは、異なる時刻に取得した複数の距離データにおける物体の位置変化に基づいて算出可能である。移動ベクトルを算出する具体的な手法についても、既に様々な技術が開示されているため、ここでの詳述は省略する。

次に、物体データ生成回路１３１は、検出した物体に関するデータとともに、被写体情報の更新を行う（ステップＳ１３）。物体データ生成回路１３１は、被写体情報の更新を行うと、処理を終了させるか否かを判定し（ステップＳ１４）、終了判定しない場合（ステップＳ１４：Ｎｏ）は、再び距離データの取得を行う（ステップＳ１０）。一方、物体データ生成回路１３１は、終了判定した場合（ステップＳ１４：Ｙｅｓ）は、処理を終了させる。なお、物体データ生成回路１３１が被写体情報の更新を行う間隔は、距離センサ９９０が距離データを更新する頻度に等しく設定されていてもよい。

このような処理を繰り返し行うことにより、半導体装置１００は、距離データを常に最新の状態に更新し保持する。これにより、物体データ生成回路１３１は、被写体決定回路１３３に、最新の距離データを提供することができる。

次に、図５を参照しながら、半導体装置１００が行う処理の概要について説明する。図５は、実施の形態１にかかる半導体装置が行う処理のフローチャートである。

まず、半導体装置１００は、任意の手段により撮像開始の指示を受付ける（ステップＳ１００）。任意の手段とは、ユーザからの撮像開始を指示する操作であってもよいし、外部機器からの撮像開始を指示するコマンドであってもよい。

次に、半導体装置１００は、撮像条件決定処理を行う（ステップＳ１１０）。具体的には、半導体装置１００の制御回路１１０がトリガ信号を出力する。トリガ信号を出力する間隔は、ディスプレイの表示フレームに応じて行われる。すなわち、例えば、ディスプレイの表示フレームレートが６０Ｈｚの場合、半導体装置１００は、６０Ｈｚの周期によりトリガ信号を出力する。また、トリガ信号を受けて、半導体装置１００は、カメラ９８０の撮像条件を決定する一連の処理を行う。なお、撮像条件を決定する一連の処理の詳細については後述する。

次に半導体装置１００は、決定した撮像条件に従い、カメラ９８０に撮像処理を行わせる（ステップＳ１２０）。半導体装置１００は、カメラ９８０の撮像フレームレートに基づいて、撮像条件を指示する。例えば、ディスプレイの表示フレームレートが６０Ｈｚであり、カメラ９８０の撮像フレームレートが２４０Ｈｚの場合、半導体装置１００は、撮像条件を決定する一連の処理により、４回撮像処理を行うことをカメラ９８０に指示し得る。この場合、カメラ９８０は、半導体装置１００の指示に従い、撮像処理を４回行い４つの画像データを生成する。

次に、半導体装置１００は、カメラ９８０が生成した複数の画像データを合成する処理を行う（ステップＳ１３０）。例えば、半導体装置１００が複数の撮像予定時刻にそれぞれ異なる焦点距離の設定を指示した場合、カメラ９８０はかかる指示に応じて、複数の撮像予定時刻にそれぞれ異なる焦点距離の撮像を行う。このときカメラ９８０が撮像する複数の画像は、それぞれ異なる被写体に焦点が合うように設定されている。半導体装置１００が有する画像処理回路１３０は、図２を参照しながら説明したように、複数の画像データを合成する機能を有している。すなわち、画像処理回路１３０は、カメラ９８０が撮像した画像の画像データを受け取ると、一連の処理にかかる複数の画像データから焦点の合った部分をそれぞれ抽出して１つの鮮明な画像データを合成する。

次に、半導体装置１００は、合成した画像データをディスプレイ９５０に出力する。ディスプレイ９５０は、受け取った画像データを表示する（ステップＳ１４０）。

次に、半導体装置１００は、撮像処理を終了させるか否かを判定する（ステップＳ１５０）。半導体装置１００は、例えば、ユーザからの撮像終了の指示や、または、外部機器からの撮像終了の指示があるか否かを判定する。撮像処理を終了させると判定しない場合（ステップＳ１５０：Ｎｏ）半導体装置１００は、ステップＳ１１０に戻り、再び撮像条件を決定する一連の処理を行う。一方、撮像処理を終了させると判定する場合（ステップＳ１５０：Ｙｅｓ）半導体装置１００は、全ての処理を終了する。

このような処理を行うことにより、撮像システム１０は、カメラ９８０により撮像された複数の画像データを合成して、合成した画像データをディスプレイ９５０に表示させることができる。

次に、図６を参照しながら、半導体装置１００が行う撮像条件を決定する一連の処理について詳細を説明する。図６は、実施の形態１にかかる半導体装置における撮像条件を決定する一連の処理を示すフローチャートである。すなわち、図６に示すフローチャートは、図５におけるフローチャートのステップＳ１１０の詳細である。半導体装置１００は、制御回路１１０のトリガ部１１２がトリガ信号を出力する度に、一連の処理を行う。半導体装置１００は、かかる一連の処理により、カメラ９８０に撮像条件を指示する。

まず、画像処理回路１３０の被写体決定回路１３３は、トリガ部１１２が出力するトリガ信号を受けて、被写体を決定する処理を行う（ステップＳ１１１）。例えば、被写体決定回路１３３は、物体データ生成回路１３１から最新の物体データ（ｐ０、ｐ１、・・・、ｐｎ）から被写体データ（ｐ０、ｐ１、・・・、ｐｍ）を取得する。なお、「ｐ」は物体の距離データを示し、「ｎ」「ｍ」は０以上の整数を示しており、ｍはｎ以下である。すなわち、距離データに含まれる物体の数（例えばｎ）が予め設定された数（例えばｍ）よりも多い場合、被写体決定回路１３３は、距離データに含まれる物体から、予め設定された数の物体を被写体として選択し得る。

次に、撮像時刻決定回路１３４は、被写体決定回路１３３が決定した被写体を撮像する予定時刻を決定する（ステップＳ１１２）。例えば、撮像時刻決定回路１３４は、被写体データ（ｐ０、ｐ１、・・・、ｐｍ）に対する撮像予定時刻（ｔ０、ｔ１、・・・、ｔｍ）を決定する。なお、「ｔ」は時刻情報を示す。

次に、被写***置推定回路１３６は、撮像予定時刻、被写体に関するデータ、及び物体の移動ベクトルに関するデータから、被写体の位置を推定する（ステップＳ１１３）。例えば、撮像予定時刻（ｔ０、ｔ１、・・・、ｔｍ）、被写体データ（ｐ０、ｐ１、・・・、ｐｍ）とする。さらに、移動ベクトルデータを、（ｖ０、ｖ１、・・・、ｖｎ）とする。なお、「ｖ」は物体の移動ベクトルに関するデータを示す。このとき、被写***置推定回路１３６は、それぞれの撮像予定時刻における被写***置推定データ｛ｑ０（ｔ０）、ｑ１（ｔ１）、・・・、ｑｍ（ｔｍ）｝を算出する。なお、ｑｍ（ｔｍ）は、撮像予定時刻ｔｍにおける被写体ｐｍの推定位置を示す。

次に、焦点距離補正回路１３７は、それぞれの被写体について焦点距離（ｆ０、ｆ１、・・・、ｆｍ）を算出する（ステップＳ１１４）。なお、上述のように、焦点距離補正回路１３７は、自車位置推定回路１３５から撮像予定時刻における自車位置に関するデータを受け取るとともに、被写***置推定回路１３６から撮像予定時刻における被写体の位置に関するデータを受け取る。

次に、被写界深度判定回路１３８は、各焦点距離における被写界深度（Ｄ０、Ｄ１、・・・、Ｄｍ）を算出する（ステップＳ１１５）。

次に、被写界深度判定回路１３８は、焦点距離と、焦点距離から算出した被写界深度とから、焦点距離の設定が統合可能であるか否かを判定する（ステップＳ１１６）。

焦点距離の設定が統合可能であると判定した場合（ステップＳ１１６：Ｙｅｓ）、被写界深度判定回路１３８は、被写体を修正するためのデータを被写体決定回路１３３に送信する。この場合、画像処理回路１３０は、ステップＳ１１１に戻り、被写体を決定する処理を再び行う。上述の例に沿って説明する。上述の例において、焦点距離ｆ０における被写界深度をＤ０とする。このとき、焦点距離ｆ０の被写界深度Ｄ０に、焦点距離ｆ１が含まれているとする。その場合、焦点距離ｆ１による撮像処理は省略可能である。つまり、被写体ｐ１は省略可能である。その場合、被写界深度判定回路１３８は、被写体ｐ１を省略することを被写体決定回路１３３に指示する。

なお、被写界深度判定回路１３８は、かかる判定処理を、繰り返し行ってもよいし、予め設定された上限の回数に従ってもよい。

また、被写界深度判定回路１３８から被写体を修正するためのデータを受けた被写体決定回路１３３は、かかるデータに基づいて、被写体を省略して決定し得る。また、被写体決定回路１３３は、省略した被写体に代えて、前回被写体を決定する処理において選択されなかった被写体を選択することを決定し得る。

一方、焦点距離の設定が統合可能であると判定しない場合（ステップＳ１１６：Ｎｏ）、被写界深度判定回路１３８は、焦点距離補正回路１３７に対して、焦点距離の設定に関するデータをカメラ９８０に送信することを許可する。

次に、焦点距離補正回路１３７は、被写界深度判定回路１３８からの許可を受けて、焦点距離を決定し、カメラ９８０に指示を送信する（ステップＳ１１７）。

以上の構成により、実施の形態１にかかる半導体装置は、移動体又は被写体が移動している状況下において、好適な被写体深度内に被写体が含まれるように撮像条件を決定し、決定した撮像条件に基づいて、カメラに所望の画像データを撮像させることができる。したがって、実施の形態１にかかる半導体装置は、取得する画像データの劣化を抑制することができる。

＜実施の形態２＞
次に、図７、図８を参照しながら、実施の形態２について説明する。図７は、実施の形態２にかかる半導体装置の機能ブロック図である。実施の形態２にかかる半導体装置２００は、内部メモリ２２０に、物体分類データ記憶領域２２２を有している点、および、画像処理回路２３０に、物体優先度決定回路２３１を有している点において、実施の形態１と異なる。

物体分類データ記憶領域２２２は、物体データ生成回路１３１が検出した物体を分類するためのデータを記憶している。例えば、物体データ生成回路１３１は、歩行者、自転車、標識、障害物、自動車、などを物体として検出可能とする。また、物体分類データ記憶領域２２２は、それぞれの物体と、撮像すべき順位とを紐づけるデータを記憶する。

物体優先度決定回路２３１は、物体データ生成回路１３１が送信する物体距離データと、物体分類データ記憶領域２２２が送信する物体分類データと、移動ベクトル算出回路１３２が送信する物体の移動ベクトルに関するデータとをそれぞれ受け取る。そして、物体優先度決定回路２３１は、これらのデータに基づいて、検出された物体に対して撮像すべき優先度が紐づいたデータを生成し、これを被写体決定回路１３３に送信する。例えば、物体データ生成回路１３１が物体を歩行者と検出した場合であって、移動ベクトルを算出した結果、自動車１から離れる予定であれば、自動車１に接触する方向に移動している場合と比較して優先度は低く設定される。一方、物体データ生成回路１３１が物体を歩行者と検出した場合であって、移動ベクトルを算出した結果、自動車１に近づいている場合、自動車１から離れ方向に移動している場合と比較して優先度は高く設定される。

次に、図８を参照しながら、実施の形態２にかかる半導体装置２００の、被写体情報更新処理について説明する。図８は、実施の形態２にかかる半導体装置における被写体情報更新処理を示すフローチャートである。図８に示すフローチャートは、ステップＳ１２までは図４において説明した実施の形態１にかかる半導体装置のフローチャートと同様である。以下に、実施の形態１と異なる処理について詳細を説明する。

ステップＳ１２の後、物体優先度決定回路２３１は、物体データ生成回路１３１が送信する物体データと物体分類データ記憶領域２２２が送信する物体分類データとから、物体を分類する処理を行う（ステップＳ２３）。

次に、物体優先度決定回路２３１は、分類した物体に関するデータに基づいて、物体の優先度を算出する（ステップＳ２４）。物体の優先度算出の一例としては次のような処理がある。すなわち、物体優先度決定回路２３１は、分類した物体に関するデータと、移動ベクトル算出回路１３２が送信する移動ベクトルに関するデータとから、物体が自動車１に接触するまでの時間である接触時刻の算出を行う。接触時刻の算出を行った結果、自動車１に接触する可能性がある物体について、物体優先度決定回路２３１は、優先度を高く設定する。また、自動車１に接触する可能性がある物体の内、より早く自動車１に接触する可能性がある物体について、物体優先度決定回路２３１は、優先度をより高く設定する。

次に、物体優先度決定回路２３１は、算出した優先度に基づいて、物体の優先度を更新する（ステップＳ２５）。物体優先度決定回路２３１が物体優先度の更新を行うと、処理を終了させるか否かを判定し（ステップＳ２６）、終了判定しない場合（ステップＳ２６：Ｎｏ）は、再び距離データの取得を行う（ステップＳ１０）。一方、物体優先度決定回路２３１は、終了判定した場合（ステップＳ２６：Ｙｅｓ）は、処理を終了させる。物体データ生成回路１３１は、再び距離データの取得を行う（ステップＳ１０）。

このような構成により、実施の形態２にかかる半導体装置２００は、複数存在する物体の内、予め設定された優先度に基づいた被写体に焦点を合わせた撮像処理を行うことができる。

＜実施の形態３＞
次に、図９、図１０を参照しながら、実施の形態３について説明する。図９は、実施の形態３にかかる半導体装置の機能ブロック図である。図９に示した実施の形態３にかかる半導体装置３００は、表示フレームレート決定回路３３１を有する点において、実施の形態１にかかる半導体装置と異なる。

表示フレームレート決定回路３３１は、ディスプレイ９５０の表示フレームレートを決定する機能を有する。表示フレームレート決定回路３３１は、ＥＣＵ装置９６０から自動車１の移動速度に関する情報を受け取り、受け取った移動速度に応じて、表示フレームレートを決定する。表示フレームレート決定回路３３１は、決定した表示フレームレートを被写体決定回路１３３に送信する。

図１０は、実施の形態３にかかる半導体装置における表示フレームレートの設定例を示す図である。図１０に示した表において、上の行は、ＥＣＵ装置９６０から受け取る自動車１の移動速度を示している。この表では、自動車１の移動速度Ｓは、時速３０キロメートル未満、時速３０キロメートル以上且つ時速６０キロメートル未満、および、時速６０キロメートル以上の３つに分けて示されている。中段の行は、上述した移動速度Ｓに対応するディスプレイ９５０の表示フレームレートを示している。下の行は、表示フレームあたりの撮像画像数を示している。

図１０に示した表に基づいて、表示フレームレート決定回路３３１は、次のように表示フレームレートを決定する。自動車１の移動速度が時速３０キロメートル未満の場合、ディスプレイの表示フレームレートは、２０ｆｐｓ（frames per second＝フレーム毎秒）である。自動車１の移動速度が時速３０キロメートル以上且つ時速６０キロメートル未満の場合、ディスプレイの表示フレームレートは、３０ｆｐｓである。自動車１の移動速度が時速６０キロメートル以上の場合、ディスプレイの表示フレームレートは、６０ｆｐｓである。このように、本実施の形態において、表示フレームレート決定回路３３１は自動車１の移動速度が低速になるにつれて、表示フレームレートを低くするように処理する。

半導体装置３００において、上述のように表示フレームレートを決定する一方、撮像フレームレートは変更しない。そのため、表示フレームレートが低いほど、表示フレームあたりの撮像画像数は増加する。すなわち、図１０に示すように、表示フレームレートが２０ｆｐｓの場合、撮像画像数は１２であり、表示フレームレートが３０ｆｐｓの場合、撮像画像数は８であり、そして、表示フレームレートが６０ｆｐｓの場合、撮像画像数は４である。

図９に戻り説明を続ける。被写体決定回路１３３は、表示フレームレート決定回路３３１から表示フレームレートを受け取るとともに、物体データ生成回路１３１から最新の物体データを受け取る。被写体決定回路１３３は、表示フレームレートに応じて被写体を決定する。

撮像時刻決定回路１３４は、表示フレームレートに応じて撮像予定時刻を決定する。図１０に示した例の場合、例えば、自動車１の移動速度が時速３０キロメートル未満の場合、撮像時刻決定回路１３４は、１２回分の撮像予定時刻を決定する。この場合、半導体装置３００は、カメラ９８０が撮像した１２回分の画像データを合成し、合成した画像データをディスプレイ９５０に表示させる。

このように、実施の形態３にかかる半導体装置３００は、自動車１が低速走行をしている場合には、高速走行をしている場合と比較してより多くの被写体を選択し、且つ、選択した被写体に焦点を合わせた撮像を行うことができる。また、被写界深度判定回路１３８を有していることにより、自動車１が高速走行をしている場合においても、好適な被写体深度内に被写体が含まれるように撮像条件を決定し、決定した撮像条件に基づいて、カメラに所望の画像データを撮像させることができる。したがって、実施の形態３にかかる半導体装置は、取得する画像データの劣化を抑制することができる。

＜実施の形態４＞
次に、図１１を参照しながら実施の形態４にかかる半導体装置について説明する。図１１は、実施の形態４にかかる半導体装置の機能ブロック図である。図１１に示した半導体装置４００は、フォーカスエリア決定回路４３１および登録物体データ記憶領域１２２を有している点において、実施の形態１にかかる半導体装置と異なる。なお、登録物体データ記憶領域１２２については、図１３の例を参照しながら説明するため後述する。

フォーカスエリア決定回路４３１は、物体データから被写体を決定するに際し、フォーカスエリアを決定する機能を有する。ここで、フォーカスエリアとは、被写体決定回路１３３が被写体の選択をする範囲である。フォーカスエリア決定回路４３１は、ＥＣＵ装置９６０から自動車１の移動速度に関するデータを受け取り、受け取ったデータから、被写体を選択する範囲であるフォーカスエリアを決定する。フォーカスエリア決定回路４３１は、フォーカスエリアを決定すると、決定したフォーカスエリアに関するデータを被写体決定回路１３３に送信する。また、フォーカスエリア決定回路４３１は、物体データ生成回路１３１から物体データを受け取り、受け取った物体データに応じてフォーカスエリアを決定する機能を有していてもよい。

図１２に示した例を参照しながら、フォーカスエリアについて説明する。図１２は、実施の形態４にかかる半導体装置におけるフォーカスエリアの設定例を示す図である。フォーカスエリア決定回路は、フォーカスエリアを、例えば、フォーカス距離と画角により決定する。図１２の例は、自動車１の移動速度を図１０に示した例と同じく、３段階に分類し、分類した移動速度に応じてフォーカスエリアを設定している。

図１２において、自動車１の移動速度が０より大きく且つ時速３０キロメートル未満の場合、フォーカスエリアＦＡ１はフォーカス距離Ｌ１と画角θ１により決定される。また、自動車１の移動速度が時速３０キロメートル以上且つ時速６０キロメートル未満の場合、フォーカスエリアＦＡ２はフォーカス距離Ｌ１より長いＬ２と、画角θ１より狭いθ２により決定される。さらに、自動車１の移動速度が時速６０キロメートル以上の場合、フォーカスエリアＦＡ３はフォーカス距離Ｌ２より長いＬ３と、画角θ２より狭いθ３により決定される。このように、実施の形態４にかかる半導体装置４００は、自動車１の移動速度が遅くなるにつれて、フォーカス距離を短く、且つ、画角を広く設定する。なお、フォーカスエリア決定回路４３１は、移動速度に加え、自動車１の操舵角情報を取得し、取得した操舵角情報に応じて画角の位置を決定してもよい。例えば、操舵角情報により、自動車１が右方向に進行している場合は、画角を右側にシフトさせてもよい。

図１１に戻り説明を続ける。被写体決定回路１３３は、フォーカスエリア決定回路４３１からフォーカスエリアに関するデータを受け取るとともに、物体データ生成回路１３１から最新の物体データを受け取る。被写体決定回路１３３は、フォーカスエリア内に位置する物体から被写体を選択し、被写体データを生成する。

このように、実施の形態４にかかる半導体装置４００は、自動車１の移動速度に応じてフォーカスエリアを決定し、決定したフォーカスエリア内から被写体を決定する。これにより、半導体装置４００は、自動車１が移動している状況下において、好適な被写体深度内に被写体が含まれるように撮像条件を決定し、決定した撮像条件に基づいて、カメラに所望の画像データを撮像させることができる。したがって、実施の形態４にかかる半導体装置は、自動車１の移動速度に応じて取得する画像データの劣化を抑制することができる。

次に、図１３を参照しながら、実施の形態４にかかる半導体装置４００の別の例について説明する。図１３は、実施の形態４にかかる移動体が登録された位置に停止した場合のフォーカスエリアの例を示す図である。図１３に示す例において、フォーカスエリア決定回路４３１は、物体データ生成回路１３１から物体データを受け取り、受け取った物体データおよび内部メモリ１２０の登録物体データ記憶領域１２２に記憶している登録物体データに基づいてフォーカスエリアを決定する機能を有している。ここで、内部メモリ１２０に記憶されている登録物体データとは、特定の位置情報と、特定の物体データとが紐づけられた情報をいう。特定の位置情報は、例えばＧＰＳ情報のように、自動車１がどこに位置するかという情報であって、予め登録された位置に対応する情報である。また、特定の物体データは、特定の位置に自動車１が予め設定された姿勢で停止している場合に、かかる姿勢から取得される物体データである。また、フォーカスエリア決定回路４３１は、ＥＣＵ装置９６０から、自動車１の移動速度に関する情報に加えて、自動車１の位置情報を取得する。自動車１の位置情報とは、例えばＧＰＳから検出される自車位置情報である。半導体装置４００のフォーカスエリア決定回路４３１は、自動車１の移動速度が０であることを検出した場合、自動車１が停止していると判定する。自動車１が停止している場合において、フォーカスエリア決定回路４３１は、取得した位置情報に基づいて自動車１が予め登録された位置に停止しているか否かを判定する。

また、フォーカスエリア決定回路４３１は、さらに、物体データ生成回路１３１から物体データを受け取る。また、フォーカスエリア決定回路４３１は、登録物体データ記憶領域１２２から登録物体データを受け取り、物体データと登録物体データとを照合し、受け取った物体データに、登録物体データが含まれることを検出する機能を有している。フォーカスエリア決定回路４３１は、物体データから特定の物体データを検出すると、特定の物体が含まれるように、フォーカスエリアを決定する。

図１３に示した例において、半導体装置４００は、住宅８００の駐車場８０２が予め登録されている。また、半導体装置４００の内部メモリには、住宅８００駐車場８０２の位置情報と、駐車場８０２に住宅８００に向かって停止した自動車１が取得し得る玄関８０１の物体データとが登録物体データとして予め登録されている。そして、自動車１は、住宅８００の駐車場８０２に住宅８００に向かって停止している。このような状況において、フォーカスエリア決定回路４３１は、予め登録されている特定の場所である駐車場８０２に自動車１が停止していることを検出すると、物体データと登録物体データとを照合する。そして、物体データから特定の物体データに対応する玄関８０１の物体データを検出すると、フォーカスエリア決定回路４３１は、玄関８０１が含まれるようにフォーカスエリアを決定する。

このように、半導体装置４００は、自動車１が予め登録された位置に停止している場合、予め登録された玄関８０１を含むようにフォーカスエリアを決定し、玄関８０１を被写体とした撮像条件をカメラ９８０に指示する。これにより、半導体装置４００は、自動車１が停止している状況下において、好適な被写体深度内に所望の被写体が含まれるように撮像条件を決定し、決定した撮像条件に基づいて、カメラに所望の画像データを撮像させることができる。したがって、実施の形態４にかかる半導体装置は、自動車１の停止位置に応じて所望の物体の画像データの劣化を抑制することができる。

次に、図１４を参照しながら、実施の形態４にかかる半導体装置４００のさらに別の例について説明する。図１４は、実施の形態４にかかる移動体が登録されていない位置に停止した場合のフォーカスエリアの例を示す図である。

半導体装置４００のフォーカスエリア決定回路４３１は、図１３に示す例と同様に、ＥＣＵ装置９６０から自動車１の位置情報を取得する。自動車１が停止している場合において、フォーカスエリア決定回路４３１は、取得した位置情報に基づいて自動車１が予め登録された位置に停止しているか否かを判定する。フォーカスエリア決定回路４３１は、自動車１が予め登録された位置に停止していると判定しない場合には、これに応じたフォーカスエリアを決定する。

図１４に示す例において、自動車１は、駐車場８０３に停止している。駐車場８０３は、予め登録された場所ではない。フォーカスエリア決定回路４３１は、予め登録されている場所ではない駐車場８０３に自動車１が停止していることを検出すると、フォーカスエリア９８２を決定する。フォーカスエリア９８２は、自動車１の周囲を広い画角により撮像するように設定されている。フォーカスエリア決定回路４３１は、決定したフォーカスエリア９８１に関するデータを被写体決定回路１３３に送信する。なお、自動車１がカメラを複数有している場合には、複数のカメラにより自動車１の周囲を撮像するようにフォーカスエリアを決定してもよい。

このように、半導体装置４００は、自動車１が予め登録された位置に停止していない場合、予め設定されたフォーカスエリアにより自動車１の周囲を撮像することを決定する。これにより、半導体装置４００は、自動車１が停止している状況下において、自動車１の周囲の画像データを、フォーカスエリアとして好適な被写体深度内に被写体が含まれるように撮像条件を決定することができる。したがって、実施の形態４にかかる半導体装置は、画像データの劣化を抑制して撮像することができる。これは、例えば、自動車１の防犯に寄与し得る。

次に、図１５を参照しながら、図１３および図１４に示した例の処理について説明する。図１５は、実施の形態４にかかる半導体装置における被写体情報更新処理を示すフローチャートである。図１５に示したフローチャートは、ステップＳ１１の後の処理が、図４に示した実施の形態１の処理と異なる。

ステップＳ１１において、物体データ生成部１３１は、取得した距離データから物体を検出する。

次に、フォーカスエリア決定回路４３１は、ＥＣＵ装置９６０から、自動車１の移動速度に関する情報を受け取る（ステップＳ５２）。また、フォーカスエリア決定回路４３１は、ＥＣＵ装置９６０から、自動車１の自車位置情報を受け取る（ステップＳ５３）。

次に、フォーカスエリア決定回路４３１は、受け取った位置情報が、登録済みのエリアに含まれるか否かを判定する（ステップＳ５４）。かかる位置情報が登録済みのエリアに含まれる場合（ステップＳ５４：Ｙｅｓ）、フォーカスエリア決定回路４３１は、物体データ生成部１３１から受け取った物体データと、内部メモリ１２０から受け取った登録物体データを照合し、物体データに特定の物体データが含まれることを検出する（ステップＳ５５）。

次に、フォーカスエリア決定回路４３１は、特定の物体データに対応する物体が含まれるように、フォーカスエリアを決定する（ステップＳ５６）。

一方、かかる位置情報が登録済みのエリアに含まれない場合（ステップＳ５４：Ｎｏ）、フォーカスエリア決定回路４３１は、登録物体の検出を行わず、自動車１の周囲をフォーカスエリアとすることを決定する（ステップＳ５６）。

次に、被写体決定回路１３３は、フォーカスエリア決定回路４３１から受け取ったフォーカスエリアと、物体データ生成部１３１から受け取った物体データとから、被写体を決定し、更新を行う（ステップＳ５７）。被写体決定回路１３３は、被写体情報の更新を行うと、処理を終了させるか否かを判定し（ステップＳ５８）、終了判定しない場合（ステップＳ１３：Ｎｏ）は、再び距離データの取得を行う（ステップＳ１０）。一方、被写体決定回路１３３は、終了判定した場合（ステップＳ５８：Ｙｅｓ）は、処理を終了させる。

このような構成により、実施の形態４にかかる半導体装置４００は、自動車１の移動速度または停止位置に応じて、所望の画像を取得し、好適な被写体深度内に被写体が含まれるように撮像条件を決定し、決定した撮像条件に基づいて、カメラに所望の画像データを撮像させることができる。したがって、実施の形態１にかかる半導体装置は、取得する画像の劣化を抑制することが出来る。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。なお、上述した各実施の形態において説明した各回路は、ハードウェアまたは

上記実施の形態の一部または全部は、以下の付記のようにも記載され得るが、以下には限られない

（付記１）
カメラとの相対位置が変化している物体を前記カメラに撮像させるに際し、前記カメラの撮像条件を決定するための一連の処理を開始するトリガ信号に応じて、前記カメラの撮像予定時刻を決定する撮像時刻決定部と、
予め設定された時間毎に前記相対位置に関する情報を含む距離データを取得すると共に、前記トリガ信号に応じて、前記距離データから被写体を決定する被写体決定部と、
複数の異なる時刻に取得した複数の前記距離データから、前記被写体の移動ベクトルを算出する移動ベクトル算出部と、
前記移動ベクトルに基づいて、前記撮像予定時刻における前記カメラと前記被写体との相対位置である被写***置推定データを算出し、
前記被写***置推定データに基づいて前記撮像予定時刻における前記撮像条件を決定し、決定した前記撮像条件に従い前記撮像予定時刻に撮像することを前記カメラに指示する撮像条件決定部と、
を備える半導体装置。

（付記２）
前記カメラは移動体に搭載されており、
前記撮像条件決定部は、
前記移動体の移動データを取得し、取得した前記移動データと、前記撮像時刻決定部から取得した撮像予定時刻とに基づいて、撮像予定時刻における前記移動体の位置として推定する移動***置推定データを算出する移動***置推定部と、
前記被写***置推定データを、前記移動***置推定データに基づいて、補正する補正部と、を含む、
付記１に記載の半導体装置。

（付記３）
前記撮像時刻決定部は、前記一連の処理において複数の撮像予定時刻を決定する、
付記１に記載の半導体装置。

（付記４）
前記撮像条件は、前記カメラの焦点距離の設定である、
付記１に記載の半導体装置。

（付記５）
前記撮像時刻決定部は、前記一連の処理において複数の撮像予定時刻を決定し、
前記撮像条件決定部は、前記複数の撮像予定時刻ごとの被写界深度を算出し、
前記焦点距離の設定が統合可能か否かを判定し、
統合可能であると判定した場合には、新たに被写体を加えることを決定する、
付記４に記載の半導体装置。

（付記６）
前記カメラが撮像する前記物体について、優先的に撮像すべきか否かを定めた分類データである被写体分類データを有し、
前記距離データと、前記被写体分類データと、前記移動ベクトルとから、被写体優先度を決定する被写体優先度決定部をさらに備え、
前記被写体決定部は、前記被写体優先度に基づいて前記被写体を決定する、
付記１に記載の半導体装置。

（付記７）
前記カメラが撮像した画像を表示する表示部と、
前記移動体の移動速度に応じて表示フレームレートを決定する表示フレームレート決定部をさらに有する、
付記２に記載の半導体装置。

（付記８）
前記表示フレームレート決定部は、
前記移動体の移動速度が低速になるにつれて、前記表示フレームレートを低くする、
付記６に記載の半導体装置。

（付記９）
前記撮像時刻決定部は、
前記表示フレームレートに応じて撮像予定時刻を決定する、
付記６に記載の半導体装置。

（付記１０）
前記撮像時刻決定部は、
前記表示フレームレートが低いほど、表示フレームあたりの撮像画像数が増加する、
付記９に記載の半導体装置。

（付記１１）
前記移動体の移動速度に応じたフォーカスエリアを決定するフォーカスエリア決定部をさらに有し、
前記被写体決定部は、
前記フォーカスエリア内から被写体を決定する、
付記２に記載の半導体装置。

（付記１２）
前記フォーカスエリア決定部は、
前記移動体の移動速度が遅くなるにつれて、フォーカス距離を短く、且つ、画角を広く設定する、
付記１１に記載の半導体装置。

（付記１３）
前記フォーカスエリア決定部は、
前記移動体の移動速度がゼロの場合であって、前記移動体が予め登録された位置に停止し、且つ、予め登録された特定の物体に関する物体データを検出したときは、前記特定の物体が含まれるようにフォーカスエリアを決定する、
付記１１に記載の半導体装置。

（付記１４）
前記物体の距離データを生成する距離センサまたは前記カメラの少なくともいずれか一方と、
付記１に記載の前記半導体装置と、
を備える、撮像システム。

（付記１５）
カメラとの相対位置が変化している物体を前記カメラに撮像させるに際し、前記相対位置に関する情報を含む距離データを予め設定された時間毎に取得し、
前記カメラの撮像条件を決定するための一連の処理を開始するトリガ信号を出力し、
前記トリガ信号に応じて、前記カメラの撮像予定時刻を決定し、
予め設定された時間毎に前記相対位置に関する情報を含む距離データを取得すると共に、前記トリガ信号に応じて、前記距離データから被写体を決定し、
複数の異なる時刻に取得した複数の前記距離データから、前記被写体の移動ベクトルを算出し、
前記移動ベクトルに基づいて、前記撮像予定時刻における前記カメラと前記被写体との相対位置である被写***置推定データを算出し、
前記被写***置推定データに基づいて前記撮像予定時刻における前記撮像条件を決定し、
決定した前記撮像条件に従い前記撮像予定時刻に撮像することを前記カメラに指示する、
撮像方法。

（付記１６）
コンピュータに、以下の方法を実行させるためのプログラムであって、前記方法は、
カメラとの相対位置が変化している物体を前記カメラに撮像させるに際し、前記相対位置に関する情報を含む距離データを予め設定された時間毎に取得し、
前記カメラの撮像条件を決定するための一連の処理を開始するトリガ信号を出力し、
前記トリガ信号に応じて、前記カメラの撮像予定時刻を決定し、
予め設定された時間毎に前記相対位置に関する情報を含む距離データを取得すると共に、前記トリガ信号に応じて、前記距離データから被写体を決定し、
複数の異なる時刻に取得した複数の前記距離データから、前記被写体の移動ベクトルを算出し、
前記移動ベクトルに基づいて、前記撮像予定時刻における前記カメラと前記被写体との相対位置である被写***置推定データを算出し、
前記被写***置推定データに基づいて前記撮像予定時刻における前記撮像条件を決定し、
決定した前記撮像条件に従い前記撮像予定時刻に撮像することを前記カメラに指示する、プログラム。

（付記１７）
カメラとの相対位置が変化している物体を前記カメラに撮像させるに際し、前記相対位置に関する情報を含む距離データを予め設定された時間毎に取得する第１インターフェイスと、
取得した前記距離データを記憶するメモリと、
前記カメラの撮像条件を決定するための一連の処理を開始するトリガ信号を出力するプロセッサと、
前記トリガ信号に応じて、前記カメラの撮像予定時刻を決定し、
予め設定された時間毎に前記相対位置に関する情報を含む距離データを取得すると共に、前記トリガ信号に応じて、前記メモリに記憶している前記距離データから被写体を決定し、
複数の異なる時刻に取得した複数の前記距離データから、前記被写体の移動ベクトルを算出し、
前記移動ベクトルに基づいて、前記撮像予定時刻における前記カメラと前記被写体との相対位置である被写***置推定データを算出し、
前記被写***置推定データに基づいて前記撮像予定時刻における前記撮像条件を決定し、
決定した前記撮像条件に従い前記撮像予定時刻に撮像することを前記カメラに指示する、画像処理回路と、
を備えた、半導体装置。

（付記１８）
前記カメラは移動体に搭載されており、
前記画像処理回路は、
移動体の移動データを取得し、取得した前記移動データと、前記撮像予定時刻とに基づいて、前記撮像予定時刻における前記移動体の位置として推定する移動***置推定データを算出し、
前記被写***置推定データを、前記移動***置推定データに基づいて、補正する、
付記１７に記載の半導体装置。

（付記１９）
前記画像処理回路は、前記一連の処理において複数の撮像予定時刻を決定する、
付記１７に記載の半導体装置。

（付記２０）
前記撮像条件は、前記カメラの焦点距離の設定である、
付記１７に記載の半導体装置。

（付記２１）
前記画像処理回路は、
前記一連の処理において複数の撮像予定時刻を決定し、
前記複数の撮像予定時刻ごとの被写界深度を算出し、
前記焦点距離の設定が統合可能か否かを判定し、
統合可能であると判定した場合には、新たに被写体を加えることを決定する、
付記２０に記載の半導体装置。

（付記２２）
前記メモリは、
前記カメラが撮像する前記物体について、優先的に撮像すべきか否かを定めた分類データである被写体分類データを有し、
前記画像処理回路は、
前記距離データと、前記被写体分類データと、前記移動ベクトルとから、被写体優先度を決定し、
前記被写体優先度に基づいて前記被写体を決定する、
付記１７に記載の半導体装置。

（付記２３）
前記画像処理回路は、
前記移動体の移動速度に応じて表示フレームレートを決定する、
付記１８に記載の半導体装置。

（付記２４）
前記画像処理回路は、
前記移動体の移動速度が低速になるにつれて、前記表示フレームレートを低くする、
付記２２に記載の半導体装置。

（付記２５）
前記画像処理回路は、
前記表示フレームレートに応じて撮像予定時刻を決定する、
付記２２に記載の半導体装置。

（付記２６）
前記画像処理回路は、
前記表示フレームレートが低いほど、表示フレームあたりの撮像画像数が増加させる、
付記２５に記載の半導体装置。

（付記２７）
前記画像処理回路は、
前記移動体の移動速度に応じたフォーカスエリアを決定し、
前記フォーカスエリア内から被写体を決定する、
付記１８に記載の半導体装置。

（付記２８）
前記画像処理回路は、
前記移動体の移動速度が遅くなるにつれて、フォーカス距離を短く、且つ、画角を広く設定する、
付記２７に記載の半導体装置。

（付記２９）
前記画像処理回路は、
前記移動体の移動速度がゼロの場合であって、前記移動体が予め登録された位置に停止し、且つ、予め登録された特定の物体に関する物体データを検出したときは、前記特定の物体が含まれるようにフォーカスエリアを決定する、
付記２８に記載の半導体装置。

１ 自動車
１０ 撮像システム
１００、２００、３００、４００ 半導体装置
１１０ 制御回路
１１１ アプリケーション実行部
１１２ トリガ部
１２０ 内部メモリ
１２１ 距離データ記憶領域
１２２ 登録物体データ記憶領域
１３０ 画像処理回路
１３１ 物体データ生成部
１３２ 移動ベクトル算出回路
１３３ 被写体決定回路
１３４ 撮像時刻決定回路
１３５ 自車位置推定回路
１３６ 被写***置推定回路
１３７ 焦点距離補正回路
１３８ 被写界深度判定回路
１３９ 焦点距離決定回路
１４０ 画像データ入力ＩＦ
１５０ バスＩＦ
１６０ 画像データ出力ＩＦ
１７０ バス
２２０ 内部メモリ
２２２ 物体分類データ記憶領域
２３０ 画像処理回路
２３１ 物体優先度決定回路
３３１ 表示フレームレート決定回路
４３１ フォーカスエリア決定回路
８００ 住宅
８０１ 玄関
８０２、８０３ 駐車場
９５０ ディスプレイ
９６０ 装置
９７０ 外部メモリ
９８０ カメラ
９９０ 距離センサ

Claims (20)

1. カメラとの相対位置が変化している物体を前記カメラに撮像させるに際し、前記カメラの撮像条件を決定するための一連の処理を開始するトリガ信号に応じて、前記カメラの撮像予定時刻を決定する撮像時刻決定部と、
   予め設定された時間毎に前記相対位置に関する情報を含む距離データを取得すると共に、前記トリガ信号に応じて、前記距離データから被写体を決定する被写体決定部と、
   複数の異なる時刻に取得した複数の前記距離データから、前記被写体の移動ベクトルを算出する移動ベクトル算出部と、
   前記移動ベクトルに基づいて、前記撮像予定時刻における前記カメラと前記被写体との相対位置である被写***置推定データを算出し、
   前記被写***置推定データに基づいて前記撮像予定時刻における前記撮像条件を決定し、決定した前記撮像条件に従い前記撮像予定時刻に撮像することを前記カメラに指示する撮像条件決定部と、
   を備える半導体装置。
2. 前記カメラは移動体に搭載されており、
   前記撮像条件決定部は、
   前記移動体の移動データを取得し、取得した前記移動データと、前記撮像時刻決定部から取得した撮像予定時刻とに基づいて、撮像予定時刻における前記移動体の位置として推定する移動***置推定データを算出する移動***置推定部と、
   前記被写***置推定データを、前記移動***置推定データに基づいて、補正する補正部と、を含む、
   請求項１に記載の半導体装置。
3. 前記撮像時刻決定部は、前記一連の処理において複数の撮像予定時刻を決定する、
   請求項１に記載の半導体装置。
4. 前記撮像条件は、前記カメラの焦点距離の設定である、
   請求項１に記載の半導体装置。
5. 前記撮像時刻決定部は、前記一連の処理において複数の撮像予定時刻を決定し、
   前記撮像条件決定部は、前記複数の撮像予定時刻ごとの被写界深度を算出し、
   前記焦点距離の設定が統合可能か否かを判定し、
   統合可能であると判定した場合には、新たに被写体を加えることを決定する、
   請求項４に記載の半導体装置。
6. 前記カメラが撮像する前記物体について、優先的に撮像すべきか否かを定めた分類データである被写体分類データを有し、
   前記距離データと、前記被写体分類データと、前記移動ベクトルとから、被写体優先度を決定する被写体優先度決定部をさらに備え、
   前記被写体決定部は、前記被写体優先度に基づいて前記被写体を決定する、
   請求項１に記載の半導体装置。
7. 前記移動体の移動速度に応じて表示フレームレートを決定する表示フレームレート決定部をさらに有する、
   請求項２に記載の半導体装置。
8. 前記表示フレームレート決定部は、
   前記移動体の移動速度が低速になるにつれて、前記表示フレームレートを低くする、
   請求項７に記載の半導体装置。
9. 前記撮像時刻決定部は、
   前記表示フレームレートに応じて撮像予定時刻を決定する、
   請求項７に記載の半導体装置。
10. 前記撮像時刻決定部は、
    前記表示フレームレートが低いほど、表示フレームあたりの撮像画像数が増加する、
    請求項９に記載の半導体装置。
11. 前記移動体の移動速度に応じたフォーカスエリアを決定するフォーカスエリア決定部をさらに有し、
    前記被写体決定部は、
    前記フォーカスエリア内から被写体を決定する、
    請求項２に記載の半導体装置。
12. 前記フォーカスエリア決定部は、
    前記移動体の移動速度が遅くなるにつれて、フォーカス距離を短く、且つ、画角を広く設定する、
    請求項１１に記載の半導体装置。
13. 前記フォーカスエリア決定部は、
    前記移動体の移動速度がゼロの場合であって、前記移動体が予め登録された位置に停止し、且つ、予め登録された特定の物体に関する物体データを検出したときは、前記特定の物体が含まれるようにフォーカスエリアを決定する、
    請求項１１に記載の半導体装置。
14. 前記物体の距離データを生成する距離センサまたは前記カメラの少なくともいずれか一方と、
    請求項１に記載の前記半導体装置と、
    を備える、撮像システム。
15. コンピュータに、以下の方法を実行させるためのプログラムであって、前記方法は、
    カメラとの相対位置が変化している物体を前記カメラに撮像させるに際し、前記相対位置に関する情報を含む距離データを予め設定された時間毎に取得し、
    前記カメラの撮像条件を決定するための一連の処理を開始するトリガ信号を出力し、
    前記トリガ信号に応じて、前記カメラの撮像予定時刻を決定し、
    予め設定された時間毎に前記相対位置に関する情報を含む距離データを取得すると共に、前記トリガ信号に応じて、前記距離データから被写体を決定し、
    複数の異なる時刻に取得した複数の前記距離データから、前記被写体の移動ベクトルを算出し、
    前記移動ベクトルに基づいて、前記撮像予定時刻における前記カメラと前記被写体との相対位置である被写***置推定データを算出し、
    前記被写***置推定データに基づいて前記撮像予定時刻における前記撮像条件を決定し、
    決定した前記撮像条件に従い前記撮像予定時刻に撮像することを前記カメラに指示する、プログラム。
16. カメラとの相対位置が変化している物体を前記カメラに撮像させるに際し、前記相対位置に関する情報を含む距離データを予め設定された時間毎に取得する第１インターフェイスと、
    取得した前記距離データを記憶するメモリと、
    前記カメラの撮像条件を決定するための一連の処理を開始するトリガ信号を出力するプロセッサと、
    前記トリガ信号に応じて、前記カメラの撮像予定時刻を決定し、
    予め設定された時間毎に前記相対位置に関する情報を含む距離データを取得すると共に、前記トリガ信号に応じて、前記メモリに記憶している前記距離データから被写体を決定し、
    複数の異なる時刻に取得した複数の前記距離データから、前記被写体の移動ベクトルを算出し、
    前記移動ベクトルに基づいて、前記撮像予定時刻における前記カメラと前記被写体との相対位置である被写***置推定データを算出し、
    前記被写***置推定データに基づいて前記撮像予定時刻における前記撮像条件を決定し、
    決定した前記撮像条件に従い前記撮像予定時刻に撮像することを前記カメラに指示する、画像処理回路と、
    を備えた、半導体装置。
17. 前記カメラは移動体に搭載されており、
    前記画像処理回路は、
    前記移動体の移動データを取得し、
    取得した前記移動データと、前記撮像予定時刻とに基づいて、前記撮像予定時刻における前記移動体の位置として推定する移動***置推定データを算出し、
    前記被写***置推定データを、前記移動***置推定データに基づいて補正する、
    請求項１６に記載の半導体装置。
18. 前記画像処理回路は、前記一連の処理において複数の撮像予定時刻を決定する、
    請求項１６に記載の半導体装置。
19. 前記撮像条件は、前記カメラの焦点距離の設定である、
    請求項１６に記載の半導体装置。
20. 前記画像処理回路は、
    前記一連の処理において複数の撮像予定時刻を決定し、
    前記複数の撮像予定時刻ごとの被写界深度を算出し、
    前記焦点距離の設定が統合可能か否かを判定し、
    統合可能であると判定した場合には、新たに被写体を加えることを決定する、
    請求項１９に記載の半導体装置。

Images