JP6743708B2 - 撮像制御装置、撮像制御方法及びプログラム - Google Patents

撮像制御装置、撮像制御方法及びプログラム Download PDF

Info

Publication number
JP6743708B2
JP6743708B2 JP2016569246A JP2016569246A JP6743708B2 JP 6743708 B2 JP6743708 B2 JP 6743708B2 JP 2016569246 A JP2016569246 A JP 2016569246A JP 2016569246 A JP2016569246 A JP 2016569246A JP 6743708 B2 JP6743708 B2 JP 6743708B2
Authority
JP
Japan
Prior art keywords
infrared
setting
imaging
infrared image
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016569246A
Other languages
English (en)
Other versions
JPWO2016114015A1 (ja
Inventor
拓郎 川合
拓郎 川合
昌俊 横川
昌俊 横川
敏之 佐々木
敏之 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016114015A1 publication Critical patent/JPWO2016114015A1/ja
Application granted granted Critical
Publication of JP6743708B2 publication Critical patent/JP6743708B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)

Description

本開示は、撮像制御装置、撮像制御方法及びプログラムに関する。
従来、運転支援及びその他の目的で、赤外線カメラにより撮像される画像が活用されている。特に、近赤外線又は短波長赤外線を利用した撮像によって、夜間又は悪天候時のような劣悪な条件の下でも比較的鮮明な画像を得ることができる。通常、近赤外線又は短波長赤外線の画像は、カメラから照射される赤外線の反射光を受光することにより撮像される（例えば、特許文献１参照）。
特開２００９−１３０７０９号公報
しかしながら、複数の赤外線カメラが同時に撮像を行う場面においては、あるカメラから照射される赤外線が、他のカメラにより撮像される画像にとっての外乱になり、画質の劣化を引き起こす。特許文献１は、こうした撮像の競合を回避するために、個々の赤外線カメラから照射される赤外線の偏光方向を予め決められた特定の方向に制限し、その偏光方向の反射光のみを受光することを提案している。しかし、現実的には、偏光方向を制限するだけでは、高々２〜３台の赤外線カメラの間で競合を回避できるに過ぎない。
そこで、本開示に係る技術は、多数の赤外線カメラが撮像を行う場面において撮像の競合を効果的に回避するための仕組みを実現することを目的とする。
本開示によれば、照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得する画像取得部と、通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御する制御部と、を備える撮像制御装置が提供される。
また、本開示によれば、照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得することと、通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御することと、を含む撮像制御方法が提供される。
また、本開示によれば、コンピュータを、照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得する画像取得部と、通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御する制御部と、として機能させるためのプログラムが提供される。
本開示に係る技術によれば、多数の赤外線カメラが撮像を行う場面において撮像の競合を効果的に回避することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
波長に依存する赤外線画像の多様な用途について説明するための説明図である。 撮像の競合が生じる状況について説明するための説明図である。 第１の実施形態に係る撮像制御装置のハードウェア構成の一例を示すブロック図である。 第１の実施形態に係る撮像制御装置の論理的機能の構成の一例について説明するための説明図である。 照射波長域及び対象波長について説明するための第１の説明図である。 照射波長域及び対象波長について説明するための第２の説明図である。 波長分離型の制御について説明するための説明図である。 時間分離型の制御について説明するための説明図である。 波長分離型の制御及び時間分離型の制御の組合せについて説明するための説明図である。 空間分離型の制御について説明するための説明図である。 相対的な位置関係に基づく近傍装置の選択の一例について説明するための説明図である。 第１の実施形態に係る撮像制御処理の流れの一例を示すフローチャートである。 図８に示した設定選択処理の流れの第１の例を示すフローチャートである。 図８に示した設定選択処理の流れの第２の例を示すフローチャートである。 図８に示した設定選択処理の流れの第３の例を示すフローチャートである。 第２の実施形態に係る撮像制御システムの機能の構成の一例について説明するための説明図である。 第２の実施形態に係る装置側の撮像制御処理の流れの一例を示すフローチャートである。 第２の実施形態に係るサーバ側の撮像制御処理の流れの第１の例を示すフローチャートである。 第２の実施形態に係るサーバ側の撮像制御処理の流れの第２の例を示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序で説明を行う。
１．導入
２．第１の実施形態
２−１．ハードウェア構成
２−２．機能構成
２−３．処理の流れ
３．第２の実施形態
３−１．システム構成
３−２．装置側の機能
３−３．サーバ側の機能
３−４．処理の流れ
３−５．応用例
４．まとめ
＜１．導入＞
図１は、波長に依存する赤外線（ＩＲ）画像の多様な用途について説明するための説明図である。図１の水平方向は赤外線の波長に対応し、左から右へと波長は長くなる。０．７μｍ以下の波長を有する光線は可視光線であり、人間の視覚はこの可視光線を感知する。０．７μｍから１．０μｍまでの範囲内の波長を有する赤外線は、近赤外線（ＮＩＲ）に分類される。近赤外線は、例えば、暗視（night vision）、透視、光通信及び測距のために利用され得る。１．０μｍから２．５μｍまでの範囲内の波長を有する赤外線は、短波長赤外線（ＳＷＩＲ）に分類される。短波長赤外線もまた、暗視及び透視のために利用可能である。近赤外線又は短波長赤外線を用いた暗視装置は、まず近傍に赤外線を照射し、その反射光を受光することにより赤外線画像を得る。２．５μｍから４．０μｍまでの範囲内の波長を有する赤外線は、中波長赤外線（ＭＷＩＲ）に分類される。中波長赤外線の波長範囲では物質固有の吸収スペクトルが現れることから、中波長赤外線は、物質の同定のために利用され得る。また、中波長赤外線は、サーモグラフィのためにも利用可能である。４．０μｍ以上の波長を有する赤外線は、遠赤外線（ＦＩＲ）に分類される。遠赤外線は、暗視、サーモグラフィ及び加熱のために利用され得る。物体からの黒体放射によって発せられる赤外線は、遠赤外線に相当する。そのため、遠赤外線を用いた暗視装置は、赤外線を照射せずとも、物体からの黒体放射を捕捉することにより赤外線画像を得ることができる。なお、図１に示した波長の範囲の境界値は例に過ぎない。赤外線の分類の境界値には様々な定義が存在しており、本開示に係る技術の後述する利点は、いかなる定義の下でも享受され得る。
図１に例示した赤外線の様々な種類の中で、特にＮＩＲ又はＳＷＩＲは、夜間又は悪天候時のような劣悪な条件の下で鮮明な画像を得るために利用される。その代表的な用途の１つは車載装置であり、ＮＩＲ又はＳＷＩＲの画像は、ナイトビュー、バックビュー又はサラウンドビューといった補足的なビューを運転者へ提供する。また、ＮＩＲ又はＳＷＩＲの画像は、歩行者又は道路標識若しくは障害物といった物体を含み得る被写体を認識して運転支援情報を運転者へ提示するためにも活用され得る。通常、ＮＩＲ又はＳＷＩＲの画像を撮像する赤外線カメラは、上述したように、撮像の際に赤外線を近傍へ照射する。
しかしながら、複数の赤外線カメラが同時に撮像を行う場面においては、あるカメラから照射される赤外線が、他のカメラにより撮像される画像にとっての外乱になり得る。例えば、同じ対象波長の赤外線画像を対向する２つの車両が同時に撮像した場合、撮像画像に相手側の車両の照射光が強く映り込んでしまい、本来撮像されるべきであった周囲の被写体が画像内で判別困難となるリスクがある。特許文献１は、こうした撮像の競合を回避するために、個々の赤外線カメラから照射される赤外線の偏光方向を予め決められた特定の方向に制限し、その偏光方向の反射光のみを受光することを提案している。例えば、対向する２台の車両が前方へ照射する赤外線の偏光方向を共に（それぞれの視点から）右斜め４５度に設定すれば、対向車の視点からは照射光の偏光方向は左斜め４５度になり、即ち２台の車両からの照射光の偏光方向は互いに直交する。よって、所望の偏光方向（上の例では、右斜め４５度）を有する赤外線のみ光学フィルタを通過させて撮像することで、対向車からの照射光に起因する外乱の影響を排除できる。但し、こうした手法は、高々２〜３台の赤外線カメラの間での競合の回避を達成できるに過ぎない。現実的には、道路には数多くの車両が存在しており、それら車両の間で撮像が競合し得る。
図２は、車載装置の用途において撮像の競合が生じる状況について説明するための説明図である。図２には、一例として、南北方向に伸びる１本の道路と東西方向に伸びる２本の道路が描かれており、南北方向の道路上に車両１０ａが存在する。車両１０ａは、画角１２ａに向けて赤外線を照射し、その反射光を赤外線カメラで撮像する。車両１０ａの近傍には多数の近傍車両が存在しており、中でも車両１０ｂ、１０ｃ及び１０ｄは、いずれも車両１０ａの画角１２ａに届く赤外線を照射する。従って、車両１０ａ、１０ｂ、１０ｃ及び１０ｄによる赤外線画像の撮像が互いに競合するが、赤外線の偏光方向の制限では、こうした多くの装置による撮像を適切に分離できない。そこで、本明細書では、多数の赤外線カメラが撮像を行う場面において撮像の競合を効果的に回避するための仕組みを提案する。
＜２．第１の実施形態＞
本節では、一例として、車載装置としての撮像制御装置１００を説明する。撮像制御装置１００は部分的に車両への搭載に特化した構成を有するものの、本開示に係る技術の用途はかかる例に限定されない。本開示に係る技術は、車載装置のみならず、スマートフォン、携帯型ゲーム機、デジタルカメラ、監視カメラ及び放送用カメラといった装置による赤外線画像の撮像にも適用可能である。
［２−１．ハードウェア構成］
図３は、第１の実施形態に係る撮像制御装置１００のハードウェア構成の一例を示すブロック図である。図３を参照すると、撮像制御装置１００は、カメラモジュール１０１、センサモジュール１０５、入力インタフェース１０６、メモリ１０８、ディスプレイ１１０、通信インタフェース１１２、車両ネットワーク（ＮＷ）インタフェース１１３、ストレージ１１４、バス１１６及びプロセッサ１１８を備える。
（１）カメラモジュール
カメラモジュール１０１は、ＮＩＲ領域又はＳＷＩＲ領域において被写体を撮像するモジュールである。カメラモジュール１０１は、ある照射波長域に属する波長を有する赤外線を画角方向へ向けて照射する発光器１０２と、（近赤外線又は短波長赤外線に分類される）対象波長の赤外線を感知する撮像素子の配列１０３とを有する。カメラモジュール１０１は、撮像素子配列１０３の前方に配置され、通過帯域の外側の波長を有する光を遮断する光学フィルタ１０４、をさらに有してもよい。後述するある実施例において、光学フィルタ１０４は、可変的に制御される通過帯域を有する可変フィルタである。カメラモジュール１０１は、例えば、ユーザ入力などのトリガに応じて又は周期的に発光器１０２から赤外線を照射し、被写体又はその背景において反射した赤外線を捕捉することにより、赤外線画像を生成する。カメラモジュール１０１により生成される一連の赤外線画像は、映像を構成し得る。カメラモジュール１０１は、さらに、可視光画像を撮像するための撮像素子配列を有していてもよい。
（２）センサモジュール
センサモジュール１０５は、測位センサ、加速度センサ及び深度センサなどを含み得るセンサ群を有するモジュールである。測位センサは、例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号又は無線アクセスポイントからの無線信号に基づいて、カメラモジュール１０１の現在位置（又は撮像制御装置１００が搭載される車両の現在位置）を測定する。加速度センサは、カメラモジュール１０１（又は車両）に加わる３軸加速度を測定する。深度センサは、カメラモジュール１０１の画角内に存在する被写体への距離（即ち、深度（depth））を測定する。センサモジュール１０５において生成されるセンサデータは、後述する撮像の制御のために利用され得る。
（３）入力インタフェース
入力インタフェース１０６は、ユーザが撮像制御装置１００を操作し又は撮像制御装置１００へ情報を入力するために使用される。入力インタフェース１０６は、例えば、タッチセンサ、キーパッド、ボタン又はスイッチなどの入力デバイスを含んでもよい。また、入力インタフェース１０６は、音声入力用のマイクロフォン及び音声認識モジュールを含んでもよい。また、入力インタフェース１０６は、ユーザにより選択される命令をリモートデバイスから受信する遠隔制御モジュールを含んでもよい。
（４）メモリ
メモリ１０８は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）を含み得る記憶媒体である。メモリ１０８は、プロセッサ１１８に連結され、プロセッサ１１８により実行される処理のためのプログラム及びデータを記憶する。
（５）ディスプレイ
ディスプレイ１１０は、画像を表示する画面を有する表示モジュールである。ディスプレイ１１０は、例えば、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic light-Emitting Diode）又はＣＲＴ（Cathode Ray Tube）などであってよい。
（６）通信インタフェース
通信インタフェース１１２は、撮像制御装置１００と他の装置との間の通信を仲介するモジュールである。通信インタフェース１１２は、任意の無線通信プロトコルに従って、通信接続を確立する。
（７）車両ＮＷインタフェース
車両ＮＷインタフェース１１３は、撮像制御装置１００が搭載される車両の車両ネットワークとの間の通信を仲介するモジュールである。車両ＮＷインタフェース１１３は、例えば、図示しない端子を介して車両ネットワークに接続され、車速データ及び舵角（ステアリング角度）データなどの車両側で生成されるデータを取得する。
（８）ストレージ
ストレージ１１４は、画像データを蓄積し、及び撮像制御装置１００により実行される制御処理において利用されるデータベースを記憶する記憶デバイスである。ストレージ１１４は、半導体メモリ又はハードディスクなどの記憶媒体を内蔵する。なお、本明細書で説明するプログラム及びデータは、撮像制御装置１００の外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。
（９）バス
バス１１６は、カメラモジュール１０１、センサモジュール１０５、入力インタフェース１０６、メモリ１０８、ディスプレイ１１０、通信インタフェース１１２、車両ＮＷインタフェース１１３、ストレージ１１４及びプロセッサ１１８を相互に接続する。
（１０）プロセッサ
プロセッサ１１８は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などの処理モジュールである。プロセッサ１１８は、メモリ１０８又は他の記憶媒体に記憶されるプログラムを実行することにより、近傍に位置する他の装置との間の撮像の競合を回避するための後述する機能を動作させる。
［２−２．機能構成］
図４は、図３に示した撮像制御装置１００の構成要素が互いに連係することにより実現される論理的機能の構成の一例について説明するための説明図である。図４には、２つの撮像制御装置１００が示されており、これら撮像制御装置１００は、通信インタフェース１１２を介して互いに通信する。このような車載装置の間の通信を、車々間通信あるいはＶ２Ｖ（Vehicle-to-Vehicle）通信という。図４には２つの撮像制御装置１００のみが示されているが、本実施形態において、実際にはより多くの装置がＶ２Ｖ通信に関与する。なお、車載装置の間の通信は、必ずしも２つの車載装置の間の直接的な通信リンクを介して行われなくてもよい。例えば路側に設定される中継装置が通信信号を中継してもよく、又はある車載装置が他の２つの車載装置の間で通信信号を中継してもよい。撮像制御装置１００の各々は、画像取得部１２０、アプリケーション部１３０、設定データベース（ＤＢ）１４０及び撮像制御部１５０を備える。
（１）画像取得部
画像取得部１２０は、カメラモジュール１０１において発光器１０２により照射される赤外線の反射光を撮像素子配列１０３で撮像することにより生成される赤外線画像を取得する。そして、画像取得部１２０は、取得した画像をアプリケーション部１３０へ出力する。画像取得部１２０は、画像信号の増幅、デモザイク、ノイズ除去及び波長成分の分離などの予備的処理を赤外線画像について実行してもよい。
図５Ａ及び図５Ｂは、画像取得部１２０により取得される赤外線画像に関連する、照射波長域及び対象波長について説明するための説明図である。図５Ａ及び図５Ｂの横軸は赤外線の波長、縦軸は撮像素子の感度を表す。点線のグラフは、カメラモジュール１０１において選択可能な波長を表している。ここでの例によれば、カメラモジュール１０１は、９種類の波長ｒ１〜ｒ９の任意の組合せの赤外線を照射し、照射したそれら赤外線の反射光を撮像することができる。図５Ａの第１の例では、カメラモジュール１０１は、太い実線で描かれた波長ｒ２を中心とする照射波長域Ｈ１の赤外線を照射し、波長ｒ２に感度のピークを有する撮像素子配列で撮像を行う。この場合の対象波長は波長ｒ２であり、対象波長以外の波長を有する赤外線はカメラモジュール１０１において光学フィルタで遮断され得る。図５Ｂの第２の例では、カメラモジュール１０１は、太い実線で描かれた波長ｒ２、ｒ３及びｒ４を含む複合的な照射波長域Ｈ２の赤外線を照射し、波長ｒ２、ｒ３及びｒ４にそれぞれ感度のピークを有する複数の撮像素子配列で撮像を行う。そして、画像取得部１２０は、波長ｒ２、ｒ３及びｒ４でそれぞれ撮像された原画像から波長ｒ２の成分を分離するための信号処理（典型的には、混色分離のためのフィルタ演算）を行い、波長ｒ２の赤外線画像を生成する。この場合も対象波長は波長ｒ２であるが、波長ｒ３及びｒ４の赤外線は光学フィルタで遮断されることなく、上述した信号処理でその成分が赤外線画像から除去される。本実施形態では、このような赤外線の照射波長域及び赤外線画像の対象波長の設定が、後述する撮像制御部１５０により制御される。それに加えて、赤外線画像の撮像タイミング、及び赤外線の照射強度もまた、撮像制御部１５０により制御され得る。
（２）アプリケーション部
アプリケーション部１３０は、画像取得部１２０から入力される赤外線画像を用いたアプリケーション機能を実行する。例えば、アプリケーション部１３０により実行されるアプリケーション機能は、ＡＤＡＳ（Advanced Driver Assistance Systems）等の運転支援機能であってもよい。この場合、アプリケーション部１３０は、画像取得部１２０から入力される赤外線画像に基づいて、歩行者若しくは（他の車両等の）物体を検知し、衝突警報を報知し、又は駐車支援情報を画面上でユーザに提示し得る。また、アプリケーション部１３０は、入力される赤外線画像をそのままディスプレイ１１０の画面上に表示してもよく、又は圧縮符号化の後に若しくは圧縮せずにストレージ１１４に記憶させてもよい。
（３）設定ＤＢ
設定ＤＢ１４０は、撮像制御部１５０が撮像関連の設定の制御のために利用する様々なデータを記憶するデータベースである。設定ＤＢ１４０により記憶されるデータは、例えば、カメラモジュール１０１において選択可能な設定の候補（ケイパビリティともいう）を示す設定候補情報と、その時点のカメラモジュール１０１の設定内容を示す現在設定情報と、を含み得る。さらに、設定ＤＢ１４０は、通信インタフェース１１２を介する近傍装置との情報交換を通じて取得される近傍装置情報を記憶し得る。近傍装置情報は、例えば、近傍装置の各々の識別子、設定候補情報、現在設定情報、位置情報及び速度情報を含み得る。
（４）撮像制御部
撮像制御部１５０は、複数の装置の間の撮像の競合を回避するために、通信インタフェース１１２を介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、赤外線画像の生成のための設定を制御する。本実施形態において、他の装置とは、カメラモジュール１０１の近傍に存在する他の撮像制御装置１００（以下の説明において、近傍装置という）であってよい。撮像制御部１５０により行われる制御は、波長分離型の制御、又は時間分離型の制御を含む。波長分離型の制御では、赤外線の照射波長域及び赤外線画像の対象波長が撮像制御部１５０により制御される。時間分離型の制御では、赤外線画像の撮像タイミングが撮像制御部１５０により制御される。波長分離型の制御及び時間分離型の制御の組合せもまた可能である。さらに、撮像制御部１５０は、赤外線の照射強度をも制御し得る。
一例において、近傍装置により選択される照射波長域Ｈｎｅｉｇｈｂｏｒが、近傍装置から受信される制御パラメータにより示される。一方、画像取得部１２０は、対象波長ｒｌｏｃａｌで生成される赤外線画像を取得する。対象波長ｒｌｏｃａｌは、照射波長域Ｈｌｏｃａｌに属する。そして、波長分離型の制御では、撮像制御部１５０は、画像取得部１２０により取得される赤外線画像への、照射波長域Ｈｎｅｉｇｈｂｏｒの照射光に起因する影響が低減されるように、自装置における撮像のための対象波長ｒｌｏｃａｌを選択する。典型的には、選択される対象波長ｒｌｏｃａｌは、照射波長域Ｈｎｅｉｇｈｂｏｒに含まれない波長である。近傍装置から受信される制御パラメータは、さらに、近傍装置における赤外線画像の生成の対象波長ｒｎｅｉｇｈｂｏｒをも示し得る。そして、撮像制御部１５０は、近傍装置により生成される赤外線画像への、照射波長域Ｈｌｏｃａｌに起因する影響が低減されるように、自装置における撮像のための照射波長域Ｈｌｏｃａｌを選択する。典型的には、選択される照射波長域Ｈｌｏｃａｌは、対象波長ｒｎｅｉｇｈｂｏｒを含まない波長である。
撮像制御部１５０は、選択した照射波長域Ｈｌｏｃａｌ及び対象波長ｒｌｏｃａｌを、カメラモジュール１０１に設定する。可変フィルタを通過した赤外線を撮像することにより赤外線画像が生成される場合には、撮像制御部１５０は、選択した対象波長ｒｌｏｃａｌを通過帯域が含むように、可変フィルタを設定する。代替的に又は追加的に、カメラモジュール１０１により出力される原画像から対象波長の成分を抽出することにより赤外線画像が生成される場合には、撮像制御部１５０は、選択した対象波長ｒｌｏｃａｌの成分が原画像から抽出されるように、画像取得部１２０を設定する。撮像制御部１５０は、自らが選択した照射波長域Ｈｌｏｃａｌ及び対象波長ｒｌｏｃａｌを示す制御パラメータを、近傍装置へ送信する。
図６Ａは、波長分離型の制御について説明するための説明図である。図６Ａを参照すると、互いに近傍に位置する４台の車両Ｖ１１、Ｖ１２、Ｖ１３及びＶ１４が示されており、これら車両の間で、撮像の競合が、波長分離型の制御によって回避される。例えば、車両Ｖ１１の赤外線カメラは、波長ｒ１及びｒ２を含む赤外線を照射し、対象波長ｒ２で赤外線画像を生成する。車両Ｖ１２の赤外線カメラは、波長ｒ４及びｒ５を含む赤外線を照射し、対象波長ｒ４で赤外線画像を生成する。車両Ｖ１３の赤外線カメラは、波長ｒ８及びｒ９を含む赤外線を照射し、対象波長ｒ８で赤外線画像を生成する。車両Ｖ１４の赤外線カメラは、波長ｒ６及びｒ７を含む赤外線を照射し、対象波長ｒ６で赤外線画像を生成する。このように、近傍装置の間で異なる照射波長域及び対象波長を選択することで、ある装置からの照射光が他の装置により撮像される画像にとっての外乱として作用することを回避することができる。
他の例において、近傍装置により選択される撮像タイミングＴｎｅｉｇｈｂｏｒが、近傍装置から受信される制御パラメータにより示される。一方、画像取得部１２０は、撮像タイミングＴｌｏｃａｌで照射された赤外線の反射光を撮像することにより生成される赤外線画像を取得する。これら撮像タイミングは、例えば、所定の時間リファレンスからの時間オフセット及び周期（又は、時間スロットに付与される番号）によって表現され得る。そして、時間分離型の制御では、撮像制御部１５０は、撮像タイミングＴｎｅｉｇｈｂｏｒと撮像タイミングＴｌｏｃａｌとが干渉しないように撮像タイミングＴｌｏｃａｌを選択し、選択した撮像タイミングＴｌｏｃａｌをカメラモジュール１０１に設定する。撮像制御部１５０は、自らが選択した撮像タイミングＴｌｏｃａｌを示す制御パラメータを、近傍装置へ送信する。
図６Ｂは、時間分離型の制御について説明するための説明図である。図６Ｂを参照すると、互いに近傍に位置する４台の車両Ｖ２１、Ｖ２２、Ｖ２３及びＶ２４が示されており、これら車両の間で、撮像の競合が、時間分離型の制御によって回避される。例えば、車両Ｖ２１の赤外線カメラは、時間スロットＴＳ０１において、対象波長ｒ１で赤外線画像を生成する。車両Ｖ２２の赤外線カメラは、時間スロットＴＳ０１に続く時間スロットＴＳ０２において、対象波長ｒ１で赤外線画像を生成する。車両Ｖ２３の赤外線カメラは、時間スロットＴＳ０２に続く時間スロットＴＳ０３において、対象波長ｒ１で赤外線画像を生成する。車両Ｖ２４の赤外線カメラは、時間スロットＴＳ０３に続く時間スロットＴＳ０４において、対象波長ｒ１で赤外線画像を生成する。このように、近傍装置の間で異なるタイミングで撮像を行うことで、対象波長は共通している場合でも、ある装置からの照射光が他の装置により撮像される画像にとっての外乱として作用することを回避することができる。なお、時間分離型の制御において達成可能な分離度（最大でいくつまでの装置が同じ波長で競合なく別々のタイミングで撮像可能であるか）は、映像のフレームレートとトレードオフの関係にあり、また装置間の時間同期の性能に依存する。装置間の時間同期は、既存の通信プロトコルにおけるいかなる同期手法に従って行われてもよい。
図６Ｃは、波長分離型の制御及び時間分離型の制御の組合せについて説明するための説明図である。図６Ｃの例では、４台の車両Ｖ３１、Ｖ３２、Ｖ３３及びＶ３４の間で、撮像の競合が回避される。例えば、時間スロットＴＳ１１において、車両Ｖ３１の赤外線カメラは対象波長ｒ１で、車両Ｖ３２の赤外線カメラは対象波長ｒ３で、それぞれ赤外線画像を生成する。時間スロットＴＳ１１に続く時間スロットＴＳ１２において、車両Ｖ３３の赤外線カメラは対象波長ｒ２で、車両Ｖ３４の赤外線カメラは対象波長ｒ４で、それぞれ赤外線画像を生成する。時間スロットＴＳ１２に続く時間スロットＴＳ１３において、車両Ｖ３１の赤外線カメラは対象波長ｒ１で、車両Ｖ３２の赤外線カメラは対象波長ｒ３で、それぞれ赤外線画像を再び生成する。このように、波長と撮像タイミングとの異なる組合せで各装置が撮像を行えば、分離可能な装置の台数は、選択可能な波長の候補数と撮像タイミングの候補数との積に達する。ＮＩＲ領域及びＳＷＩＲ領域は、要求性能及び装置の製造コストの制約等に依存するものの、１０を優に上回る数の対象波長の候補に分解されることが可能である。そこで、例えば波長方向の分離度を１０（最大で１０台の装置までが競合なく同時に撮像可能）、時間方向の分離度を２とすると、波長分離型の制御及び時間分離型の制御の組合せによれば、分離度２０（＝１０×２）が達成される。
図６Ｄは、空間分離型の制御について説明するための説明図である。空間分離型の制御では、近傍装置の位置データ及び速度データが、近傍装置から受信される制御パラメータにより示される。自装置の位置及び速度は、センサモジュール１０５により測定され、又は車両ＮＷインタフェース１１３を介して取得されるデータにより示される。そして、撮像制御部１５０は、近傍装置により生成される赤外線画像への、カメラモジュール１０１からの赤外線の照射に起因する影響が低減されるように、カメラモジュール１０１における赤外線の照射強度を選択する。例えば、図６Ｄの例において、車両１０ｄの当初の赤外線の照射強度は、その照射光が車両１０ｂの位置まで届くレベルに設定されている。車両１０ｄの赤外線カメラに設定されている対象波長及び車両１０ｂの赤外線カメラに設定されている対象波長は共に波長ｒ１である。車両１０ｄの撮像制御装置１００は、こうした状況において自装置からの赤外線の照射が車両１０ｂに有意な悪影響を与える可能性があることを双方の装置の位置データ及び速度データから判定し、車両１０ｄの赤外線の照射強度を低減する（図中の矢印参照）。その結果、車両１０ｄからの赤外線の照射光が車両１０ｂにより撮像される赤外線画像に与える影響が低減される。
上述した波長、時間及び空間のうちの１つ以上の次元での装置の分離に加えて、撮像制御部１５０は、さらに偏光方向での分離を採用してもよい。この場合、撮像制御部１５０は、近傍装置により選択される偏光方向を近傍装置から受信される制御パラメータから判定し、判定した近傍装置の偏光方向と重複しない偏光方向を選択して、選択した偏光方向をカメラモジュール１０１に設定し得る。また、撮像制御部１５０は、自らが選択した偏光方向を示す制御パラメータを近傍装置へ送信してもよい。例えば、波長方向の分離度を１０、時間方向の分離度を２とし、さらに２種類の偏光方向が選択可能であるとすると、これら３つの次元の組合せによって、分離度４０（＝１０×２×２）が達成される。
ここまでは、撮像制御部１５０の機能に関して、複数の装置による赤外線画像の撮像の競合を回避するために、どういった次元で装置を互いに分離し得るかという観点から説明を行った。次に、どの装置が優先的に設定を確定させるかという観点からの説明を行う。
本実施形態における基本的なアイディアとして、撮像制御部１５０は、自装置よりも設定優先度の高い近傍装置により生成される赤外線画像についての設定が通信インタフェース１１２を介して受信される制御パラメータにより特定された場合に、近傍装置の当該設定と少なくとも部分的に異なる設定を、画像取得部１２０により取得される赤外線画像の生成のために選択する。また、撮像制御部１５０は、画像取得部１２０により取得される赤外線画像についての設定と少なくとも部分的に異なる設定を、自装置よりも設定優先度の低い近傍装置に使用させるために、自装置の設定を特定する制御パラメータを通信インタフェース１１２を介して送信する。
一例として、撮像制御部１５０は、個々の装置の設定自由度に基づいて、上記設定優先度を決定してよい。設定自由度は、装置間で交換される設定候補情報により特定される。典型的には、設定自由度の高い装置ほど、他の装置により選択された設定を回避して他の設定を選択する余地をより多く有することから、より低い設定優先度を与えられる。ここでの設定自由度は、ある装置が赤外線画像の生成のために選択可能な設定候補の数に相当する。例えば、図５Ａを再び参照すると、波長分離型の制御において、車両Ｖ１１は９種類の対象波長を選択可能であるため、車両Ｖ１１の設定自由度は９に等しい。同様に、車両Ｖ１２、Ｖ１３及びＶ１４の設定自由度は、それぞれ３、９及び５に等しい。従って、図５Ａの例では、車両Ｖ１２に最も高い設定優先度が、車両Ｖ１４に次に高い設定優先度が与えられる。車両Ｖ１１及びＶ１３は同じ設定自由度を有するため、これら車両の設定優先度は、設定自由度以外の指標に基づいて、優先度に差異が生じるように調整され得る。設定自由度以外の指標は、例えば、後述する設定変更リスクを含んでもよい。また、先に特定の設定を選択することを宣言した装置が優先されてもい（即ち、早い者勝ちの基準）。また、車線、走行方向又は前方／後方といった装置間の位置関係に基づいて、設定優先度が調整されてもよい。
他の例として、撮像制御部１５０は、個々の装置の移動速度又は位置に依存する設定変更リスクに基づいて、上記設定優先度を決定してよい。概して、対象波長又は撮像タイミングの変更は、赤外線画像の一時的な乱れをもたらすリスク要因となり得る。従って、車両の走行の安全性がより重視される状況にある装置においては、対象波長又は撮像タイミングといった設定を頻繁に変更しないことが望ましい。そこで、撮像制御部１５０は、例えば、より移動速度の速い装置、又は事故発生確率の高い場所（例えば、交差点又はカーブなど）のより近くに位置する装置の設定変更リスクをより高く評価し、設定変更リスクのより高い装置に、より高い設定優先度を与える。装置の移動速度は、単一の時点で測定された速度であってもよく、複数回にわたって測定された速度の平均値であってもよい。設定変更リスクが同等である装置の設定優先度は、設定変更リスク以外の指標（例えば、上述した設定自由度、車線、走行方向など。早い者勝ちの基準が採用されてもよい）に基づいて調整され得る。
どういった基準で設定優先度が決定されるかに関わらず、撮像制御部１５０は、ある動的に選択される装置のグループの中で、設定優先度を相互に比較する。例えば、撮像制御部１５０は、通信インタフェース１１２を介して、１つ以上の近傍装置を検出する。近傍装置の検出は、近傍装置から送信されるブロードキャスト信号の受信、又は通信インタフェース１１２から送信される探索信号に対する応答信号の受信などの、既存の何らかの手法に従って行われてよい。次に、撮像制御部１５０は、カメラモジュール１０１と検出した１つ以上の近傍装置との間の相対的な位置関係に基づいて、競合を回避すべき少なくとも１つの近傍装置を選択する。そして、撮像制御部１５０は、選択した上記少なくとも１つの近傍装置との間で少なくとも部分的に異なる設定が使用されるように、上述した赤外線画像の生成のための波長分離型、時間分離型又はそれらの組合せでの制御を実行する。
図７は、相対的な位置関係に基づく近傍装置の選択の一例について説明するための説明図である。図７を参照すると、車両１０ａの現在位置を中心とする２つの同心円が描かれており、内側の円は４つの区画３１、３２、３３及び３４に、内側の円と外側の円との間の環状部分は４つの区画３５、３６、３７及び３８にそれぞれ区画化されている。図中でそれぞれの区画に付された１から６までの数値は、選択順序を表す。例えば、図中の区画を選択順序に従って並べると、区画３１（選択順序＝“１”）、区画３５（選択順序＝“２”）、区画３２及び３３（選択順序＝“３”）、区画３６及び３７（選択順序＝“４”）、区画３４（選択順序＝“５”）、区画３８（選択順序＝“６”）となる。この例から理解されるように、基本的な考え方は、自装置の画角により近い区画に、より小さい（より優先的に選択される）選択順序が与えられる。そして、撮像制御部１５０は、選択順序の値の小さい区画に位置する近傍装置から順に、選択された装置の数が予め定義される閾値を上回るまで、近傍装置の選択を繰り返す。近傍装置の位置は、位置情報を交換した時点の位置であってもよく、又は速度情報をも考慮して推定される将来の時点の位置であってもよい。上記閾値は、固定的に定義されていてもよい。代替的に、上記閾値は、場所（例えば、交差点では閾値がより大きい）、混雑度（混雑している時には閾値がより大きい）又は装置の設定自由度などに依存して動的に設定されてもよい。このような位置関係に基づいて競合回避の対象の近傍装置を選択することで、その照射光が外乱として寄与する可能性の高い位置に存在する近傍装置を優先的に競合回避の対象に含めることができる。
なお、図７に示した区画及び選択順序の定義は一例に過ぎず、異なる区画及び選択順序の定義が使用されてもよい。例えば、図７は車両１０ａの赤外線カメラが前方へ向けられていることを前提としているが、サイドビュー用のカメラについては側面方向の区画に最も小さい選択順序が与えられ、バックビュー用のカメラについては後方の区画に最も小さい選択順序が与えられ得る。また、撮像制御部１５０は、近傍装置の位置に加えて近傍装置の向きを考慮して選択順序を決定してもよい。具体的には、図７の例において、区画３１に位置する近傍装置のうち車両１０ａに対向する装置には選択順序“１”が、車両１０ａと同じ方向を向いている装置には選択順序“５”が与えられ得る。同様に、区画３５に置する近傍装置のうち車両１０ａに対向する装置には選択順序“２”が、車両１０ａと同じ方向を向いている装置には選択順序“６”が与えられ得る。
［２−３．処理の流れ］
（１）撮像制御処理
図８は、第１の実施形態に係る撮像制御処理の流れの一例を示すフローチャートである。
まず、撮像制御部１５０は、通信インタフェース１１２を介して、１つ以上の近傍装置を検出する（ステップＳ１００）。近傍装置の検出は周期的に行われ、その周期は映像のフレーム周期と同一であっても異なっていてもよい。
次に、撮像制御部１５０は、撮像設定を更新するか否かを判定する（ステップＳ１１０）。例えば、撮像制御部１５０は、新たな近傍装置の検出、近傍装置からの更新要求の受信、前回の更新からの予め定義される期間の経過又は赤外線画像の画質の一時的な劣化などの任意の条件をトリガとして、撮像設定を更新すると判定し得る。撮像設定を更新すると判定されなかった場合、後述するステップＳ１１５〜Ｓ１５０の処理はスキップされる。
撮像設定を更新すると判定した場合、撮像制御部１５０は、カメラモジュール１０１と近傍装置との間の相対的な位置関係に基づいて、競合を回避すべき少なくとも１つの近傍装置を選択する（ステップＳ１１５）。典型的には、ここで複数の近傍装置が、競合回避の対象として選択される。
次に、撮像制御部１５０は、後に詳しく説明される設定選択処理を実行することにより、競合回避の対象として選択した近傍装置により使用される設定とは少なくとも部分的に異なる撮像関連の設定を選択する（ステップＳ１２０）。ここでの撮像関連の設定は、赤外線の照射波長域、赤外線画像の対象波長、赤外線画像の撮像タイミング及び赤外線の照射強度、のうちの１つ以上を含む。
次に、撮像制御部１５０は、設定選択処理の結果として選択された設定を、自装置に反映する（ステップＳ１５０）。例えば、撮像制御部１５０は、選択された照射波長域及び照射強度を、カメラモジュール１０１の発光器１０２に設定し得る。また、撮像制御部１５０は、選択された対象波長を、カメラモジュール１０１の光学フィルタ１０４に設定し、及び画像取得部１２０に設定し得る。また、撮像制御部１５０は、選択された撮像タイミングを、カメラモジュール１０１に設定し得る。
次に、撮像制御部１５０は、撮像タイミングが到来したかを判定する（ステップＳ１５５）。撮像タイミングが到来すると、カメラモジュール１０１の発光器１０２は設定された照射波長域の赤外線を照射し（ステップＳ１６０）、撮像素子配列１０３は原画像を撮像する（ステップＳ１７０）。ここで、カメラモジュール１０１の光学フィルタ１０４は、撮像素子配列１０３へと入射する赤外線を、設定された対象波長の赤外線のみを通過させるようにフィルタリングし得る。
次に、画像取得部１２０は、設定された対象波長の赤外線画像を、必要に応じて画像信号の増幅、デモザイク、ノイズ除去及び波長成分の分離などの予備的処理を通じて取得する（ステップＳ１８０）。そして、画像取得部１２０は、取得した赤外線画像を、アプリケーション部１３０へ出力する（ステップＳ１９０）。ここで出力される赤外線画像は、アプリケーション部１３０により画面上に表示され、運転支援機能等のアプリケーション機能へと入力され、又は符号化されて記憶される。その後、フローはステップＳ１００へ戻り、上述した処理が繰り返される。
（２−１）設定選択処理−第１の例
図９Ａは、図８のステップＳ１２０に示した設定選択処理の流れの第１の例を示すフローチャートである。
図９Ａを参照すると、まず、撮像制御部１５０は、近傍装置の各々との間で、設定候補情報及びその他の情報を交換する（ステップＳ１２１）。次に、撮像制御部１５０は、自装置及び近傍装置の設定候補情報から、装置ごとの設定自由度を判定し、判定した設定自由度に基づいて、装置ごとの設定優先度を決定する（ステップＳ１２４）。次に、撮像制御部１５０は、設定自由度が互いに等しい装置について、設定候補情報以外の情報を用いて、設定優先度を調整する（ステップＳ１２８）。
次に、撮像制御部１５０は、自装置よりも設定優先度の高い全ての近傍装置の設定が確定済みであるかを判定する（ステップＳ１３１）。より設定優先度が高いものの設定が未確定の近傍装置が残っている場合には、撮像制御部１５０は、その近傍装置の設定を確定させる（ステップＳ１３３）。例えば、選択可能な赤外線の波長が１種類しか残されていない装置については、その装置の対象波長として当該１種類の波長が選択され得る。撮像制御部１５０は、通信インタフェース１１２を介して、近傍装置の撮像設定を通知する通知メッセージを当該近傍装置から受信してもよく、又は特定の撮像設定を使用することを指示する指示メッセージを近傍装置へ送信してもよい。自装置よりも設定優先度の高い全ての近傍装置の設定が確定されると、撮像制御部１５０は、それら設定とは少なくとも部分的に異なる撮像設定を、自装置のために選択する（ステップＳ１３５）。そして、撮像制御部１５０は、通信インタフェース１１２を介して、自装置のために選択した撮像設定を通知する通知メッセージを、近傍装置へ送信する（ステップＳ１３７）。
（２−２）設定選択処理−第２の例
図９Ｂは、図８のステップＳ１２０に示した設定選択処理の流れの第２の例を示すフローチャートである。
図９Ｂを参照すると、まず、撮像制御部１５０は、近傍装置の各々との間で、位置情報、速度情報及びその他の情報を交換する（ステップＳ１２２）。次に、撮像制御部１５０は、自装置及び近傍装置の位置及び速度から、装置ごとの設定変更リスクを判定し、判定した設定変更リスクに基づいて、装置ごとの設定優先度を決定する（ステップＳ１２５）。次に、撮像制御部１５０は、設定変更リスクが互いに等しい装置について、設定変更リスク以外の指標を用いて、設定優先度を調整する（ステップＳ１２８）。
その後のステップＳ１３１〜Ｓ１３７の処理は、基本的には、図９Ａを用いて説明した処理と同様であってよい。ステップＳ１３３及びステップＳ１３５において、各装置は、現行の設定と同じ設定がより設定優先度の高い装置により使用されない場合には、その現行の設定を変えないことを選択することが望ましい。それにより、設定の変更に起因する赤外線画像の乱れを未然に防ぐことができる。
（２−３）設定選択処理−第３の例
図９Ｃは、図８のステップＳ１２０に示した設定選択処理の流れの第３の例を示すフローチャートである。
図９Ｃを参照すると、まず、撮像制御部１５０は、近傍装置の各々との間で、設定候補情報、位置情報、速度情報及びその他の情報を交換する（ステップＳ１２３）。次に、撮像制御部１５０は、自装置及び近傍装置の設定候補情報から、装置ごとの設定自由度を判定する（ステップＳ１２６）。また、撮像制御部１５０は、自装置及び近傍装置の位置及び速度から、装置ごとの設定変更リスクを判定する（ステップＳ１２７）。そして、撮像制御部１５０は、設定自由度、設定変更リスク及びその他の指標に基づいて、装置ごとの設定優先度を決定する（ステップＳ１２９）。その後のステップＳ１３１〜Ｓ１３７の処理は、図９Ａを用いて説明した処理と同様であってよいため、ここでは重複する説明を省略する。
なお、設定優先度は、装置の用途に依存して異なる指標を用いて決定されてもよい。例えば、撮像制御装置１００が車載カメラを制御する場合には設定変更リスクが主に使用され、撮像制御装置１００がスマートフォン等の携帯機器のカメラを制御する場合には設定自由度が主に使用されるといった指標の動的な切り替えが実現されてもよい。
＜３．第２の実施形態＞
前節では、第１の実施形態として、ある車両に搭載される撮像制御装置１００が他の車両に搭載される撮像制御装置１００との間で車々間通信を行い、そこで交換される情報に基づいて撮像の競合が回避される例を説明した。これに対し、本節で説明する第２の実施形態では、複数の装置による赤外線画像の生成のための撮像関連の設定を一元的に管理する管理サーバが導入される。
［３−１．システム構成］
図１０は、第２の実施形態に係る撮像制御システムの機能の構成の一例について説明するための説明図である。図１０を参照すると、撮像制御システム１は、複数の撮像制御装置２００、アクセスポイント３００及び管理サーバ３１０を含む。撮像制御装置２００は、通信インタフェース１１２及びアクセスポイント３００を介して、管理サーバ３１０と通信する。アクセスポイント３００は、路側に設置される中継装置であってよい。このような車載装置と路側装置（及びその先のサーバ）との間の通信を、路車間通信あるいはＲ２Ｖ（Roadside unit-to-Vehicle）通信という。追加的に、撮像制御装置２００は、他の撮像制御装置２００との間で通信インタフェース１１２を介して車々間通信をも実行してよい。図１０には２つの撮像制御装置２００のみが示されているが、本実施形態において、撮像制御システム１は、実際にはより多くの撮像制御装置２００を含む。
［３−２．装置側の機能］
第２の実施形態に係る撮像制御装置２００のハードウェア構成は、図３を用いて説明した撮像制御装置１００のハードウェア構成と同様であってよい。撮像制御装置２００の各々は、画像取得部１２０、アプリケーション部１３０、設定ＤＢ１４０及び撮像制御部２５０を備える。
撮像制御部２５０は、通信インタフェース１１２を介して管理サーバ３１０との間で送受信される制御パラメータに基づいて、赤外線画像の生成のための設定を制御する。本実施形態においても、前節で説明した、波長分離型の制御、時間分離型の制御、及び波長分離型と時間分離型との組合せでの制御のいずれが行われてもよい。但し、各装置において使用すべき設定は、管理サーバ３１０により決定される。そして、撮像制御部２５０は、管理サーバ３１０から受信される制御パラメータにより特定される設定を、自装置における赤外線画像の生成のために選択する。
撮像制御部２５０は、例えば、自装置が位置する地理的領域について権限を有する管理サーバ３１０が検出されると、他の装置と競合しない設定の割り当てを要求する設定要求メッセージを通信インタフェース１１２を介して管理サーバ３１０へ送信する。設定要求メッセージは、例えば、撮像制御装置２００の識別子、設定候補情報、現在設定情報、位置情報及び速度情報を含み得る。設定候補情報は、撮像制御装置２００における赤外線画像の生成のために選択可能な１つ以上の設定候補を示す。管理サーバ３１０は、撮像制御装置２００から設定要求メッセージが受信されると、撮像制御装置２００の近傍に位置する近傍装置に割り当てられる設定とは競合しない設定（例えば、対象波長及び撮像タイミングの組合せが少なくとも部分的に異なる設定）を撮像制御装置２００に割り当てる。撮像制御部２５０は、撮像制御装置２００に割り当てられた設定を特定する応答メッセージ又は設定更新メッセージを、通信インタフェース１１２を介して管理サーバ３１０から受信する。そして、撮像制御部２５０は、受信されるメッセージに含まれる制御パラメータにより特定される設定（赤外線の照射波長域、赤外線画像の対象波長、赤外線画像の撮像タイミング及び赤外線の照射強度、のうちの１つ以上）を、カメラモジュール１０１及び画像取得部１２０に反映させる。
［３−３．サーバ側の機能］
図１０に示したように、管理サーバ３１０は、管理データベース（ＤＢ）３２０及び制御部３３０を備える。管理ＤＢ３２０は、管理サーバ３１０の管理下にある複数の撮像制御装置２００の各々について、装置の識別子、選択可能な設定の候補、現在の設定、位置及び速度を記憶する。制御部３３０は、管理ＤＢ３２０内のこれら情報を、撮像制御装置２００から報告される最新の情報で更新する。
制御部３３０は、撮像制御装置２００から上述した設定要求メッセージが受信されると、管理下の他の全ての装置、撮像制御装置２００が位置する特定の領域内の他の装置、又は図７を用いて説明した手法で選択される複数の近傍装置を、競合回避の対象として選択する。また、制御部３３０は、選択した既存の装置により現在使用されている設定を、管理ＤＢ３２０を参照することにより識別する。そして、制御部３３０は、撮像制御装置２００により選択可能な設定の候補の中で、既存の装置により使用されている設定とは少なくとも部分的に異なる設定を、撮像制御装置２００に割り当てる。一例として、図６Ａに示したように、車両Ｖ１１、Ｖ１２、Ｖ１３及びＶ１４により対象波長ｒ２、ｒ４、ｒ８及びｒ６がそれぞれ使用される場合、制御部３３０は、設定の割り当てを要求する別の装置に、例えば波長ｒ３を対象波長として割り当てることができる。未使用の波長の代わりに、図６Ｂ又は図６Ｃの例のように、未使用の時間スロットが割り当てられてもよい。
制御部３３０は、既存の装置の使用中の設定を変更することなく、未使用であると判定される設定を新たな装置に割り当ててもよい。この場合、制御部３３０は、撮像制御装置２００からの設定要求メッセージへの応答として、撮像制御装置２００に割り当てた設定を特定する制御パラメータを含む応答メッセージを、撮像制御装置２００へ送信する。その代わりに、制御部３３０は、既存の装置と新たな装置とを含むグループを対象として、図９Ａ〜図９Ｃを用いて説明した設定選択処理を実行し、設定優先度の順に各装置について設定を選択／再選択してもよい。この場合、制御部３３０は、設定が更新される既存の装置に設定の更新を指示する設定更新メッセージを、新たな装置に上述した応答メッセージを送信する。なお、撮像制御装置２００から送信される設定要求メッセージは、撮像制御装置２００が使用することを希望する所望設定を示してもよい。この場合、管理サーバ３１０は、応答メッセージにおいて、所望設定の使用を許可するか否か、及び許可しないときは代替的に割り当てられる設定を、要求元の装置へ通知し得る。
ある実施例において、制御部３３０は、装置の数が多いために競合を完全に回避することのできないケースに備えて、複数の装置への重複的な割り当てを許容する設定（特定の対象波長若しくは撮像タイミング、又はそれらの組合せ）を予め定義していてもよい（以下、既定の設定という）。この実施例において、制御部３３０は、波長、時間又は空間の分離によっては撮像の競合を完全には回避し得ないと判定すると、１つ以上の装置（例えば、設定優先度が相対的に低い装置）に、上述した既定の設定を割り当てる。例えば、運転支援の用途では、設定の割り当てを要求する装置にいずれの設定も割り当てない（画像を撮像させない）ことは安全上の観点で避けられるべきであるため、こうした既定の設定の重複的な使用を許容することが有益である。既定の設定は、管理サーバ３１０により設定が割り当てられるまでの期間において、撮像制御装置２００により使用されてもよい。
［３−４．処理の流れ］
（１）装置側の処理
図１１は、第２の実施形態に係る装置側の撮像制御処理の流れの一例を示すフローチャートである。
まず、撮像制御装置２００の撮像制御部２５０は、周期的に、又は（例えば、管理領域外への移動に起因して）接続中の管理サーバとの接続が失われた場合に、新たな管理サーバ３１０との接続を試行する（ステップＳ２００）。そして、撮像制御部２５０は、通信インタフェース１１２が管理サーバ３１０と接続すると、撮像制御装置２００の識別子、設定候補情報、現在設定情報、位置情報及び速度情報を含み得る設定要求メッセージを管理サーバ３１０へ送信する（ステップＳ２０５）。管理サーバ３１０との接続が維持されており、又は割り当て済みの設定が有効である間は、これらステップＳ２００及びＳ２０５の処理はスキップされてよい。
撮像制御部２５０は、管理サーバ３１０からのメッセージの受信を待ち受ける（ステップＳ２４０）。そして、撮像制御部２５０は、管理サーバ３１０から設定要求メッセージに対する応答メッセージ、又は設定更新メッセージが受信されると、受信されたメッセージに従って、赤外線の照射波長域、赤外線画像の対象波長、赤外線画像の撮像タイミング及び赤外線の照射強度のうちの１つ以上を、カメラモジュール１０１及び画像取得部１２０に設定する（ステップＳ２５０）。
次に、撮像制御部２５０は、撮像タイミングが到来したかを判定する（ステップＳ２５５）。撮像タイミングが到来すると、カメラモジュール１０１の発光器１０２は設定された照射波長域の赤外線を照射し（ステップＳ２６０）、撮像素子配列１０３は原画像を撮像する（ステップＳ２７０）。ここで、カメラモジュール１０１の光学フィルタ１０４は、撮像素子配列１０３へと入射する赤外線を、設定された対象波長の赤外線のみを通過させるようにフィルタリングし得る。
次に、画像取得部１２０は、設定された対象波長の赤外線画像を、必要に応じて画像信号の増幅、デモザイク、ノイズ除去及び波長成分の分離などの予備的処理を通じて取得する（ステップＳ２８０）。そして、画像取得部１２０は、取得した赤外線画像を、アプリケーション部１３０へ出力する（ステップＳ２９０）。その後、フローはステップＳ２００へ戻り、上述した処理が繰り返される。
（２−１）サーバ側の処理−第１の例
図１２Ａは、第２の実施形態に係るサーバ側の撮像制御処理の流れの第１の例を示すフローチャートである。
図１２Ａに示した撮像制御処理は、管理サーバ３１０における撮像制御装置２００からの設定要求メッセージの受信をトリガとして開始される（ステップＳ３００）。管理サーバ３１０の制御部３３０は、設定要求メッセージの受信に応じて、要求元の装置との撮像の競合を回避すべき既存の装置を、競合回避の対象として選択する（ステップＳ３１０）。
次に、制御部３３０は、選択した既存の装置により使用されていない設定であって、要求元の装置により選択可能な設定があるか否かを、管理ＤＢ３２０を参照することにより判定する（ステップＳ３２０）。そして、未使用の選択可能な設定がある場合には、制御部３３０は、当該設定を要求元の装置へ割り当てる（ステップＳ３３０）。未使用の選択可能な設定が無い場合には、制御部３３０は、既定の設定を要求元の装置へ割り当てる（ステップＳ３３５）。
そして、制御部３３０は、要求元の装置へ割り当てた設定を通知するために、当該設定を特定する制御パラメータを含む応答メッセージを、要求元の装置へ送信する（ステップＳ３６０）。
（２−２）サーバ側の処理−第２の例
図１２Ｂは、第２の実施形態に係るサーバ側の撮像制御処理の流れの第２の例を示すフローチャートである。
図１２Ｂに示した撮像制御処理もまた、管理サーバ３１０における撮像制御装置２００からの設定要求メッセージの受信をトリガとして開始される（ステップＳ３００）。管理サーバ３１０の制御部３３０は、設定要求メッセージの受信に応じて、要求元の装置との撮像の競合を回避すべき既存の装置を、競合回避の対象として選択する（ステップＳ３１０）。
次に、制御部３３０は、要求元の装置及びステップＳ３１０において選択した既存の装置の各々について、その選択可能な設定の候補、現在の設定、位置及び速度等の情報に基づいて（設定自由度及び設定変更リスクといった指標に基づいて）設定優先度を決定する（ステップＳ３３０）。
次に、制御部３３０は、設定を確定していない装置のうち最も設定優先度の高い装置を選択する（ステップＳ３３５）。次に、制御部３３０は、未使用の設定のうちの１つを、選択した当該装置に割り当てる（ステップＳ３４０）。制御部３３０は、こうした設定の割り当てを、設定優先度の高い装置の順に、全ての装置へ設定が割り当てられるまで繰り返す（ステップＳ３４５）。
そして、制御部３３０は、要求元の装置及び設定の更新される装置へ、割り当てた個々の設定を通知するために、個々の設定を特定する制御パラメータを含む応答メッセージ又は設定更新メッセージを送信する（ステップＳ３７０）。
［３−５．応用例］
図１０に例示したような管理サーバが介在するシステム構成は、第１の実施形態で説明したような（サーバではなく）装置主体の撮像制御を支援するために活用されてもよい。例えば、管理サーバ３１０は、個々の装置の現在位置及び速度を管理し、図８を用いて説明した撮像制御処理における近傍装置の選択（ステップＳ１１５）を撮像制御装置１００の代わりに実行してもよい。また、管理サーバ３１０は、装置ごとの設定変更リスクを評価する際に利用され得る地図情報（例えば、事故発生確率の高い場所を示す情報）を撮像制御装置１００へ提供してもよい。これらの例に限定されず、第１の実施形態に関連して説明した処理の任意の部分が、撮像制御装置１００の代わりに管理サーバ３１０により実行されてよい。
＜４．まとめ＞
ここまで、図１〜図１２Ｂを用いて、本開示に係る技術の様々な実施形態について詳細に説明した。上述した実施形態によれば、照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得する装置において、通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、赤外線画像の生成のための設定が制御される。従って、互いに近傍に位置する装置の各々により使用される撮像関連の設定を、撮像の競合が回避されるように情報交換を通じて動的に調整することが可能である。それにより、多数の赤外線カメラが撮像を行う場面において、個々の赤外線画像の画質が外乱としての他のカメラからの照射光に起因して劣化してしまうことを回避することができる。
赤外線の照射波長域及び赤外線画像の対象波長が装置間で異なるように撮像関連の設定が調整される実施例によれば、高々２〜３台の分離度しか達成されない既存の手法よりも格段に多くの装置による撮像の競合を回避することが可能である。例えば、第１の装置において第１の照射波長域に属する第１の波長を対象波長として赤外線画像が取得され、第２の装置（第１の装置の近傍装置）において第２の照射波長域に属する第２の波長を対象波長として赤外線画像が取得されるものとする。第１の装置は、第２の照射波長域での第２の装置からの照射光に起因する赤外線画像への影響が低減されるように第１の波長を選択する。例えば、第２の照射波長域に含まれない波長を第１の波長として選択することで、第１の波長を対象波長として生成される赤外線画像は、第２の装置からの照射光に影響されない。また、第１の装置は、第１の照射波長域での第１の装置からの照射光に起因する、第２の装置で生成される赤外線画像への影響が低減されるように、第１の照射波長域を選択する。例えば、第２の波長を含まないように第１の照射波長域を選択することで、
第２の波長を対象波長として生成される赤外線画像は、第１の装置からの照射光に影響されない。
赤外線画像の撮像タイミングが装置間で異なるように撮像関連の設定が調整される例においても、既存の手法よりも大きい分離度を達成することができる。例えば、第１の装置において赤外線画像が第１の撮像タイミングで赤外線の反射光を撮像することにより生成される場合に、第２の装置（第１の装置の近傍装置）により選択される第２の撮像タイミングと第１の撮像タイミングとが干渉しないように第１の撮像タイミングが選択される。この場合、一方の装置からの赤外線の照射と他方の装置での撮像とが同時には行われないため、双方の装置で適正な赤外線画像を取得することができる。
また、上述した実施形態によれば、相対的に高い設定優先度が与えられた装置は、自らが使用する設定と少なくとも部分的に異なる設定をより設定優先度の低い近傍装置に使用させるために、通信インタフェースを介して制御パラメータを送信する。相対的に低い設定優先度が与えられた装置は、近傍装置から受信される制御パラメータにより特定される設定と少なくとも部分的に異なる設定を、赤外線画像の生成のために選択する。このような優先度に従って各装置が使用すべき設定を順に決定することで、複数の装置が無秩序に重複する設定を使用してしまう事態を回避することができる。
ある実施例によれば、設定優先度は、個々の装置の設定自由度に基づいて決定される。例えば、設定自由度のより低い装置（より少ない種類の設定しか選択可能でない装置）の設定の選択を優先的に行うことで、競合を回避できない装置が残されてしまう可能性を低減することができる。他の実施例によれば、設定優先度は、個々の装置の移動速度又は位置に依存する設定変更リスクに基づいて決定される。例えば、車載装置の用途において、設定変更リスクのより高い装置の設定の選択を優先的に行うことで、赤外線画像の一時的な乱れに起因する事故のリスクを増大を防ぐことができる。
また、上述した実施形態によれば、通信インタフェースを介して検出される１つ以上の近傍装置との間の相対的な位置関係に基づいて、競合を回避すべき近傍装置のグループが選択され、選択されたグループ内の近傍装置との間で少なくとも部分的に異なる設定が使用されるように、赤外線画像の生成のための設定が制御される。従って、多数の装置が撮像を行う場面において、必ずしも全ての装置ではなく、互いに影響し合う位置に存在するより少ない装置の間で競合回避のための調整を行うことができる。よって、競合回避のための通信及び処理のオーバヘッドを適切なレベルに抑制しつつ、撮像の競合を効果的に回避することができる。
また、ある実施形態によれば、複数の装置による赤外線画像の生成のための設定を管理する管理サーバが導入され、各装置は、管理サーバから受信される制御パラメータにより特定される設定を、赤外線画像の生成のために選択する。従って、各装置は、例えば近傍装置の選択及び優先度の決定といった競合回避のために要する処理を管理サーバに委ねることができる。また、管理サーバは、直接的には互いに通信可能ではない２つ以上の装置について撮像関連の設定を調整することができるため、管理サーバが存在しないシステム形態と比較して、競合回避の確実性を高めることができる。
なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵ（Central Processing Unit）などのプロセッサにより実行される。
また、本明細書においてフローチャートを用いて説明した処理は、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得する画像取得部と、
通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御する制御部と、
を備える撮像制御装置。
（２）
前記制御部により制御される前記設定は、前記赤外線の照射波長域、前記赤外線画像の対象波長及び前記赤外線画像の撮像タイミング、のうちの１つ以上を含む、前記（１）に記載の撮像制御装置。
（３）
前記画像取得部は、第１の照射波長域に属する第１の波長を対象波長として生成される前記赤外線画像を取得し、
前記制御部は、前記画像取得部により取得される前記赤外線画像への、近傍装置により選択される第２の照射波長域に起因する影響が低減されるように、前記制御パラメータに基づいて前記第１の波長を選択する、
前記（２）に記載の撮像制御装置。
（４）
前記近傍装置は、前記第２の照射波長域に属する第２の波長を対象波長として赤外線画像を生成し、
前記制御部は、前記近傍装置により生成される前記赤外線画像への、前記第１の照射波長域に起因する影響が低減されるように、前記制御パラメータに基づいて前記第１の照射波長域を選択する、
前記（３）に記載の撮像制御装置。
（５）
前記赤外線画像は、第１の撮像タイミングで前記反射光を撮像することにより生成され、
前記制御部は、近傍装置により選択される第２の撮像タイミングと前記第１の撮像タイミングとが干渉しないように、前記制御パラメータに基づいて前記第１の撮像タイミングを選択する、
前記（２）に記載の撮像制御装置。
（６）
前記制御パラメータは、前記画像取得部により取得される前記赤外線画像についての第１の設定を特定し、
前記制御部は、前記第１の設定と少なくとも部分的に異なる第２の設定をより設定優先度の低い近傍装置に使用させるために、前記通信インタフェースを介して前記制御パラメータを送信する、
前記（２）に記載の撮像制御装置。
（７）
前記制御パラメータは、より設定優先度の高い近傍装置により生成される赤外線画像についての第２の設定を特定し、
前記制御部は、前記通信インタフェースを介して受信される前記制御パラメータにより特定される前記第２の設定と少なくとも部分的に異なる第１の設定を、前記画像取得部により取得される前記赤外線画像の生成のために選択する、
前記（２）に記載の撮像制御装置。
（８）
前記設定優先度は、個々の装置の設定自由度に基づいて決定される、前記（６）又は前記（７）に記載の撮像制御装置。
（９）
前記設定優先度は、個々の装置の移動速度又は位置に依存する設定変更リスクに基づいて決定される、前記（６）〜（８）のいずれか１項に記載の撮像制御装置。
（１０）
前記制御部は、
前記通信インタフェースを介して１つ以上の近傍装置を検出し、
前記赤外線カメラと検出した前記１つ以上の近傍装置との間の相対的な位置関係に基づいて、競合を回避すべき少なくとも１つの近傍装置を選択し、
選択した前記少なくとも１つの近傍装置との間で少なくとも部分的に異なる設定が使用されるように、前記赤外線画像の生成のための設定を制御する、
前記（１）〜（９）のいずれか１項に記載の撮像制御装置。
（１１）
前記通信インタフェースは、複数の装置による赤外線画像の生成のための前記設定を管理する管理サーバと通信し、
前記制御部は、前記管理サーバから前記通信インタフェースを介して受信される前記制御パラメータにより特定される設定を、前記画像取得部により取得される前記赤外線画像の生成のために選択する、
前記（１）又は前記（２）に記載の撮像制御装置。
（１２）
前記制御部は、前記赤外線画像の前記生成のために選択可能な１つ以上の設定候補を示す設定候補情報を、前記通信インタフェースを介して前記管理サーバへ送信し、
前記制御パラメータは、前記設定候補情報により示される前記１つ以上の設定候補に含まれる設定を特定する、
前記（１１）に記載の撮像制御装置。
（１３）
前記赤外線画像は、第１の照射強度で照射される前記赤外線の前記反射光を撮像することにより生成され、
前記制御部は、近傍装置により生成される赤外線画像への、前記第１の照射強度での赤外線の照射に起因する影響が低減されるように、前記制御パラメータに基づいて前記第１の照射強度を選択する、
前記（１）に記載の撮像制御装置。
（１４）
前記赤外線画像は、第１の偏光方向を有する前記赤外線の前記反射光を撮像することにより生成され、
前記制御部は、近傍装置により選択される第２の偏光方向と前記第１の偏光方向とが重複しないように、前記制御パラメータに基づいて前記第１の偏光方向を選択する、
前記（１）に記載の撮像制御装置。
（１５）
前記赤外線を照射する発光器及び前記反射光を撮像する撮像素子の配列を含む前記赤外線カメラ、をさらに備える、前記（１）〜（１４）のいずれか１項に記載の撮像制御装置。
（１６）
照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得することと、
通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御することと、
を含む撮像制御方法。
（１７）
コンピュータを、
照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得する画像取得部と、
通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御する制御部と、
として機能させるためのプログラム。
１ 撮像制御システム
１００，２００ 撮像制御装置
１０１ カメラモジュール（赤外線カメラ）
１２０ 画像取得部
１３０ アプリケーション部
１４０ 設定ＤＢ
１５０，２５０ 撮像制御部
３１０ 管理サーバ

Claims (21)

  1. 照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得する画像取得部と、
    通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御する制御部と、
    を備え、
    前記制御パラメータは、前記画像取得部により取得される前記赤外線画像についての第１の設定を特定し、
    前記制御部は、前記第１の設定と少なくとも部分的に異なる第２の設定をより設定優先度の低い近傍装置に使用させるために、前記通信インタフェースを介して前記制御パラメータを送信し、
    前記設定優先度は、個々の装置の設定自由度に基づいて決定される、
    撮像制御装置。
  2. 照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得する画像取得部と、
    通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御する制御部と、
    を備え、
    前記制御パラメータは、前記画像取得部により取得される前記赤外線画像についての第１の設定を特定し、
    前記制御部は、前記第１の設定と少なくとも部分的に異なる第２の設定をより設定優先度の低い近傍装置に使用させるために、前記通信インタフェースを介して前記制御パラメータを送信し、
    前記設定優先度は、個々の装置の移動速度又は位置に依存する設定変更リスクに基づいて決定される、
    撮像制御装置。
  3. 照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得する画像取得部と、
    通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御する制御部と、
    を備え、
    前記制御部は、
    前記通信インタフェースを介して１つ以上の近傍装置を検出し、
    前記赤外線カメラと検出した前記１つ以上の近傍装置との間の相対的な位置関係に基づいて、競合を回避すべき少なくとも１つの近傍装置を選択し、
    選択した前記少なくとも１つの近傍装置との間で少なくとも部分的に異なる設定が使用されるように、前記赤外線画像の生成のための設定を制御する、
    撮像制御装置。
  4. 照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得する画像取得部と、
    通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御する制御部と、
    を備え、
    前記赤外線画像は、第１の照射強度で照射される前記赤外線の前記反射光を撮像することにより生成され、
    前記制御部は、近傍装置により生成される赤外線画像への、前記第１の照射強度での赤外線の照射に起因する影響が低減されるように、前記制御パラメータに基づいて前記第１の照射強度を選択する、
    撮像制御装置。
  5. 前記制御部により制御される前記設定は、前記赤外線の照射波長域、前記赤外線画像の対象波長及び前記赤外線画像の撮像タイミング、のうちの１つ以上を含む、
    請求項１〜４のいずれか１つに記載の撮像制御装置。
  6. 前記画像取得部は、第１の照射波長域に属する第１の波長を対象波長として生成される前記赤外線画像を取得し、
    前記制御部は、前記画像取得部により取得される前記赤外線画像への、近傍装置により選択される第２の照射波長域に起因する影響が低減されるように、前記制御パラメータに基づいて前記第１の波長を選択する、
    請求項５に記載の撮像制御装置。
  7. 前記近傍装置は、前記第２の照射波長域に属する第２の波長を対象波長として赤外線画像を生成し、
    前記制御部は、前記近傍装置により生成される前記赤外線画像への、前記第１の照射波長域に起因する影響が低減されるように、前記制御パラメータに基づいて前記第１の照射波長域を選択する、
    請求項６に記載の撮像制御装置。
  8. 前記赤外線画像は、第１の撮像タイミングで前記反射光を撮像することにより生成され、
    前記制御部は、近傍装置により選択される第２の撮像タイミングと前記第１の撮像タイミングとが干渉しないように、前記制御パラメータに基づいて前記第１の撮像タイミングを選択する、
    請求項５〜７のいずれか１つに記載の撮像制御装置。
  9. 前記制御パラメータは、より設定優先度の高い近傍装置により生成される赤外線画像についての第２の設定を特定し、
    前記制御部は、前記通信インタフェースを介して受信される前記制御パラメータにより特定される前記第２の設定と少なくとも部分的に異なる第１の設定を、前記画像取得部により取得される前記赤外線画像の生成のために選択する、
    請求項５〜８のいずれか１つに記載の撮像制御装置。
  10. 前記通信インタフェースは、複数の装置による赤外線画像の生成のための前記設定を管理する管理サーバと通信し、
    前記制御部は、前記管理サーバから前記通信インタフェースを介して受信される前記制御パラメータにより特定される設定を、前記画像取得部により取得される前記赤外線画像の生成のために選択する、
    請求項１〜９のいずれか１つに記載の撮像制御装置。
  11. 前記制御部は、前記赤外線画像の前記生成のために選択可能な１つ以上の設定候補を示す設定候補情報を、前記通信インタフェースを介して前記管理サーバへ送信し、
    前記制御パラメータは、前記設定候補情報により示される前記１つ以上の設定候補に含まれる設定を特定する、
    請求項１０に記載の撮像制御装置。
  12. 前記赤外線画像は、第１の偏光方向を有する前記赤外線の前記反射光を撮像することにより生成され、
    前記制御部は、近傍装置により選択される第２の偏光方向と前記第１の偏光方向とが重複しないように、前記制御パラメータに基づいて前記第１の偏光方向を選択する、
    請求項１〜１１のいずれか１つに記載の撮像制御装置。
  13. 前記赤外線を照射する発光器及び前記反射光を撮像する撮像素子の配列を含む前記赤外線カメラ、をさらに備える、
    請求項１〜１２のいずれか１つに記載の撮像制御装置。
  14. 照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得することと、
    通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御することと、
    を含み、
    前記制御パラメータは、取得した前記赤外線画像についての第１の設定を特定し、
    前記第１の設定と少なくとも部分的に異なる第２の設定をより設定優先度の低い近傍装置に使用させるために、前記通信インタフェースを介して前記制御パラメータを送信し、
    前記設定優先度は、個々の装置の設定自由度に基づいて決定される、
    撮像制御方法。
  15. コンピュータを、
    照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得する画像取得部と、
    通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御する制御部と、
    として機能させ、
    前記制御パラメータは、前記画像取得部により取得される前記赤外線画像についての第１の設定を特定し、
    前記制御部は、前記第１の設定と少なくとも部分的に異なる第２の設定をより設定優先度の低い近傍装置に使用させるために、前記通信インタフェースを介して前記制御パラメータを送信し、
    前記設定優先度は、個々の装置の設定自由度に基づいて決定される、
    プログラム。
  16. 照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得することと、
    通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御することと、
    を含み、
    前記制御パラメータは、取得した前記赤外線画像についての第１の設定を特定し、
    前記第１の設定と少なくとも部分的に異なる第２の設定をより設定優先度の低い近傍装置に使用させるために、前記通信インタフェースを介して前記制御パラメータを送信し、
    前記設定優先度は、個々の装置の移動速度又は位置に依存する設定変更リスクに基づいて決定される、
    撮像制御方法。
  17. コンピュータを、
    照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得する画像取得部と、
    通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御する制御部と、
    として機能させ、
    前記制御パラメータは、前記画像取得部により取得される前記赤外線画像についての第１の設定を特定し、
    前記制御部は、前記第１の設定と少なくとも部分的に異なる第２の設定をより設定優先度の低い近傍装置に使用させるために、前記通信インタフェースを介して前記制御パラメータを送信し、
    前記設定優先度は、個々の装置の移動速度又は位置に依存する設定変更リスクに基づいて決定される、
    プログラム。
  18. 照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得することと、
    通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御することと、
    を含み、
    前記通信インタフェースを介して１つ以上の近傍装置を検出し、
    前記赤外線カメラと検出した前記１つ以上の近傍装置との間の相対的な位置関係に基づいて、競合を回避すべき少なくとも１つの近傍装置を選択し、
    選択した前記少なくとも１つの近傍装置との間で少なくとも部分的に異なる設定が使用されるように、前記赤外線画像の生成のための設定を制御する、
    撮像制御方法。
  19. コンピュータを、
    照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得する画像取得部と、
    通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御する制御部と、
    として機能させ、
    前記制御部は、
    前記通信インタフェースを介して１つ以上の近傍装置を検出し、
    前記赤外線カメラと検出した前記１つ以上の近傍装置との間の相対的な位置関係に基づいて、競合を回避すべき少なくとも１つの近傍装置を選択し、
    選択した前記少なくとも１つの近傍装置との間で少なくとも部分的に異なる設定が使用されるように、前記赤外線画像の生成のための設定を制御する、
    プログラム。
  20. 照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得することと、
    通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御することと、
    を含み、
    前記赤外線画像は、第１の照射強度で照射される前記赤外線の前記反射光を撮像することにより生成され、
    近傍装置により生成される赤外線画像への、前記第１の照射強度での赤外線の照射に起因する影響が低減されるように、前記制御パラメータに基づいて前記第１の照射強度を選択する、
    撮像制御方法。
  21. コンピュータを、
    照射される赤外線の反射光を赤外線カメラで撮像することにより生成される赤外線画像を取得する画像取得部と、
    通信インタフェースを介して他の装置へ送信され又は他の装置から受信される制御パラメータに基づいて、前記赤外線画像の生成のための設定を制御する制御部と、
    として機能させ、
    前記赤外線画像は、第１の照射強度で照射される前記赤外線の前記反射光を撮像することにより生成され、
    前記制御部は、近傍装置により生成される赤外線画像への、前記第１の照射強度での赤外線の照射に起因する影響が低減されるように、前記制御パラメータに基づいて前記第１の照射強度を選択する、
    プログラム。
JP2016569246A 2015-01-15 2015-11-26 撮像制御装置、撮像制御方法及びプログラム Active JP6743708B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015005807 2015-01-15
JP2015005807 2015-01-15
PCT/JP2015/083254 WO2016114015A1 (ja) 2015-01-15 2015-11-26 撮像制御装置、撮像制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2016114015A1 JPWO2016114015A1 (ja) 2017-11-02
JP6743708B2 true JP6743708B2 (ja) 2020-08-19

Family

ID=56405572

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016569246A Active JP6743708B2 (ja) 2015-01-15 2015-11-26 撮像制御装置、撮像制御方法及びプログラム

Country Status (3)

Country Link
US (2) US10609301B2 (ja)
JP (1) JP6743708B2 (ja)
WO (1) WO2016114015A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6834614B2 (ja) * 2016-07-12 2021-02-24 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN110024371B (zh) * 2016-11-30 2021-03-09 富士胶片株式会社 摄影装置及其控制方法
CN108681182B (zh) * 2018-04-24 2020-08-04 浙江大华技术股份有限公司 一种光圈控制方法及终端设备
WO2020100656A1 (ja) * 2018-11-14 2020-05-22 株式会社小糸製作所 赤外線カメラシステム、赤外線カメラモジュール及び車両
JP7494625B2 (ja) * 2020-07-29 2024-06-04 株式会社Ｊｖｃケンウッド 赤外線撮像装置
JPWO2023281813A1 (ja) * 2021-07-09 2023-01-12

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783403B2 (en) * 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7912645B2 (en) * 1997-10-22 2011-03-22 Intelligent Technologies International, Inc. Information transfer arrangement and method for vehicles
US7647180B2 (en) * 1997-10-22 2010-01-12 Intelligent Technologies International, Inc. Vehicular intersection management techniques
JP2001313850A (ja) * 2000-05-01 2001-11-09 Sony Corp 車載用近赤外線照射撮影装置
JP4362639B2 (ja) * 2000-06-26 2009-11-11 カシオ計算機株式会社 画像処理方法、画像処理システム、及び、撮像装置
US20030052796A1 (en) * 2001-09-17 2003-03-20 Koninklijke Kpn N.V. Service mediator system for vehicles and vehicle users in a traffic network
JP4033008B2 (ja) * 2003-03-17 2008-01-16 日産自動車株式会社 車両用暗視装置
JP4039311B2 (ja) * 2003-05-20 2008-01-30 日産自動車株式会社 車両用暗視システムおよび車両用前照灯装置
JP4522344B2 (ja) 2004-11-09 2010-08-11 キヤノン株式会社 撮像装置及びその制御方法とそのプログラム
JP2006166409A (ja) * 2004-11-09 2006-06-22 Canon Inc データ処理装置及びその制御方法
JP4992197B2 (ja) * 2005-05-10 2012-08-08 トヨタ自動車株式会社 暗視装置
JP4705923B2 (ja) * 2007-01-23 2011-06-22 パナソニック株式会社 暗視撮像装置、ヘッドライトモジュール、車両及び暗視撮像装置の制御方法
US7579593B2 (en) 2006-07-25 2009-08-25 Panasonic Corporation Night-vision imaging apparatus, control method of the same, and headlight module
EP2026097A1 (en) * 2007-08-08 2009-02-18 Harman Becker Automotive Systems GmbH Vehicle illumination system
JP2009130709A (ja) 2007-11-26 2009-06-11 Clarion Co Ltd 近赤外線カメラシステム
US8145199B2 (en) * 2009-10-31 2012-03-27 BT Patent LLC Controlling mobile device functions
JP5361672B2 (ja) * 2009-11-10 2013-12-04 株式会社エヌ・ティ・ティ・ドコモ 移動機、ネットワーク、およびハンドオーバー制御方法
US20120226532A1 (en) * 2011-03-01 2012-09-06 Prabhakar Balaji S Mitigation of congestion in use of a capacity constrained resource by providing incentives
JP5871485B2 (ja) * 2011-05-17 2016-03-01 キヤノン株式会社 画像送信装置、画像送信方法、及びプログラム
US9843713B2 (en) * 2014-04-02 2017-12-12 Nebulys Technologies, Inc. Systems and methods for video communication

Also Published As

Publication number Publication date
WO2016114015A1 (ja) 2016-07-21
US11831999B2 (en) 2023-11-28
US20200186693A1 (en) 2020-06-11
US10609301B2 (en) 2020-03-31
JPWO2016114015A1 (ja) 2017-11-02
US20170366722A1 (en) 2017-12-21

Similar Documents

Publication Publication Date Title
JP6743708B2 (ja) 撮像制御装置、撮像制御方法及びプログラム
CN109479119B (zh) Uav交互视频广播的***与方法
CN107578644B (zh) 用于运行包括信号源的交通基础设施单元的方法和设备
US10564267B2 (en) High dynamic range imaging of environment with a high intensity reflecting/transmitting source
WO2017141746A1 (ja) 撮像装置、撮像制御方法、およびプログラム
KR102220950B1 (ko) 자율 주행 시스템에서 차량을 제어하기 위한 방법 및 장치
JP7225753B2 (ja) 情報収集装置、情報収集システム、情報収集方法及びコンピュータプログラム
JP6740756B2 (ja) 撮像装置および自動車
JP7235906B2 (ja) 固体撮像装置
WO2018179622A1 (ja) 撮像装置、撮像モジュールおよび撮像装置の制御方法
JPWO2018016151A1 (ja) 画像処理装置と画像処理方法
WO2018131514A1 (ja) 信号処理装置、信号処理方法、およびプログラム
US20240056694A1 (en) Imaging device, image processing method, and image processing program
KR20210091394A (ko) 탑승자 시선에 기초한 자율주행 제어장치 및 제어방법
US20240078903A1 (en) Autonomous driving system and method thereof
KR20210098071A (ko) 자율주행시스템에서 차량의 데이터 비교방법
JP2018109875A (ja) 画像処理装置および画像処理方法
JP2013250694A (ja) 画像処理装置
JP6830236B2 (ja) 画像取得方法、画像表示システム、及びコンピュータプログラム
JP6161582B2 (ja) 画像処理装置
JP7484904B2 (ja) 撮像素子、信号処理装置、信号処理方法、プログラム、及び、撮像装置
JP6838728B2 (ja) 画像表示システム、画像表示方法及びコンピュータプログラム
JP2015095225A (ja) 情報生成装置、情報生成方法、及び、情報生成プログラム
JP2018185766A (ja) 制御装置、方法、およびプログラム
Islam Convolutional Neural Network-based Optical Camera Communication System for Internet of Vehicles

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181001

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200713

R151 Written notification of patent or utility model registration

Ref document number: 6743708

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151