JP2008009761A - 車内環境記録装置 - Google Patents

Abstract

【課題】本発明は、車内カメラにより撮像された画像に対して、乗員個人を特定する情報を含む画像領域をマスク処理する車内環境記録装置を提供することを目的とする。
【解決手段】車内環境記録装置１０は、車内を撮像する車内カメラ２１と、車内カメラ２１により撮像された画像のうち、車内に搭乗している乗員の画像領域に対してマスク処理を行う画像処理手段７１と、前記マスク処理された画像を記録する画像記録手段７２とを有する。
【選択図】図２

Description

本発明は、車輌に搭載された車内カメラにより撮像された画像を記録する車内環境記録装置に関するものである。

近年、CCD（Charge Coupled Devices）カメラ等の車内カメラにより撮像された画像を記録する装置を車輌に搭載することが研究されている。

このような装置には、車内カメラで運転者の顔を撮像し、撮像した画像を基に目の位置を検出し、運転者の目の開閉やまばたき等の状態を判断して、居眠り運転を防止する等に利用する車上乗員認識装置等がある（例えば、特許文献１を参照）。

その他にも、車輌の前端等にCCDカメラを設け、運転者に対し、走行中見えにくい領域の視認性向上や駐車時の操縦補助等の運転支援、また、車間距離を検知しその旨を運転者に知らせる事故防止等の機能を有する装置の開発が進められている。

その中に、車内カメラを利用して撮像された画像を記録する車内環境記録装置がある。

車内環境記録装置で記録された画像は、万が一、運転者が走行中に事故に遭った場合、事故原因を究明するための操縦記録として利用される。
特開平６―２９３２２７号公報

しかしながら、上記の車内環境記録装置では、運転者をはじめとした同乗者を含む全ての乗員の車内での様子を撮像し記録しており、記録した画像には、乗員の顔等、個人を特定できる情報（例えば、「乗員の顔を含む画像」。）が含まれている。そのため、例えば、事故原因究明のため、記録した画像を表示画面に表示したり、外部端末（例えば、「モバイル PC（Personal Computer）」、「PDA（Personal Digital Assistants）」、「携帯端末」。）へ配信したりする場合に、乗員以外の第３者に、乗員個人を特定する情報（例えば、「乗員の顔を含む画像」。）が見られる可能性がある。

よって、車内環境記録装置は、撮像した画像に対して、乗員個人を特定することができないように画像処理し記録することで、乗員のプライバシーを保護することが要望されている。

本発明は、上記従来技術の問題点を鑑み、車内カメラにより撮像された画像に対して、乗員個人を特定する情報を含む画像領域をマスク処理する車内環境記録装置を提供することを目的とする。

上記目的を達成するため、本発明の車内環境記録装置は、車内を撮像する車内カメラと、前記車内カメラにより撮像された画像のうち、車内に搭乗している乗員の画像領域に対してマスク処理を行う画像処理手段と、前記マスク処理された画像を記録する画像記録手段とを有することを特徴とする。

また、上記目的を達成するため、本発明の車内環境記録装置は、前記画像処理手段において、前記車内カメラにより撮像された画像における運転者を除く乗員の画像領域を、マスク処理することを特徴とする。

また、上記目的を達成するため、本発明の車内環境記録装置は、前記画像処理手段において、前記車内カメラにより撮像された画像における乗員の顔の画像領域を、マスク処理することを特徴とする。

また、上記目的を達成するため、本発明の車内環境記録装置は、前記画像処理手段において、乗員の画像領域を隠蔽するように生成されたマスク画像を、前記車内カメラにより撮像された画像に合成することを特徴とする。

また、上記目的を達成するため、本発明の車内環境記録装置は、前記画像処理手段において、乗員の画像領域にモザイク処理を行うことを特徴とする。

また、上記目的を達成するため、本発明の車内環境記録装置は、前記車内カメラで撮像された画像及び／又は前記画像記録手段により記録された画像を、配信する配信手段を有することを特徴とする。

また、上記目的を達成するため、本発明の車内環境記録装置は、前記車内カメラにより撮像された画像及び／又は前記画像記録手段により記録された画像を、表示する表示手段を有することを特徴とする。

また、上記目的を達成するため、本発明の車内環境記録装置は、前記車内カメラにより撮像された画像に対して、前記マスク処理を行い記録している旨を乗員に通知する通知手段を有することを特徴とする。

本発明によれば、車内カメラにより撮像された画像に対して、乗員個人を特定する情報を含む画像領域をマスク処理する車内環境記録装置を提供することができる。

また、本発明によれば、車内カメラにより撮像された画像に対して、乗員個人を特定することができないように画像処理し記録するため、乗員以外の第３者に、撮像した画像から乗員個人を特定する情報（例えば、「乗員の顔を含む画像」。）が見られることがなく、乗員のプライバシーを保護することができる。

また、乗員のうち、運転者と運転者以外の乗員に対して、プライバシー保護を配慮する程度に差を設けて画像処理を行うため、画像処理後に記録された画像においても、事故原因究明の情報として有効に利用することができる。

以下、本発明の好適な実施の形態について、図面を用いて詳細に説明する。

図１は、本発明の実施例１に係る車内環境記録装置１０を示すシステム系統図である。

図１に示すように、車内環境記憶装置１０は、記憶部１１、制御部１２を備えており、車載カメラや車載レーダー等によって取得した画像情報をはじめ、車輌制御情報及びナビゲーション情報等の各種情報が記録されるようになっている。

記憶部１１は、ハードディスク（HD：Hard Disk）等に代表される大容量の記憶装置である。

記憶部１１は、車載カメラや車載レーダー等によって取得された画像情報をはじめ、車輌制御情報及びナビゲーション情報等の各種情報を記憶する。

制御部１２は、ECU（Electronic Control Unit）と呼ばれ、CPU（Central Processing Unit）を備えた制御回路であり、制御回路の基板上に、主記憶部であるRAM（Random Access Memory）及びROM（Read Only Memory）が配置されている。ROMには、車内環境記録装置１０を制御するプログラム（以下、「制御プログラム」と言う。）や関連するデータを格納しており、制御部１２は、ROMへ直接アクセスし、必要に応じて、格納された制御プログラム及び関連するデータをRAMに展開（ロード）し、制御プログラムを実行する。

制御部１２は、RAMに展開（ロード）した制御プログラムを実行することで、車載カメラや車載レーダー等によって取得した画像情報をはじめ、車輌制御情報及びナビゲーション情報等の各種情報を記憶部１１のハードディスクへ記憶する（以下、「ハードディスクへ記録する」と言う。）ように制御する。

車輌には、CCDやCMOS（Complementary Metal Oxide Semiconductor）等の光に反応する半導体素子を使って映像（静止画及び動画の両方）を電気信号に変換するデジタルカメラが備えられている。これらは、車載カメラと呼ばれており、運転者を含む全ての乗員の車内の様子（車内環境）を撮像するRrカメラ２１（以下、「車内カメラ２１」と言う。）の他、車外の環境を撮像するRrカメラ２２、コーナー死角カメラ２３、Frカメラ２４、Frナイトビューカメラ２５等である。

この他、車輌には、衝突予知による衝突被害軽減システムにおいて衝突物の位置、距離、速度を検知するミリ波レーダー２６、車間距離制御システムにおいて走行中の車間距離を検知するレーザーレーダー２７等の車載レーダー等が備えられている。

制御部１２は、これらの車載カメラ及びレーダー等からの画像情報及び検知情報を、記憶部１１のハードディスクへ記録する。

また、制御部１２は、車輌に備えられたナビゲーションシステム３０のGPS（Global Positioning System）３１による位置情報や、車輌安定性制御システムであるVSC（Vehicle Stability Control）６１や衝突安全性機能であるエアバッグ（AirBag）６２等の車輌制御情報、車輌盗難防止機能であるセキュリティシステム５１の車輌セキュリティ情報（セキュリティアラーム信号）等も、記憶部１１のハードディスクへ記録する。

よって、車内環境記録装置１０は、授受した各種情報のデータ信号を、制御部１２により制御し、記憶部１１のハードディスクへデータの記憶（書き込み）を指示する制御信号を送出することで、授受した各種情報を記録することができる。

また、制御部１２は、記憶部１１のハードディスクへ各種情報を記録している間（「記録中」、「書き込み中」の間）、その旨を、車内環境記録装置１０を利用する利用者に対して通知するため、作動ランプ２８やナビゲーションシステム３０のGUI（Graphical User Interface）機能を有する表示画面３２等に制御信号を送出する。例えば、ナビゲーションシステム３０の表示画面３２の場合には、制御部１２から、「ただいま、車内画像情報を記録中です」等の文字列が表示されるように、ナビゲーションシステム３０へRGB信号が送出される。

よって、車内環境記録装置１０は、各種情報を記憶部１１のハードディスクへ記録している旨を、利用者へ知らせることができる。

また、車内環境記録装置１０に記録された各種情報は、ナビゲーションシステム３０の通信装置３３を介して、読み出しツール（専用のアプリケーション）がインストールされた外部端末（例えば、「モバイル PC」、「PDA」、「携帯端末」。）等により、読み出すことができる。

また、車内環境記録装置１０に記録された各種情報は、遠隔地において車輌及び運転者を支援（サポート）する遠隔支援システム（例えば、リモートダイアグによる「車輌遠隔診断」やACN（automatic celestial navigation：自動天測航法）４１による「車輌自動走行」。）等の情報として使用されるため、ナビゲーションシステム３０の通信装置３３を介して、遠隔支援システムのサーバへ送信することができる。

このように、車内環境記録装置１０を備えた車輌では、車内外の画像情報や車輌制御情報等、最新の各種情報を車内環境記録装置１０へ記録し、記録した情報を有効に活用することで、運転者を含む乗員に対して、走行時の「安全性」や「快適性」を提供している。

ここで、車内環境記録装置１０において、本発明が解決しようとしている問題点について考えてみる。

車内環境記録装置１０に記録された各種情報には、車内カメラ２１により車内環境を撮像した画像があり、主に、事故原因究明のために利用される。

この画像には、運転者の視線方向や目の開閉状態、ハンドル操作等の様子や同乗者の様子が撮像されており、乗員の顔等、個人を特定できる情報（例えば、「乗員の顔を含む画像」。）が含まれている。

そのため、例えば、記録した画像をディスプレイに表示したり、外部端末（例えば、「モバイル PC」、「PDA」、「携帯端末」。）へ配信したりする場合に、乗員以外の第３者に、乗員個人を特定する情報（例えば、「乗員の顔を含む画像」。）が見られる可能性がある。

本発明の車内環境記録装置１０は、上記問題点を鑑みて提案されたものであって、車内カメラ２１により撮像された画像に対して、乗員個人を特定する情報を含む画像領域（少なくとも乗員の顔を含む画像領域）をマスク処理し、マスク処理後の画像を記憶部１１のハードディスクへ記録することで、上記問題点を解決するものである。

また、図１に示すように、制御部１２で処理する制御プログラムが有する各手段により実現する。

以下に、図２を用いて、制御部１２で処理する制御プログラムが有する各手段について説明する。

図２は、本実施例に係る実施例１に係る制御部１１における機能主要部の構成例を示すブロック図である。

図２の構成例は、画像処理手段７１、画像記録手段７２、通知手段７３、配信手段７４及び表示手段７５から構成されている。

まず、画像処理手段７１は、マスク画像生成手段７１１と画像合成手段７１２とを有し、プライバシー保護の観点から隠蔽する画像領域に対して、予め、マスク画像を生成しておき、車内カメラ２１により撮像された画像に対して、生成しておいたマスク画像を重畳し合成することでマスク処理を行う手段である。

以下に、画像処理手段７１が有するマスク画像生成手段７１１と画像合成手段７１２について図３〜６を用いて説明する。

図３は、本発明の実施例に係る運転者のみの車内環境を撮像した画像（原画像）の例を示す図である。また、図４は、本発明の実施例に係る運転者画像領域を原画像から切り取り生成した画像（マスク画像）の例を示す図である。また、図５は、本発明の実施例に係る車内環境を撮像した画像の例を示す図である。また、図６は、本発明の実施例に係る画像合成によるマスク処理後の画像の例を示す図である。

マスク画像生成手段７１１は、原画像取得手段７１１aと運転者画像領域検出手段７１１bとを有し、予め、運転者以外の乗員の画像領域を隠蔽するような画像（マスク画像）を生成する手段である。

本実施例では、車内環境記録装置１０に記録される画像が、事故原因究明の情報として有効に利用されることを考慮し、プライバシー保護の対象を運転者以外の乗員としている（運転者と運転者以外の乗員とでプライバシー保護に差を設けている。）。

マスク画像生成手段７１１が有する原画像取得手段７１１aは、マスク画像を生成するための原画像を取得する手段である。

原画像取得手段７１１aは、図３に示すような、運転者のみが乗車した状態の車内環境を、予め、車内カメラ２１により撮像し、撮像した画像（原画像）９１をRAMへ一時保持する（バッファリングする）。

原画像を取得するタイミングは、運転者のみの状態になるように、ナビゲーションシステム３０の表示画面３２へメッセージを表示した後、撮像までの時間をカウントダウンし、自動的に撮像することで、原画像９１を取得する。

また、マスク画像生成手段７１１有する運転者画像領域検出手段７１１bは、原画像取得手段７１１aにより取得した原画像９１を基に、運転者の画像領域９１aを検出する手段である。

運転者画像領域検出手段７１１bは、図３に示すように、画像処理における輪郭抽出法（エッジ抽出法）を用いて原画像９１から運転者の輪郭を抽出し、運転者の画像領域（破線で囲まれた領域）９１aを検出する。

上記に説明した原画像取得手段７１１aと運転者画像領域検出手段７１１bとを用いて、マスク画像生成手段７１１は、図４に示すように、原画像９１から運転者の画像領域９１aを切り取り、運転者以外の乗員を隠蔽するマスク画像（灰色の斜線で示す領域を隠蔽する画像）９１bを生成する。

次に、画像合成手段７１２は、車内カメラ２１により撮像された画像とマスク画像９１bとを合成する手段である。

画像合成手段７１２は、図５に示すように、車内カメラ２１により撮像された画像９２に対して、マスク画像生成手段７１１により、予め生成しておいたマスク画像９１bを重畳し合成する。

このように、画像処理手段７１は、マスク画像生成手段７１１及び画像合成手段７１２を順次実行することで、車内カメラ２１により撮像された画像９２に対してマスク処理を行う。

次に、画像記録手段７２について説明する。

画像記録手段７２は、RAMに一時保持された画像データを、記憶部１１のハードディスクへ記録する手段である。

車内環境記録装置１０では、車内カメラ２１により撮像された画像９２に対して、記憶部１１のハードディスクへ記録する前に、画像処理手段７１によりマスク処理を行うため、マスク処理に必要な原画像９１やマスク画像９１b、図６に示すようなマスク処理後の画像９３等の画像データがRAMに一時保持されている。

このことから、画像記録手段７２は、RAMに一時保持されたマスク処理後の画像９３を記憶部１１のハードディスクへ書き込み、プライバシーが保護された画像データとして記録する。

よって、車内環境記録装置１０は、車内カメラ２１により撮像された画像９２が、マスク処理された画像９３として記録されるため、乗員以外の第３者に、記録された画像９３から乗員個人（本実施例では、運転者を除く乗員個人）を特定する情報（例えば、「乗員の顔を含む画像」。）が見られることがなく、運転者以外の乗員のプライバシーを保護することができる。

また、車内環境記録装置１０は、マスク処理後の画像９３においても、事故原因究明の情報として有効に利用することができる。

次に、通知手段７３について説明する。

通知手段７３は、車輌に乗車している乗員に対して、車内カメラ２１により撮像した画像を記録している旨を通知する手段である。

通知手段７３は、図１において説明したように、車輌が備える作動ランプ２８やナビゲーションシステム３０の表示画面３２等を用いて、画像を記録している旨を通知する。

そのため、通知手段７３は、作動ランプ２８を用いて通知する場合、作動ランプ２８に対し、画像を記録している間、点灯するような制御信号を送出する。

また、ナビゲーションシステム３０の表示画面３２を用いて通知する場合には、画像を記録している間、「ただいま、車内画像情報を記録中です」等の文字列を表示するような制御信号（RGB信号）を送出する。

よって、車内環境記録装置１０は、通知手段７３により、乗員個人を特定する情報が記録されたことを、乗車中の乗員へ迅速に通知することができる。

次に、配信手段７４及び表示手段７５について説明する。

まず、配信手段７４は、画像記録手段７２により記録された画像９３を配信する手段である。

配信手段７４は、図１において説明したように、記録部１１のハードディスクに記録された画像９３を、ナビゲーションシステム３０が有する通信装置３３を介して、設定された配信先（例えば、「メールアドレス」。）へ画像データを配信する。

そのため、配信手段７４は、配信する画像データと配信先（例えば、「メールアドレス」。）を含むヘッダ情報をまとめた配信データを生成し、生成したデータの配信を指示する制御コマンドを発行する。

次に、表示手段７５は、画像記録手段７２により記録された画像９３を表示する手段である。

表示手段７５は、記憶部１１へ記録された画像９３を、ナビゲーションシステム３０の表示画面３２へ表示する。

そのため、表示手段７５は、ナビゲーションシステム３０の表示画面３２へ、画像を表示するための制御信号（RGB信号）を送出する。

よって、車内環境記録装置１０は、車内カメラ２１により撮像された画像９２を記録しておくだけでなく、記録された画像９３を、情報として有効に活用することができる。

次に、車内環境記録装置１０が有する認証機能付きプライバシー機能設定について概略説明する。

図１に示すように、車内環境記録装置１０は、記録した個人情報を含む各種情報に対して、プライバシー保護の観点から保護するのか否かを設定するプライバシー機能設定を有している。

プライバシー機能設定は、ナビゲーションシステム３０の表示画面３２上のGUI（ソフトウェアキー）やマニュアルスイッチ（ハードキー）２９により設定することができる。

また、プライバシー機能設定は、パスワード認証機能を有しており、利用者（例えば、「運転者」。）以外の第３者に設定を変更されないように、認証された利用者（例えば、「運転者」。）のみが設定できるようになっている。

以下に、図７を用いて、プライバシー機能設定により設定される各機能について説明する。

図７は、本発明の実施例１に係る車内環境記録装置１０が有する動作機能の状態遷移図である。

図７に示すように、車内環境記録装置１０が動作するモードは、大きく分けて通常モード８１とプライバシー保護モード８２の2つである。

通常モード８１は、車内カメラ２１により撮像された画像９２に対して、画像処理手段７１によるマスク処理を行わず、撮像された画像９２が強制的に記憶部１１のハードディスクへ記録される動作モードである。

それに対して、プライバシー保護モード８２は、プライバシー保護の観点から複数の動作モードを有しており、撮像された画像９２に対してマスク処理を行い記録するか、記録された画像を消去するか等を情報項目毎に設定及び実施できる動作モードである。

プライバシー保護モード８２が有する動作モードには、乗員画像マスクモード８２１、記録停止モード８２２、記録項目消去モード８２３、記録項目設定モード８２４、作動通知設定モード８２５がある。

まず、乗員画像マスクモード８２１は、車内カメラ２１により撮像された画像９２に対して、画像処理手段７１によるマスク処理を行い記録するモードである。

次に、記録停止モード８２２は、車内環境記録装置１０へ記録される各種情報全てを記憶部１１のハードディスクへ記録しないモードである。

次に、記録項目消去モード８２３は、記録部１１に記録された画像情報を全消去又は項目毎に消去するモードである。

次に、記録項目設定モード８２４は、車内環境記録装置１０へ記録する情報を情報項目毎に選択するモードである（例えば、「VSC」は記録するが、「車内環境画像情報」は記録しない。）。

次に、作動通知設定モード８２５は、各種情報を記録している旨を乗員へ通知するか否かを設定するモードである。

このように、プライバシー機能設定は、利用者（例えば、「運転者」。）のプライバシーポリシーにあった動作モードを設定できる。

また、プライバシー機能設定は、通常モード８１からプライバシー保護モード８２へ動作モードを切り替える際に、パスワード認証処理を行うため、プライバシー機能設定の設定値を、利用者（例えば、「運転者」。）以外の第３者に変更されないようにすることができる。

次に、図８及び図９を用いて、図２で説明した各手段及び図７で説明した各動作モードにおける制御プログラムの処理について説明する。

まず、図８を用いて、車内環境記録装置１０が有する各動作モードの処理について説明し、次に、画像処理手段７１の処理について詳細に説明する。

図８は、本発明の実施例１に係る制御部１１の処理を示すフローチャートである。

制御部１１は、まず、プライバシー機能設定により設定された動作モードが、通常モード８１かプライバシー保護モード８２か否かを判定する（S１０１）。

Ｓ１０１において、通常モード８１が設定されている場合（Ｓ１０１がYESの場合）には、車内環境の撮像を指示する制御信号（以下、「TRG：トリガー」と言う。）を受信するまで待つ（TRG待機状態）（Ｓ１０２）。この時、予め決められた設定（サンプリングレート（単位：Kbps）及び記録時間（単位：sec））に基づき、車内カメラ２１により、TRGを受信する前に撮像した画像データをRAMへ一時保持する（バッファリングする）。

次に、TRGを受信したか否かを判定する（Ｓ１０３）。この時、TRGとして受信する信号は、予め設定された加速度（v/s）を超えた場合、VSCやABS（Anti-lock Brake System）が作動した場合、急なステアリング操作をした場合、PCS（「プリクラッシュセーフティ」システム：衝突不可避システム）が作動した場合、セキュリティシステムが作動した場合、手動により操作した場合等により発信されるものである。

Ｓ１０３において、TRGを受信した場合（Ｓ１０３がYESの場合）には、予め決められた設定（サンプリングレート（単位：Kbps）及び記録時間（単位：sec））に基づき、TRG受信前後の画像データをRAMへ一時保持する（Ｓ１０４）。この時、RAMへ保持されるデータは、Ｓ１０２において保持していた画像データ及びTRG受信後、撮像された画像データの両方である。また、画像データ以外の各種情報もRAMへ一時保持する。

Ｓ１０３において、TRGを受信しなかった場合（Ｓ１０３がNOの場合）には、動作モード切り換えを判断する処理（Ｓ１０１）へ戻る。

次に、Ｓ１０４において、RAMへ一時保持された画像データを含む各種情報を、記憶部１１のハードディスクへ記録する（Ｓ１０５）。その後、動作モード切り換えを判断する処理（Ｓ１０１）へ戻る。

また、Ｓ１０１において、通常モード８１からプライバシー保護モード８２が設定された場合（Ｓ１０１がNOの場合）には、パスワード認証を行い、入力されたパスワードを認証した場合のみ、プライバシー保護モード８２へ動作モードを切り替える（Ｓ１０６）。

次に、プライバシー保護モード８２が有する各動作モードのうち、どの動作モードが設定されたかを判定する（Ｓ１０７、Ｓ１１２、Ｓ１１６、Ｓ１２１及びＳ１２３）。

Ｓ１０７において、乗員画像マスクモード８２１が設定された場合（Ｓ１０７がYESの場合）には、まず、車内カメラ２１により撮像された画像９２に対して、画像処理手段７１によるマスク処理を行い、マスク処理後の画像データをRAMへ一時保持し（Ｓ１０８）、その後、マスク処理後の画像データを記憶部１１のハードディスクへ記録する（Ｓ１０９）。

次に、作動通知設定モード８２５が、作動通知を行う設定になっているか否かを判定する（Ｓ１１０）。

Ｓ１１０において、作動通知を行う設定になっている場合（Ｓ１１０がYESの場合）には、まず、通知手段７３により、作動ランプ２８やナビゲーションシステム３０へ制御信号を送信し、作動ランプ２８の点灯やナビゲーションシステム３０の表示画面３２におけるメッセージ表示により、乗員に対して、画像データを記録している旨を通知する（Ｓ１１１）。

その後、画像処理手段７１によるマスク処理（Ｓ１０８）におけるTRG待機状態の処理へ戻る（A）。

Ｓ１１０において、作動通知を行う設定になっていない場合（Ｓ１１０がNOの場合）には、画像処理手段７１の処理（Ｓ１０８）におけるTRG待機状態の処理へ戻る（A）。

また、Ｓ１１２において、記録停止モード８２２が設定された場合（Ｓ１０７がNOで、Ｓ１１２がYESの場合）には、まず、Ｓ１０２と同じようにTRG待機状態の処理を行い（Ｓ１１３）、Ｓ１０３と同じようにTRG受信判定の処理を行う（Ｓ１１４）。

Ｓ１１４において、TRGを受信した場合（Ｓ１１４がYESの場合）には、受信したTRGを無効な制御信号とし、車内カメラ２１により撮像した画像データ及びRAMへ一時保持しているTRG受信前の画像データ等の各種情報を記録しないように、RAMへ保持しているデータ全てを消去する（Ｓ１１５）。

その後、プライバシー保護モード８２が有する各動作モードの設定判定の処理（Ｓ１０７、Ｓ１１２、Ｓ１１６、Ｓ１２１及びＳ１２３）へ戻る（B）。

Ｓ１１４において、TRGを受信しなかった場合（Ｓ１１４がNOの場合）には、TRG待機状態の処理（Ｓ１１３）へ戻る。

また、Ｓ１１６において、記録項目消去モード８２３が設定された場合（Ｓ１１２がNOで、Ｓ１１６がYESの場合）には、まず、記憶部１１のハードディスクに記録された各種情報を全消去するか否かを判定する（Ｓ１１７）。

Ｓ１１７において、全消去する場合（Ｓ１１７がYESの場合）には、記憶された各種情報全てを消去する（Ｓ１１８）。

また、Ｓ１１７において、全消去しない場合（Ｓ１１７がNOの場合）には、消去項目を設定し（Ｓ１１９）、設定された項目に従い、該当する情報項目のみ消去する（Ｓ１２０）。

その後、プライバシー保護モード８２が有する各動作モードの設定判定の処理（Ｓ１０７、Ｓ１１２、Ｓ１１６、Ｓ１２１及びＳ１２３）へ戻る（B）。

また、Ｓ１２１において、記録項目設定モード８２４が設定された場合（Ｓ１１６がNOで、Ｓ１２１がYESの場合）には、記憶部１１のハードディスクへ記録する情報を情報項目毎に設定する（Ｓ１２２）。

その後、プライバシー保護モード８２が有する各動作モードの設定判定の処理（Ｓ１０７、Ｓ１１２、Ｓ１１６、Ｓ１２１及びＳ１２３）へ戻る（B）。

また、Ｓ１２３において、作動通知設定モード８２５が設定された場合（Ｓ１２１がNOで、Ｓ１２３がYESの場合）には、記憶部１１のハードディスクへ各種情報を記録している旨を、作動ランプ２８やナビゲーションシステム３０の表示画面３２を用いて、乗員へ通知するか否かを設定する（Ｓ１２４）。

その後、プライバシー保護モード８２が有する各動作モードの設定判定の処理（Ｓ１０７、Ｓ１１２、Ｓ１１６、Ｓ１２１及びＳ１２３）へ戻る（B）。

以下に、上記S１０８の画像処理手段７１のマスク処理について、詳細に説明する。

図９は、本発明の実施例１に係る画像処理A（画像合成によるマスク処理）を示すフローチャートである。

制御部１１は、原画像取得手段７１１aにより、運転者のみが乗車した状態の車内環境を、予め、車内カメラ２１により撮像し、撮像した画像（原画像）９１の画像データをRAMへ一時保持する（バッファリングする）（Ｓ８０１）。

次に、運転者画像領域検出手段７１１bにより、輪郭抽出法（エッジ抽出法）を用いて、RAMに一時保持された画像（原画像）９１から運転者の輪郭を抽出し、運転者の画像領域９１aを検出する（Ｓ８０２）。

次に、マスク画像生成手段７１１により、RAMに保持した原画像９１から運転者の画像領域９１aを切り取り、運転者以外の乗員を隠蔽する画像（マスク画像）９１bを生成する（Ｓ８０３）。

次に、図８に示すＳ１０２と同じようにTRG待機状態の処理を行う（Ｓ８０４）。

次に、プライバシー保護モード８２から通常モード８１へ、動作モード切り換えを行うか否かを判定する（Ｓ８０５）。

Ｓ８０５において、通常モード８１へ動作モード切り換えを行う場合（Ｓ８０５がYESの場合）には、図８に示す、動作モード切り換えを判断する処理（Ｓ１０１）へ戻り、通常モード８１が設定された場合（Ｓ１０１がYESの場合）の処理へ続く（Z）。

また、Ｓ８０５において、動作モード切り換えを行わない場合（Ｓ８０５がNOの場合）には、図８に示すＳ１０３と同じようにTRG受信判定の処理を行う（Ｓ８０６）。

Ｓ８０６において、TRGを受信した場合（Ｓ８０６がYESの場合）には、図８に示すＳ１０４と同じようにTRG受信前後に撮像された画像９２の画像データをRAMへ一時保持する（Ｓ８０７）。

また、Ｓ８０６において、TRGを受信しなかった場合（Ｓ８０６がNOの場合）には、TRG待機状態の処理（Ｓ８０４）へ戻る。

次に、画像合成手段７１２により、撮像された画像９２に対して、Ｓ８０３において生成したマスク画像９１bを重畳し合成するマスク処理を行う（Ｓ８０８）。

その後、マスク処理後の画像９３の画像データを記憶部１１のハードディスクへ記録する（Ｓ１０９）処理へ続く。

以上のように、本発明の実施例１によれば、車内環境記録装置１０は、マスク画像生成手段７１１において、原画像取得手段７１１aにより取得した原画像９１から、運転者画像領域検出手段７１１bにより運転者の画像領域９１aを検出し、原画像９１から検出した運転者の画像領域９１aを切り出し、運転者以外の乗員を隠蔽するマスク画像９１bを生成する。

次に、画像合成手段７１２において、車内カメラ２１により撮像された画像９２に対して、マスク画像生成手段７１１により生成したマスク画像９１bを重畳し合成するマスク処理を行い、画像記録手段７２において、マスク処理後の画像９３を記憶部１１のハードディスクへ書き込み、プライバシーが保護された画像データとして記録することができる。

これによって、本発明の車内環境記録装置１０は、車内カメラ２１により撮像された画像９２に対して、運転者以外の乗員個人を特定することができないように画像処理（マスク処理）し記録するため、乗員以外の第３者に、記録した画像９３から乗員個人を特定する情報（例えば、「乗員の顔を含む画像」。）が見られることがなく、運転者以外の乗員のプライバシーを保護することができる。

また、乗員のうち、運転者と運転者以外の乗員に対して、プライバシー保護を配慮する程度に差を設けて画像処理（マスク処理）を行っているため、画像処理後（マスク処理後）に記録された画像においても、事故原因究明の情報として有効に利用することができる。

実施例１に基づき本発明の説明を行ってきたが、上記実施例に挙げた記憶部１１のハードディスクは、画像情報や車輌制御情報等の各種情報を記憶する記憶先の一例であって、この要件に、本発明が限定されるものではない。例えば、上記ハードディスク以外の記憶装置としては、SDカードやCF（CompactFlash）（登録商標）等のメモリカード、SRAM（Static Random Access Memory）、フラッシュROM、EEPROM（Electronically Erasable and Programmable Read Only Memory）等や、記録メディア（記録媒体）としては、CD（Compact Disc）、DVD（Digital Versatile Disk）、磁気テープ等があり、これらの記憶装置及び記憶メディアでもよい。

また、上記実施例に挙げた、ナビゲーションシステム３０と連動した車内環境記録装置１０の構成は、車内環境記録装置１０の構成の一例であって、この要件に、本発明が限定されるものではない。例えば、車内カメラ２１、記憶部１１、制御部１２、表示部、通信及び外部装置I/Fが一体となった構成にしてもよい。

また、上記実施例に挙げた、通知手段７３による通知方法は、乗員個人を特定する情報を含む画像を記録している旨を乗員へ迅速に通知する方法の一例であって、この要件に、本発明が限定されるものではない。例えば、ナビゲーションシステム３０が備える音声出力装置から警告音や音声メッセージを出力し、その旨を通知してもよい。

また、上記実施例に挙げた、配信手段７４では、配信する画像データを記録された画像９３として説明を行ったが、この要件に、本発明が限定されるものではない。配信される画像データは、マスク処理後の画像９３であればよい。

また、配信手段７４において配信される情報を画像データとして説明したが、この要件に、本発明が限定されるものではない。車内環境記録装置１０に記録されている各種情報のうち、配信可能な情報であればよい。

また、上記実施例に挙げた、表示手段７５では、表示する画像を記録された画像９３として説明を行ったが、この要件に、本発明が限定されるものではない。表示する画像データは、マスク処理後の画像９３であればよい。

また、表示手段７５において、画像を表示する表示画面をナビゲーションシステム３０の表示画面３２として説明したが、この要件に、本発明が限定されるものではない。表示手段７５により送出するRGB信号を受信できる表示装置であればよい。

また、上記実施例に挙げた、パスワード認証機能は、利用者の認証を行う認証方法の一例であって、この要件に、本発明が限定されるものではない。例えば、利用可能な利用者情報を予め登録しておき、指紋認証や利用者を特定する情報が格納された接触／非接触ICカード等により利用者認証を行ってもよい。

また、上記実施例に挙げた、プライバシー保護モード８２の各動作モードは、プライバシー保護の観点から操作制限しておく必要がある動作項目の一例であって、この要件に、本発明が限定されるものではない。例えば、記録された情報の取り出しや転送等の動作項目等を、プライバシー保護を考慮して操作制限項目に追加してもよい。

また、上記実施例に挙げた、プライバシー保護モード８２の記録停止モード８２２による動作は、各種情報を記憶部１１へ記録しない動作の一例であって、この要件に、本発明が限定されるものではない。例えば、車内環境記録装置１０自体を作動待機状態（省エネモード）等にして、情報を記録しない方法でもよい。

また、上記実施例に挙げた、Ｓ１０２、Ｓ１１３、Ｓ８０４におけるTRG待機状態に撮像した画像を一時保持する（バッファリングする）先にRAMを使用することについては、バッファリングする一時保持する先の一例であって、この要件に、本発明は限定されるものではない。例えば、ハードディスクでもよい。データのバッファリング処理を行う上で、処理速度が低下しない程度のアクセススピードを維持できる記憶装置であればよい。

上記のように、これらの点に関しては、本発明の主旨を損なわない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

本実施例は、車内カメラにより撮像された画像において、乗員の顔を隠蔽するようにマスク処理を行い、乗員のプライバシーを保護するものである。

実施例１との違いは、プライバシー保護の観点から隠蔽する画像領域が乗員の顔である点と、マスク処理において、モザイク処理による隠蔽加工を行う点である。

よって、本実施例では、実施例１と異なるマスク処理によって、乗員の顔を隠蔽する点を中心に説明する。

また、本実施例を説明する際に用いる図１０〜１４において、実施例１と同一部分については、同一符号を付与して説明を省略する。

図１０は、本発明の実施例２に係る制御部１２における機能主要部の構成例を示すブロック図である。

まず、画像処理手段７１は、実施例１と異なり乗員画像領域検出手段７１３と画像加工手段７１４とを有し、プライバシー保護の観点から隠蔽する画像領域に対して画像加工（隠蔽加工）を行う手段である。

以下に、画像処理手段７１が有する乗員画像領域検出手段７１３と画像加工手段７１４について、図１１〜１３を用いて説明する。

図１１は、本発明の実施例２に係る車内環境を撮像した画像の例を示す図である。また、図１２は、本発明の実施例２に係る運転者以外の乗員の顔を対象とした画像加工によるマスク処理後の画像の例を示す図である。また、図１３は、本発明の実施例２に係る運転者を含む乗員の顔を対象とした画像加工によるマスク処理後の画像の例を示す図である。

画像処理手段７１が有する乗員画像領域検出手段７１３は、車内カメラ２１により撮像された画像を基に、乗員の顔の画像領域を検出する手段である。

乗員画像領域検出手段７１３は、図１１に示すように、画像処理における輪郭抽出法（エッジ抽出法）を用いて、撮像された画像９４から乗員の輪郭を抽出し、それぞれの顔に対応する画像領域（破線で囲まれた領域）９４a、９４bを検出する。

また、画像処理手段７１が有する画像加工手段７１４は、隠蔽したい乗員の顔の画像領域９４a、９４bに対して、隠蔽加工（マスク処理）を行う手段であって、乗員画像領域検出手段７１３により検出された乗員の顔の画像領域９４a、９４bに対して、モザイク処理を行う。

モザイク処理とは、長方形（又は正方形）の範囲のうち、1点の画素の濃度値（又は、長方形の中の全ての画素の濃度値の平均値。）をその範囲全体の濃度値にすることで、画像をブロック状に表現する処理であり、画像をぼかす（不鮮明にする）ことができる。

隠蔽する画像領域９４a、９４bについては、実施例１と同じように、プライバシー保護の対象を運転者以外の乗員としてもよい（運転者と運転者以外の乗員とでプライバシー保護に差を設けてもよい。）。

また、本実施例においては、運転者のハンドル操作等の操縦記録を隠蔽せず、乗員の顔のみを隠蔽する画像領域９４a、９４bとしているため、車内環境記録装置１０に記録される画像が、事故原因究明の情報として有効にできることから、運転者を含む乗員全てとしてもよい。

よって、画像加工手段７１４は、運転者以外の乗員の顔の画像領域９４a、９４bを隠蔽する場合に、図１２に示すようなモザイク処理９５bにより隠蔽加工を行う。また、運転者を含む乗員の顔の画像領域９４a、９４bを隠蔽する場合には、図１３に示すようなモザイク処理９５a、９５bにより隠蔽加工を行う。

このように、画像処理手段７１は、乗員顔画像領域検出手段７１３及び画像加工手段７１４を順次実行することで、車内カメラ２１により撮像された画像９４に対してマスク処理を行う。

よって、車内環境記録装置１０は、車内カメラ２１により撮像された画像９４が、マスク処理された画像９５として記録されるため、乗員以外の第３者に、記録された画像９５から乗員個人を特定する情報（例えば、「乗員の顔を含む画像」。）が見られることがなく、乗員のプライバシーを保護することができる。

また、車内環境記録装置１０は、マスク処理後の画像９５においても、事故原因究明の情報として有効に利用することができる。

次に、図１４を用いて、図１０で説明した画像処理手段７１の処理について説明する。

図１４は、本発明の実施例２に係る画像処理B（画像加工によるマスク処理）を示すフローチャートである。

図１４が示す処理は、図８のＳ１０８で示した画像処理手段７１によるマスク処理である。

制御部１１は、図８に示すＳ１０２と同じようにTRG待機状態の処理を行う（Ｓ８１１）。

次に、プライバシー保護モード８２から通常モード８１へ、動作モード切り換えを行うか否かを判定する（Ｓ８１２）。

Ｓ８１２において、通常モード８１へ動作モード切り換えを行う場合（Ｓ８１２がYESの場合）には、図８に示す、動作モード切り換えを判断する処理（Ｓ１０１）へ戻り、通常モード８１が設定された場合（Ｓ１０１がYESの場合）の処理へ続く（Z）。

また、Ｓ８１２において、動作モード切り換えを行わない場合（Ｓ８１２がNOの場合）には、図８に示すＳ１０３と同じようにTRG受信判定の処理を行う（Ｓ８１３）。

Ｓ８１３において、TRGを受信した場合（Ｓ８１３がYESの場合）には、図８に示すＳ１０４と同じようにTRG受信前後に撮像された画像９４の画像データをRAMへ一時保持する（Ｓ８１４）。

また、Ｓ８１３において、TRGを受信しなかった場合（Ｓ８１３がNOの場合）には、TRG待機状態の処理（Ｓ８１１）へ戻る。

次に、乗員顔画像領域検出手段７１３により、撮像された画像９４を基に、乗員の顔の輪郭を抽出し、乗員の顔の画像領域９４a、９４bを検出する（Ｓ８１５）。

次に、画像加工手段７１４により、Ｓ８１５において検出した乗員の顔の画像領域９４a、９４bに対して、モザイク処理による隠蔽加工（マスク処理）を行う（Ｓ８１６）。

その後、マスク処理後の画像９５の画像データを記憶部１１のハードディスクへ記録する（Ｓ１０９）処理へ続く。

以上のように、本発明の実施例２によれば、車内環境記録装置１０は、画像処理手段１７において、車内カメラ２１により撮像された画像９４から、乗員顔画像領域検出手段７１３により乗員の顔の画像領域９４a、９４bを検出する。

次に、画像加工手段７１４において、撮像された画像９４から検出した乗員の顔の画像領域９４a、９４bに対して、モザイク処理９５a、９５bにより隠蔽加工（マスク処理）を行い、画像記録手段７２において、マスク処理後の画像９５を記憶部１１のハードディスクへ書き込み、プライバシーが保護された画像データとして記録することができる。

これによって、本発明の車内環境記録装置１０は、車内カメラ２１により撮像された画像９４に対して、乗員個人を特定することができないように画像処理（マスク処理９５a、９５b）し記録するため、乗員以外の第３者に、記録した画像９５から乗員個人を特定する情報（例えば、「乗員の顔を含む画像」。）が見られることがなく、乗員のプライバシーを保護することができる。

また、乗員の顔の画像領域９４a、９４bに対して画像処理（マスク処理９５a、９５b）を行っているため、画像処理後（マスク処理後）に記録された画像９５においても、運転者のプライバシーも、同乗した乗員と同じように保護した上で、事故原因究明の情報として有効に利用することができる。

実施例２に基づき本発明の説明を行ってきたが、上記実施例に挙げた乗員の顔の画像領域９４a、９４bは、プライバシー保護の観点から乗員個人が特定できないように隠蔽する必要がある画像領域の一例であって、この要件に、本発明が限定されるものではない。例えば、顔のうち、目、鼻又は口等の個人を特定できる部位を隠蔽対象としてマスク処理を行ってもよい。

また、上記実施例に挙げた、モザイク処理９５a、９５bによる隠蔽加工については、プライバシー保護の観点から、その対象となる画像領域を隠蔽加工する一例であって、この要件に、本発明が限定されるものではない。例えば、ノイズ等のフィルタ処理矩形状の塗りつぶし処理等により画像領域を隠蔽加工してもよい。

上記のように、これらの点に関しては、本発明の主旨を損なわない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

最後に、各実施例に基づき本発明の説明を行ってきたが、上記各実施例に挙げた、Ｓ８０２における運転者画像領域検出手段７１１bによる運転者の画像領域検出方法、Ｓ８１５における乗員顔画像領域検出手段７１３による乗員の顔の画像領域検出方法については、画像特徴を抽出し、特定の画像領域を検出する方法の一例であって、この要件に、本発明が限定されるものではない。例えば、色、幾何学的な形状、濃淡のパターン等の組み合わせから、隠蔽対象である画像領域の画像特徴を把握し、撮像された画像から隠蔽対象の画像領域を検出する画像認識法等を用いて検出してもよい。

また、各実施例に基づき本発明の説明を行ってきたが、上記実施例に挙げた形状に、その他の要素との組み合わせ等、ここで示した要件に、本発明が限定されるものではない。

これらの点に関しても、本発明の主旨を損なわない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

本発明の実施例１及び２に係る車内環境記録装置を示すシステム系統図である。 本発明の実施例１に係る制御部における機能主要部の構成例を示すブロック図である。 本発明の実施例１に係る運転者のみの車内環境を撮像した画像（原画像）の例である。 本発明の実施例１に係る運転者画像領域を原画像から切り取り生成した画像（マスク画像）の例である。 本発明の実施例１に係る車内環境を撮像した画像の例である。 本発明の実施例１に係る画像合成によるマスク処理後の画像の例である。 本発明の実施例１及び２に係る車内環境記録装置が有する動作機能の状態遷移図である。 本発明の実施例１及び２に係る制御部の処理を示すフローチャートである。 本発明の実施例１に係る画像処理A（画像合成によるマスク処理）を示すフローチャートである。 本発明の実施例２に係る制御部における機能主要部の構成例を示すブロック図である。 本発明の実施例２に係る車内環境を撮像した画像の例である。 本発明の実施例２に係る運転者以外の乗員の顔を対象とした画像加工によるマスク処理後の画像の例である。 本発明の実施例２に係る運転者を含む乗員の顔を対象とした画像加工によるマスク処理後の画像の例である。 本発明の実施例２に係る画像処理B（画像加工によるマスク処理）を示すフローチャートである。

符号の説明

１０ 車内環境記録装置
１１ 記憶部（RAM,HD）
１２ 制御部（ECU）
２１ Rrカメラ（車内カメラ）
２２ Rrカメラ（車外）
２３ Frカメラ（車外）
２４ コーナー死角カメラ（車外）
２５ Frナイトビューカメラ（車外）
２６ ミリ波レーダー（車外）
２７ レーザーレーダー（車外）
２８ 作動ランプ
２９ マニュアルスイッチ
３０ ナビゲーションシステム（Navi）
３１ GPS（Global Positioning System）
３２ 表示画面（GUI（Graphical User Interface）機能を含む）
３３ 通信装置
４１ ACN（automatic celestial navigation）
４２ 読み出しツール
５１ セキュリティシステム
６１ VSC（Vehicle Stability Control）
６２ エアバッグ（AirBag）
７１ 画像処理手段
７２ 画像記憶手段
７３ 通知手段
７４ 配信手段
７５ 表示手段

Claims (8)

1. 車内を撮像する車内カメラと、
   前記車内カメラにより撮像された画像のうち、車内に搭乗している乗員の画像領域に対してマスク処理を行う画像処理手段と、
   前記マスク処理された画像を記録する画像記録手段とを有することを特徴とする車内環境記録装置。
2. 前記画像処理手段は、
   前記車内カメラにより撮像された画像における運転者を除く乗員の画像領域を、マスク処理することを特徴とする請求項１に記載の車内環境記録装置。
3. 前記画像処理手段は、
   前記車内カメラにより撮像された画像における乗員の顔の画像領域を、マスク処理することを特徴とする請求項１に記載の車内環境記録装置。
4. 前記画像処理手段は、
   乗員の画像領域を隠蔽するように生成されたマスク画像を、前記車内カメラにより撮像された画像に合成することを特徴とする請求項１ないし３のいずれか一項に記載の車内環境記録装置。
5. 前記画像処理手段は、
   乗員の画像領域にモザイク処理を行うことを特徴とする請求項１ないし３のいずれか一項に記載の車内環境記録装置。
6. 前記車内カメラで撮像された画像及び／又は前記画像記録手段により記録された画像を、配信する配信手段を有することを特徴とする請求項１ないし５のいずれか一項に記載の車内環境記録装置。
7. 前記車内カメラにより撮像された画像及び／又は前記画像記録手段により記録された画像を、表示する表示手段を有することを特徴とする請求項１ないし５のいずれか一項に記載の車内環境記録装置。
8. 前記車内カメラにより撮像された画像に対して、前記マスク処理を行い記録している旨を乗員に通知する通知手段を有することを特徴とする請求項１ないし７のいずれか一項に記載の車内環境記録装置。

Images