JP2010219645A - 撮影補助装置、プログラムおよび撮影システム - Google Patents
撮影補助装置、プログラムおよび撮影システム Download PDFInfo
- Publication number
- JP2010219645A JP2010219645A JP2009061247A JP2009061247A JP2010219645A JP 2010219645 A JP2010219645 A JP 2010219645A JP 2009061247 A JP2009061247 A JP 2009061247A JP 2009061247 A JP2009061247 A JP 2009061247A JP 2010219645 A JP2010219645 A JP 2010219645A
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- photographing
- photographed
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Studio Devices (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Abstract
【解決手段】
撮影補助装置30は、カメラ10にて撮影され、画像キャプチャボード32に記憶されている運転者3の顔の撮影画像データを取得する(S11)。
次に、S11にて取得した撮影画像データに基づく撮影画像における顔上の特徴点として、左右の両目頭と、左右鼻孔の中点と、の画像平面上の位置を抽出する(S12)。
そして、表示装置22に、S11にて取得した撮影画像データに基づき、左右両目頭を結んだ線分と、左右両目頭の中点と左右鼻孔中点とを結んだ線分である線αと、予め定められた基準線である線βとを重畳した画像の画像情報を出力する(S14)。
運転者3は、線αと線βとを見比べることで、適切に顔の正面を撮影するための顔の位置を認識することができる。
【選択図】図8
Description
このように構成された撮影補助装置において、撮影装置により撮影された撮影対象者の顔の撮影画像を取得したとき、撮影対象者の顔が上述した所定の撮影位置にある場合には、撮影画像における顔上の特徴点と、予め定められた基準点との距離が小さくなる。一方、撮影対象者の顔が所定の撮影位置から離れた位置にある場合には、特徴点と基準点との距離が大きくなる。
このように構成された撮影補助装置では、少なくとも顔上の同一直線状にない3点を特徴点として、その特徴点と基準点との距離を測定するため、撮影対象者は、その3点の特徴点と基準点との距離を認識することができる。したがって、これら3点を一致させた状態で撮影を行えば、顔の位置および向きを正確に規定した撮影画像を取得することができる。
したがって、撮影対象者は、顔が所定の撮影位置からどの程度離れているかを画像により容易に認識することができるようになる。その結果、撮影対象者は所定の撮影位置への顔の移動を容易に実行できるようになる。
請求項8に記載の発明は、請求項1から請求項7のいずれかに記載の撮影補助装置において、距離測定手段により測定された距離が所定の閾値以下の場合に、その撮影画像を、撮影対象者の顔が上述した所定の撮影位置であるときに撮影した撮影画像であると判定する判定手段を備えることを特徴とする。
このようなプログラムにより制御されるコンピュータシステムは、請求項1から請求項8のいずれかに記載の撮影補助装置の一部を構成することができる。
(1)全体構成
撮影システム1は、車両2に搭載されて用いられるものであり、図1に示すように、カメラ10と、情報入出力装置20と、撮影補助装置30と、からなる。
画像キャプチャボード32は、カメラ10で撮影した運転者3の顔の撮影画像のデータである撮影画像データを一時的に記憶し、制御装置36からの指令に応じて制御装置36に提供する。
制御装置36は、CPU,ROM,RAM,I/O及びこれらの構成を接続するバスラインなどからなる周知のマイクロコンピュータを中心に構成されており、ROMに記憶されているプログラムに従って、後述する表情特徴量検出処理および正面画像取得処理を実行する。
(2)撮影補助装置30による処理
以下に、撮影補助装置30の制御装置36により実行される各種処理について説明する。
(2.1)表情特徴量検出処理
まず、表情特徴量検出処理の処理手順を、図3に基づいて説明する。本処理は、撮影システム1が起動している間、継続して実行される。
次に、S1にて取得した撮影画像データを用いて、記憶装置34に記憶されている顔形状モデルとのフィッティングを行い、運転者3の顔の向きおよび表情の変化(以降、単に表情特徴量ともいう)を検出する(S2)。詳細を以下に説明する。
まず、人の顔の形状を表現する3次元形状のモデルを説明する。この3次元形状のモデルは、図4に示すように、正面顔を三角形状の複数のメッシュで表現した基本形状 (base shape) s0(図4(a)を参照)と、基本形状s0からの顔位置・顔向き・表情変化を示すn個(nは自然数)の形状ベクトル(shape vector)si(i=1,2,3・・・,n)(図4(b),(c),(d)を参照)とが予め設定されており、これら基本形状s0及びn個の形状ベクトルsiを用いて(1)式により計算することにより人間の顔の形状を表現する(図6におけるメッシュs)。
そして、図6に示すように、顔形状モデルの3次元形状および色合いを変化させて、その変化させた顔形状モデルM(W(x;p))と、表情特徴量の検出対象者を撮影した画像である入力画像Iと、のフィッティングを行い、一致度合を判断する。
(2.2)正面画像撮影処理
次に、正面画像撮影処理の処理手順を、図8に基づいて説明する。本処理は、表情検出処理のS4にて実行される。
次に、S11にて取得した撮影画像データに基づく撮影画像における顔上の特徴点を抽出する(S12)。ここでは、図9(a)に示すように、撮影画像をx−y平面で表した場合における左右の両目頭と、左右鼻孔の中点と、の画像平面上の位置を抽出する。
表示装置22に表示される表示画面の説明に戻る。本実施例では、上記誤差が所定の閾値を超える場合は線αの表示に変化はないが、閾値以下となると、線αの色を赤色に変化させることで、運転者3の顔が所定の撮影位置に移動したと判断されたことを運転者3に通知する(図11(b)参照)。
(3)発明の効果
このように構成された撮影システム1では、顔形状モデルと撮影画像とのフィッティングの精度が悪い場合には、正確に運転者3の顔を正面から撮影した正面撮影画像を利用して、顔形状モデルを再構築することができるため、より高い精度で表情特徴量を捉えることができる。
(4)変形例
以上、本発明の実施例について説明したが、本発明は、上記実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。
また、上記実施例においては、表示装置22およびスピーカ24は、S13にて算出した誤差を運転者3が認識できるように報知する構成を例示したが、表示装置22やスピーカ24を用いて、運転者3に顔を向ける方向を案内する報知を行うように構成してもよい。例えば、表示画面上に、顔を向ける方向を矢印にて表示する構成が考えられる。
Claims (10)
- 撮影対象者の顔を示す撮影画像を取得する画像取得手段と、
前記画像取得手段が取得した撮影画像における顔上の複数の特徴点を抽出する抽出手段と、
前記抽出手段が抽出した特徴点と、前記特徴点それぞれに対応して存在し、前記撮影対象者の顔が所定の撮影位置であるときに前記特徴点との距離が最も小さくなるように前記撮影画像上に予め定められた基準点と、の距離を測定する距離測定手段と、
前記距離測定手段により測定された距離に応じた報知を行う報知手段と、を備える
ことを特徴とする撮影補助装置。 - 前記特徴点は、前記撮影画像において同一直線上にない3点を含む
ことを特徴とする請求項1に記載の撮影補助装置。 - 前記特徴点は、前記撮影画像の顔上における左目頭、右目頭、左右鼻孔の中点、の3点である
ことを特徴とする請求項1または請求項2に記載の撮影補助装置。 - 前記報知手段は、画像を表示可能な表示装置に対して、前記特徴点および前記基準点を平面上に重畳した画像を示す画像情報を出力する
ことを特徴とする請求項1から請求項3のいずれかに記載の撮影補助装置。 - 前記画像情報は、前記特徴点を含む線分,および,前記基準点を含む線分を、前記特徴点および前記基準点を重畳した平面上に更に重畳した画像を示すものである
ことを特徴とする請求項4に記載の撮影補助装置。 - 前記報知手段は、音声を出力可能な音声出力装置に対して、前記距離測定手段により測定された距離に応じた音声情報を出力する
ことを特徴とする請求項1から請求項3のいずれかに記載の撮影補助装置。 - 前記音声情報は、前記距離測定手段により測定された距離の大きさに応じて出力する音声を変化させるものである
ことを特徴とする請求項6に記載の撮影補助装置。 - 前記距離測定手段により測定された距離が所定の閾値以下である場合に、前記撮影画像を、前記撮影対象者の顔が前記所定の撮影位置であるときに撮影した撮影画像であると判定する判定手段を備える
ことを特徴とする請求項1から請求項7のいずれかに記載の撮影補助装置。 - 請求項1から請求項8のいずれかに記載の各手段として機能させるための処理手順を、コンピュータシステムに実行させるためのプログラム。
- 請求項8に記載の撮影補助装置と、
前記判定手段が、前記撮影対象者の顔が前記所定の撮影位置であるときに撮影した撮影画像であると判定した前記撮影画像を用いて、前記顔形状モデルを作成するモデル作成手段と、
前記モデル作成手段により作成された前記顔形状モデルと、前記撮影対象者の顔を示す対象者画像と、を用いて、前記撮影対象者の顔の向きおよび表情の変化を検出する検出手段と、を備える
ことを特徴とする撮影システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009061247A JP5206516B2 (ja) | 2009-03-13 | 2009-03-13 | 撮影補助装置、プログラムおよび撮影システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009061247A JP5206516B2 (ja) | 2009-03-13 | 2009-03-13 | 撮影補助装置、プログラムおよび撮影システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010219645A true JP2010219645A (ja) | 2010-09-30 |
JP5206516B2 JP5206516B2 (ja) | 2013-06-12 |
Family
ID=42978044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009061247A Expired - Fee Related JP5206516B2 (ja) | 2009-03-13 | 2009-03-13 | 撮影補助装置、プログラムおよび撮影システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5206516B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2945372A4 (en) * | 2013-02-14 | 2016-03-30 | Panasonic Ip Man Co Ltd | ELECTRONIC MIRROR DEVICE |
JP2019014361A (ja) * | 2017-07-06 | 2019-01-31 | マツダ株式会社 | 乗員撮影装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015011898A1 (ja) | 2013-07-22 | 2015-01-29 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理装置および情報処理装置の制御方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007219578A (ja) * | 2006-02-14 | 2007-08-30 | Omron Corp | 異常検出装置および方法、記録媒体、並びに、プログラム |
-
2009
- 2009-03-13 JP JP2009061247A patent/JP5206516B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007219578A (ja) * | 2006-02-14 | 2007-08-30 | Omron Corp | 異常検出装置および方法、記録媒体、並びに、プログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2945372A4 (en) * | 2013-02-14 | 2016-03-30 | Panasonic Ip Man Co Ltd | ELECTRONIC MIRROR DEVICE |
US9992409B2 (en) | 2013-02-14 | 2018-06-05 | Panasonic Intellectual Property Management Co., Ltd. | Digital mirror apparatus |
JP2019014361A (ja) * | 2017-07-06 | 2019-01-31 | マツダ株式会社 | 乗員撮影装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5206516B2 (ja) | 2013-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5137833B2 (ja) | 視線方向検出装置および視線方向検出方法 | |
TWI574224B (zh) | An image processing apparatus, an image processing method, a video product processing apparatus, a recording medium, and an image display apparatus | |
JP5496008B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
JP5921271B2 (ja) | 物体測定装置、及び物体測定方法 | |
JP4841677B2 (ja) | 立体画像を選択するための装置 | |
CN107545592A (zh) | 动态摄像机校准 | |
JP5007863B2 (ja) | 3次元物***置計測装置 | |
CN102572257B (zh) | 图像处理装置和图像处理方法 | |
EP3820139B1 (en) | Image-capture plan presentation apparatus and method | |
KR100982171B1 (ko) | 안면 영상 촬영장치 | |
JP5206516B2 (ja) | 撮影補助装置、プログラムおよび撮影システム | |
JP6708152B2 (ja) | 運転者状態推定装置、及び運転者状態推定方法 | |
JP2003284096A (ja) | ステレオ撮影装置、ファインダ、目印提示部材、及び、ステレオ撮影装置の撮影方法 | |
JP2002008041A (ja) | 動作検出装置、動作検出方法および情報記憶媒体 | |
CN115244360A (zh) | 计算方法 | |
JP2015206654A (ja) | 情報処理装置、情報処理方法、プログラム | |
US20220337746A1 (en) | Image processing device, control method and storage medium | |
JP2008224323A (ja) | ステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラム | |
JP7057086B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20220357157A1 (en) | Image-processing method, image-processing device, and recording medium | |
JP2019144154A (ja) | 三次元計測装置 | |
JP2011118767A (ja) | 表情モニタリング方法および表情モニタリング装置 | |
JP4623171B2 (ja) | 瞳孔検出装置、瞳孔検出装置用プログラム及び瞳孔検出方法 | |
CN113421231A (zh) | 一种出血点检测方法、装置及*** | |
JP6872817B2 (ja) | 計測器装着支援装置と計測器装着支援方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121031 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130204 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160301 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |