以下、実施形態に係る画像処理システム、インターホンシステム、画像処理方法及びプログラムについて、図面を用いて説明する。ただし、下記の実施形態は、本開示の様々な実施形態の1つに過ぎない。下記の実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、下記の実施形態において説明する各図は、模式的な図であり、図中の各構成要素の大きさ及び厚さそれぞれの比が必ずしも実際の寸法比を反映しているとは限らない。
本実施形態のインターホンシステム10は、図1に示すように、住戸親機1と、ロビーインターホン2とを備えている。本実施形態では、インターホンシステム10が、集合住宅用のインターホンシステムである場合を例として説明する。そのため、インターホンシステム10は、住戸親機1を複数備えている。以下では、特に断りの無い限り、複数の住戸親機1のうち1つの住戸親機1に着目して説明する。
住戸親機1は、集合住宅の住戸内(室内)に設置される室内親機である。ロビーインターホン2は、集合住宅の共用スペース(ロビー)に設置されるインターホン子機である。
ロビーインターホン2は、撮像部21を有している。撮像部21は、特定領域を撮像するためのカメラである。本実施形態では、特定領域は、集合住宅の共用スペースである。特定領域に来訪者100(図2参照)等の被写体がいる場合は、撮像部21は、被写体を撮像することになる。
ロビーインターホン2は、画像処理システムX1を更に有している。画像処理システムX1は、画像補正部23を備えている。画像補正部23は、撮像部21が被写体を撮像して生成した撮像画像を補正する。画像補正部23は、抽出部231と、設定部232と、を含む。ロビーインターホン2は、通信部22と、制御部24と、操作部25(入力部)と、記憶部26と、表示部27とを更に有している。
住戸親機1とロビーインターホン2とは互いに通信可能に構成されている。これにより、住戸内の居住者と来訪者とは、住戸親機1とロビーインターホン2とを介して通話可能となる。また、住戸親機1は表示部12を有している。インターホンシステム10では、ロビーインターホン2の撮像部21で撮像された来訪者等の撮像画像は、画像補正部23で補正される。画像補正部23で補正されることで生成された画像は、住戸親機1の表示部12に表示される。
インターホンシステム10は、制御装置を更に備えている。制御装置は、ロビーインターホン2と複数の住戸親機1との間の通信を制御する。制御装置は、ロビーインターホン2と複数の住戸親機1との間の通信の有無を切り替える。ロビーインターホン2に対して所定の操作(例えばロビーインターホン2の複数の押釦を押すことにより住戸の部屋番号を指定する操作)がされると、ロビーインターホン2は、居住者を呼び出すための呼出信号を出力する。呼出信号には、所定の操作により指定された部屋番号の情報が含まれる。制御装置は、呼出信号に応じて、ロビーインターホン2と、複数の住戸親機1のうち所定の操作により指定された部屋番号に対応する住戸親機1との間の通信を確立させる。また、制御装置は、住戸親機1から送信される切断要求信号に応じて、ロビーインターホン2と住戸親機1との間の通信を切断する。
図2、3は、本実施形態のロビーインターホン2の設置例を示す概略図である。ロビーインターホン2は、例えば、集合住宅の共用スペースの壁61に取り付けられる。
撮像部21は、インターホンシステム10に用いられる。ここで、撮像部21がインターホンシステム10に用いられるとは、撮像部21がインターホンシステム10の一部の構成として用いられる場合と、撮像部21がインターホンシステム10の外部の構成としてインターホンシステム10と一緒に用いられる場合と、の両方を含む。本実施形態では、撮像部21はインターホンシステム10の一部の構成として用いられる。
図1に示すように、撮像部21は、撮像素子211と、レンズ212とを含んでいる。レンズ212の光軸は、撮像素子211に対して傾斜可能である。撮像部21は、来訪者100(図2参照)等の被写体を撮像するためのカメラである。そのため、来訪者100がロビーインターホン2を操作する際に少なくとも来訪者100の顔101(図2参照)が画像に写り込むように、撮像部21の撮像エリア(視野)はロビーインターホン2の前方に設定される。すなわち、撮像部21の撮像エリア(視野)がロビーインターホン2の前方となるように、ロビーインターホン2の後述の筐体20における撮像部21の位置が予め決められている。本実施形態では、撮像部21は動画を撮像するカメラであると仮定するが、撮像部21は静止画を撮像するカメラ(スチルカメラ)であってもよい。また、本実施形態では、撮像部21はカラー画像を生成するカラーカメラであると仮定するが、撮像部21はモノクローム画像を生成するモノクロームカメラであってもよい。
撮像素子211は、例えばCCD(Charge Coupled Devices)イメージセンサ、又はCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等の二次元イメージセンサである。撮像部21で生成された撮像画像は、撮像部21から電気信号(画像信号)として出力される。ここでは、撮像部21は、撮像素子211の出力信号からYUVフォーマットのデジタルの画像信号を生成し、デジタルの画像信号を出力するように構成されている。このデジタルの画像信号が、撮像部21で生成される撮像画像に相当する。レンズ212は、魚眼レンズ(超広角レンズ)である。撮像部21は、180°以上の水平画角を有する。撮像素子211が固定された状態で、レンズ212は、左右方向(図2の紙面に垂直な方向)と直交する平面において回転可能(傾斜可能)に構成されている。したがって、撮像部21の光軸P1(図2参照)は、レンズ212の傾斜角度に応じて変化する。撮像部21の垂直画角α1(図2参照)は、180°よりも小さい。
ロビーインターホン2の通信部22は、住戸親機1と通信するための通信インターフェースである。通信部22は、例えばツイストペア線等からなる2線式の伝送路4(図1では1本の線で示す)を介して、住戸親機1と電気的に接続されている。通信部22は、住戸親機1との間で双方向に通信可能に構成されている。通信部22は、撮像部21で生成された撮像画像(画像信号)を画像補正部23が補正することにより生成された画像を住戸親機1に送信する。
画像補正部23は、例えばDSP(Digital Signal Processor)又はFPGA(Field-Programmable Gate Array)等で実現される。
画像補正部23の設定部232は、撮像部21が生成した撮像画像の抽出範囲E1(図4A参照)を設定する。抽出範囲E1は、撮像画像の全範囲A1(図4A参照)のうち一部の範囲である。画像補正部23の抽出部231は、撮像画像から抽出範囲E1の画像を抽出する。
画像補正部23は、歪み補正部233を更に含んでいる。歪み補正部233は、抽出部231で抽出された画像に対して、画像の歪みを補正する歪み補正処理を行う。
通信部22には、画像補正部23から出力される画像(画像信号)が入力される。そのため、通信部22は、撮像部21から出力されたときの状態の画像信号ではなく、抽出部231で抽出され歪み補正部233で補正された画像信号を住戸親機1へ送信する。
図5に示すように、本開示の画像処理方法は、抽出ステップS2と、設定ステップS1と、を備えている。設定ステップS1の後に、抽出ステップS2が実行される。設定ステップS1では、抽出範囲E1(図4A参照)を設定する。抽出範囲E1は、インターホンシステム10に用いられる撮像部21が生成した撮像画像の全範囲A1(図4A参照)のうち一部の範囲である。抽出ステップS2では、抽出範囲E1の画像を抽出する。設定ステップS1は、画像補正部23の設定部232により実行される。抽出ステップS2は、画像補正部23の抽出部231により実行される。
抽出範囲E1を設定する設定ステップS1は、例えば、インターホンシステム10の施工時において行われればよい。設定ステップS1は、来訪者が住戸内の居住者を呼び出すために所定の操作を行う度に行われてもよい。
本開示の画像処理方法は、歪み補正ステップS3と、送信ステップS4とを更に備えている。歪み補正ステップS3では、抽出ステップS2で抽出された画像に対して、画像の歪みを補正する歪み補正処理を行う。送信ステップS4では、歪み補正ステップS3で補正された画像信号を住戸親機1へ送信する。歪み補正ステップS3は、画像補正部23の歪み補正部233により実行される。送信ステップS4は、ロビーインターホン2の通信部22により実行される。
操作部25は、例えば複数の押釦を含む。操作部25は、来訪者が住戸内の居住者を呼び出すために行う操作を受け付ける。操作部25に対して所定の操作(例えば複数の押釦を押すことにより住戸の部屋番号を指定する操作)がされると、ロビーインターホン2は、居住者を呼び出すための制御信号(呼出信号)を通信部22から住戸親機1へ送信する。
また、操作部25は、ロビーインターホン2の設置場所の床66(図2参照)からの撮像素子211の高さH1(図2参照)の情報の入力を受け付ける。
また、操作部25は、水平面に対する撮像部21の取付面の傾斜角度θ1(図2参照)の情報の入力を受け付ける。撮像部21の取付面とは、撮像部21が取り付けられる面である。図2に示す例では、鉛直な壁面611が撮像部21の取付面に相当するため、傾斜角度θ1は90°である。ここでは、ロビーインターホン2の後述の筐体20が壁61に取り付けられることにより、筐体20に保持された撮像部21が間接的に取付面に取り付けられる。
操作部25は、例えばテンキーを含む。インターホンシステム10の施工時において施工者が操作部25のテンキーを操作することで、傾斜角度θ1の情報及び高さH1の情報がロビーインターホン2に入力される。また、操作部25は、例えば、レンズ212の傾斜角度を設定するためのキー(釦)を含む。例えば、操作部25のキーが操作されている間、ロビーインターホン2の駆動部は、レンズ212の傾斜角度を連続的に変化させる。インターホンシステム10の施工時において施工者が操作部25のキーを操作することで、レンズ212の傾斜角度が設定される。つまり、操作部25のキーへの操作は、レンズ212の傾斜角度の情報の入力に相当する。
記憶部26は、データを書き換え可能なメモリであって、不揮発性メモリであることが好ましい。記憶部26は、画像補正部23から出力された画像(画像信号)を記録することが好ましい。また、記憶部26には、抽出部231で抽出された画像に対して歪み補正部233が歪み補正を行うための複数の歪み補正パターンが予め記録されている。
表示部27は、画像補正部23から出力された画像信号に基づいて画像を表示する。表示部27は、例えば液晶ディスプレイである。また、ロビーインターホン2がタッチパネルを備えている場合には、タッチパネルディスプレイが表示部27と操作部25とを兼ねてもよい。表示部27は、画像補正部23から出力された画像信号に基づいた画像を表示する。表示部27は、画像補正部23から出力された画像信号に基づいた画像を、常時表示してもよいし、ロビーインターホン2から居住者を呼び出すための制御信号(呼出信号)が住戸親機1へ送信された場合に表示してもよい。
制御部24は、ロビーインターホン2における制御部24以外の各構成要素を制御する。制御部24は、例えばプロセッサ及びメモリを主構成とするマイクロコントローラにより構成されている。制御部24のプロセッサがメモリに格納されているプログラムを実行することにより、制御部24としての機能が実現される。プロセッサが実行するプログラムは、ここではマイクロコントローラのメモリに予め記録されているが、メモリカード等の非一時的な記録媒体に記録されて提供されてもよいし、電気通信回線を通じて提供されてもよい。また、記憶部26が制御部24のメモリとして機能してもよい。
ロビーインターホン2は、図2に示すように、筐体20を更に有している。筐体20は、厚みの薄い矩形箱状に形成されている。筐体20の内部には、撮像部21及び通信部22を含むロビーインターホン2の各構成要素が収納されている。筐体20は、壁61に取り付けられている。
住戸親機1は、図1に示すように、通信部11と、表示部12と、制御部13と、画像処理部14と、操作部15とを有している。
通信部11は、ロビーインターホン2と通信するための通信インターフェースである。通信部11は、伝送路4を介して、ロビーインターホン2の通信部22と電気的に接続されている。通信部11は、ロビーインターホン2(通信部22)との間で双方向に通信可能に構成されている。通信部11は、ロビーインターホン2の通信部22から送信された画像信号を受信する。住戸親機1の通信部11とロビーインターホン2の通信部22とは、音情報を含む信号を相互に通信する。これにより、住戸内の居住者と来訪者とは、住戸親機1とロビーインターホン2とを介して通話可能となる。
表示部12は、画像信号に基づいて画像を表示する。表示部12は、例えば液晶ディスプレイである。また、住戸親機1がタッチパネルを備えている場合には、タッチパネルディスプレイが表示部12と操作部15とを兼ねてもよい。表示部12に表示される画像の少なくとも一部は、ロビーインターホン2の表示部27に表示される画像の少なくとも一部と同じである。表示部12は、ロビーインターホン2から、居住者を呼び出すための制御信号(呼出信号)が住戸親機1へ送信されると、画像信号に基づいた画像を表示する。
画像処理部14は、通信部11から出力される画像信号を受け取って、画像信号に対して画像処理を行う。画像処理部14が行う画像処理は、例えば、画像信号に基づく画像を拡大又は縮小する処理である。表示部12には、画像処理部14から出力される画像信号が入力される。そのため、表示部12は、通信部11が受信した状態の画像信号に基づく画像ではなく、画像処理部14で画像処理が施された画像信号に基づく画像を表示する。画像処理部14は、例えばDSP又はFPGA等で実現される。
操作部15は、住戸内の居住者等の操作を受け付ける。操作部15は、例えば、押釦を含む。通信部11が、居住者を呼び出すための制御信号(呼出信号)をロビーインターホン2から受信し、その後、操作部15に対して所定の操作(例えば押釦への押操作)がされると、住戸内の居住者と来訪者とは、住戸親機1とロビーインターホン2とを介して通話可能となる。
制御部13は、住戸親機1における制御部13以外の各構成要素を制御する。制御部13は、例えばプロセッサ及びメモリを主構成とするマイクロコントローラにより構成されている。制御部13のプロセッサがメモリに格納されているプログラムを実行することにより、制御部13としての機能が実現される。プロセッサが実行するプログラムは、ここではマイクロコンピュータのメモリに予め記録されているが、メモリカード等の非一時的な記録媒体に記録されて提供されてもよいし、電気通信回線を通じて提供されてもよい。
本開示における画像処理システムX1及びインターホンシステム10は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における画像処理システムX1及びインターホンシステム10としての機能及び画像処理方法が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1ないし複数の電子回路で構成される。ここでいうIC又はLSI等の集積回路は、集積の度合いによって呼び方が異なっており、システムLSI、VLSI(Very Large Scale Integration)、又はULSI(UltraLarge Scale Integration)と呼ばれる集積回路を含む。さらに、LSIの製造後にプログラムされる、FPGA(Field-Programmable Gate Array)、又はLSI内部の接合関係の再構成若しくはLSI内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む1ないし複数の電子回路で構成される。
また、インターホンシステム10における複数の機能が、1つの筐体内に集約されていることはインターホンシステム10に必須の構成ではなく、インターホンシステム10の構成要素は、複数の筐体に分散して設けられていてもよい。さらに、インターホンシステム10の少なくとも一部の機能、例えば、画像補正部23の一部の機能がクラウド(クラウドコンピューティング)等によって実現されてもよい。あるいは、インターホンシステム10の少なくとも一部の機能が、住戸親機1とロビーインターホン2との間の通信を制御する制御装置により実現されてもよい。
反対に、実施形態1において、複数の装置に分散されているインターホンシステム10の少なくとも一部の機能が、1つの筐体内に集約されていてもよい。例えば、住戸親機1とロビーインターホン2とに分散されているインターホンシステム10の一部の機能が、1つの筐体内に集約されていてもよい。
図4Aは、撮像部21で生成される撮像画像の概略図である。すなわち、図4Aに示される撮像画像は、画像補正部23で歪み補正がされる前であって、画像補正部23で抽出範囲E1の画像が抽出される前の、全範囲A1の画像である。ここでは、撮像部21の光軸P1(図2参照)は、水平面に沿っているとする。
上述のように、撮像部21のレンズ212は魚眼レンズである。そのため、撮像部21により生成された撮像画像には、図4Aに示すように、中心部が膨らむように歪む、いわゆる樽型の歪曲収差(distortion)が生じる。
来訪者100は、図4Aに示すように、撮像画像の中央に位置しているため、歪みが少ない。一方、撮像画像の周縁部に位置している壁62、63、64、天井65、床66及び、壁64に設けられたドア67は、湾曲して写っている。また、図4Aに示す撮像画像では、4隅にロビーインターホン2の筐体20の一部が写っている。つまり、図4Aに示す撮像画像では、いわゆるけられが発生している。
図4Aの撮像画像では、来訪者100の顔101が中央に位置する。画像補正部23の設定部232は、抽出範囲E1を設定(決定)するために、撮像部21で生成された撮像画像の中での来訪者の顔の位置を推定する。より詳細には、設定部232は、操作部25に入力された、撮像素子211に対するレンズ212の傾斜角度の情報と、床66からの撮像素子211の高さH1の情報と、水平面に対する撮像部21の取付面の傾斜角度θ1の情報とに基づいて、撮像部21で生成された撮像画像の中での来訪者の顔の位置を推定する。ここで、設定部232は、実際に来訪者が撮像部21で撮像される前に、来訪者の顔の位置を予め推定する。設定部232が推定する来訪者の顔の位置は、特定の来訪者100の顔101の位置ではなく、例えば、平均身長を有する大人の顔の位置である。設定部232は、推定した来訪者の顔の位置が抽出範囲E1の中心となるように、抽出範囲E1を設定する。また、設定部232は、撮像画像の抽出範囲E1が全範囲A1よりも上下方向及び水平方向に小さくなるように抽出範囲E1を設定する。
画像補正部23の抽出部231は、撮像部21で生成された撮像画像から、設定部232で設定された抽出範囲E1の画像を抽出する。
画像補正部23の歪み補正部233は、抽出部231で抽出された抽出範囲E1の画像に対して、水平方向(図4Aの左右方向)及び鉛直方向(図4Aの上下方向)のうち少なくとも一方の方向の歪み補正を行う。ここで、水平方向の歪み補正とは、画像内において鉛直方向(上下方向)に伸びる線の歪みが低減されるように、水平方向に引き延ばす補正のことを言う。鉛直方向の歪み補正とは、画像内において水平方向(左右方向)に伸びる線の歪みが低減されるように、鉛直方向に引き延ばす補正のことを言う。歪み補正部233による歪み補正により、画像の歪みが低減される。
図4Aに示すように、歪み補正前の撮像画像における抽出範囲E1の形状は、抽出範囲E1の上下左右の境界線を構成する4つの曲線で囲まれた形状である。図4Bに、歪み補正部233による歪み補正後の画像を図示する。歪み補正後の画像の全体が抽出範囲E2に相当する。歪み補正後の画像における抽出範囲E2の形状は、歪み補正前の撮像画像における抽出範囲E1の形状とは異なる。歪み補正後の画像において、抽出範囲E2の形状は、長方形状である。
設定部232は、撮像部21の仰角又は俯角に基づいて、抽出範囲E1を設定する。図4Aの例では、撮像部21の仰角(又は俯角)は0°である。ここで、撮像部21の仰角(又は俯角)とは、撮像部21の光軸P1と水平面とがなす角度である。撮像部21の仰角(又は俯角)は、操作部25に入力された、撮像素子211に対するレンズ212の傾斜角度の情報と、水平面に対する撮像部21の取付面の傾斜角度θ1の情報とに基づいて、設定部232にて演算により求められる。つまり、操作部25(入力部)に入力された傾斜角度θ1の情報及びレンズ212の傾斜角度の情報は、抽出範囲E1を指定する指定情報として用いられる。設定部232は、指定情報に基づいて、抽出範囲E1を設定する。
撮像部21から見た抽出範囲E1における水平方向の視野の広さが、抽出範囲E1における或る基準位置において或る大きさになるように、設定部232は抽出範囲E1を設定(決定)する。設定部232は、撮像部21の仰角(又は俯角)に基づいて、上記或る基準位置及び上記或る大きさのうち少なくとも一方(本実施形態では両方)を決定する。図3には、撮像部21から見た抽出範囲E1における、上記或る基準位置においての水平方向の視野の広さβ1(以下、『抽出範囲E1及び上記或る基準位置における視野の広さβ1』と称す)を図示している。
撮像部21の仰角が0°の場合、設定部232は例えば、抽出範囲E1における基準位置を、上下方向における抽出範囲E1の中心の位置に決定する。ここでは、床66から基準位置までの距離は、床66からの撮像部21の高さH1(図2参照)に等しい。図4Aには、基準位置を通る線L1を図示している。線L1は、水平面と平行である。線L1は、鉛直方向において抽出範囲E1の上側の境界線との間の距離が抽出範囲E1の下側の境界線との間の距離と等しい点の集合である。図4Bには、基準位置を通る線L2を図示している。線L2は、水平面と平行である。線L2は、抽出範囲E2を上下に2等分している。ただし、線L1、L2は、仮想的な線であり、実際に表示される線ではない。
また、撮像部21の仰角が0°の場合、設定部232は例えば、上記或る大きさを160°に決定する。つまり、撮像部21は180°以上の水平画角を有するが、抽出範囲E1及び上記或る基準位置における視野の広さβ1が160°となるように、設定部232は抽出範囲E1の左右方向(水平方向)の幅を決定する。すなわち、抽出範囲E1の外縁と線L1との第1の交点C1に写る点D1(図3、図4Aでは、壁63上の点)から撮像部21までを結ぶ直線と、抽出範囲E1の外縁と線L1との第2の交点C2に写る点D2(図3、図4Aでは、壁64上の点)から撮像部21までを結ぶ直線とがなす角(抽出範囲E1及び上記或る基準位置における視野の広さβ1)は、160°となる(図3、図4A参照)。
以上説明した例(以下、第1例と言う)では、撮像部21の仰角(又は俯角)は0°であった。撮像部21の仰角又は俯角が0°とは異なる場合は、これに応じて設定部232は、基準位置と、抽出範囲E1及び上記或る基準位置における視野の広さβ1とのうち少なくとも一方を別の大きさにする。そのため、この場合は、設定部232は、第1例における抽出範囲E1とは異なる範囲を抽出範囲として設定する。以下では、撮像部21の仰角が第1例と異なる、第2例について、図6~8Bを参照して説明する。
図6において、ロビーインターホン2の筐体20は、取付台3に設置される。撮像部21は、筐体20を介して取付台3に設置される。取付台3は、集合住宅の共用スペースに設置される。取付台3は、上下方向(鉛直方向)に長い箱状である。左右方向(図6の紙面奥行き方向)から見て、取付台3は台形状である。取付台3は、水平面に対して傾斜した傾斜面31を有している。傾斜面31には、ロビーインターホン2の筐体20が取り付けられる。傾斜面31は、撮像部21が取り付けられる取付面に相当する。ここでは、筐体20が傾斜面31に取り付けられることにより、筐体20に保持された撮像部21が間接的に傾斜面31に取り付けられる。
水平面に対する傾斜面31の傾斜角度θ2は15°である。床66からの撮像素子211の高さH2は、撮像部21が壁61(図2参照)に取り付けられる場合よりも低い。傾斜角度θ2、高さH2及びレンズ212の傾斜角度の各々の情報は、インターホンシステム10の施工時において施工者が操作部25を操作することでロビーインターホン2に入力される。
ロビーインターホン2が取付台3に取り付けられた状態では、撮像素子211の光軸P2は、水平面及び鉛直面と交差する。光軸P2の方向は、取付台3の傾斜面31の法線の方向と異なる方向である。
図7は、撮像部21で生成される撮像画像(画像信号)の概略図である。すなわち、図7に示される撮像画像は、画像補正部23で歪み補正がされる前であって、画像補正部23で抽出範囲E3が抽出される前の、全範囲A3の画像である。図7に示す撮像画像では、4隅にロビーインターホン2の筐体20の一部が写っている。
図7の撮像画像では、来訪者100の顔101の中心(目及び鼻の辺り)が中央から下にずれて位置する。そのため、図7の撮像画像では、図4A(第1例)の撮像画像と比較して、天井65が占める面積の比率が大きい。ここで、もし仮に、レンズ212の向きを変えることのみによって天井65が写る領域を小さくしようとすると、撮像画像に、ロビーインターホン2の筐体20がより大きく写る可能性がある。これに対して、本実施形態の画像処理システムX1では、抽出部231が撮像画像の全範囲A3のうち抽出範囲E3の画像を抽出することにより、抽出範囲E3において天井65が占める面積の比率が、撮像画像の全範囲A3において天井65が占める面積の比率よりも小さくなる。したがって、筐体20がより大きく写る可能性を低減できる。
画像補正部23の設定部232は、来訪者(来訪者100に限らない。例えば、平均身長を有する大人)の顔の位置が抽出範囲E3の中心となるように、抽出範囲E3を設定する。また、設定部232は、撮像画像の抽出範囲E3が全範囲A3よりも上下方向及び水平方向に小さくなるように抽出範囲E3を設定する。
画像補正部23の抽出部231は、撮像部21で生成された撮像画像から、設定部232で設定された抽出範囲E3の画像を抽出する。
画像補正部23の歪み補正部233は、抽出部231で抽出された抽出範囲E3の画像に対して、水平方向(図7の左右方向)及び鉛直方向(図7の上下方向)のうち少なくとも一方の方向の歪み補正を行う。
図7に示すように、歪み補正前の撮像画像における抽出範囲E3の形状は、抽出範囲E3の上下左右の境界線を構成する4つの曲線で囲まれた形状である。より詳細には、この抽出範囲E3の形状は、アーチ状である。図8Aに、歪み補正部233による歪み補正後の画像を図示する。歪み補正後の画像の全体が抽出範囲E4に相当する。歪み補正後の画像における抽出範囲E4の形状は、歪み補正前の撮像画像における抽出範囲E3の形状とは異なる。歪み補正後の画像において、抽出範囲E4の形状は、長方形状である。
設定部232は、撮像部21の仰角に基づいて、抽出範囲E3を設定する。図7に示す第2例では、撮像部21の仰角は15°である。
撮像部21から見た抽出範囲E3における水平方向の視野の広さが、抽出範囲E3における或る基準位置において或る大きさになるように、設定部232は抽出範囲E3を設定する。設定部232は、撮像部21の仰角に基づいて、上記或る基準位置及び上記或る大きさのうち少なくとも一方(本実施形態では両方)を決定する。
撮像部21の仰角が15°の場合、設定部232は例えば、抽出範囲E3に相当する領域における基準位置を、上下方向における抽出範囲E3の中心の位置に決定する。ここでは、床66から基準位置までの距離は、床66からの撮像部21の高さH2(図6参照)よりも高い。基準位置は、例えば、設定部232が推定した、来訪者の顔の中心の位置に一致する。図7には、基準位置を通る線L3を図示している。線L3は、水平面と平行である。線L3は、鉛直方向において抽出範囲E3の上側の境界線との間の距離が抽出範囲E3の下側の境界線との間の距離と等しい点の集合である。図8Aには、基準位置を通る線L4を図示している。線L4は、水平面と平行である。線L4は、抽出範囲E4を上下に2等分している。ただし、線L3、L4は、仮想的な線であり、実際に表示される線ではない。
撮像部21の仰角又は俯角が大きいほど、設定部232は、基準位置を抽出範囲E3の上端に近づけてもよいし、抽出範囲E3の下端に近づけてもよい。撮像部21の仰角又は俯角と基準位置との関係は、撮像画像における来訪者の位置に応じて適宜決定されればよい。
また、撮像部21の仰角又は俯角が大きいほど、設定部232は、上記或る大きさを小さくする。これは、撮像部21の仰角又は俯角が大きいほど、撮像部21と来訪者の顔との距離が長くなり、撮像画像において来訪者の顔が写る面積が小さくなると考えられるためである。設定部232は、上記或る大きさを小さくすることで、抽出範囲E3全体の面積に対する来訪者の顔が写る面積の比率を大きくする。
撮像部21の仰角が15°の場合、設定部232は例えば、上記或る大きさを140°に決定する。これは、第1例において撮像部21の仰角が0°の場合の上記或る大きさである160°よりも小さい。
次に、第3例について、図7及び図8Bを用いて説明する。第3例では、抽出部231は、図7(第2例)における抽出範囲E3とは別の抽出範囲E5の画像を抽出する、第3例では、撮像部21の設置状態は、第2例と同様である(図6参照)。第3例では、撮像部21の仰角は、第2例と同様に15°である。第3例では、抽出部231は、抽出範囲E5の画像を抽出する。図7において、抽出範囲E3、E5は下側ほど横幅が大きいアーチ形である。第3例では、設定部232は、抽出範囲E5の下端を予め決定する。設定部232は、基準位置を、抽出範囲E5のうち最も横幅が大きい位置である下端に設定する。図7には、第3例における基準位置を通る線L5を図示している。図8Bには、第3例における基準位置を通る線L6を図示している。線L5、L6は、水平面と平行である。ただし、線L5、L6は、仮想的な線であり、実際に表示される線ではない。
設定部232は、基準位置を抽出範囲E5のうち最も横幅が大きい位置(下端)に設定し、基準位置における上記或る大きさを140°に決定する。
図8Aに示す第2例では、図8Bに示す第3例と比較して、基準位置が異なる。その結果、図8Aに示す第2例において抽出範囲E4全体の面積に対する来訪者100の顔101が占める面積の比率は、図8Bに示す第3例において抽出範囲E6全体の面積に対する来訪者100の顔101が占める面積の比率よりも小さい。つまり、第2例では、基準位置を上下方向における抽出範囲E4の中心(線L4)と一致させているために、第3例と比較して、抽出範囲E6全体の面積に対する来訪者100の顔101が占める面積の比率が大きくなる。ここで、基準位置と上下方向における抽出範囲E4の中心とが「一致する」とは、厳密に一致している場合に限定されず、許容される程度の誤差があってもよい。「一致する」とは、例えば、抽出範囲E4の画像中において基準位置と上下方向における抽出範囲E4の中心との間に、抽出範囲E4の上下の幅の5%以下のずれがある場合を含む。
本実施形態の画像処理システムX1において、操作部25は、抽出範囲E2(又はE4あるいはE6)を指定する操作を受け付ける。具体的には、インターホンシステム10の施工時において施工者は、ロビーインターホン2の表示部27に表示される画像を見ながら、操作部25を操作する。施工者は、操作部25を操作することにより、表示部27に表示される画像の範囲を変更できる。施工者は、操作部25を操作することにより、抽出範囲E2(又はE4あるいはE6)の大きさ及び中心位置を変更できる。例えば、施工者は、操作部25を操作することにより、抽出範囲を、図8Aに示す第2例の抽出範囲E4と、図8Bに示す第3例の抽出範囲E6とから選択できる。
本実施形態の画像処理システムX1において、住戸親機1の表示部12に表示される画像は、抽出範囲E2(又はE4あるいはE6)の画像と、抽出範囲E2(又はE4あるいはE6)よりも広い範囲(例えば、全範囲A1又はA3)の画像とから選択可能であってもよい。例えば、住戸内の居住者等が住戸親機1の操作部15を操作することで、表示部12に表示される画像を居住者等が選択可能であってもよい。
本実施形態の画像処理システムX1によれば、撮像部21で生成される撮像画像の全範囲A1(又はA3)が写った画像と比較して、設定部232が設定した範囲である抽出範囲E2(又はE4あるいはE6)の画像を見やすくできる。より詳細には、抽出範囲E2(又はE4あるいはE6)の画像に写っている人(来訪者100)の顔101等を見やすくできる。更に詳細には、撮像画像の全範囲A1(又はA3)のうち来訪者100の顔101が写っていない範囲の一部を、抽出範囲E2(又はE4あるいはE6)から除外できる。つまり、抽出範囲E2(又はE4あるいはE6)の画像において、来訪者100の顔101が占める面積の比率を大きくできるので、顔101を見やすくできる。
(変形例1)
次に、実施形態の変形例1について、図9A~9Dを用いて説明する。実施形態と同様の構成については、同一の符号を付して説明を省略する。
図9Aは、撮像画像から抽出範囲の画像が抽出されない場合に住戸親機1の表示部12に表示される画像を示している。図9Aにおいて1点鎖線は、抽出範囲の複数(図9Aでは3つ)の候補71、72、73を示す仮想的な線であり、実際に表示される線ではない。
画像補正部23の設定部232は、抽出範囲の複数の候補71、72、73を決定する。住戸親機1の操作部15(候補入力部)は、抽出範囲を複数の候補71、72、73の中から指定する候補情報の入力を受け付ける。
図9Aに、抽出範囲の複数の候補71、72、73の範囲を図示する。設定部232は、抽出範囲としての複数の候補71、72、73の各々の中心の位置710、720、730が、撮像画像中において水平方向に互いに異なるように、複数の候補71、72、73を決定する。
図9Aに示すように、撮像画像から抽出範囲の画像が抽出されない場合における画像において、抽出範囲の複数の候補71、72、73の各々の中心の位置710、720、730は、水平方向(左右方向)に並んでいる。図9Aでは、左から候補71の中心の位置710、候補72の中心の位置720、候補73の中心の位置730の順に並んでいる。図9Aには、撮像画像そのものではなく、歪み補正部233により撮像画像が歪み補正された後の画像を図示しているが、撮像画像と、図9Aに示す画像とにおいて、複数の候補71、72、73の各々の中心の位置710、720、730が水平方向に並んでいるという点は共通である。
設定部232は、例えば、実施形態と同様の手順で1つの抽出範囲を仮に設定してから、仮に設定した抽出範囲と、仮に設定した抽出範囲を水平方向(左右方向)にずらした範囲である複数の抽出範囲とを、抽出範囲の候補71、72、73として決定する。
設定部232は、まず、候補71、72、73のうちいずれか1つを抽出範囲に設定する。ここでは、設定部232がまずは候補72を抽出範囲に設定すると仮定する。ロビーインターホン2から、居住者を呼び出すための制御信号(呼出信号)が住戸親機1へ送信されると、住戸親機1の表示部12には、図9Bに示すように、候補72を抽出範囲とする画像が表示される。ここで、表示部12には、2つの方向キー81、82が表示される。2つの方向キー81、82は、抽出範囲の画像に重なって表示される。一方の方向キー81は左向きの三角印であり、他方の方向キー82は右向きの三角印である。ここで、住戸親機1の表示部12は、タッチパネルディスプレイであり、操作部15を兼ねている。
図9Bに示す画像が表示部12に表示されている場合に、住戸内の居住者が表示部12に表示された方向キー81をタッチすると、図9Cに示すように、表示部12には、候補71を抽出範囲とする画像が表示される。また、表示部12には、右向きの三角印である方向キー82が表示される。住戸内の居住者が方向キー82をタッチすると、図9Bに示すように、表示部12には、候補72を抽出範囲とする画像が再び表示される。
図9Bに示す画像が表示部12に表示されている場合に、住戸内の居住者が表示部12に表示された方向キー82をタッチすると、図9Dに示すように、表示部12には、候補73を抽出範囲とする画像が表示される。また、表示部12には、左向きの三角印である方向キー81が表示される。住戸内の居住者が方向キー81をタッチすると、図9Bに示すように、表示部12には、候補72を抽出範囲とする画像が再び表示される。
つまり、方向キー81又は82をタッチする操作がされると、表示部12を兼ねる操作部15は、抽出範囲を複数の候補71、72、73の中から指定する候補情報を、通信部11を介してロビーインターホン2の設定部232へ出力する。設定部232は、操作部15において指定された候補を抽出範囲とする。ここで、住戸親機1の画像処理部14が、抽出範囲を複数の候補71、72、73の中から指定する候補情報の入力を受け付け、候補情報に応じて抽出範囲を複数の候補71、72、73の中から切り替えてもよい。
本変形例によれば、住戸内の居住者が操作部15へ操作を行うことで、抽出範囲を変更できる。したがって、居住者は、来訪者100の顔101をより見やすい候補を抽出範囲とすることができる。
表示部12に表示される画像において、撮像部21の設置場所の天井及び床が写っている領域を低減するためには、抽出範囲の上下方向の長さを短くすることになる。この場合に、抽出範囲の上下方向の長さを短くすることに応じて抽出範囲の左右方向の長さも短くすると、表示部12に表示させたい範囲が抽出範囲内に含まれなくなる可能性があるが、本変形例により、このような問題に対処できる。
本変形例の更なる変形例として、インターホンシステム10の施工時に施工者がロビーインターホン2の操作部25を操作することにより、複数の候補71、72、73の中からいずれかの候補を抽出範囲として設定してもよい。以後、ロビーインターホン2の表示部27及び住戸親機1の表示部12に表示される画像は、施工時に施工者が設定した候補を抽出範囲とする画像となる。
また、本変形例において、複数の候補71、72、73の中からいずれを抽出範囲として設定するかは、自動で決定されてもよい。例えば、ロビーインターホン2の画像補正部23により、複数の候補71、72、73の中からいずれを抽出範囲として設定するかが決定されてもよい。
(変形例2)
次に、実施形態の変形例2について、図10A、10Bを用いて説明する。実施形態と同様の構成については、同一の符号を付して説明を省略する。
図10Aは、撮像画像から抽出範囲の画像が抽出されない場合に住戸親機1の表示部12に表示される画像を示している。図10Aにおいて太線の1点鎖線は、抽出範囲E7を示す仮想的な線であり、実際に表示される線ではない。また、図10Aにおいて細線の1点鎖線は、画像においてけられが発生している範囲75、76を示す仮想的な線であり、実際に表示される線ではない。
図10Aに示すように、画像のうち一部の範囲75、76には、けられが発生している。つまり、範囲75、76には、ロビーインターホン2の筐体20が写っている。範囲75、76の一部は、抽出範囲E7に含まれている。
本変形例では、図10Bに示すように、表示部12、27は、抽出範囲E7のうち、けられが発生している範囲75、76の少なくとも一部と重ねて、メニュー77を表示する。そのため、けられが発生している範囲75、76がメニュー77に隠れる。これにより、画像の見栄えが向上する。図10Bにおいて破線は、けられが発生している範囲を示す仮想的な線であり、実際に表示される線ではない。
メニュー77は、例えば、通話を終了するための釦の表示、通話中であるか否かの表示、ロビーインターホン2のスピーカから出力される音の音量を設定するための釦の表示、当該音量の設定値の表示、画面の明るさを設定するための釦の表示、画面の明るさの表示、画像に逆光補正を行うか否かを選択するための釦、画像に逆光補正を行っているか否かの表示等を含む。
本変形例は、変形例1と適宜組み合わせて実現されてもよい。
(実施形態のその他の変形例)
次に、実施形態のその他の変形例を列挙する。以下の変形例は、適宜組み合わせて実現されてもよい。また、以下の変形例は、変形例1及び変形例2のうち少なくとも一方と適宜組み合わせて実現されてもよい。
画像処理システムX1は、ロビーインターホン2に備えられることに限定されない。画像処理システムX1は、住戸親機1に備えられていてもよいし、住戸親機1とロビーインターホン2との間の通信を制御する制御装置に備えられていてもよいし、インターホンシステム10の外部のサーバに備えられていてもよい。また、画像処理システムX1の複数の構成が、複数の筐体に分散して設けられていてもよい。
また、ロビーインターホン2に代えて、例えば、住戸の玄関前等に設置されるドアホンが、ロビーインターホン2の少なくとも一部の構成を有していてもよい。ドアホンに撮像部21が備えられる場合は、撮像部21が撮像する特定領域は、住戸の玄関先となる。
また、撮像部21で生成された撮像画像の中での来訪者100の顔101の位置を画像補正部23の設定部232が推定することに代えて、インターホンシステム10に備えらえた顔検出部により顔101の位置を検出してもよい。顔検出部は、例えば、撮像部21で生成された撮像画像に基づいて顔101の位置を検出する。顔検出部は、例えば、プロセッサを含むマイクロコントローラにより構成され、顔検出用のアルゴリズムをプログラムに基づいて実行することで、顔101の位置を検出する。顔検出用のアルゴリズムは、例えば、インターホンシステム10の外部のニューラルネットワークにおいてディープラーニングにより生成される。
(まとめ)
以上説明した実施形態等から、以下の態様が開示されている。
第1の態様に係る画像処理システムX1は、抽出部231と、設定部232と、を備える。抽出部231は、抽出範囲(抽出範囲E1、E2、E3、……、又はE7)の画像を抽出する。抽出範囲は、インターホンシステム10に用いられる撮像部21が生成した撮像画像の全範囲(全範囲A1又はA3)のうち一部の範囲である。設定部232は、抽出範囲を設定する。
上記の構成によれば、抽出部231は、撮像部21で生成される撮像画像に対して、抽出範囲の画像を抽出する処理を施す。したがって、撮像画像の全範囲が写った画像と比較して、抽出部231による抽出後の画像を見やすくできる。より詳細には、抽出範囲の画像に写っている人(来訪者100)等を見やすくできる。例えば、撮像画像の全範囲のうち人が写っていない範囲等の不要な範囲の一部を、抽出範囲から除外できることがある。
また、第2の態様に係る画像処理システムX1では、第1の態様において、設定部232は、撮像画像の抽出範囲(抽出範囲E1、E2、E3、……、又はE7)が全範囲(全範囲A1又はA3)よりも上下方向及び水平方向に小さくなるように抽出範囲を設定する。
上記の構成によれば、設定部232において、撮像画像の抽出範囲が全範囲よりも上下方向及び水平方向のうち一方のみにおいて小さくなるように抽出範囲が設定される場合と比較して、より抽出範囲を小さくできる。
また、第3の態様に係る画像処理システムX1では、第1又は2の態様において、設定部232は、撮像部21の仰角又は俯角に基づいて、抽出範囲(抽出範囲E1、E2、E3、……、又はE7)を設定する。
上記の構成によれば、撮像部21の仰角又は俯角に応じて抽出範囲を変えられる。
また、第4の態様に係る画像処理システムX1では、第3の態様において、撮像部21から見た抽出範囲(抽出範囲E1、E2、E3、……、又はE7)における水平方向の視野の広さ(例えば、視野の広さβ1)が、抽出範囲における或る基準位置において或る大きさになるように、設定部232は抽出範囲を設定する。設定部232は、撮像部21の仰角又は俯角に基づいて、基準位置及び或る大きさのうち少なくとも一方を決定する。
上記の構成によれば、撮像部21の仰角又は俯角に応じて基準位置及び撮像部21から見た抽出範囲における或る基準位置においての水平方向の視野の広さβ1のうち少なくとも一方を変えられるので、これにより抽出範囲を変えられる。
また、第5の態様に係る画像処理システムX1は、第1~4の態様のいずれか1つにおいて、入力部(操作部25)を更に備える。入力部は、抽出範囲(抽出範囲E1、E2、E3、……、又はE7)を指定する指定情報の入力を受け付ける。設定部232は、入力部に入力される指定情報に基づいて、抽出範囲を設定する。
上記の構成によれば、入力部(操作部25)へ指定情報を入力することにより、抽出範囲を変えられる。
また、第6の態様に係る画像処理システムX1は、第1~5の態様のいずれか1つにおいて、候補入力部(操作部15)を更に備える。候補入力部は、抽出範囲を複数の候補71、72、73の中から指定する候補情報の入力を受け付ける。設定部232は、抽出範囲の複数の候補71、72、73を決定する。
上記の構成によれば、指定情報により、抽出範囲の複数の候補71、72、73の中から、画像をより見やすい抽出範囲の候補を指定することができる。
また、第7の態様に係る画像処理システムX1では、第6の態様において、設定部232は、抽出範囲としての複数の候補71、72、73の各々の中心の位置710、720、730が、撮像画像中において水平方向に互いに異なるように、複数の候補71、72、73を決定する。
上記の構成によれば、抽出範囲のある候補において抽出範囲の画像に写っている人(来訪者100)等の顔の位置が、抽出範囲の画像の中心位置から水平方向にずれている場合に、抽出範囲の画像の中心位置からの顔の位置の水平方向におけるずれがより小さい他の候補を抽出範囲とすることで、抽出範囲の画像に写っている人等を見やすくできる。
第1の態様以外の構成については、画像処理システムX1に必須の構成ではなく、適宜省略可能である。
また、第8の態様に係るインターホンシステム10は、第1~7の態様のいずれか1つに係る画像処理システムX1と、複数の通信部11、22と、表示部12(又は27)と、を備える。複数の通信部11、22は、音情報を含む信号を相互に通信する。表示部12(又は27)は、撮像画像の全範囲(全範囲A1又はA3)のうち抽出範囲(抽出範囲E1、E2、E3、……、又はE7)の画像を表示する。
上記の構成によれば、抽出部231は、撮像部21で生成される撮像画像に対して、抽出範囲の画像を抽出する処理を施す。したがって、撮像画像の全範囲が写った画像と比較して、抽出部231による抽出後の画像を見やすくできる。より詳細には、抽出範囲の画像に写っている人(来訪者100)等を見やすくできる。
また、第9の態様に係る画像処理方法は、抽出ステップS2と、設定ステップS1と、を備える。抽出ステップS2では、抽出範囲(抽出範囲E1、E2、E3、……、又はE7)の画像を抽出する。抽出範囲は、インターホンシステム10に用いられる撮像部21が生成した撮像画像の全範囲(全範囲A1又はA3)のうち一部の範囲である。設定ステップS1では、抽出範囲を設定する。
上記の構成によれば、抽出ステップでは、撮像部21で生成される撮像画像に対して、抽出範囲の画像を抽出する処理を施す。したがって、撮像画像の全範囲が写った画像と比較して、抽出ステップによる抽出後の画像を見やすくできる。より詳細には、抽出範囲の画像に写っている人(来訪者100)等を見やすくできる。
また、第10の態様に係るプログラムは、第9の態様に係る画像処理方法をコンピュータシステムに実行させる。
上記の構成によれば、抽出ステップでは、撮像部21で生成される撮像画像に対して、抽出範囲の画像を抽出する処理を施す。したがって、撮像画像の全範囲が写った画像と比較して、抽出ステップによる抽出後の画像を見やすくできる。より詳細には、抽出範囲の画像に写っている人(来訪者100)等を見やすくできる。
上記態様に限らず、実施形態に係るインターホンシステム10の種々の構成(変形例を含む)は、画像処理方法及びプログラムにて具現化可能である。
上述した各実施形態は、変形例も含めて、適宜組み合わせて実現されてもよい。