JP6778907B2 - インターホンシステム、インターホン親機、インターホン子機、及びプログラム - Google Patents

インターホンシステム、インターホン親機、インターホン子機、及びプログラム Download PDF

Info

Publication number
JP6778907B2
JP6778907B2 JP2018546384A JP2018546384A JP6778907B2 JP 6778907 B2 JP6778907 B2 JP 6778907B2 JP 2018546384 A JP2018546384 A JP 2018546384A JP 2018546384 A JP2018546384 A JP 2018546384A JP 6778907 B2 JP6778907 B2 JP 6778907B2
Authority
JP
Japan
Prior art keywords
image
unit
correction
distortion
intercom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018546384A
Other languages
English (en)
Other versions
JPWO2018074520A1 (ja
Inventor
さつき 石田
さつき 石田
山中 睦裕
睦裕 山中
利春 竹ノ内
利春 竹ノ内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2018074520A1 publication Critical patent/JPWO2018074520A1/ja
Application granted granted Critical
Publication of JP6778907B2 publication Critical patent/JP6778907B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/02Arrangements for interconnection not involving centralised switching involving a common line for all parties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Interconnected Communication Systems, Intercoms, And Interphones (AREA)
  • Studio Devices (AREA)

Description

本発明は、インターホンシステム、インターホン親機、インターホン子機、及びプログラムに関し、より詳細には、撮像機能を備えたインターホンシステム、インターホン親機、インターホン子機、及びプログラムに関する。
従来、カメラの視野範囲を広くするために広角レンズを用いたインターホンシステム(テレビインターホン)が提供されている(例えば特許文献1参照)。特許文献1に記載のインターホンシステムは、インターホン子機(子器)と、信号伝送系を介してインターホン子機に接続されるインターホン親機(親器)とを備える。インターホン子機は、広角レンズを装着した撮像部(テレビカメラ)と、来客の音声を集音するマイクロホンとを有する。インターホン親機は、インターホン子機からの画像を表示する表示部(モニターテレビ)と、インターホン子機からの音声を出力するスピーカと、画像歪みを補正する画像補正部(画像歪み補正手段)とを有する。
特許文献1に記載のインターホンシステムでは、広角レンズを用いることによって生じる画像歪みを画像補正部により補正し、補正後の映像を表示部に映し出すことにより、歪みの少ない映像を得ることができる。
ところで、特許文献1に記載のインターホンシステムでは、インターホン子機からの映像全体に対して同じ歪み補正を行うように構成されており、そのため視覚的に違和感を生じる映像が表示部に映し出される可能性があった。
特開平6−225312号公報
本発明は上記課題に鑑みてなされており、画像歪みを低減し、かつ視覚的な違和感を低減することができるインターホンシステム、インターホン親機、インターホン子機、及びプログラムを提供することを目的とする。
本発明の一態様に係るインターホンシステムは、インターホン親機及びインターホン子機が互いに通信可能に構成されたインターホンシステムである。前記インターホンシステムは、地面と平行な水平面に対して傾斜した取付面に取り付けられる前記インターホン子機の撮像部で撮像した画像の歪みを補正する歪み補正処理を行う画像補正部を備える。前記画像補正部は、前記歪み補正処理において、前記画像における歪み補正の対象となる領域を少なくとも前記画像の上下方向で複数の領域に分割し、前記複数の領域のうち上下方向で分割された2以上の領域に対して上下方向の補正強度が異なる歪み補正を行うように構成されている。
本発明の一態様に係るインターホン親機は、上述のインターホンシステムに用いられる。
本発明の一態様に係るインターホン子機は、上述のインターホンシステムに用いられる。
本発明の一態様に係るプログラムは、コンピュータを、上述のインターホンシステムにおける前記画像処理部として機能させる。
図1は、本発明の一実施形態に係るインターホンシステムのブロック図である。 図2は、本発明の一実施形態に係るインターホン子機の設置例を示す概略図である。 図3Aは、比較例1に係るインターホン親機の表示部に表示される歪み補正前の画像の概略図である。図3Bは、同上のインターホン親機の表示部に表示される歪み補正後の画像の概略図である。 図4Aは、比較例2に係るインターホン親機の表示部に表示される歪み補正前の画像の概略図である。図4Bは、同上のインターホン親機の表示部に表示される歪み補正後の画像の概略図である。 図5Aは、本発明の一実施形態に係るインターホン親機の表示部に表示される歪み補正前の画像の概略図である。図5Bは、同上のインターホン親機の表示部に表示される歪み補正後の画像の概略図である。 図6A〜図6Cは、本発明の一実施形態の変形例1に係るインターホン親機の表示部に表示される画像の分割例を示す概略図である。 図7は、本発明の一実施形態の変形例2に係るインターホン子機の設置例を示す概略図である。
以下、本発明の一実施形態について説明する。下記の実施形態は、本発明の様々な実施形態の一つに過ぎない。また、下記の実施形態は、本発明の目的を達成できれば、設計等に応じて種々の変更が可能である。
本実施形態のインターホンシステム10は、図1に示すように、インターホン親機1と、インターホン子機2とを備えている。本実施形態では、インターホンシステム10が、集合住宅用のインターホンシステムである場合を例として説明する。なお、以下の説明において来訪者100A,100Bをとくに区別しない場合には、来訪者100A,100Bの各々を「来訪者100」という。
インターホン親機1は、集合住宅の住戸内(室内)に設置される室内親機である。インターホン子機2は、集合住宅の共用スペース(ロビー)に設置されるロビーインターホンである。インターホン親機1とインターホン子機2とは互いに通信可能に構成されている。これにより、インターホンシステム10では、インターホン親機1とインターホン子機2との間で通話可能となる。また、インターホン子機2には撮像部21が設けられ、インターホン親機1には表示部12が設けられている。これにより、インターホンシステム10では、インターホン子機2の撮像部21で撮像された来訪者等の画像をインターホン親機1の表示部12に表示することができる。
インターホン子機2は、図1に示すように、撮像部21と、子機通信部22と、画像補正部23と、子機制御部24と、操作部25と、記憶部26とを有している。
撮像部21は、特定領域を撮像する撮像素子211と、撮像素子211に対して傾斜可能なレンズ212とを含んでいる。撮像部21は、来訪者等の被写体を撮像するためのカメラである。そのため、来訪者がインターホン子機2を操作する際に少なくとも来訪者の顔が画像に写り込むように、撮像部21の撮像エリア(視野)はインターホン子機2の前方に設定される。本実施形態では、撮像部21は動画を撮像するカメラであると仮定するが、撮像部21は静止画を撮像するカメラ(スチルカメラ)であってもよい。また、本実施形態では、撮像部21はカラー画像を撮像するカラーカメラであると仮定するが、撮像部21はモノクローム画像を撮像するモノクロームカメラであってもよい。ここに、本実施形態では、集合住宅の共用スペースが特定領域である。もちろん、特定領域は集合住宅の共用スペースに限らず、例えばインターホン子機2が集合住宅の各住戸の外玄関に設置されている場合には、各住戸の玄関先が特定領域となる。
撮像素子211は、例えばCCD(Charge Coupled Devices)イメージセンサ、又はCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等の二次元イメージセンサである。撮像部21は、被写体からの光をレンズ212によって撮像素子211の撮像面(受光面)上に結像させ、撮像素子211にて被写体からの光を電気信号(画像信号)に変換する。そのため、撮像部21で撮像された画像は、撮像部21から画像信号として出力される。ここでは、撮像部21は、撮像素子211の出力信号からYUVフォーマットのデジタルの画像信号を生成し、デジタルの画像信号を出力するように構成されている。レンズ212は、例えば180度以上の画角を有する魚眼レンズ(超広角レンズ)であり、左右方向(図2の紙面に垂直な方向)と直交する平面において撮像素子211に対して回転可能(傾斜可能)に構成されている。したがって、撮像素子211とレンズ212とを含む撮像部21の光軸P1(図2参照)は、レンズ212の傾斜角度α1(図7参照)に応じて変化することになる。
子機通信部22は、インターホン親機1と通信するための通信インターフェースである。子機通信部22は、例えばツイストペア線等からなる2線式の伝送路4(図1では1本の線で示す)を介して、インターホン親機1と電気的に接続されている。子機通信部22は、送信部221を含んでいる。送信部221は、撮像部21で撮像された画像の画像信号をインターホン親機1に送信する。さらに、インターホン子機2とインターホン親機1との間で音声信号及び制御信号が双方向に伝送可能となるよう、子機通信部22は、インターホン親機1との間で双方向に通信可能に構成されている。
画像補正部23は、撮像部21から出力される画像信号に対して、画像の歪みを補正する歪み補正処理を行うように構成されている。子機通信部22には、画像補正部23から出力される画像(画像信号)が入力される。そのため、送信部221は、撮像部21から出力された状態の画像信号ではなく、画像補正部23で補正された画像信号をインターホン親機1に送信することになる。画像補正部23は、例えばDSP(Digital Signal Processor)又はFPGA(Field-Programmable Gate Array)等で実現される。なお、画像補正部23の歪み補正処理については後述する。
操作部25は、来訪者から呼び出しのための操作を受け付ける。操作部25に対して所定の操作(例えば押操作)がされると、インターホン子機2は、住居内の居住者を呼び出すための制御信号(呼出信号)を子機通信部22からインターホン親機1へ送信する。また、操作部25は、撮像素子211に対するレンズ212の傾斜角度α1、及びインターホン子機2が取り付けられる取付台3(図2参照)の取付面31の傾斜角度θ2を入力可能に構成されている。これらの傾斜角度α1、θ2は、インターホンシステム10の施工時において施工者によって入力される。
記憶部26は、データを書き換え可能なメモリであって、不揮発性メモリであることが好ましい。記憶部26は、撮像部21で撮像された画像を記録するように構成されている。また、記憶部26には、撮像部21で撮像された画像に対して行われる複数の歪み補正パターンが予め記録されている。本実施形態では、複数の歪み補正パターンとして、第1歪み補正パターン、第2歪み補正パターン及び第3歪み補正パターンが予め記憶部26に記録されている。第1歪み補正パターンでは、画像の左右方向(水平方向)に歪み補正を行う。第2歪み補正パターンでは、画像の左右方向及び上下方向(鉛直方向)に歪み補正を行う。第3歪み補正パターンでは、第2歪み補正パターンとは異なる補正強度で画像の左右方向及び上下方向に歪み補正を行う。ここに、補正強度とは、水平方向及び鉛直方向のうちの少なくとも一方向における引き延ばし度合いのことをいう。例えば、水平方向の補正強度が強い場合には、水平方向に大きく引き延ばされることになる。
子機制御部24は、インターホン子機2の各構成要素を制御する。子機制御部24は、例えばCPU(Central Processing Unit)及びメモリを主構成とするマイクロコンピュータで構成されており、CPUがメモリに格納されているプログラムを実行することにより、マイクロコンピュータが子機制御部24として機能する。CPUが実行するプログラムは、ここではマイクロコンピュータのメモリに予め記録されているが、メモリカード等の非一時的な記録媒体に記録されて提供されてもよいし、電気通信回線を通じて提供されてもよい。
インターホン子機2は、図2に示すように、筐体20を更に有している。筐体20は、厚みの薄い矩形箱状に形成されており、筐体20の内部には、撮像部21及び送信部221を含むインターホン子機2の各構成要素が収納されている。
インターホン親機1は、図1に示すように、親機通信部11と、表示部12と、親機制御部13と、画像処理部14と、操作部15とを有している。
親機通信部11は、インターホン子機2と通信するための通信インターフェースである。親機通信部11は、伝送路4を介して、インターホン子機2の子機通信部22と電気的に接続されている。親機通信部11は、受信部111を含んでいる。受信部111は、インターホン子機2の送信部221から送信された画像信号を受信する。さらに、インターホン親機1との間で音声信号及び制御信号が双方向に伝送可能となるよう、親機通信部11は、インターホン子機2(子機通信部22)との間で双方向に通信可能に構成されている。
表示部12は、画像信号に基づいて画像を表示する。表示部12は、例えば液晶ディスプレイである。また、インターホン親機1がタッチパネルを備えている場合には、タッチパネルディスプレイが表示部12と操作部15とを兼ねることになる。
画像処理部14は、受信部111から出力される画像信号を受けて、画像処理を行う。表示部12には、画像処理部14から出力される画像(画像信号)が入力される。そのため、表示部12は、受信部111が受信した状態の画像信号に基づく画像ではなく、画像処理部14で画像処理が施された画像信号に基づく画像を表示することになる。画像処理部14は、例えばDSP又はFPGA等で実現される。
操作部15は、住戸内の居住者の操作を受け付ける。親機通信部11が、居住者を呼び出すための制御信号(呼出信号)をインターホン子機2から受信している状態で、操作部15に対して所定の操作(例えば押操作)がされると、インターホン親機1とインターホン子機2との間で通話可能な状態となる。
親機制御部13は、インターホン親機1の各構成要素を制御する。親機制御部13は、例えばCPU及びメモリを主構成とするマイクロコンピュータで構成されており、CPUがメモリに格納されているプログラムを実行することにより、マイクロコンピュータが親機制御部13として機能する。CPUが実行するプログラムは、ここではマイクロコンピュータのメモリに予め記録されているが、メモリカード等の非一時的な記録媒体に記録されて提供されてもよいし、電気通信回線を通じて提供されてもよい。
図2は、本実施形態のインターホン子機2の設置例を示す概略図である。集合住宅の共用スペース5には、図2に示すように、上下方向(鉛直方向)に長い直方体状に形成された取付台3が設けられている。取付台3は、インターホン子機2が取り付けられる取付面31を有している。取付面31は、図2に示すように、地面と平行な水平面に対して傾斜しており、その傾斜角度はθ2である。そのため、インターホン子機2を取付台3の取付面31に取り付けた状態では、インターホン子機2(筐体20)も、上記水平面に対して傾斜角度θ2で傾斜することになる。
インターホン子機2が取付台3に取り付けられた状態では、撮像素子211の中心軸P2は、取付面31の法線方向と平行になっている。また、本実施形態では、撮像素子211とレンズ212とを含む撮像部21の光軸P1の方向が水平方向となるように、左右方向(図2の紙面に垂直な方向)と直交する平面において撮像素子211に対してレンズ212を時計回りに回転させている。したがって、本実施形態では、撮像部21の光軸P1と撮像素子211の中心軸P2とが一致していない。
また、本実施形態では、レンズ212が魚眼レンズであることから、左右方向と直交する平面における撮像部21の視野角はθ1となる(図2参照)。ここで、撮像部21の光軸P1の方向が水平方向となるように、レンズ212を傾斜(回転)させているため、インターホン子機2の筐体20の一部が撮像部21の撮像エリアに含まれるように、撮像部21の視野角θ1が設定されている。
図3A及び図3Bは、比較例1に係るインターホン親機1の表示部12に表示される画像121の概略図である。本実施形態では、上述のように、撮像部21のレンズ212は魚眼レンズである。そのため、撮像部21により撮像した画像121では、図3Aに示すように、中心部が膨らむように歪む、いわゆる樽型の歪曲収差(distortion)が生じる。
来訪者100Aは、図3Aに示すように、画像121の中央に位置しているため、歪みが少ない。一方、来訪者100Bは、画像121の左側に位置しているため、外向き(左向き)に湾曲している。来訪者100Aの後方には、2枚の扉200A,200Bを有する自動ドア200が位置している。2枚の扉200A,200Bの各々では、上側の境界線201,201が外向き(上向き)に湾曲している。また、一方(図3Aにおける左側)の扉200Aの左側の境界線202、及び他方の扉200Bの右側の境界線202についても、外向き(左向き又は右向き)に湾曲している。さらに、図3Aに示す例では、画像121の下部にインターホン子機2の筐体20の一部が写り込んでいる。
画像補正部23が、画像121に対して水平方向(画像121の左右方向)のみに歪み補正を行った場合(図3A中の矢印参照)、図3Bに示すように、画像121の歪みが補正される。ここで、水平方向の歪み補正とは、画像121内において鉛直方向(上下方向)に伸びる線の歪みが低減されるように、水平方向に引き延ばす補正のことをいう。この場合、画像121の左側に位置する来訪者100Bの歪みが低減され、かつ2枚の扉200A,200Bの各々の左側又は右側の境界線202の歪みが低減される。なお、この場合には、2枚の扉200A,200Bの上側の境界線201の歪みは残ったままであり、かつ筐体20の写り込みもそのままである。
図4A及び図4Bは、比較例2に係るインターホン親機1の表示部12に表示される画像121の概略図である。なお、図4Aは、上述の図3Aと同様であり、ここでは図4Aについては説明を省略する。
画像補正部23が、画像121に対して水平方向(画像121の左右方向)及び鉛直方向(画像121の上下方向)に歪み補正(2次元方向歪み補正)を行った場合(図4A中の矢印参照)、図4Bに示すように、画像121の歪みが補正される。ここで、2次元方向歪み補正とは、画像121内において鉛直方向に伸びる線と水平方向に伸びる線との歪みが低減されるように、鉛直方向及び水平方向に引き延ばす補正のことをいう。この場合、2枚の扉200A,200Bの各々における上側の境界線201及び左側又は右側の境界線202の歪みが低減され、かつインターホン子機2の筐体20の写り込みがなくなる。ただし、この場合には、画像121の左側に位置する来訪者100Bについて、水平方向の歪みは低減されるが、鉛直方向の歪み補正によって鉛直方向に引き延ばされてしまう。その結果、来訪者100Bと来訪者100Bの後方に位置する自動ドア200との遠近感が誇張されるため、不自然な画像になる。
上述のように、画像121の全体に対して水平方向のみに歪み補正を行ったり、水平方向及び鉛直方向に歪み補正(2次元方向歪み補正)を行った場合には、インターホン子機2の筐体20の一部が画像121内に写り込んだり、不自然な画像になってしまう。すなわち、画像121の全体に対して同じ歪み補正を行った場合には、画像歪みの低減と視覚的な違和感の低減とを両立することができない可能性がある。
そこで、本実施形態の画像補正部23は、図5A及び図5Bに示すように、画像121を複数(図示例では2つ)の領域(第1領域1211及び第2領域1212)に分割し、複数の領域の各々に対して互いに異なる歪み補正を行うように構成されている。以下、本実施形態の画像補正部23の歪み補正処理について、図5A及び図5Bを参照して具体的に説明する。
図5Aは、上述の図3A及び図4Aと同様に、撮像部21によって撮像された画像121の概略図である。本実施形態の画像補正部23は、図5Aに示すように、画像121の上下方向における中心線L1により画像121の領域を上下方向に2分割(2等分)している。中心線L1よりも上側(一方)の領域は第1領域1211であり、中心線L1よりも下側(他方)の領域は第2領域1212である。本実施形態では、中心線L1は、撮像部21の撮像素子211の中心軸P2(図2参照)と交わるように設定されている。
画像補正部23は、図5Aに示すように、記憶部26に予め記録された第1歪み補正パターン、第2歪み補正パターン及び第3歪み補正パターンの中から、第1歪み補正パターンを選択し、第1領域1211に対して歪み補正を行う。すなわち、画像補正部23は、第1領域1211に対しては、水平方向(画像121の左右方向)の歪みを補正する第1歪み補正を行う。これにより、第1領域1211では、画像121の左側に位置する来訪者100Bの歪みが低減され、かつ2枚の扉200A,200Bの各々の左側又は右側の境界線202の歪みが低減される(図5B参照)。一方、2枚の扉200A,200Bの上側の境界線201については歪みが残っている。
画像補正部23は、第2領域1212に対しては第2歪み補正パターンを選択する。すなわち、画像補正部23は、第2領域1212に対しては、水平方向及び鉛直方向(画像121の上下方向)の歪みを補正する第2歪み補正を行う。これにより、第2領域1212では、来訪者100Bの歪みが低減され、かつ2枚の扉200A,200Bの各々の左側又は右側の境界線202の歪みが低減される。さらに、第2領域1212については、鉛直方向の歪みも補正することで筐体20の写り込みもなくなる(図5B参照)。
上述のように、画像121の領域を第1領域1211及び第2領域1212に分割し、第1領域1211に対して第1歪み補正を行い、第2領域1212に対して第2歪み補正を行うことにより、画像歪みの低減と視覚的な違和感の低減とを両立することができる。
ところで、上述の実施形態では、画像補正部23は、画像121の領域を2つの領域(第1領域1211及び第2領域1212)に分割したが、画像121の分割数は2つに限らない。本実施形態のインターホン子機2は、上述のように、地面と平行な水平面に対して傾斜して取り付けられるため、取付面31の傾斜角度θ2に応じて、画像121における来訪者100A,100B及び自動ドア200の位置が変化する。そのため、画像補正部23は、取付面31の傾斜角度θ2に応じて画像121の分割数を変更するように構成されていることが好ましい。なお、取付面31の傾斜角度θ2は、上述の操作部25を介して入力することができる。以下、本実施形態の変形例1について図6A〜図6Cを参照して具体的に説明する。
画像補正部23は、図6Aに示すように、取付面31の傾斜角度θ2に応じて複数(図示例では4つ)の領域(第1領域1211、第2領域1212、第3領域1213及び第4領域1214)に分割し、複数の領域の各々に対して互いに異なる歪み補正を行う。なお、図6A中のPL1、PL2、PL3は分割線である。
例えば、取付面31の傾斜角度θ2が30度の場合、画像補正部23は、図6Bに示すように、2つの分割線PL1、PL2によって画像121を第1領域1211、第2領域1212及び第3領域1213に分割する。この場合、画像補正部23は、来訪者100の顔が含まれていると想定される第1領域1211に対しては、水平方向(画像121の左右方向)の歪みを補正する第1歪み補正を行う。また、画像補正部23は、第1領域1211と第3領域1213との間の第2領域1212に対しては、水平方向及び鉛直方向(画像121の上下方向)の歪みを補正する第2歪み補正(2次元方向歪み補正)を行う。さらに、画像補正部23は、インターホン子機2の筐体20の写り込みが生じている第3領域1213に対しては、水平方向及び鉛直方向の歪みを補正する第3歪み補正を行う。このとき、画像補正部23は、第3歪み補正において、筐体20が第3領域1213に写り込まないように、第2歪み補正に比べて鉛直方向の補正強度を強くすることが好ましい。
また、取付面31の傾斜角度θ2が45度の場合には、画像補正部23は、図6Cに示すように、1つの分割線PL1によって画像121を第1領域1211及び第2領域1212に分割する。この場合、画像補正部23は、来訪者100の顔が含まれていると想定される第1領域1211に対しては、水平方向の歪みを補正する第1歪み補正を行う。また、画像補正部23は、インターホン子機2の筐体20の写り込みが生じている第2領域1212に対しては、水平方向及び鉛直方向の歪みを補正する第2歪み補正を行う。ここで、取付面31の傾斜角度が大きくなるに従って筐体20の写り込み量は小さくなるため、画像補正部23は、取付面31の傾斜角度θ2が30度の場合に比べて鉛直方向の補正強度を弱くすることが好ましい。
上述のように、取付面31の傾斜角度θ2に応じて画像121の分割数(複数の領域の分割数)を変更することにより、取付面31の傾斜角度θ2に応じた歪み補正を行うことができる。
ところで、上述の変形例1では、インターホン子機2が取り付けられる取付面31の傾斜角度θ2に応じて画像121の分割数を変更したが、例えば撮像素子211に対するレンズ212の傾斜角度α1に応じて画像121の分割数を変更してもよい。以下、本実施形態の変形例2について図6B、図6C及び図7を参照して具体的に説明する。
図7は、本実施形態の変形例2に係るインターホン子機2の設置例を示す概略図である。インターホン子機2は、上述のように、撮像素子211に対してレンズ212が傾斜可能に構成されている。撮像素子211の中心軸P2(図2参照)とレンズ212の中心軸とが一致する場合、撮像部21の光軸P1はP11となる。撮像素子211に対するレンズ212の傾斜角度α1をα11とした場合、撮像部21の光軸P1はP12となる。また、撮像素子211に対するレンズ212の傾斜角度α1をα12(α12>α11)とした場合、撮像部21の光軸P1はP13となる。
例えば、レンズ212の傾斜角度α1がα11の場合には、画像補正部23は、図6Cに示すように、1つの分割線PL1によって画像121を第1領域1211及び第2領域1212に分割する。この場合、画像補正部23は、来訪者100の顔が含まれていると想定される第1領域1211に対しては、水平方向の歪みを補正する第1歪み補正を行う。また、画像補正部23は、インターホン子機2の筐体20の写り込みが生じている第2領域1212に対しては、水平方向及び鉛直方向の歪みを補正する第2歪み補正を行う。
また、レンズ212の傾斜角度α1がα12(α12>α11)の場合には、画像補正部23は、図6Bに示すように、2つの分割線PL1、PL2によって第1領域1211、第2領域1212及び第3領域1213に分割する。この場合、画像補正部23は、来訪者100の顔が含まれていると想定される第1領域1211に対しては、水平方向の歪みを補正する第1歪み補正を行う。また、画像補正部23は、第1領域1211と第3領域1213との間の第2領域1212に対しては、水平方向及び鉛直方向の歪みを補正する第2歪み補正(2次元方向歪み補正)を行う。さらに、画像補正部23は、インターホン子機2の筐体20の写り込みが生じている第3領域1213に対しては、水平方向及び鉛直方向の歪みを補正する第3歪み補正を行う。このとき、画像補正部23は、第3歪み補正において、筐体20が第3領域1213に写り込まないように、第2歪み補正に比べて鉛直方向の補正強度を強くすることが好ましい。
上述のように、撮像素子211に対するレンズ212の傾斜角度α1に応じて画像121の分割数(複数の領域の分割数)を変更することにより、レンズ212の傾斜角度α1に応じた歪み補正を行うことができる。
ところで、上述の実施形態及び変形例1,2のように、画像補正部23がDSP又はFPGAを主構成とする場合、プログラムによって、画像補正部23の機能を実現可能である。すなわち、本実施形態に係るプログラムは、コンピュータを、インターホンシステム10における画像補正部23として機能させるためのプログラムである。このプログラムによれば、コンピュータを画像補正部23として機能させることで、画像121の画像歪みを低減し、かつ視覚的な違和感を低減することができる。
以下、本実施形態の他の変形例について説明する。
上述の実施形態及び変形例1,2では、インターホン子機2がロビーインターホンである場合を例として説明したが、インターホン子機2は、例えば集合住宅の住戸ごとに設置されるドアホン子機等であってもよい。また、インターホン親機1は、集合住宅の住戸内に設置される室内親機に限らず、例えば集合住宅の管理人室等に設置される管理室親機であってもよい。
また、上述の実施形態及び変形例1,2では、インターホンシステム10を集合住宅に適用した場合を例として説明したが、インターホンシステム10の適用対象は集合住宅に限らず、戸建て住宅であってもよい。この場合、インターホン親機1は、住宅内に設置される室内親機であり、インターホン子機2は、住宅の外玄関に設置されるドアホン子機である。また、インターホンシステム10の適用対象は住宅に限らず、ビル又は工場等の非住宅であってもよい。
また、上述の実施形態及び変形例1,2では、画像121の全体を歪み補正の対象としているが、歪み補正の対象は画像121の一部であってもよい。この場合、画像補正部23は、歪み補正の対象である画像121の一部を複数の領域に分割し、複数の領域の各々に対して互いに異なる歪み補正を行うように構成されていればよい。
さらに、上述の実施形態及び変形例1,2では、画像121を2分割する際に中心線L1によって2等分したが、中心線L1とは異なる分割線によって2分割してもよい。すなわち、上記分割線よりも上側の領域である第1領域と、上記分割線よりも下側の領域である第2領域とが異なる大きさであってもよい。また、画像121を3つ以上に分割した場合も同様であり、各領域を均等に分割してもよいし、均等に分割していなくてもよい。
また、上述の実施形態及び変形例1,2では、画像121において中心線L1よりも上側の領域が第1領域1211であり、下側の領域が第2領域1212であるが、第1領域1211と第2領域1212とが逆であってもよい。すなわち、画像121において中心線L1よりも上側の領域が第2領域1212であり、下側の領域が第1領域1211であってもよい。この構成によれば、例えば撮像部21の光軸P1が上向きに設定されており、筐体20の上側の一部が画像121に写り込むような場合に、筐体20が画像121に写り込まないようにすることができる。
さらに、上述の変形例1,2では、施工時において施工者が取付面31の傾斜角度θ2及びレンズ212の傾斜角度α1を入力するように構成した。これに対して、例えばレンズ212を自動的に傾斜させる機能によって、レンズ212の傾斜角度α1が自動的に入力されるように構成されていてもよい。また、インターホン子機2を取付台3に取り付けた際に取付面31の傾斜角度θ2を自動的に計測するように構成されていてもよい。
また、上述の実施形態及び変形例1,2では、インターホン親機1及びインターホン子機2を備えたインターホンシステム10を例として説明したが、例えば防犯カメラ又は車載カメラ等に上記構成を適用してもよい。
さらに、上述の実施形態及び変形例1,2では、インターホン子機2が画像補正部23を有している場合を例として説明したが、インターホン親機1が画像補正部を有していてもよい。
また、上述の実施形態及び変形例1,2では、インターホン親機1が表示部12を有している場合を例として説明した。これに対して、インターホン親機1とともに住戸内に設置される室内子機が表示部を有していてもよいし、スマートフォンやタブレット端末などの汎用の携帯情報端末(PDA:Personal Digital Assistant)が表示部を有していてもよい。
また、上述の実施形態及び変形例1,2では、撮像素子211に対してレンズ212が傾斜可能に構成されている場合を例として説明したが、撮像素子211及びレンズ212が一体に回転可能に構成されていてもよい。この場合、画像補正部23は、歪み補正処理において、撮像素子211及びレンズ212の傾斜角度に応じて、複数の領域の分割数を変更するように構成されていることが好ましい。また、画像補正部23は、歪み補正処理において、複数の領域の各々に対して行う歪み補正を、撮像素子211及びレンズ212の傾斜角度に応じて、第1歪み補正と第2歪み補正と第3歪み補正との中から選択して行うように構成されていてもよい。第1歪み補正は、画像の左右方向の歪みを補正する補正である。第2歪み補正は、画像の左右方向及び上下方向の歪みを補正する補正である。第3歪み補正は、第2歪み補正とは異なる補正強度で画像の左右方向及び上下方向の歪みを補正する補正である。
以上述べた実施形態から明らかなように、第1の態様のインターホンシステム(10)は、インターホン親機(1)及びインターホン子機(2)が互いに通信可能に構成されたインターホンシステムである。インターホンシステム(10)は、インターホン子機(2)の撮像部(21)で撮像した画像の歪みを補正する歪み補正処理を行う画像補正部(23)を備える。画像補正部(23)は、歪み補正処理において、画像における歪み補正の対象となる領域を複数の領域に分割し、複数の領域の各々に対して互いに異なる歪み補正を行うように構成されている。
第1の態様によれば、画像補正部(23)は、歪み補正の対象となる領域を複数の領域に分割し、複数の領域の各々に対して互いに異なる歪み補正を行うので、画像全体に同じ歪み補正を行う場合に比べて画像歪みを低減し、かつ視覚的な違和感を低減することができる。
第2の態様に係るインターホンシステム(10)は、第1の態様において、画像補正部(23)により得られる補正後の画像、又は補正後の画像の画像信号に基づく画像を表示する表示部(12)を備える。
第2の態様によれば、画像補正部(23)により補正した後の画像を表示部(12)に表示することができる。
第3の態様のインターホンシステム(10)では、第1又は2の態様において、画像補正部(23)は、複数の領域として、第1領域(1211)と第2領域(1212)とに分割するように構成されている。第1領域(1211)は、画像(121)を上下方向において2分割した一方の領域からなる。第2領域(1212)は、画像(121)を上下方向において2分割した他方の領域からなる。
第3の態様によれば、第1領域(1211)及び第2領域(1212)に対して互いに異なる歪み補正を行うことにより、画像の分割数を少なくしながらも、画像歪みを低減し、かつ視覚的な違和感を低減することができる。ただし、この構成はインターホンシステム(10)の必須の構成ではなく、例えば複数の領域として、3つ以上の領域に分割されていてもよい。
第4の態様のインターホンシステム(10)では、第3の態様において、第1領域(1211)と第2領域(1212)とは、画像(121)の上下方向における中心線(L1)により2等分された2つの領域である。
第4の態様によれば、中心線(L1)によって2つの領域に2等分しているので、人物(来訪者)を撮像した場合には、一方の領域に来訪者の顔を含めることができる。そして、顔を含む一方の領域に対しては水平方向(画像(121)の左右方向)のみに歪み補正を行うことにより、来訪者の顔が不自然に変形することを低減することができる。ただし、この構成を採用するか否かは任意である。
第5の態様のインターホンシステム(10)では、第3又は4の態様において、画像補正部(23)は、歪み補正処理において、第1歪み補正を第1領域(1211)に行い、第2歪み補正を第2領域(1212)に行うように構成されている。第1歪み補正では、画像(121)の左右方向の歪みを補正する。第2歪み補正では、画像(121)の左右方向及び上下方向の歪みを補正する。
第5の態様によれば、画像全体に第1歪み補正を行う場合に比べて筐体(20)の写り込みを低減することができ、画像全体に第2歪み補正を行う場合に比べて人物(来訪者)の顔が不自然に変形することを低減することができる。つまり、第4の態様によれば、画像全体に同じ歪み補正を行う場合に比べて、画像歪みを低減し、かつ視覚的な違和感を低減することができる。ただし、この構成を採用するか否かは任意である。
第6の態様のインターホンシステム(10)では、第1又は2の態様において、撮像部(21)は、撮像素子(211)に対して傾斜可能なレンズ(212)を更に含む。画像補正部(23)は、歪み補正処理において、レンズ(212)の傾斜角度(α1)に応じて、複数の領域の分割数を変更するように構成されている。
第6の態様によれば、レンズ(212)の傾斜角度(α1)に応じた歪み補正処理を行うことができる。ただし、この構成はインターホンシステム(10)の必須の構成ではなく、例えばレンズ(212)の傾斜角度(α1)にかかわらず、複数の領域の分割数が一定であってもよい。
第7の態様のインターホンシステム(10)では、第6の態様において、画像補正部(23)は、歪み補正処理において、複数の領域の各々に対して行う歪み補正を、レンズ(212)の傾斜角度(α1)に応じて、第1歪み補正と第2歪み補正と第3歪み補正との中から選択する。第1歪み補正では、画像(121)の左右方向の歪みを補正する。第2歪み補正では、画像(121)の左右方向及び上下方向の歪みを補正する。第3歪み補正では、第2歪み補正とは異なる補正強度で画像(121)の左右方向及び上下方向の歪みを補正する。
第7の態様によれば、複数の領域の各々に対して行う歪み補正を、レンズ(212)の傾斜角度(α1)に応じて、第1歪み補正と第2歪み補正と第3歪み補正との中から選択することができる。ただし、この構成を採用するか否かは任意である。
第8の態様のインターホンシステム(10)では、第1、2、6又は7の態様において、インターホン子機(2)は、撮像部(21)及び送信部(221)が収納される筐体(20)を更に有する。筐体(20)は、取付面(31)が傾斜している取付台(3)の取付面(31)に、撮像素子(211)の中心軸(P2)が取付面(31)の法線方向と平行になるように取り付けられる。画像補正部(23)は、歪み補正処理において、取付面(31)の傾斜角度(θ2)に応じて、複数の領域の分割数を変更するように構成されている。
第8の態様によれば、取付面(31)の傾斜角度(θ2)に応じた歪み補正処理を行うことができる。ただし、この構成はインターホンシステム(10)の必須の構成ではなく、例えば取付面(31)の傾斜角度(θ2)にかかわらず、複数の領域の分割数が一定であってもよい。
第9の態様のインターホンシステム(10)では、第8の態様において、画像補正部(23)は、歪み補正処理において、複数の領域の各々に対して行う歪み補正を、取付面(31)の傾斜角度(θ2)に応じて、第1歪み補正と第2歪み補正と第3歪み補正との中から選択する。第1歪み補正では、画像(121)の左右方向の歪みを補正する。第2歪み補正では、画像(121)の左右方向及び上下方向の歪みを補正する。第3歪み補正では、第2歪み補正とは異なる補正強度で画像(121)の左右方向及び上下方向の歪みを補正する。
第9の態様によれば、複数の領域の各々に対して行う歪み補正を、取付面(31)の傾斜角度(θ2)に応じて、第1歪み補正と、第2歪み補正と、第3歪み補正と、の中から選択することができる。ただし、この構成を採用するか否かは任意である。
第10の態様のインターホン親機(1)は、第1〜9のいずれかの態様のインターホンシステム(10)に用いられる。
第10の態様によれば、インターホン親機(1)を用いることによって、画像歪みを低減し、かつ視覚的な違和感を低減することができるインターホンシステム(10)を提供することができる。
第11の態様のインターホン子機(2)は、第1〜9のいずれかの態様のインターホンシステム(10)に用いられる。
第11の態様によれば、インターホン子機(2)を用いることによって、画像歪みを低減し、かつ視覚的な違和感を低減することができるインターホンシステム(10)を提供することができる。
第12の態様のプログラムは、コンピュータを、第1〜9のいずれかの態様のインターホンシステム(10)における画像補正部(23)として機能させる。
第12の態様によれば、コンピュータを画像補正部(23)として機能させることで、画像歪みを低減し、かつ視覚的な違和感を低減することができる。
1 インターホン親機
2 インターホン子機
3 取付台
10 インターホンシステム
12 表示部
21 撮像部
23 画像補正部
31 取付面
111 受信部
121 画像
211 撮像素子
212 レンズ
221 送信部
1211 第1領域
1212 第2領域
α1 傾斜角度
θ2 傾斜角度
L1 中心線
P2 中心軸

Claims (12)

  1. インターホン親機及びインターホン子機が互いに通信可能に構成されたインターホンシステムにおいて、
    地面と平行な水平面に対して傾斜した取付面に取り付けられる前記インターホン子機の撮像部で撮像した画像の歪みを補正する歪み補正処理を行う画像補正部を備え、
    前記画像補正部は、前記歪み補正処理において、前記画像における歪み補正の対象となる領域を少なくとも前記画像の上下方向で複数の領域に分割し、前記複数の領域のうち上下方向で分割された2以上の領域に対して上下方向の補正強度が異なる歪み補正を行うように構成されている
    ことを特徴とするインターホンシステム。
  2. 前記画像補正部により得られる補正後の画像、又は前記補正後の画像の画像信号に基づく画像を表示する表示部を備える
    ことを特徴とする請求項1に記載のインターホンシステム。
  3. 前記画像補正部は、前記複数の領域として、前記画像を上下方向において2分割した一方の領域からなる第1領域と、他方の領域からなる第2領域と、に分割するように構成されている
    ことを特徴とする請求項1又は2に記載のインターホンシステム。
  4. 前記第1領域と前記第2領域とは、前記画像の上下方向における中心線により2等分された2つの領域である
    ことを特徴とする請求項3に記載のインターホンシステム。
  5. 前記画像補正部は、前記歪み補正処理において、前記画像の左右方向の歪みを補正する第1歪み補正を前記第1領域に行い、前記画像の左右方向及び上下方向の歪みを補正する第2歪み補正を前記第2領域に行うように構成されている
    ことを特徴とする請求項3又は4に記載のインターホンシステム。
  6. 前記撮像部は、撮像素子に対して傾斜可能なレンズを更に含み、
    前記画像補正部は、前記歪み補正処理において、前記レンズの傾斜角度に応じて、前記複数の領域の分割数を変更するように構成されている
    ことを特徴とする請求項1又は2に記載のインターホンシステム。
  7. 前記画像補正部は、前記歪み補正処理において、前記複数の領域の各々に対して行う歪み補正を、前記レンズの傾斜角度に応じて、前記画像の左右方向の歪みを補正する第1歪み補正と、前記画像の左右方向及び上下方向の歪みを補正する第2歪み補正と、前記第2歪み補正とは異なる補正強度で前記画像の左右方向及び上下方向の歪みを補正する第3歪み補正と、の中から選択して行うように構成されている
    ことを特徴とする請求項6に記載のインターホンシステム。
  8. 前記インターホン子機は、前記撮像部が収納される筐体を更に有し、
    前記筐体は、取付面が傾斜している取付台の前記取付面に、前記撮像部の撮像素子の中心軸が前記取付面の法線方向と平行になるように取り付けられ、
    前記画像補正部は、前記歪み補正処理において、前記取付面の傾斜角度に応じて、前記複数の領域の分割数を変更するように構成されている
    ことを特徴とする請求項1、2、6又は7に記載のインターホンシステム。
  9. 前記画像補正部は、前記歪み補正処理において、前記複数の領域の各々に対して行う歪み補正を、前記取付面の傾斜角度に応じて、前記画像の左右方向の歪みを補正する第1歪み補正と、前記画像の左右方向及び上下方向の歪みを補正する第2歪み補正と、前記第2歪み補正とは異なる補正強度で前記画像の左右方向及び上下方向の歪みを補正する第3歪み補正と、の中から選択して行うように構成されている
    ことを特徴とする請求項8に記載のインターホンシステム。
  10. 請求項1〜9のいずれか1項に記載のインターホンシステムに用いられる
    ことを特徴とするインターホン親機。
  11. 請求項1〜9のいずれか1項に記載のインターホンシステムに用いられる
    ことを特徴とするインターホン子機。
  12. コンピュータを、
    請求項1〜9のいずれか1項に記載のインターホンシステムにおける前記画像補正部として機能させるためのプログラム。
JP2018546384A 2016-10-21 2017-10-18 インターホンシステム、インターホン親機、インターホン子機、及びプログラム Active JP6778907B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016207289 2016-10-21
JP2016207289 2016-10-21
PCT/JP2017/037718 WO2018074520A1 (ja) 2016-10-21 2017-10-18 インターホンシステム、インターホン親機、インターホン子機、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018074520A1 JPWO2018074520A1 (ja) 2019-08-29
JP6778907B2 true JP6778907B2 (ja) 2020-11-04

Family

ID=62019173

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018546384A Active JP6778907B2 (ja) 2016-10-21 2017-10-18 インターホンシステム、インターホン親機、インターホン子機、及びプログラム

Country Status (3)

Country Link
JP (1) JP6778907B2 (ja)
TW (1) TWI668988B (ja)
WO (1) WO2018074520A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7122629B2 (ja) * 2018-10-15 2022-08-22 パナソニックIpマネジメント株式会社 画像処理システム、インターホンシステム、画像処理方法及びプログラム
JP7423973B2 (ja) * 2019-10-18 2024-01-30 株式会社富士通ゼネラル 画像処理装置
CN111008947B (zh) * 2019-12-09 2024-05-07 Oppo广东移动通信有限公司 图像处理方法和装置、终端设备及存储介质
KR20220049354A (ko) * 2020-10-14 2022-04-21 삼성전자주식회사 이미지의 왜곡을 보정하는 방법 및 그 전자 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3084866B2 (ja) * 1991-12-24 2000-09-04 松下電工株式会社 レンズ歪み補正方式
JP5107671B2 (ja) * 2007-10-31 2012-12-26 アイホン株式会社 インターホン装置
JP5841861B2 (ja) * 2012-02-28 2016-01-13 アイホン株式会社 テレビドアホンシステムの玄関子機
JP5997014B2 (ja) * 2012-11-13 2016-09-21 アイホン株式会社 外部照明光の写り込み防止機能を備えたカメラ付きインターホン装置
JP6094224B2 (ja) * 2013-01-08 2017-03-15 株式会社リコー 画像処理装置

Also Published As

Publication number Publication date
WO2018074520A1 (ja) 2018-04-26
TW201817214A (zh) 2018-05-01
TWI668988B (zh) 2019-08-11
JPWO2018074520A1 (ja) 2019-08-29

Similar Documents

Publication Publication Date Title
JP6778907B2 (ja) インターホンシステム、インターホン親機、インターホン子機、及びプログラム
KR102385360B1 (ko) 이미지 보정을 수행하는 전자 장치 및 그 동작 방법
US10805602B2 (en) Method and apparatus for calibrating an audio playback system
CN107219710B (zh) 多镜头***及具有该多镜头***的便携式电子装置
JP2020198516A (ja) 撮像装置、画像処理方法、プログラム
CN114846608A (zh) 包括图像传感器的电子设备及其操作方法
JP2021117924A (ja) 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム
TW201842764A (zh) 對講機系統、對講機子機、及程式
JP6409301B2 (ja) 電子機器
JP6563694B2 (ja) 画像処理装置、画像処理システム、画像合成装置、画像処理方法及びプログラム
JP2020177530A (ja) 画像処理システム、画像処理方法、及びプログラム
TWI752465B (zh) 圖像處理系統、圖像處理方法及程式
JP6883763B2 (ja) インターホン装置及びインターホンシステム
JP7390634B2 (ja) ロビーインターホン、インターホンシステム、画像情報出力方法及びプログラム
KR101454601B1 (ko) 디지털 틸트 비디오폰
KR101193129B1 (ko) 다자 동시 제어를 허용하는 실시간 원격 360도 전방향 영상 감시 시스템
JP6602686B2 (ja) インターホンシステム
JP2018082221A (ja) インターホンシステム
JP2004120236A (ja) ドアホンシステム
JP2004159061A (ja) 撮像機能付き画像表示装置
TWI754255B (zh) 影像處理系統、影像處理方法及程式
JP7122629B2 (ja) 画像処理システム、インターホンシステム、画像処理方法及びプログラム
JP7451888B2 (ja) 撮像装置、撮像システム、方法およびプログラム
CN111953844B (zh) 电子装置
JP2008113174A (ja) テレビドアホン装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190320

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200925

R151 Written notification of patent or utility model registration

Ref document number: 6778907

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151