JP7137312B2 - doorbell - Google Patents

doorbell Download PDF

Info

Publication number
JP7137312B2
JP7137312B2 JP2018025236A JP2018025236A JP7137312B2 JP 7137312 B2 JP7137312 B2 JP 7137312B2 JP 2018025236 A JP2018025236 A JP 2018025236A JP 2018025236 A JP2018025236 A JP 2018025236A JP 7137312 B2 JP7137312 B2 JP 7137312B2
Authority
JP
Japan
Prior art keywords
visitor
unit
voice
data
doorbell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018025236A
Other languages
Japanese (ja)
Other versions
JP2019140653A (en
Inventor
誠也 山川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aiphone Co Ltd
Original Assignee
Aiphone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aiphone Co Ltd filed Critical Aiphone Co Ltd
Priority to JP2018025236A priority Critical patent/JP7137312B2/en
Priority to CN201880089556.9A priority patent/CN111713092A/en
Priority to PCT/JP2018/014769 priority patent/WO2019159384A1/en
Priority to ES18906295T priority patent/ES2906206T3/en
Priority to EP18906295.3A priority patent/EP3734952B1/en
Priority to US16/965,293 priority patent/US11510256B2/en
Publication of JP2019140653A publication Critical patent/JP2019140653A/en
Application granted granted Critical
Publication of JP7137312B2 publication Critical patent/JP7137312B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Interconnected Communication Systems, Intercoms, And Interphones (AREA)

Description

本発明は、ドアベルに関する。 The present invention relates to doorbells.

遠隔配置されるコンピューティング・デバイスと無線通信できるドアベルを用いて、第１の無線ネットワークを検出し、その後、ドアベルと遠隔配置されるコンピューティング・デバイスとの間における第２の無線ネットワークを作ることにより、第２の無線ネットワークを介して、ドアベルとコンピューティング・デバイスが直接通信できるようにする方法が知られている（特許文献１参照）。 Using a doorbell capable of wireless communication with a remotely located computing device to detect a first wireless network, and then creating a second wireless network between the doorbell and the remotely located computing device. has known a method for enabling direct communication between a doorbell and a computing device via a second wireless network (see Patent Document 1).

米国特許第９０９４５８４号明細書U.S. Pat. No. 9,094,584 米国特許第８８７２９１５号明細書U.S. Pat. No. 8,872,915 米国特許第９２３７３１８号明細書U.S. Pat. No. 9,237,318 米国特許第８１４４１８３号明細書U.S. Pat. No. 8,144,183 米国特許第９４３２６３８号明細書U.S. Pat. No. 9,432,638 米国特許第９４８５４７８号明細書U.S. Pat. No. 9,485,478 米国特許第９５１６２８４号明細書U.S. Pat. No. 9,516,284

このようなドアベルにおいては、呼び出し機能が作動する度に、その呼び出し全てが居住者に通知される。とりわけ、特許文献１のように、ドアベルとコンピューティング・デバイスが直接通信できるようになると、居住者は必要以上に呼出通知を受けることになり、煩わしさに耐えない。 In such doorbells, the occupant is notified of all calls each time the call function is activated. In particular, if a doorbell and a computing device can directly communicate with each other as in Patent Document 1, residents will receive more call notifications than necessary, which is an annoyance.

本発明は、不要な呼出通知を制限することが可能なドアベルを提供することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to provide a doorbell capable of limiting unnecessary call notifications.

本発明の一態様に係るドアベルは、
来訪者を撮像するカメラと、
前記来訪者が居住者を呼び出すために押下される呼出ボタンと、
前記来訪者の接近を検知するための人感センサと、
前記来訪者の声を認識するための音声認識部と、
照合を行うためのデータを登録するための記憶部と、
前記居住者の端末への呼出通知が可能な人工知能部と、を備え、
前記人工知能部は、来訪者により前記呼出ボタンが押下されたとき、又は前記人感センサにより前記来訪者が検出されたとき、前記カメラにより撮像された画像、又は前記音声認識部により認識した前記来訪者の声を、前記記憶部に登録された前記データと照合するように構成され、
前記データと前記画像又は前記声が対応付けられた場合に、前記居住者の端末に呼出を通知するように構成されている。 A doorbell according to an aspect of the present invention comprises
a camera that captures a visitor;
a call button that the visitor presses to call the resident;
a human sensor for detecting the approach of the visitor;
a speech recognition unit for recognizing the visitor's voice;
a storage unit for registering data for performing verification;
and an artificial intelligence unit capable of calling notification to the terminal of the resident,
The artificial intelligence unit, when the call button is pressed by the visitor or when the visitor is detected by the human sensor, the artificial intelligence unit recognizes the image captured by the camera or the voice recognition unit. configured to match the visitor's voice with the data registered in the storage unit;
It is configured to notify the terminal of the resident of a call when the data and the image or the voice are associated with each other.

上記構成によれば、人工知能は、記憶部に予め登録されたデータに基づいて照合を行い、一致度が所定の閾値以上であった場合に限り、居住者の端末に呼出通知をする。このため、不要な呼び出しは移住者に通知されずに済む。
このように、上記構成によれば、不要な呼出通知を制限することが可能なドアベルを提供することができる。 According to the above configuration, the artificial intelligence performs collation based on data registered in advance in the storage unit, and only when the degree of matching is equal to or higher than a predetermined threshold, notifies the terminal of the resident of the call. Therefore, unnecessary calls go unnoticed to migrants.
Thus, according to the above configuration, it is possible to provide a doorbell capable of limiting unnecessary call notifications.

また、本発明の一態様に係るドアベルにおいて、
前記人工知能部は、前記音声認識部が認識した前記声に対する適切な応答を行うためのデータを生成可能である。 Further, in the doorbell according to one aspect of the present invention,
The artificial intelligence unit can generate data for making an appropriate response to the voice recognized by the speech recognition unit.

上記構成によれば、居住者は不在中に来訪者が訪ねてきても、ドアベル２が、来訪者が応答すべき人物か否かを判断した上で、来訪者に対し、適切な応対を行ってくれる。
このように、上記構成によれば、適切な不在対応が可能なドアベルを提供することができる。 According to the above configuration, even if a visitor visits the resident while the resident is away, the doorbell 2 judges whether the visitor is a person who should respond and responds appropriately to the visitor. give me
Thus, according to the above configuration, it is possible to provide a doorbell capable of appropriately responding to absence.

また、本発明の一態様に係るドアベルにおいて、
前記人工知能部は、前記カメラにより撮像された画像、又は前記音声認識部により認識した前記来訪者の声を、前記記憶部に登録されたデータと照合した結果、前記データと前記画像又は前記声が対応付けられない場合、前記画像又は前記声と併せて対応付けができなかった旨を前記居住者の端末に通知するように構成されている。 Further, in the doorbell according to one aspect of the present invention,
The artificial intelligence unit compares the image captured by the camera or the voice of the visitor recognized by the speech recognition unit with the data registered in the storage unit, and as a result, the data is combined with the image or the voice. is not associated, it is configured to notify the terminal of the resident that the association was not possible together with the image or the voice.

上記構成によれば、人工知能が、カメラにより撮像された画像又は音声認識部により認識した来訪者の声を、記憶部に登録されたデータと照合した結果、一致度が所定の閾値未満であった場合には、来訪者を撮像した画像又は来訪者の音声データと併せて一致度が所定の閾値未満であった旨を端末に通知する。このため、呼出通知がされない場合であっても、居住者は来訪者を確認すること、及び当該来訪者が知人ではない可能性が高い人物であることを知ることができる。
このように、上記構成によれば、不要な呼出通知を制限しつつも、全ての来訪者を居住者が確認することができるドアベルを提供することができる。 According to the above configuration, the artificial intelligence compares the image captured by the camera or the voice of the visitor recognized by the voice recognition unit with the data registered in the storage unit, and the degree of matching is less than the predetermined threshold. In this case, the terminal is notified that the degree of matching is less than a predetermined threshold together with an image of the visitor or voice data of the visitor. Therefore, even if the call notification is not sent, the resident can confirm the visitor and know that the visitor is likely not an acquaintance.
Thus, according to the above configuration, it is possible to provide a doorbell that allows residents to check all visitors while limiting unnecessary call notifications.

また、本発明の一態様に係るドアベルにおいて、
前記ドアベルは、Ｗi-Ｆiルータを介してネットワークと接続可能であり、前記ネットワークを介して、前記居住者に関連付られた移動通信端末と通信可能であり、前記移動通信端末へ前記呼出を通知する。 Further, in the doorbell according to one aspect of the present invention,
The doorbell is connectable to a network via a Wi-Fi router, is communicable via the network with a mobile communication terminal associated with the resident, and notifies the mobile communication terminal of the call. do.

上記構成によれば、例えば、居住者が遠隔地にいる場合であっても、呼出通知を確認することができる。
このように、上記構成によれば、遠隔地にいても必要な呼出通知を確認することが可能なドアベルを提供することができる。 According to the above configuration, for example, even when the resident is in a remote location, the call notification can be confirmed.
As described above, according to the above configuration, it is possible to provide a doorbell that allows a user to confirm a necessary call notification even at a remote location.

本発明によれば、不要な呼出通知を制限することが可能なドアベルを提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the doorbell which can restrict|limit unnecessary call notification can be provided.

本発明の一形態に係るシステム模式図である。It is a system schematic diagram concerning one form of this invention. 本発明の一形態に係るドアベルの機能ブロック図である。1 is a functional block diagram of a doorbell according to one embodiment of the present invention; FIG. 来訪者が来てから居住者の端末に呼出通知がなされるまでの流れを示すフロー図である。FIG. 4 is a flow chart showing the flow from arrival of a visitor to notification of a call to a terminal of a resident. （ａ）は、呼出通知を受信した居住者の端末の表示画面を示す図である。（ｂ）は、対応付けができなかった場合の通知を受信した居住者の端末の表示画面を示す図である。(a) is a figure which shows the display screen of the resident's terminal which received the notification of a call. (b) is a diagram showing the display screen of the terminal of the resident who received the notification when the association could not be made.

以下、本発明の実施形態について図面を参照しながら説明する。
図１は、本発明に係るドアベルシステム１を示している。図１に示すように、ドアベルシステム１は、ドアベル２（Ｗｉ－Ｆｉドアベル２とも呼ぶ。）と、サーバ３と、移動通信端末４（端末４とも呼ぶ。）と、を有している。ドアベル２と移動通信端末４は、ネットワーク５を介して、サーバ３と通信可能である。ドアベル２及び移動通信端末４とネットワーク５を中継する通信機器としては、例えば、ルータ２０（Ｗｉ－Ｆｉルータ２０とも呼ぶ。）が用いられ得る。また、移動通信端末４としては、例えば、ノートＰＣ、タブレット端末、スマートフォン等の電子機器が利用され得る。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 shows a doorbell system 1 according to the invention. As shown in FIG. 1, the doorbell system 1 has a doorbell 2 (also called Wi-Fi doorbell 2), a server 3, and a mobile communication terminal 4 (also called terminal 4). Doorbell 2 and mobile communication terminal 4 can communicate with server 3 via network 5 . A router 20 (also referred to as a Wi-Fi router 20), for example, can be used as a communication device that relays the doorbell 2, the mobile communication terminal 4, and the network 5. FIG. As the mobile communication terminal 4, for example, an electronic device such as a notebook PC, a tablet terminal, or a smart phone may be used.

サーバ３は、記憶部（図示せず）を有している。当該記憶部は、ドアベル２のユーザ（居住者）や来訪者に関する情報、ドアベル２の位置情報等を記憶可能である。 The server 3 has a storage unit (not shown). The storage unit can store information about the user (resident) of the doorbell 2 and visitors, position information of the doorbell 2, and the like.

移動通信端末４は、表示部６と、発光部（図示せず）と、発振部（図示せず）と、を有している。表示部６は、液晶ディスプレイ、有機ＥＬディスプレイ等のタッチスクリーン型のディスプレイであって、画像（操作画像や二次元コード等）を表示するように構成されている。発光部は、赤外線等の可視光線を射出可能である。当該可視光線は、可視光通信に用いられ得る。発振部は、超音波を発振可能である。当該超音波は、超音波通信に用いられ得る。
移動通信端末４は、ドアベル２とサーバ３を接続可能にするためのパスワード情報を表示部６に表示させ、又は送信することができる。パスワード情報の表示形式は二次元コード、音声パスワードとして読み上げられるための文字等であって、送信形式としては、可視光線通信、超音波通信等である。
また、ユーザは、ドアベル２の初期設定用のアプリケーションをダウンロードした移動通信端末４及びネットワーク５を介して、来訪者の受け入れ可否の条件設定の登録やドアベル２の位置情報をサーバ３に登録することができる。 The mobile communication terminal 4 has a display section 6, a light emitting section (not shown), and an oscillation section (not shown). The display unit 6 is a touch screen display such as a liquid crystal display or an organic EL display, and is configured to display images (operation images, two-dimensional codes, etc.). The light emitting section can emit visible light such as infrared rays. The visible light can be used for visible light communication. The oscillator can oscillate ultrasonic waves. Such ultrasound may be used for ultrasound communication.
The mobile communication terminal 4 can cause the display unit 6 to display or transmit password information for enabling the connection between the doorbell 2 and the server 3 . The display format of the password information is two-dimensional code, characters to be read out as a voice password, etc., and the transmission format is visible light communication, ultrasonic communication, or the like.
In addition, the user can register the condition setting for whether or not to accept visitors and the position information of the doorbell 2 in the server 3 via the mobile communication terminal 4 and the network 5 to which the application for the initial setting of the doorbell 2 is downloaded. can be done.

図２は、ドアベル２の機能ブロック図である。図２に示すように、ドアベル２は、制御部７と、通信ＩＦ（インターフェース）８と、カメラ９と、操作部１０と、マイク１２と、スピーカ１３と、人感センサ１４と、映像処理部１５と、音声認識部１７と、光線検出部１８と、超音波検出部１９と、記憶部２１と、人工知能部２２と、条件記憶部２３と、判断部２４と、呼出通知部２５と、保存部２６と、モーションセンサ２７と、接触認識部２９と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）（図示せず）を有している。これらはバス１１を介して互いに通信可能に接続されている。 FIG. 2 is a functional block diagram of the doorbell 2. As shown in FIG. As shown in FIG. 2, the doorbell 2 includes a control unit 7, a communication IF (interface) 8, a camera 9, an operation unit 10, a microphone 12, a speaker 13, a human sensor 14, and an image processing unit. 15, a voice recognition unit 17, a light beam detection unit 18, an ultrasonic detection unit 19, a storage unit 21, an artificial intelligence unit 22, a condition storage unit 23, a determination unit 24, a call notification unit 25, It has a storage unit 26, a motion sensor 27, a contact recognition unit 29, and a GPS (Global Positioning System) (not shown). These are communicatively connected to each other via a bus 11 .

制御部７は、ドアベル２の各部の動作を制御するための制御部であり、１以上のプロセッサと１以上のメモリを含む少なくとも一つのマイクロコントローラと、トランジスタ等のアクティブ素子およびパッシブ素子を含むその他電子回路を含んでもよい。プロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＴＰＵ（Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。ＣＰＵは、複数のＣＰＵコアによって構成されてもよい。ＣＰＵは、例えば、人感センサ１４が来訪者を検知すると、カメラ９が来訪者の撮像を開始するように制御する。ＧＰＵは、複数のＧＰＵコアによって構成されてもよい。メモリは、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含む。ＲＯＭには、ドアベル制御プログラムが記憶されてもよい。ＲＡＭには、ドアベル制御プログラムが一時的に記憶されてもよい。プロセッサは、記憶装置またはＲＯＭに記憶されたドアベル制御プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されてもよい。
また、制御部７は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路（ハードウェア資源）によって構成されてもよい。さらに、制御部７は、少なくとも一つのマイクロコントローラと集積回路との組み合わせによって構成されてもよい。 The control unit 7 is a control unit for controlling the operation of each part of the doorbell 2, and includes at least one microcontroller including one or more processors and one or more memories, and others including active and passive elements such as transistors. It may contain electronic circuitry. The processor is, for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a GPU (Graphics Processing Unit) and/or a TPU (Tensor Processing Unit). The CPU may be composed of multiple CPU cores. For example, when the human sensor 14 detects a visitor, the CPU controls the camera 9 to start capturing an image of the visitor. A GPU may consist of multiple GPU cores. The memory includes ROM (Read Only Memory) and RAM (Random Access Memory). A doorbell control program may be stored in the ROM. The RAM may temporarily store the doorbell control program. The processor may be configured to expand on the RAM a program designated from the doorbell control program stored in the storage device or ROM, and to execute various processes in cooperation with the RAM.
Further, the control unit 7 may be configured by an integrated circuit (hardware resource) such as ASIC (Application Specific Integrated Circuit) or FPGA (Field-Programmable Gate Array). Furthermore, the control unit 7 may be configured by a combination of at least one microcontroller and an integrated circuit.

制御部７は、後述する光線検出部１８や超音波検出部１９から受信した信号が、ドアベル２がネットワーク５と接続可能な状態になるためのパスワード情報を含んでいる場合、当該信号からパスワード情報を認識し、その認識したパスワード情報を通信ＩＦ８に伝達する。 If a signal received from a light beam detection unit 18 or an ultrasonic wave detection unit 19, which will be described later, contains password information for making the doorbell 2 connectable to the network 5, the control unit 7 extracts the password information from the signal. and transmits the recognized password information to the communication IF8.

通信ＩＦ８は、ルータ２０を介して、ネットワーク５への接続を可能にする装置あるいはインターフェースである。通信ＩＦ８を介して、ドアベル２は、ネットワーク５に接続されたサーバ３と適宜に通信することができる。 Communication IF 8 is a device or interface that enables connection to network 5 via router 20 . Via communication IF 8 , doorbell 2 can communicate with server 3 connected to network 5 as appropriate.

通信ＩＦ８は、送受信機能を有している。送信機能に着目すれば、通信ＩＦ８は、例えば、ドアベル２の位置情報を、ネットワーク５を介してサーバ３に送信する送信手段の一例として機能する。 The communication IF 8 has a transmission/reception function. Focusing on the transmission function, the communication IF 8 functions as an example of transmission means for transmitting the position information of the doorbell 2 to the server 3 via the network 5, for example.

また、受信機能に着目すれば、通信ＩＦ８は、例えば、ドアベル２の位置情報を、ネットワーク５を介してサーバ３から受信する受信手段の一例として機能する。 Focusing on the reception function, the communication IF 8 functions as an example of reception means for receiving position information of the doorbell 2 from the server 3 via the network 5, for example.

カメラ９は、ドアベル２の前方を含む周囲を撮影する。カメラ９の撮像範囲に来訪者が存在している場合、カメラ９は、その来訪者を撮影する。さらに、カメラ９は、二次元コードの読み取りも可能である。また、マイク１２は、ドアベル２の周辺の来訪者の声等の音声を捉える。スピーカ１３は、ユーザの端末、例えば、インターホン親機のマイクで捉えられたユーザの声等の音声を発する。 A camera 9 photographs the surroundings including the front of the doorbell 2. - 特許庁When a visitor exists within the imaging range of the camera 9, the camera 9 photographs the visitor. Furthermore, the camera 9 is also capable of reading two-dimensional codes. Also, the microphone 12 picks up sounds such as the voices of visitors around the doorbell 2 . The speaker 13 emits sound such as the user's voice captured by the microphone of the user's terminal, for example, the intercom base unit.

操作部１０は、来訪者の各種入力操作を受け付ける。各種入力操作には、例えば、ユーザの呼出等が含まれる。 The operation unit 10 receives various input operations of the visitor. Various input operations include, for example, calling a user.

人感センサ１４は、赤外線等により、来訪者を検知するように構成されている。人感センサ１４は、来訪者を検知すると、来訪者がドアベル２に接近していることを制御部７に伝達する。 The human sensor 14 is configured to detect a visitor using infrared rays or the like. When the human sensor 14 detects a visitor, it notifies the control unit 7 that the visitor is approaching the doorbell 2 .

映像処理部１５は、制御部７に備わっているプロセッサと同様のプロセッサにより構成され得る。映像処理部１５は、カメラ９が撮像や読み込み等をしたデータを処理して、処理結果を通信ＩＦ８に伝達する。映像処理部１５は、カメラ９が撮像した画像を分析するためのソフトウェアを備えている。映像処理部１５は、来訪者により、操作部１０の呼出ボタンが押下されると、後述する条件記憶部２３に記憶された条件に基づいてカメラ９により撮像された画像を分析することも可能である。 The video processing unit 15 can be configured by a processor similar to the processor provided in the control unit 7 . The video processing unit 15 processes data captured or read by the camera 9 and transmits the processing result to the communication IF 8 . The video processing unit 15 has software for analyzing the image captured by the camera 9 . When the call button of the operation unit 10 is pressed by the visitor, the video processing unit 15 can also analyze the image captured by the camera 9 based on the conditions stored in the condition storage unit 23, which will be described later. be.

音声認識部１７は、制御部７に備わっているプロセッサと同様のプロセッサにより構成され得る。音声認識部１７は、マイク１２が捉えた声等の音声データを受信する。受信した音声データが、例えば、ドアベル２がネットワーク５と接続可能な状態になるためのパスワード情報に関するものであった場合、音声認識部１７は、受信した音声データからパスワード情報を認識し、その認識したパスワード情報を通信ＩＦ８に伝達する。
音声認識部１７は、マイク１２を介して捉えられた来訪者の音声データが、居住者を呼び出すための音声、例えば、「ごめんください。阿部様いらっしゃいますか。」というような音声に関する音声データであるかどうかを認識することができる。音声認識部１７は、居住者を呼び出すための音声データを認識した場合、呼出通知部２５又は制御部７に呼出があったことを示す検出信号を送信する。
さらに、音声認識部１７は、受信した音声データが居住者を呼び出すための音声に関するデータであった場合、受信した音声データを人工知能部２２に伝達することもできる。 The speech recognition section 17 can be configured by a processor similar to the processor provided in the control section 7 . The voice recognition unit 17 receives voice data such as voice captured by the microphone 12 . For example, if the received voice data relates to password information for making the doorbell 2 connectable to the network 5, the voice recognition unit 17 recognizes the password information from the received voice data, and recognizes the password information. The received password information is transmitted to the communication IF8.
The voice recognition unit 17 recognizes that the voice data of the visitor captured through the microphone 12 is voice data related to the voice for calling the resident, for example, "I'm sorry. Are you here, Mr. Abe?" can recognize whether When the voice recognition unit 17 recognizes the voice data for calling the resident, the voice recognition unit 17 transmits a detection signal indicating that there is a call to the call notification unit 25 or the control unit 7 .
Furthermore, the voice recognition unit 17 can transmit the received voice data to the artificial intelligence unit 22 when the received voice data is data related to voice for calling the resident.

光線検出部１８は、検出センサを備えている。光線検出部１８は、例えば、移動通信端末４から射出された光線（例えば、可視光光線）を検出する。光線検出部１８は、検出された光線を信号に変換し、当該信号を制御部７に送信する。 The light beam detector 18 includes a detection sensor. The light beam detector 18 detects, for example, light beams emitted from the mobile communication terminal 4 (for example, visible light beams). The light beam detector 18 converts the detected light beam into a signal and transmits the signal to the controller 7 .

超音波検出部１９は、超音波マイクを有している。超音波検出部１９は、例えば、移動通信端末４から射出された超音波を検出する。超音波検出部１９は、検出された超音波を信号に変換し、当該信号を制御部７に送信する。 The ultrasonic detector 19 has an ultrasonic microphone. The ultrasonic detector 19 detects ultrasonic waves emitted from the mobile communication terminal 4, for example. The ultrasonic detector 19 converts the detected ultrasonic waves into a signal and transmits the signal to the controller 7 .

記憶部２１は、人物に関するデータが記憶されている。人物に関するデータとは、個人を特定するのに有用なデータである。例えば、氏名、性別、年齢、身長、音声、身体的特徴等に関する画像、動画等がこれに当たる。例えば、ユーザがネットワーク５を介して、移動通信端末４から記憶部２１に画像データを送ることで、記憶部２１は画像データを記憶することができる。 The storage unit 21 stores data related to persons. Data about a person is data that is useful for identifying an individual. For example, images, videos, etc. relating to name, sex, age, height, voice, physical characteristics, etc. correspond to this. For example, when the user sends image data from the mobile communication terminal 4 to the storage unit 21 via the network 5, the storage unit 21 can store the image data.

人工知能部２２は、プロセッサ、メモリ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）等のハードウェア構成要素を有している。また、人工知能部２２は、一般的に人工知能エンジンと呼ばれるソフトウェアを有している。
人工知能部２２は、過去に蓄積された複数のデータや学習済みモデルを蓄積可能である。また、人工知能部２２は、ニューラルネットワークやディープラーニング等のフレームワークによる機械学習も可能である。 The artificial intelligence unit 22 includes hardware components such as a processor, a memory, an ALU (arithmetic logic unit), a digital signal processor, a microcomputer, an FPGA (field programmable gate array), and a PLU (programmable logic unit). have. The artificial intelligence unit 22 also has software generally called an artificial intelligence engine.
The artificial intelligence unit 22 can accumulate a plurality of data accumulated in the past and learned models. The artificial intelligence unit 22 is also capable of machine learning using frameworks such as neural networks and deep learning.

このため、人工知能部２２は、例えば、単語、イントネーション、会話の文法等の会話に関する情報を記憶することができる。マイク１２が捉えた来訪者の音声を分析し、その意味内容を解釈することができる。そして、人工知能部２２は、音声認識部１７又は人工知能部２２によって解釈された意味内容に基づき、適切なメッセージを生成する。当該メッセージは、音声データとしてスピーカ１３に送信される。このように、人工知能部２２は、来訪者と対話可能である。 Therefore, the artificial intelligence unit 22 can store information related to conversation, such as words, intonation, and grammar of conversation. It is possible to analyze the visitor's voice captured by the microphone 12 and interpret its meaning. Then, the artificial intelligence section 22 generates an appropriate message based on the semantic content interpreted by the speech recognition section 17 or the artificial intelligence section 22 . The message is transmitted to the speaker 13 as voice data. Thus, the artificial intelligence section 22 can interact with the visitor.

人工知能部２２は、映像処理部１５によって処理された画像データやマイク１２を介して音声認識部１７が認識した音声データと、記憶部２１に記録されたデータとの一致度を数値化（照合）することができる。 The artificial intelligence unit 22 digitizes the degree of matching between the image data processed by the video processing unit 15 and the voice data recognized by the voice recognition unit 17 via the microphone 12 and the data recorded in the storage unit 21 (collation). )can do.

照合にあたり、ユーザは、対応付けができたかできなかったのかの基準を人工知能部２２に学習又は記憶させることができる。当該基準としては、例えば、上述した数値化された一致度が所定の閾値以上であれば、その来訪者からの呼出をユーザの端末４に通知するといった基準である。 In collation, the user can have the artificial intelligence unit 22 learn or store the criteria for whether or not the correspondence has been established. As the criterion, for example, if the above-described numerical matching degree is equal to or greater than a predetermined threshold value, the call from the visitor is notified to the terminal 4 of the user.

人工知能部２２は、映像処理部１５によって処理された画像データや、マイク１２を介して音声認識部１７が認識した音声データと、記憶部２１に記録されたデータとを照合する。映像処理部１５によって処理された画像データや、マイク１２を介して音声認識部１７が受信した音声データと、記憶部２１に記録されたデータとの一致度が、所定の閾値以上である場合、その来訪者からの呼出は、ユーザの端末４に通知される。 The artificial intelligence unit 22 collates the image data processed by the video processing unit 15 and the voice data recognized by the voice recognition unit 17 through the microphone 12 with the data recorded in the storage unit 21 . If the degree of matching between the image data processed by the video processing unit 15 or the audio data received by the speech recognition unit 17 via the microphone 12 and the data recorded in the storage unit 21 is equal to or greater than a predetermined threshold, The call from the visitor is notified to the terminal 4 of the user.

条件記憶部２３は、ユーザの端末４への通知を行わない条件を記憶するためのメモリを有している。当該条件は、ユーザが、自身の端末４を介して設定する。当該条件は、呼び出しを許可する来訪者又は呼び出しを許可しない来訪者に関する情報である。呼び出しを許可しない来訪者とは、端末４への通知を行わないよう、ユーザが予め設定した者や、端末４への通知を行うよう、ユーザが予め条件記憶部２３に記憶させた条件を満たさない者をいう。来訪者が不審者であるか否かの判断基準には、例えば、来訪者がキョロキョロしているか否かといった基準を含んでも良い。また、条件記憶部２３は、後述する不審者度数に基づいて、ユーザへの端末４への通知を行うか否かを判断するための閾値を記憶可能である。なお、条件記憶部２３に記憶される閾値は、ユーザが任意に設定できる。 The condition storage unit 23 has a memory for storing conditions under which notification to the terminal 4 of the user is not performed. The conditions are set by the user via his/her own terminal 4 . The conditions are information about visitors who are permitted to call or visitors who are not permitted to call. A visitor who is not permitted to call is a person who is preset by the user not to be notified to the terminal 4, or a visitor who satisfies the condition stored in the condition storage unit 23 in advance by the user so as to be notified to the terminal 4. refers to those who do not The criterion for determining whether the visitor is a suspicious person may include, for example, whether the visitor is looking around. Further, the condition storage unit 23 can store a threshold value for determining whether or not to notify the user to the terminal 4 based on the suspicious person frequency, which will be described later. Note that the threshold value stored in the condition storage unit 23 can be arbitrarily set by the user.

判断部２４は、制御部７に備わっているプロセッサと同様のプロセッサにより構成され得る。判断部２４は、映像処理部１５による分析結果に基づいて、不審者度数を算出することができる。不審者度数は、例えば、設定された判断基準に対する、該当する判断基準の数を、百分率を用いて算出される。本実施形態では、この方法を用いて不審者度数を算定する。 The determination unit 24 can be configured by a processor similar to the processor provided in the control unit 7 . The determination unit 24 can calculate the suspicious person frequency based on the analysis result by the video processing unit 15 . The suspicious person frequency is calculated, for example, by using a percentage of the number of applicable judgment criteria with respect to the set judgment criteria. In this embodiment, this method is used to calculate the suspicious person frequency.

判断部２４は、判断部２４が算出した不審者度数と、条件記憶部２３に記憶された閾値とを比較する。比較した結果に基づき、判断部２４は、居住者を呼び出すか否かの判断をする。
また、判断部２４は、後述する保存部２６に保存されている、撮像画像及び不審者度数と、映像処理部１５による分析結果とを比較し、その比較結果も利用して、居住者を呼び出すか否かの判断をすることもできる。 The determination unit 24 compares the suspicious person frequency calculated by the determination unit 24 with the threshold value stored in the condition storage unit 23 . Based on the result of the comparison, the determination unit 24 determines whether to call the resident.
In addition, the determination unit 24 compares the captured image and the suspicious person frequency stored in the storage unit 26, which will be described later, with the analysis result by the video processing unit 15, and also uses the comparison result to call the resident. You can also decide whether or not

判断部２４は、モーションセンサ２７から出力された検知信号に基づいて、来訪者がモーションセンサ２７に向かって接近しているかどうかの判断を行うことができる。例えば、来訪者がモーションセンサ２７に向かって前進していることを示す検知信号が出力された場合、判断部２４は、来訪者がモーションセンサ２７に向かって接近していると判断する。判断部２４によってなされた判断結果は、制御部７へ伝達される。 The determination unit 24 can determine whether a visitor is approaching the motion sensor 27 based on the detection signal output from the motion sensor 27 . For example, when a detection signal indicating that the visitor is moving forward toward the motion sensor 27 is output, the determination unit 24 determines that the visitor is approaching toward the motion sensor 27 . A determination result made by the determination unit 24 is transmitted to the control unit 7 .

呼出通知部２５は、来訪者からの呼出があったことをユーザに通知する。呼出通知部２５は、操作部１０の呼出ボタンが押下されることにより、ユーザの端末４に通知してもよいし、判断部２４又は制御部７などからの指令に基づいて、ユーザの端末４に通知してもよい。 The call notification unit 25 notifies the user that there is a call from a visitor. The call notification unit 25 may notify the user's terminal 4 when the call button of the operation unit 10 is pressed, or may notify the user's terminal 4 based on a command from the determination unit 24, the control unit 7, or the like. may be notified to

保存部２６は、画像データや数値データ等が保存可能なメモリを有している。保存部２６は、カメラ９が撮像した画像及び判断部２４が算出した不審者度数を保存する手段である。 The storage unit 26 has a memory capable of storing image data, numerical data, and the like. The storage unit 26 is means for storing the image captured by the camera 9 and the suspicious person frequency calculated by the determination unit 24 .

モーションセンサ２７は、赤外線、マイクロ波、ミリ波等を用い、来訪者の動作を連続的に検知するように構成されている。モーションセンサ２７は、人感センサ１４が来訪者を検知した信号に基づいて起動する。モーションセンサ２７が来訪者の動作を検知すると、モーションセンサ２７は、検知結果としての検知信号を判断部２４へ出力する。 The motion sensor 27 uses infrared rays, microwaves, millimeter waves, or the like, and is configured to continuously detect the movement of the visitor. The motion sensor 27 is activated based on a signal that the human sensor 14 has detected a visitor. When the motion sensor 27 detects the movement of the visitor, the motion sensor 27 outputs a detection signal as a detection result to the determination section 24 .

接触認識部２９は、例えば、圧力センサなどにより構成されており、所定の圧力負荷を検出した場合に、呼出通知部２５又は制御部７に検出信号を送信する。すなわち、来訪者が接触認識部２９に対してノックをすると、接触認識部２９は呼出通知部２５又は制御部７に検出信号を送信する。 The contact recognition unit 29 is composed of, for example, a pressure sensor, and transmits a detection signal to the call notification unit 25 or the control unit 7 when a predetermined pressure load is detected. That is, when the visitor knocks on the contact recognition section 29 , the contact recognition section 29 transmits a detection signal to the call notification section 25 or the control section 7 .

図３を参照して、来訪者が来てから居住者の端末４に呼出通知がなされるまでの流れを説明する。 With reference to FIG. 3, the flow from arrival of a visitor to notification of a call to the terminal 4 of the resident will be described.

図３は、来訪者が来てから居住者の端末４に呼出通知がなされるまでの流れを示すフロー図である。初めに、居住者は、氏名、性別、年齢、身長、音声、身体的特徴といった個人を特定するのに有用なデータ（個人照合用データ）を、移動通信端末４とネットワーク５を介して記憶部２１に記録する（ステップＳ１）。具体的には、移動通信端末４に保存された音声データを、ネットワーク５を介してドアベル２に送信する。ドアベル２が音声データを受信すると、制御部７は、受信した音声データを記憶部２１に保存するよう制御する。 FIG. 3 is a flow chart showing the flow from the arrival of a visitor to the notification of a call to the terminal 4 of the resident. First, a resident stores useful data (individual verification data) for identifying an individual, such as name, sex, age, height, voice, and physical characteristics, via the mobile communication terminal 4 and the network 5 to the storage unit. 21 (step S1). Specifically, voice data stored in mobile communication terminal 4 is transmitted to doorbell 2 via network 5 . When the doorbell 2 receives the voice data, the control unit 7 controls the storage unit 21 to store the received voice data.

次に、ステップＳ２において、来訪者が呼出ボタンを押下すると（ステップＳ２においてＹｅｓ）、カメラ９が起動し、来訪者の撮像を開始する（ステップＳ４）。
また、来訪者が呼出ボタンを押下していなくても（ステップＳ２においてＮｏ）、人感センサ１４が来訪者を検知すると（ステップＳ３においてＹｅｓ）、カメラ９が起動し、来訪者の撮像を開始する（ステップＳ４）。尚、来訪者が呼出ボタンを押下しておらず、かつ人感センサ１４が来訪者を検知していないとき（ステップＳ３においてＮｏ）は、ステップＳ２に戻る。 Next, in step S2, when the visitor presses the call button (Yes in step S2), the camera 9 is activated to start imaging the visitor (step S4).
Also, even if the visitor does not press the call button (No in step S2), when the human sensor 14 detects the visitor (Yes in step S3), the camera 9 is activated to start imaging the visitor. (step S4). If the visitor has not pressed the call button and the human sensor 14 has not detected the visitor (No in step S3), the process returns to step S2.

カメラ９による来訪者の撮像が開始されると、マイク１２が、来訪者が音声を検出しているかどうかの判定を制御部７が行う（ステップＳ５）。マイク１２がドアベル２の周辺の来訪者の声等の音声を捉えると（ステップＳ５においてＹｅｓ）、その音声は音声認識部１７に送られ、取得される（ステップＳ６）。その後、取得データ（この場合においては、撮像データと音声データ）と記憶部２１に記録されたデータとを照合する（ステップＳ７）。一方、ステップＳ５においてＮｏの場合、取得データ（この場合においては、撮像データ）と記憶部２１に記録されたデータとを照合する（ステップＳ７）。 When the camera 9 starts imaging the visitor, the control unit 7 determines whether or not the microphone 12 detects the visitor's voice (step S5). When the microphone 12 captures the voice of a visitor near the doorbell 2 (Yes in step S5), the voice is sent to the voice recognition unit 17 and acquired (step S6). After that, the obtained data (in this case, the imaged data and the audio data) are collated with the data recorded in the storage unit 21 (step S7). On the other hand, if No in step S5, the acquired data (in this case, the imaging data) and the data recorded in the storage unit 21 are compared (step S7).

尚、マイク１２が来訪者の声等の音声を捉えた場合（ステップＳ６の後）、音声認識部１７は、来訪者の音声を認識する。そして、音声認識部１７は、来訪者の音声を検知したことを示す信号と、その音声に基づくテキストデータ等を人工知能部２２に送信する。人工知能部２２は、受信したテキストデータ等より、来訪者の発した音声の意味内容を解釈する。そして、人工知能部２２は、来訪者に対し、適切な返答を行うためのデータを生成する。例えば、認識した音声が、「阿部さんいらっしゃいますか。」という音声であった場合、人工知能部２２は、「少々お待ちください。」というメッセージを発するためのデータを生成する。スピーカ１３は、生成されたデータを音声として、来訪者に向けて発する。 When the microphone 12 captures the visitor's voice (after step S6), the speech recognition unit 17 recognizes the visitor's speech. Then, the speech recognition unit 17 transmits to the artificial intelligence unit 22 a signal indicating that the visitor's speech has been detected, and text data or the like based on the speech. The artificial intelligence unit 22 interprets the meaning and content of the voice uttered by the visitor based on the received text data and the like. Then, the artificial intelligence unit 22 generates data for making an appropriate reply to the visitor. For example, if the recognized voice is "Abe-san, are you here?", the artificial intelligence unit 22 generates data for issuing the message "Please wait a moment." The speaker 13 emits the generated data as voice to the visitor.

人工知能部２２は、映像処理部１５によって処理された画像データやマイク１２を介して音声認識部１７が認識した音声データと、記憶部２１に記録されたデータとに基づいて照合を行う（ステップＳ７）。具体的には、第一に、人工知能部２２は、来訪者から取得したデータと、記憶部２１に記録されているデータとの一致度を数値化する。例えば、画像データについて数値化する場合、映像処理部１５によって処理された画像データと記憶部２１に記録されている各画像データとを比較する。比較の方法としては、例えば、画像に写っている人物の身体的特徴が一致しているか否かを比較していく方法である。また、例えば、音声データについて数値化する場合、音声認識部１７が認識した音声データと、記憶部２１に記録された音声データとを比較する。比較の方法としては、例えば、声紋や話し方の癖等が一致しているか否かを比較していく方法である。 The artificial intelligence unit 22 performs collation based on the image data processed by the video processing unit 15 and the voice data recognized by the voice recognition unit 17 via the microphone 12 and the data recorded in the storage unit 21 (step S7). Specifically, first, the artificial intelligence unit 22 quantifies the degree of matching between the data acquired from the visitor and the data recorded in the storage unit 21 . For example, when quantifying image data, the image data processed by the video processing unit 15 and each image data recorded in the storage unit 21 are compared. As a comparison method, for example, it is a method of comparing whether or not the physical features of the persons appearing in the images match. Further, for example, when digitizing the voice data, the voice data recognized by the voice recognition unit 17 and the voice data recorded in the storage unit 21 are compared. As a comparison method, for example, there is a method of comparing whether or not the voiceprints, speaking habits, etc. match.

第二に、人工知能部２２は、算出された一致度が、予め居住者が設定した閾値以上であるかどうか判定する。算出された一致度が閾値以上である場合、記憶部２１に記憶されたデータと、取得された画像データ又は音声データとが対応付けられたと人工知能部２２は判定する（ステップＳ７においてＹｅｓ）。ステップＳ７においてＹｅｓの場合、図４の（ａ）に示すように、来訪者からの呼出が、ネットワーク５を介して居住者の移動通信端末４に通知される。また、人工知能部２２は、例えば、「呼び出しております。」等のメッセージのデータを生成し、スピーカ１３は当該メッセージを音声として来訪者に発する（ステップＳ８）。 Secondly, the artificial intelligence unit 22 determines whether the calculated degree of matching is equal to or greater than a threshold preset by the resident. If the calculated degree of matching is equal to or greater than the threshold, the artificial intelligence unit 22 determines that the data stored in the storage unit 21 and the acquired image data or audio data are associated (Yes in step S7). If Yes in step S7, the call from the visitor is notified to the mobile communication terminal 4 of the resident via the network 5, as shown in FIG. 4(a). Also, the artificial intelligence unit 22 generates message data such as "I am calling you", and the speaker 13 outputs the message as voice to the visitor (step S8).

一方で、ステップＳ７においてＮｏの場合は、図４の（ｂ）に示すように、呼出があったことの通知及びカメラ９が撮像した画像データ及び／又は音声認識部１７が認識した音声データが、ネットワーク５を介して居住者の端末４に送られる。また、人工知能部２２は、例えば、「呼び出しを行いません。」等のメッセージのデータを生成し、スピーカ１３は当該メッセージを音声として来訪者に発する（ステップＳ９）。尚、Ｓ９において、人工知能部２２は、来訪者に対するメッセージデータを生成しないように構成されてもよい。 On the other hand, if No in step S7, as shown in FIG. , is sent to the terminal 4 of the resident via the network 5 . Also, the artificial intelligence unit 22 generates message data such as "I will not call you", and the speaker 13 outputs the message as voice to the visitor (step S9). In S9, the artificial intelligence unit 22 may be configured not to generate message data for the visitor.

上記構成によれば、人工知能部２２は、記憶部２１に予め登録されたデータに基づいて照合を行い、一致度が所定の閾値以上であった場合に限り、居住者の端末４に呼出通知をする。このため、不要な呼び出しは移住者に通知されずに済む。
このように、上記構成によれば、不要な呼出通知を制限することが可能なドアベルを提供することができる。 According to the above configuration, the artificial intelligence unit 22 performs matching based on the data registered in advance in the storage unit 21, and only when the degree of matching is equal to or higher than a predetermined threshold, the call notification is sent to the terminal 4 of the resident. do. Therefore, unnecessary calls go unnoticed to migrants.
Thus, according to the above configuration, it is possible to provide a doorbell capable of limiting unnecessary call notifications.

上記構成によれば、居住者は不在中に来訪者が訪ねてきても、ドアベル２が、来訪者が応答すべき人物か否かを判断した上で、来訪者に対し、適切な応対を行ってくれる。
このように、上記構成によれば、適切な不在対応が可能なドアベルを提供することができる。 According to the above configuration, even if a visitor visits the resident while the resident is away, the doorbell 2 judges whether the visitor is a person who should respond and responds appropriately to the visitor. give me
Thus, according to the above configuration, it is possible to provide a doorbell capable of appropriately responding to absence.

また、上記構成によれば、人工知能部２２が、カメラ９により撮像された画像又は音声認識部１７により認識した来訪者の声を、記憶部２１に登録されたデータと照合した結果、一致度が所定の閾値未満であった場合には、来訪者を撮像した画像又は来訪者の音声データと併せて一致度が所定の閾値未満であった旨を端末４に通知する。このため、呼出通知がされない場合であっても、居住者は来訪者を確認すること、及び当該来訪者が知人ではない可能性が高い人物であることを知ることができる
このように、上記構成によれば、不要な呼出通知を制限しつつも、全ての来訪者を居住者が確認することができるドアベルを提供することができる。 Further, according to the above configuration, the artificial intelligence unit 22 compares the image captured by the camera 9 or the voice of the visitor recognized by the voice recognition unit 17 with the data registered in the storage unit 21. is less than the predetermined threshold, the terminal 4 is notified that the degree of matching is less than the predetermined threshold together with the captured image of the visitor or the visitor's voice data. Therefore, even if the call notification is not sent, the resident can confirm the visitor and know that the visitor is likely not an acquaintance. According to the above, it is possible to provide a doorbell that allows residents to check all visitors while limiting unnecessary call notifications.

ドアベル２は、Ｗｉ－Ｆｉルータ２０及びネットワーク５を介して、居住者に関連付られた端末４と通信可能であり、端末４へ呼出を通知するように構成されている。このため、例えば、居住者が遠隔地にいる場合であっても、呼び出し通知を確認することができる。 The doorbell 2 is capable of communicating with the terminal 4 associated with the resident via the Wi-Fi router 20 and the network 5 and is arranged to notify the terminal 4 of the call. Therefore, even if the resident is in a remote location, for example, the call notification can be confirmed.

尚、本実施例でのドアベル２は、来訪者が応答すべき人物か否かの判断を行うにとどまっているが、この例に限られない。ドアベル２は、さらに、来訪者の属性、例えば、家族、友人、業者等の属性に、来訪者を分類した上で、応答の仕方を変えることができる。 It should be noted that the doorbell 2 in this embodiment merely determines whether or not the visitor is the person to respond to, but is not limited to this example. The doorbell 2 can further classify visitors according to their attributes, such as family, friends, and traders, and change the way they respond.

尚、本発明は、上述した実施例に限定されず、適宜、変形、改良等が自在である。その他、上述した実施形態における各構成要素の材質、形状、寸法、数値、形態、数、配置場所等は、本発明を達成できるものであれば任意であり、限定されない。 It should be noted that the present invention is not limited to the above-described embodiments, and can be modified and improved as appropriate. In addition, the material, shape, size, numerical value, form, number, location, etc. of each component in the above-described embodiment are arbitrary and not limited as long as the present invention can be achieved.

１：ドアベルシステム、２：ドアベル、３：サーバ、４：移動通信端末、５：ネットワーク、６：表示部、７：制御部、８：通信ＩＦ、９：カメラ、１０：操作部、１２：マイク、１３：スピーカ、１４：人感センサ、１５：映像処理部、１７：音声認識部、１８：光線検出部、１９：超音波検出部、２０：ルータ、２１：記憶部、２２：人工知能部、２３：条件記憶部、２４：判断部、２５：呼出通知部、２６：保存部、２７：モーションセンサ、２９：接触認識部 1: doorbell system, 2: doorbell, 3: server, 4: mobile communication terminal, 5: network, 6: display unit, 7: control unit, 8: communication IF, 9: camera, 10: operation unit, 12: microphone , 13: speaker, 14: motion sensor, 15: video processing unit, 17: voice recognition unit, 18: light beam detection unit, 19: ultrasonic detection unit, 20: router, 21: storage unit, 22: artificial intelligence unit , 23: condition storage unit, 24: determination unit, 25: call notification unit, 26: storage unit, 27: motion sensor, 29: contact recognition unit

Claims (3)

来訪者を撮像するカメラと、
前記来訪者が居住者を呼び出すために押下される呼出ボタンと、
前記来訪者の接近を検知するための人感センサと、
前記来訪者の声を認識するための音声認識部と、
照合を行うためのデータを登録するための記憶部と、
前記居住者の端末への呼出通知が可能な人工知能部と、を備え、
前記人工知能部は、来訪者により前記呼出ボタンが押下されたとき、又は前記人感センサにより前記来訪者が検出されたとき、前記カメラにより撮像された画像、および前記音声認識部により認識した前記来訪者の声を、前記記憶部に登録された前記データと照合するように構成され、
前記データと前記画像および前記データと前記声が共に対応付けられた場合に、前記居住者の端末に呼出を通知するように構成されており、
前記人工知能部は、前記カメラにより撮像された画像、又は前記音声認識部により認識した前記来訪者の声を、前記記憶部に登録されたデータと照合した結果、前記データと前記画像又は前記声が対応付けられない場合、前記画像又は前記声と併せて対応付けができなかった旨を前記居住者の端末に通知するように構成されている、ドアベル。 a camera that captures a visitor;
a call button that the visitor presses to call the resident;
a human sensor for detecting the approach of the visitor;
a speech recognition unit for recognizing the visitor's voice;
a storage unit for registering data for performing verification;
and an artificial intelligence unit capable of calling notification to the terminal of the resident,
When the call button is pressed by the visitor or when the visitor is detected by the human sensor, the artificial intelligence unit recognizes the image captured by the camera and the voice recognition unit. configured to match the visitor's voice with the data registered in the storage unit;
configured to notify the terminal of the resident of a call when the data and the image and the data and the voice are associated together ;
The artificial intelligence unit compares the image captured by the camera or the voice of the visitor recognized by the speech recognition unit with the data registered in the storage unit, and as a result, the data is combined with the image or the voice. is not associated, the doorbell is configured to notify the terminal of the resident that the association was not possible together with the image or the voice . 前記人工知能部は、前記音声認識部が認識した前記声に対する適切な応答を行うためのデータを生成可能である、請求項１に記載のドアベル。 2. The doorbell of claim 1, wherein the artificial intelligence unit is capable of generating data for making an appropriate response to the voice recognized by the speech recognition unit. 前記ドアベルは、Ｗi-Ｆiルータを介してネットワークと接続可能であり、前記ネットワークを介して、前記居住者に関連付られた移動通信端末と通信可能であり、前記移動通信端末へ前記呼出を通知する、請求項１又は２に記載のドアベル。 The doorbell is connectable to a network via a Wi-Fi router, is communicable via the network with a mobile communication terminal associated with the resident, and notifies the mobile communication terminal of the call. 3. The doorbell according to claim 1 or 2 , wherein
JP2018025236A 2018-02-15 2018-02-15 doorbell Active JP7137312B2 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2018025236A JP7137312B2 (en) 2018-02-15 2018-02-15 doorbell
CN201880089556.9A CN111713092A (en) 2018-02-15 2018-04-06 Setting method of Wi-Fi doorbell, integrated residence communication system and weather information providing system
PCT/JP2018/014769 WO2019159384A1 (en) 2018-02-15 2018-04-06 CONFIGURATION METHOD OF Wi-Fi DOORBELL, DOORBELL, HOUSING COMPLEX COMMUNICATION SYSTEM, AND CLIMATE INFORMATION PROVIDING SYSTEM
ES18906295T ES2906206T3 (en) 2018-02-15 2018-04-06 Climate information provision system
EP18906295.3A EP3734952B1 (en) 2018-02-15 2018-04-06 Climate information providing system
US16/965,293 US11510256B2 (en) 2018-02-15 2018-04-06 Configuration method of Wi-Fi doorbell, doorbell, housing complex communication system, and climate information providing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018025236A JP7137312B2 (en) 2018-02-15 2018-02-15 doorbell

Publications (2)

Publication Number Publication Date
JP2019140653A JP2019140653A (en) 2019-08-22
JP7137312B2 true JP7137312B2 (en) 2022-09-14

Family

ID=67694510

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018025236A Active JP7137312B2 (en) 2018-02-15 2018-02-15 doorbell

Country Status (1)

Country Link
JP (1) JP7137312B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114596535B (en) * 2022-03-22 2023-02-03 天目爱视（北京）科技有限公司 Non-contact doorbell visit processing method and related equipment
JP7203292B1 (en) * 2022-05-27 2023-01-12 三菱電機株式会社 Partial discharge monitoring device for gas-insulated switchgear

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096833A (en) 2005-09-29 2007-04-12 Matsushita Electric Ind Co Ltd Intercom system
JP2015019187A (en) 2013-07-10 2015-01-29 シャープ株式会社 Telephone communication terminal, communication system, and control method of communication system
JP2016032212A (en) 2014-07-29 2016-03-07 アイホン株式会社 Interphone device
JP2016534687A (en) 2013-10-28 2016-11-04 オネスト テクノロジー カンパニー リミテッド Door monitoring system using door phone

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096833A (en) 2005-09-29 2007-04-12 Matsushita Electric Ind Co Ltd Intercom system
JP2015019187A (en) 2013-07-10 2015-01-29 シャープ株式会社 Telephone communication terminal, communication system, and control method of communication system
JP2016534687A (en) 2013-10-28 2016-11-04 オネスト テクノロジー カンパニー リミテッド Door monitoring system using door phone
JP2016032212A (en) 2014-07-29 2016-03-07 アイホン株式会社 Interphone device

Also Published As

Publication number Publication date
JP2019140653A (en) 2019-08-22

Similar Documents

Publication Publication Date Title
KR101803081B1 (en) Robot for store management
US10755694B2 (en) Electronic device with voice-synthesis and acoustic watermark capabilities
CN105654033B (en) Face image verification method and device
WO2021008538A1 (en) Voice interaction method and related device
CN108986245A (en) Work attendance method and terminal based on recognition of face
US11250117B2 (en) Methods and systems for fingerprint sensor triggered voice interaction in an electronic device
WO2015176287A1 (en) Method and apparatus for communication by using text information
JP7137312B2 (en) doorbell
JP7060977B2 (en) Doorbell
JP2019140655A (en) Doorbell
CN110765851A (en) Registration method, device and equipment
CN110730330B (en) Sound processing method and device, doorbell and computer readable storage medium
KR20150114310A (en) Interpretation system for interpretion movement of animal
JP2019091233A (en) Notification control system, notification control method, and program
US11510256B2 (en) Configuration method of Wi-Fi doorbell, doorbell, housing complex communication system, and climate information providing system
JP7077052B2 (en) Doorbell
KR20200101221A (en) Method for processing user input and electronic device supporting the same
CN115131789A (en) Character recognition method, character recognition equipment and storage medium
KR20210094798A (en) Event generation based on user feedback by doorbell camera system
US20200404424A1 (en) Electronic Devices and Corresponding Methods for Adjusting Audio Output Devices to Mimic Received Audio Input
KR102343851B1 (en) Intelligent Civil Service Processing System
CN112887770B (en) Photo transmission method, device, television and storage medium
JP2005199373A (en) Communication device and communication method
CN112863511B (en) Signal processing method, device and storage medium
US10713002B1 (en) Electronic devices and corresponding methods for adjusting audio output devices to mimic received audio input

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211208

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220708

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220708

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220721

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220902

R150 Certificate of patent or registration of utility model

Ref document number: 7137312

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150