JP6386770B2 - 空気調和機 - Google Patents

空気調和機 Download PDF

Info

Publication number
JP6386770B2
JP6386770B2 JP2014084828A JP2014084828A JP6386770B2 JP 6386770 B2 JP6386770 B2 JP 6386770B2 JP 2014084828 A JP2014084828 A JP 2014084828A JP 2014084828 A JP2014084828 A JP 2014084828A JP 6386770 B2 JP6386770 B2 JP 6386770B2
Authority
JP
Japan
Prior art keywords
person
unit
wall
detected
airflow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014084828A
Other languages
English (en)
Other versions
JP2015203557A (ja
Inventor
高穂 糸井川
高穂 糸井川
貴郎 上田
貴郎 上田
佑樹 伊藤
佑樹 伊藤
貴宏 磯田
貴宏 磯田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Johnson Controls Air Conditioning Inc
Original Assignee
Hitachi Johnson Controls Air Conditioning Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Johnson Controls Air Conditioning Inc filed Critical Hitachi Johnson Controls Air Conditioning Inc
Priority to JP2014084828A priority Critical patent/JP6386770B2/ja
Publication of JP2015203557A publication Critical patent/JP2015203557A/ja
Application granted granted Critical
Publication of JP6386770B2 publication Critical patent/JP6386770B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Air Conditioning Control Device (AREA)
  • Image Processing (AREA)

Description

本発明は、室内の壁の位置および人の位置に依拠して気流を変更することができる空気調和機に関する。
複数の送風機構を有する空気調和機が知られている。特許文献1の空気調和機は、室内機に室内側熱交換器を設け、熱交換器で熱交換された空気調和用空気を室内に送風する送風機を設け、空気調和用空気を吹き出す吹出し口を設け、室内機に断熱用空気を送風する断熱用送風機を設け、室内機の下面に断熱用空気を壁や窓に沿って送風させるための断熱用送風口を設けている。そして、断熱用空気が断熱用送風機により断熱用送風口を介して壁や窓に沿って送風され、この断熱用空気の断熱効果により外気の室内への影響を抑えることが記載されている。
特許文献2の空気調和機は、複数の独立した空気流路を具備する室内側送風ユニットであって、主流となる第1の空気流路と、第1の空気流路以外にも吹出し口の水平方向に隣接した吹出し口を具備するものである。したがって、第1の空気流路以外の空気流路による空気流れは、第1の空気流路による流れと干渉せず、第1の空気流路以外の空気流路は両端から側壁へ向かって空気を吹き出し、壁に衝突したり、気流同士が衝突したりして居住空間を室温同等の微弱な気流が流れることによって、第1の空気流路による風の影響を緩和し、間接的な風を居住者に提供できることが記載されている。
特開平8−178331号公報 特開2002−22198号公報
特許文献2は、主気流以外に側壁へ向かって空気を吹出す機構を備えているが、室内の人の位置が考慮されておらず、必ずしも、居室内の人に快適な気流になるとは限らない問題がある。
また、特許文献1および特許文献2とも、主気流とは異なる送風機構を有していて装置部品が増加する問題がある。
本発明は、前記の課題を解決するための発明であって、室内の壁の位置および人の位置に依拠して気流を変更することができる空気調和機を提供することを目的とする。
前記目的を達成するため、本発明の空気調和機は、室内を撮像する撮像部で撮影された画像に基づいて、室内の人の位置を検知する人検知部と、撮像部で撮影された画像に基づいて、室内の壁位置を検出する壁検出部と、人に直接気流をあてない間接気流モードを有する気流制御部と、を備え、気流制御部は、間接気流モードが選択されている状態において、人検知部で検知された人が、壁検出部で検出された側壁から所定距離以内に存在する場合、室内の吹出し口からみて検知された人の位置に近い手前の側壁の方向に、調和空気の風向を変える風向部(例えば、左右風向板104)を制御することを特徴とする。
本発明のその他の態様については、後記する実施形態において説明する。
本発明によれば、室内の壁の位置および人の位置に依拠して気流を変更することができる。
本実施形態に係る空気調和機の外観構成を示す説明図である。 本実施形態に係る空気調和機の室内機の構成を示す説明図である。 本実施形態に係る空気調和機の室外機の構成を示す説明図である。 本実施形態に係る空気調和機のリモコンの外観を示す説明図である。 本実施形態に係る空気調和機のセンサ部の構成を示す説明図である。 本実施形態に係る空気調和機の制御部の構成を示す説明図である。 本実施形態に係る気流制御部の気流モード選択処理を示すフローチャートである。 直接気流モードと間接気流モードを示す説明図であり、(a),(b)は風向角度で選択した場合であり、(c),(d)は側壁からの距離で選択した場合である。 直接気流モードと間接気流モードを示す説明図であり、(a),(b)は空気調和機の設置壁からの距離で選択した場合である。 直接気流モードと間接気流モードを示す説明図であり、(a),(b)は運転開始後の所定時間内の設定温度と室内温度との温度差により選択した場合である。 人検知部がひとつの側壁に対し人を検知した場合のスイング運転を示す説明図である。 撮像部の水平方向の向きの移動と視野角を示す説明図である。 撮像制御部の処理を示すフローチャートである。 人検知部の人位置判定処理を示すフローチャートである。 人検知部の人位置判定処理を示す説明図であり、(a)〜(c)はそれぞれ具体的な計算について説明する説明図である。 壁検出部のコーナ方向判定処理を示すフローチャートである。 壁検出部のコーナ方向判定処理で行う画像処理を示す図であり、(a)〜(e)はこの順に画像処理の手順を示している。 壁検出部のコーナ方向判定処理での室内の平面を示す説明図である。 壁検出部のコーナ方向判定処理を示す説明図であり、(a)は室内の平面図であり、(b)は画像中の重心の決定について説明する説明図である。 壁検出部の拡がり範囲判定処理を示すフローチャートである。 壁検出部の拡がり範囲判定処理での室内配置を示す平面図である。
本発明を実施するための形態(以下、実施形態という)について、適宜図面を参照しながら詳細に説明する。
図1は、本実施形態に係る空気調和機の外観構成を示す説明図である。空気調和機Aは、例えばヒートポンプ技術などを用い、冷房など室内の空気調和を行う装置である。空気調和機Aは、大別して、室内の壁や天井、床などに設置される室内機100と、屋外などに設置される室外機200と、赤外線や電波、通信線などにより室内機100と通信してユーザが空気調和機Aを操作するためのリモコン40(リモートコントローラ、空調制御端末)と、室温や外気温などの空気調和機の制御や表示に用いる情報を入手するための各種のセンサ部50(図5参照)とからなる。また、室内機100と室外機200とは、冷媒配管と通信ケーブル(図示せず)で接続されている。さらに、室内機100には、センサ部50のひとつのセンサとして、室内を撮影する撮像部110を有している。
<室内機>
図2は、本実施形態に係る空気調和機の室内機の構成を示す説明図である。室内機100は、熱交換器102、送風ファン103、左右風向板104(風向部)、上下風向板105(風向部)、前面パネル106、筐体ベース101、各種のセンサ部50(図5参照)などを有している。
熱交換器102は、複数本の伝熱管102aを有し、送風ファン103により室内機100内に取り込まれた室内の空気を、伝熱管102aを通流する冷媒と熱交換させ、当該空気を冷却または加熱などするように構成されている。なお、伝熱管102aは、前記した冷媒配管に通じていて、公知の冷媒サイクルの一部を構成している。送風ファン103は、風速を調節可能である。左右風向板104は、その基端側が室内機下部に設けた回転軸を支点にして左右風向板用モータにより正逆回転される。そして、左右風向板104の先端側が室内側を向いていて、これにより左右風向板104の先端側は水平方向に振れるように動作可能である。上下風向板105は、室内機100の長手方向両端部に設けられた回転軸を支点にして上下風向板用モータにより正逆回転される。これにより、上下風向板105の先端側は、上下方向に振れるように動作可能である。前面パネル106は、室内機の前面を覆うように設置されており、下端部の回転軸を支点として前面パネル用モータにより正逆回転可能である。ちなみに、前面パネル106は、回転動作を行うことなく、室内機の下端に固定されたものとしてもよい。
室内機100は、送風ファン103が回転することによって、空気吸込み口107及びフィルタ108を介して室内の空気を室内機100内に取り込み、この空気を熱交換器102で熱交換する。これにより、当該熱交換後の空気は、熱交換器102で冷却され、あるいは、加熱される。この熱交換後の空気は吹出し風路109aに導かれる。さらに、吹出し風路109aに導かれた空気は、空気吹出し口109bから室内機外部に送り出されて室内を空気調和する。そして、この熱交換後の空気吹出し口109bから室内に吹き出す際には、その水平方向の風向きは左右風向板104により調節され、その上下方向の風向きは上下風向板105により調節される。
<室外機>
図3は、本実施形態に係る空気調和機の室外機の構成を示す説明図である。空気調和機Aの室外機200には、冷媒を圧縮する圧縮機202、高圧の冷媒を減圧する膨張弁、冷媒の流路を切り替える四方弁、外気と冷媒とを熱交換する熱交換器206などの装置を備えている。室外機200は、仕切り板211と電装品箱210とリード線支持部品209とにより、熱交換器室204と機械室205とを区分(分割)している。熱交換器室204には、冷媒配管を循環する冷媒の外気との熱交換を促進するプロペラファン207とその駆動用のモータ、プロペラファン207を回転自在に支持するファン支柱、および外気と循環する冷媒の熱交換を行う熱交換器206が配設されている。機械室205には、循環する冷媒を高温高圧のガス冷媒にする圧縮機202、常温・高圧の液状冷媒を低温・低圧の液状冷媒にする電動膨張弁、電気部品のリアクタ、および、冷媒が流れる冷媒配管の伝熱管が配設されている。電装品箱210には、室外機200を制御する電装品が収納されており、その上部には電装品蓋が被せられている。
<リモコン>
図4は、本実施形態に係る空気調和機のリモコンの外観を示す説明図である。リモコン40はユーザによって操作され、室内機のリモコン受信部Q(図1参照)に対して赤外線信号を送信する。当該信号の内容は、運転要求、設定温度の変更、タイマ、運転モードの変更、停止要求などの様々な指令である。空気調和機Aは、これらの信号に基づいて、少なくとも室内の冷房、暖房、除湿などを行うことができる。また、空気清浄など、その他の空気調和の機能を備えていてもよい。空気調和機Aは、室内の空気を様々に調整することができる。
リモコン40の表示画面41には、気流制御部64(図6参照)が選択した現在の気流モード42が表示されている。具体的には、気流モード42には、間接気流モード、直接気流モードがあり、詳細については後記する。
<センサ部>
図5は、本実施形態に係る空気調和機のセンサ部の構成を示す説明図である。センサ部50は、室内機100と室外機200に備えられている。センサ部50は、室温センサ(温度検知部)、外気温センサ、湿度センサ、冷媒配管温度センサ、圧縮機温度センサ、撮像部110(図1参照)、時計などにより構成される。
撮像部110は、例えばCCD(Charge Coupled Device)イメージセンサであり、前面パネル106の左右方向中央の下部に設置されている。
<制御部>
図6は、本実施形態に係る空気調和機の制御部の構成を示す説明図である。制御部60は、電装品に備えられている。制御部60は、送受信部45を介するリモコン40からの情報と、センサ部50からの情報に基づき、室内機100の送風ファン103、左右風向板104、上下風向板105を駆動し、室外機200の圧縮機202、プロペラファン207を駆動する。
制御部60は、撮像部110を制御する撮像制御部61(図12、図13参照)と、撮像部110で撮影された画像に基づいて、室内の人の位置を検知する人検知部62(図14、図15参照)と、撮像部110で撮影された画像に基づいて、室内の壁位置を検出する壁検出部63(図16〜図21参照)と、人検知部62で検知された人が、壁検出部63で検出された側壁から所定距離以内に存在する場合、室内の空気吹出し口109bからみて検知された人の位置に近い手前の側壁の方向に、調和空気の風向を変える風向部を制御する気流制御部64(図7〜図11参照)と、記憶部65を備えている。
<壁検出部>
壁検出部63は、撮像部110で撮影された画像に基づいて、画像内のエッジの抽出し、太く長いエッジを抽出し、直線を延長し、交点を作成し、交点の重心点を消失点とすることにより、室内のコーナを検出し、検出したコーナを壁と壁あるいは壁と天井あるいは壁と床の接線とし、室内の壁や天井や床の面の位置を検出している。具体的な方法については、図16〜図21を参照して後記する。
<気流制御部>
気流制御部64は、壁の位置と人の位置に依拠して、基本的に、人に直接気流をあてない「間接気流モード」とするか、人に直接気流をあてる「直接気流モード」とするかを選択する気流モード選択処理(図8〜図10参照)を有する。
人に直接風があたると不快を感じる場合がある。特に、暖房運転開始直後の室内機100からの吹出気流の温度が高い場合に不快を感じやすい。そこで、本実施形態では、暖房運転開始後の所定時間は「間接気流モード」を実行し、所定時間経過後は通常の運転である「直接気流モード」に戻るようにしている。また、設定温度と吸込温度(室内温度)の差、吹出温度と吸込温度(室内温度)の差が所定値以上のときに、間接気流モードを実行するとよい。なお、間接気流モードは、リモコン40に専用ボタンを設けて実行するようにしてもよい。
具体的には、気流制御部64は、室内に人がいる場合、壁からの距離に応じて、間接気流モードを実行するか否かを決定する(図8(c)、(d)参照)。壁に気流をあてた場合、壁に沿って風が流れるものが多い。そのため、壁から人が離れた位置にいる場合、間接的に気流を届けることができない。そこで、本実施形態では人が壁から所定の距離の中にいるときに間接気流モードを実行する。
図7は、本実施形態に係る気流制御部の気流モード選択処理を示すフローチャートである。図8は、直接気流モードと間接気流モードを示す説明図であり、(a),(b)は風向角度で選択した場合であり、(c),(d)は側壁からの距離で選択した場合である。図9は、直接気流モードと間接気流モードを示す説明図であり、(a),(b)は空気調和機の設置壁からの距離で選択した場合である。図10は、直接気流モードと間接気流モードを示す説明図であり、(a),(b)は運転開始後の所定時間内の設定温度と室内温度との温度差により選択した場合である。
最初に、図8を参照して、直接気流モードと間接気流モードとの選択方法について説明する。図8(a)に示す図は、室内機100および当該室内機100が設けられている室内を鉛直上方側からみた概念図であり、図8(a)の下側は当該室内機100が取り付けられている壁331となる。壁331の側壁として壁336,335と、壁331の対向面である壁334で構成されているとする。撮像部110(図1参照)の水平方向の向きが真正面であるときが方向311である。人検知部62で人が検知された場合、方向311と人との角度をθ1、θ2とする。ここでは、気流モードの判定角度θcを45度として説明する。
図8(a)において、気流制御部64は、角度θ1が45度より大きい場合、直接気流モードを選択し、人に直接気流を送風するように、左右風向板104(図2参照)を制御する。また、気流制御部64は、角度θ2が45度より大きいの場合、直接気流モードを選択し、人に直接気流を送風するように、左右風向板104を制御する。
図8(b)において、気流制御部64は、角度θ1が45度以下の場合、間接気流モードを選択し、人の位置に対し手前の壁へ送風する間接気流をするように、左右風向板104を制御する(例えば、θ3>θ1)。また、気流制御部64は、角度θ2が45度以下の場合、間接気流モードを選択し、人の位置に対し手前の壁へ送風する間接気流をするように、左右風向板104を制御する(例えば、θ4>θ2)。
側壁と人との距離で判定する場合を考慮すると、壁336と人との距離をx1、壁335と人との距離をx2とする。ここでは、気流モードの判定距離xcを1mとして説明する。図8(c)において、気流制御部64は、距離x1が1m以下の場合、間接気流モードを選択し、人の位置に対し手前の壁へ送風する間接気流をするように、左右風向板104を制御する。また、気流制御部64は、距離x2が1m以下の場合、間接気流モードを選択し、人の位置に対し手前の壁へ送風する間接気流をするように、左右風向板104を制御する。
図8(d)において、気流制御部64は、距離x1が1mより大きい場合、直接気流モードを選択し、人に直接気流を送風するように、左右風向板104を制御する。また、気流制御部64は、距離x2が1mより大きい場合、直接気流モードを選択し、人に直接気流を送風するように、左右風向板104を制御する。
室内機100の設置壁と人との距離で判定する場合を考慮すると、壁331と人の距離をy1,y2とする。ここでは、気流モードの判定距離ycを3mとして説明する。図9(a)において、気流制御部64は、距離y1が3m未満の場合、直接気流モードを選択し、人に直接気流を送風するように、左右風向板104を制御する。一方、図9(b)において、気流制御部64は、距離y1が3m以上の場合、間接気流モードを選択し、人の位置に対し手前の壁へ送風する間接気流をするように、左右風向板104を制御する。
運転開始後の室温と設定温度との温度差で判定する場合を考慮すると、気流モードの温度差として説明する。図10(a)において、気流制御部64は、温度差がtc以下の場合(運転開始20分以降の場合に対応)、直接気流モードを選択し、人に直接気流を送風するように、左右風向板104を制御する。一方、図10(b)において、気流制御部64は、温度差がtcより大きい場合(運転開始20分未満の場合に対応)、間接気流モードを選択し、人の位置に対し手前の壁へ送風する間接気流をするように、左右風向板104を制御する。
気流モードの選択(図8、図9、図10)の組み合わせは各種の方法があるが、その一例として図7を参照して、気流モード選択処理を説明する。気流制御部64は、方向311と検知された人との角度θとすると、判定角度θc以下であるか否かを判定し(処理S71)、角度θが判定角度θc以下の場合(処理S71,Yes)処理S72に進み、角度θが判定角度θcより大きい場合(処理S71,No)処理S76に進む。
気流制御部64は、側壁である壁335,336と検知された人との距離xとすると、判定距離xc以下であるか否かを判定し(処理S72)、距離xが判定距離xc以下の場合(処理S72,Yes)処理S73に進み、距離xが判定距離xcより大きい場合(処理S72,No)処理S76に進む。
気流制御部64は、運転開始後の室温と設定温度との温度差が、判定温度tcより大きいか否かを判定し(処理S73)、温度差が判定温度tc以上の場合(処理S73,Yes)処理S74に進み、温度差が判定温度tc未満の場合(処理S73,No)処理S76に進む。
気流制御部64は、運転開始後の設定風量が中以上であるかを判定し(処理S74)、中以上の場合(処理S74,Yes)処理S75に進み、設定風量が中未満の場合(処理S74,No)処理S76に進む。
そして、処理S75において、気流制御部64は間接気流モードを選択する。一方、処理S76において、気流制御部64は直接気流モードを選択し、気流モード選択処理を終了する。なお、気流モード選択処理は、所定時間ごとに実施するとよい。
<気流制御部・スイング運転>
本実施形態では、スイング運転の際、人検知部62が人を複数検知した場合、人と人の間をスイングし、人がひとりの場合はその人の回りをスイングさせている。このとき、間接気流モードが選択されている場合、例えば、図8(b)に示す角度θ3から角度θ4までをスイング運転する。
図11は、人検知部がひとつの側壁に対し人を検知した場合のスイング運転を示す説明図である。気流制御部64は、方向311と検知された人との角度θとすると、所定角度αで、角度θ+αから角度θ−αまでスイング運転するとよい。なお、上下風向板105は、冷房運転時は水平とし、暖房運転時は人の位置によって角度を調整するとよい。
本実施形態では、人検知部62で検知された人が、壁検出部63で検出された複数の側壁から所定距離以内に、それぞれ存在する場合(図8(b)参照)、気流制御部64は、検知された人の位置に近い手前の側壁の方向から、検知された他方の人の位置に近い手前の側壁の方向まで、左右風向板104(風向部)を往復制御することができる。
また、本実施形態では、気流制御部64は、人検知部62がひとつの側壁に対し人を検知した場合(図11参照)、空気吹出し口109bからみて検知された人の位置に近い手前の側壁の方向から、検知した人の方向を過ぎるまで、左右風向板104(風向部)を往復制御することができる。
本実施形態の気流制御部64が、センサ部50からの壁などの室内の面の位置に基づき風向を制御することで、室内の面に気流を沿わせることが可能となる。気流を沿わせる面に沿って室内の遠方へ気流を供給することにより、空気調和機Aの室内機100の空気吹出し口109b付近だけでなく、室内機100の空気吹出し口109bから遠く離れた室内の遠方まで気流を供給することが可能となり、室内の温度ムラを解消することが可能となる。
室内機100の吹き出し方向と面との角度が、室内機100と面との距離に応じて異なることで、近くの面(例えば、図8の壁336)には浅い角度(例えば、図8の角度θ3)で送風し、遠くの面(例えば、図8の壁335)には深い角度(例えば、図8(b)角度θ4、なおθ3<θ4)で送風することが可能となる。
近くの面に浅い角度で送風することで面に気流が衝突する際の気流の拡散を防ぐことが可能となり、より多くの熱量をより遠くに供給することが可能となり、室内の温度ムラを解消することが可能となる。
また、遠くの面には深い角度で送風することで、遠くの面まで気流が流れる距離を短くし、より高い風速を維持することが可能となり、より遠くまで熱量を供給することが可能となり、室内の温度ムラを解消することが可能となる。なお、ここで供給する気流は暖気でもよく冷気でもよい。
<撮像部>
図12は、撮像部の水平方向の向きの移動と視野角を示す説明図である。図12を参照して、撮像部110の水平方向の向きの移動と視野角について説明する。図12は、室内機100および当該室内機100が設けられている室内を鉛直上方側からみた概念図であり、図12の上側は当該室内機100が取り付けられている壁側となり、下側は室内機100が取り付けられている室内の室内機100の前方側の空間となる。
この例で、撮像部110の水平方向の視野角はおよそ60°である。よって、撮像部110の水平方向の向きが真正面(方向311)にあるときに撮像部110で撮像すれば、矢印の範囲312の室内の画像の撮像を行うことができる。また、向き311から撮像部110の向きを室内機100に向かって右に例えば45°移動させ、方向313の向きで撮像すれば、矢印の範囲314の室内の画像の撮像を行うことができる。さらに、向き311から撮像部110の向きを室内機100に向かって左に例えば45°移動させ、方向315の向きで撮像すれば、矢印の範囲316の室内の画像の撮像を行うことができる。これにより、本例では室内機100が設置された室内を合計で約150°の視野角で撮像することができる。また、矢印の範囲312と矢印の範囲314とは一部(約15°の範囲)重なって画像を取得することができ、同様に矢印の範囲312と矢印の範囲316とは一部(約15°の範囲)重なって画像を取得することができる。また、前記の約150°の視野角で室内の画像を撮像するためには、方向313から方向315までの範囲で撮像部110の向きを水平方向に変動すればよい。
<撮像制御部>
図13は、撮像制御部の処理を示すフローチャートである。図13を参照して、撮像制御部61の撮像処理について説明する。撮像部110での室内の撮像は所定時間t1(一例を挙げれば1時間)ごとに行う。すなわち、撮像制御部61(図6参照)は、前回の撮像部110による撮像処理の終了から所定時間t1を経過したときは(処理S1,Yes)、ステッピングモータを制御して取付け部材を駆動することにより、例えば一定の角速度で撮像部110の水平方向の向きの移動を開始する(処理S2)。この動作は、例えば図12に示す向き318側から向き317側に向かって開始する。そして、撮像制御部61は、撮像部110の向きが方向315に達したときは(処理S3,Yes)、必要に応じて一時停止するなどして撮像部110で撮像を行い、画像データを「左画像」として記憶部65(図6参照)に記憶する(処理S4)。次に、撮像部110の向きが方向311に達したときは(処理S5,Yes)、撮像制御部61は、必要に応じて一時停止するなどして撮像部110で撮像を行い、画像データを「正面画像」として記憶部65に記憶する(処理S6)。次に、撮像部110の向きが方向313に達したときは(処理S7,Yes)、撮像制御部61は、必要に応じて一時停止するなどして撮像部110で撮像を行い、画像データを「右画像」として記憶部65に記憶する(処理S8)。
そして、図12に示すように撮像部110の向きが方向313に達したときは、ステッピングモータの回転方向を逆転して、方向313から方向318に向かって撮像部110の水平方向の向きの変動を開始する(処理S9)。この方向313から方向318に向かって撮像部110が移動している間は、撮像部110による撮像は行わない。そして、方向315に撮像部110の向きが戻ったときは(処理S10,Yes)、その時刻を記憶部65に記憶し、ステッピングモータを停止して(処理S11)、リターンする。時刻の記憶は画像データを「右画像」として記憶部352に記憶した後(処理S8)に行ってもよい。
なお、前記の所定時間t1の経過は、リモコン40(図4参照)の操作により、空気調和機Aを稼働させている時間内だけで判断してもよいし、空気調和機Aを稼働させていない時間も含めて全時間で判断してもよい(この場合は、空気調和機Aは稼働していなくても撮像部110などだけは稼働させる)。
<人検知部>
図14は、人検知部の人位置判定処理を示すフローチャートである。図15は、人検知部の人位置判定処理を示す説明図であり、(a)〜(c)はそれぞれ具体的な計算について説明する説明図である。まず、人検知部62(図6参照)は、図13の撮像処理で取得した左画像、正面画像、右画像から人の位置を検出する(処理S31)。次に、人検知部62は、この検出した人の位置に関し、画面上の座標系から実空間の座標系に変換する(処理S32)。これにより、室内のどこに人が存在していたかを判定することができる。このようにして、人の実空間の座標を判定すると、人検知部62は、当該座標の情報を記憶部65に記憶する(処理S33)。
図15は、図14の室内の人の方向の判定処理について詳細に説明する説明図である。図14の処理の処理S32においては、具体的には以下の処理により室内の人の実空間の座標を判定する。まず、頭部は、身長、性別に比較的依存しない大きさを有する人の体の部位である。そこで、処理S31で検出した人ごとに当該人の顔中心の位置を算出するとともに、その頭部の大きさ(縦方向の長さ)D0を算出する。
図15(a)は、撮像部110の光軸Pと垂直面Sとの関係を示す説明図である。図15(a)に示すように、撮像部110の光軸Pは、水平面に対して俯角εを有している。垂直面Sは、光軸Pに垂直であるとともに、人391の顔中心を通る仮想平面である。距離Lは、撮像部110が有するレンズ(図示せず)の焦点131aと、人391の顔中心との距離である。また、室内機100が設置される壁331とレンズの焦点131aとの距離はΔdである。
図15(b)は、画像面に撮像される画像と、実空間に存在する人391との関係を示す説明図である。図15(b)に示す画像面Rは、撮像部110が有する複数の受光素子(図示せず)を通る平面である。算出した前記の頭部の大きさD0に対応する縦方向の画角γは、以下に示す式(1)で表される。ちなみに、式(1)で角度β[deg/pixel]は、1ピクセル当たりの画角(y方向)の平均値であり、既知の値である。
そうすると、撮像部110が有するレンズ(図示せず)の焦点131aから顔中心までの距離L[m]は、一般的な人の顔の縦方向の長さの平均値をD1[m](既知の値)とすると、以下に示す式(2)で表される。前記したように、俯角εは、前記レンズの光軸が水平面となす角度である。
図15(c)は、前記レンズの焦点から顔中心までの距離Lと、画角δ,δとの関係を示す説明図である。画像面Rの中心から画像上の顔中心までのx方向、y方向の画角をそれぞれδ,δとすると、これらは以下に示す式(3)、式(4)で表される。ここで、x,yは、画像内の人391の人中心の位置(画像内でのx座標、y座標)である。また、T[pixel]は撮像画面の横サイズであり、T[pixel]は撮像画面の縦サイズであり、それぞれ既知の値である。
したがって、実空間における人中心の位置座標は、以下に示す式(5)〜式(7)によって表される。
すなわち、このx,y,zの各値は図15に図示のとおりであり、これらの値から室内機100の空気吹出し口109b側からみたX方向(図12の左右方向)、Y方向(図12の上下方向)、Z方向(図12に垂直な方向)の座標が求められる。以上の処理により、処理S32の処理を実現している。
<壁検出部・コーナ方向判定処理>
図16は、壁検出部のコーナ方向判定処理を示すフローチャートである。図17は、壁検出部のコーナ方向判定処理で行う画像処理を示す図であり、(a)〜(e)はこの順に画像処理の手順を示している。このコーナ方向判定処理は、図13の撮像処理が実行されるたびに行う。
すなわち、図13の撮像処理で取得した左画像、正面画像、右画像をそれぞれ対象として、次のような画像処理を行う。まず、壁検出部63(図6参照)は、図13の撮像処理で取得した画像(図17(a)に、その例を示す)からエッジを検出する(処理S21)。次に、壁検出部63は、検出したエッジにフィルタリング処理を行い、所定値以上に太く、所定値以上に長く、かつ、所定値以上に明瞭なエッジのみを残す(処理S22)。図17(b)には、このようにして図17(a)の画像から得られたエッジ371を白い線図で示している。次に、壁検出部63は、各エッジ371を、その長さ方向に延長する(処理S23)。図17(c)には、このようにして延長した各エッジ371を示している。そして、壁検出部63は、このように延長した各エッジ371の交点(図17(d)に示す交点372)を求める(処理S24)。そして、各交点372の重心(図17(e)に示す重心373)を求める(処理S25)。この重心373の座標は、各交点372の画像上の基準位置からのX方向(横方向)、Y方向(縦方向)の距離の平均をそれぞれ求めることにより算出することができる。そして、この重心373の画像上の位置を部屋のコーナ(角部)の位置と推定することができる。これにより、室内のコーナ(重心373)の撮像部110からみた水平方向の方向がわかるので(前記の左画像、正面画像、右画像のうちの何れの画像であるか、その画像中で重心373の位置は横方向の基準位置から何ピクセル目にあるかにより、当該方向がわかる)、当該コーナの方向を記憶部65に記憶(設定)する(処理S26)。この場合の記憶処理では、過去の所定回数分(例えば過去10回分)のみのコーナ(重心373)の方向を記憶部65に蓄積することとし、それより古い情報は削除する。そして、その過去の所定回数分の情報の平均値(移動平均の値)を、最終的なコーナ(重心373)の方向として確定し、記憶部65に記憶する。これは、室内における家具や器物の配置移動により、記憶部65に蓄積されている情報が示す室内の左右のコーナの方向は時間帯にばらつきを生じる場合があるからである。そのため、前記のとおり平均値を求めることで情報の中に含まれているノイズを除去して、最も確からしい方向を室内の左右のコーナ(重心373)の方向とすることができる。以下、重心373を適宜コーナ373という。処理S26により、後記の方向376,377が設定される。
なお、図17(e)の例では、室内機100が設置されている部屋の引き戸374が開いているため、その開口部の奥のエッジが検出されて、重心373の位置が同図に示す位置となっている。しかし、引き戸374が閉められた状態の画像が撮像された場合であれば、符号375またはその近傍の位置が重心373となる可能性が高い。
図1に示すように、撮像部110は、空気吹出し口109b(図2参照)の長手方向の中央部近傍に位置するので、前記のようにして特定した重心373は、空気吹出し口109b側からみた室内のコーナとみなすことができる。
また、壁検出部63は、図12に示すように、処理S25で求めた部屋のコーナ373(室内機100に向かって左右のコーナ373a,373b。以下、コーナ373(コーナ373a,373b)というときは、撮像部110でみた空気吹出し口109b側からの画像上での重心(図17(e))を意味する)の方向376,377のそれぞれの室内機100の正面の方向311からみた角度が何度になるか判断する(処理S27)。そして、この角度の小さい方の壁は大きい方の壁より空気吹出し口109b側からみて近いと判断する(処理S28)。すなわち、方向376と方向311とがなす角度が方向377と方向311とがなす角度より小さければ、壁336の方が壁335(図8参照)より空気吹出し口109b側からみて近いと判断する。方向377と方向311とがなす角度が方向376と方向311とがなす角度より小さければ、壁335の方が壁336より空気吹出し口109b側からみて近いと判断する。このような、左右の壁336と壁335とのうち空気吹出し口109b側からみて近いのは、あるいは遠いのはどちらであるかの情報も記憶部65に記憶する(処理S29)。
図18は、壁検出部のコーナ方向判定処理での室内の平面を示す説明図である。図18を参照して、処理S27,処理S28の処理を具体的に説明する。まず、角度aを算出する。これは、撮像部110の例えば水平方向の画素数が例えば640[pixel]であり、角度aの範囲の(上下、左右方向の)画素数がβ[pixel]であったとすれば、“640[pixel]:β[pixel]=60°:a°”、“a°=60°×β[pixel]/640[pixel]”から求められる。そして、“A°=30°+a°”で角度Aが求められる(範囲312の角度が約60°で、30°はその半分)。同様の考え方で、角度bを求め、“B°=30°−b°”で角度Bが求められる。そして、この例では、“A°>B°”であるから、図18において、壁335の方が壁336より空気吹出し口109b側からみて遠いと判断できる。
図19は、壁検出部のコーナ方向判定処理を示す説明図であり、(a)は室内の平面図であり、(b)は画像中の重心の決定について説明する説明図である。図19(a)の平面図で示す室内のように、室内の形状が長方形、正方形ではなく、例えば、室内のコーナ部分378が室内側に角柱状に飛び出しているような形状の場合、撮影した画像337の例は図19(b)のようになる。このような場合には、図19(b)に示すように、コーナ(重心)373の候補(符号373c)が複数求められることがある。
このような場合には、複数の候補373cの画像上の基準位置からのX方向(横方向)、Y方向(縦方向)の距離の平均をそれぞれ求めることにより、当該平均後の座標をコーナ(重心)373として求めることができる。
以上の処理により、壁検出部63は、空気吹出し口109b側からみた部屋の左右のコーナ373a,373b(図18参照)の方向376,377を的確に判断することができる。また、壁検出部63は、空気吹出し口109b側からみて室内の左右の壁336,337のうちどちらが近く、どちらが遠いかも判断することができる。
<壁検出部・拡がり範囲判定処理>
図20は、壁検出部の拡がり範囲判定処理を示すフローチャートである。図21は、壁検出部の拡がり範囲判定処理での室内配置を示す平面図である。図20、図21を参照して、図14に示した人検知処理の結果を用いて室内の拡がりの範囲を判定する処理について説明する。まず、所定時間t1ごとに図13の撮像処理が行われ、その度に図14の処理が実行され、その結果が記憶部65に記憶されている。そこで、壁検出部63は、前記処理S33(図14参照)により、新たに人の座標情報が記憶部65に記憶されると(処理S41,Yes)、当該人の座標情報から、室内の左右のコーナの方向376と方向377との間の領域383の外側の領域381に人の座標が存在するか否かを判断する(処理S42)。領域381に人の座標が存在するときは(図21の符号382で当該人の例を示している)(処理S42,Yes)、当該人のX方向の座標(図21の左右方向)位置を室内機100に向かって右側の壁336(または左側の壁335)の位置と推定する(処理S43)。これは当該座標に人382が位置するということは、壁336(または左側の壁335)は少なくとも当該座標の位置あるいはさらにその外側にあることになるので、その人382の位置を現時点での壁336(または左側の壁335)の位置とするものである。
これにより、壁336(または壁335)の現時点における推定位置がわかるので、室内の各コーナおよび各壁の位置を推定する(処理S44)。すなわち、この壁336(または壁335)の位置のY方向(図15の上下方向)を延長していき、コーナの方向376(またはコーナーの方向377)との交点が現実のコーナ422a(またはコーナ422b)であると推定できる。また、当該コーナ422a(またはコーナ422b)の位置をX方向に延長していき、他のコーナの方向377(またはコーナ376)の方向まで達するまでが正面の壁334の位置と推定できる。そして、そのコーナの方向377(またはコーナ376)の方向と交わった位置が他の現実のコーナ422b(またはコーナ422a)であると判定できる。さらに当該位置からY方向に延長していった位置が壁335及び壁336のうちの他方の壁の位置であると推定することができる。
一方、処理S44の後、または、領域381に人の座標が存在しなかった場合には(処理S42,No)、室内の左右のコーナの方向376と方向377との間の領域383に人の座標が存在するときは(図21の符号384で当該人の例を示している)(処理S45,Yes)、当該人のY方向の座標位置を室内機100の正面の壁334の位置と推定する(処理S46)。これは当該座標に人384が位置するということは、壁334は少なくとも当該座標の位置あるいはさらにその外側にあることになるので、その人384の位置を現時点での壁334の位置とするものである。
これにより、正面の壁334の位置がわかるので、室内の各コーナおよび各壁の位置を判断する(処理S47)。すなわち、この正面の壁334をX方向に延長していき、コーナの方向376およびコーナの方向377との交点が、現実のコーナ421aおよびコーナ421bであると推定できる。そして、この現実の各コーナ421a及びコーナ421bをY方向に延長していくと、当該位置が壁336および壁335であると推定することができる。
処理S47の後、または、室内の左右のコーナの方向376と方向377との間の領域383に人の座標が存在しなかったときは(処理S45,No)、処理S44および処理S47で推定された現実の各コーナおよび各壁の位置のうち、室内機100側から最も遠いものを各コーナおよび各壁の位置の最終的な判定結果とする(処理S48)。
図21には、人384に基づいて推定される壁331,334,335,336の位置をそれぞれ331a,334a,335a,336aとして示している。同様に、人382に基づいて推定される壁331,334,335,336の位置をそれぞれ331b,334b,335b,336bとして示している。
この場合、処理S44または処理S47でしか判定結果が得られなかったときは、当該得られた判定結果(人を複数検出したときは、室内機100側から最も遠いものの判定結果)を各壁および各コーナの位置の判定結果とする。そして、この判定結果を記憶部65に記憶する(処理S49)。この情報の記憶は、この各壁及び各コーナの情報は所定時間t1ごとに取得するので、所定時間t1ごとに行われる。そして、この情報の記憶は、所定の基準時以後(例えば、直近の過去30回分)の各壁及び各コーナの情報のうち、壁の位置が室内機100側から最も遠いものの情報で更新するように行う。これにより、所定の基準時以後に取得した情報のうち、各壁及び各コーナの位置が室内機100側から最も遠いものの情報が処理S49で記憶される。
なお、このようにして特定した空気吹出し口109b側からの室内の左右における現実のコーナ421a,421b,422a,422b(と推定される位置)までのそれぞれの距離も、次のように求められる。すなわち、
“コーナ421aまでの距離=√((壁336aまでの距離)+(壁334aまでの距離))”、
“コーナ421bまでの距離=√((壁335aまでの距離)+(壁334aまでの距離))”である。コーナ422aまでの距離、コーナ422bまでの距離も同様に求められる。
以上説明したように、壁検出部63は、撮像部110で撮影された画像から、風向部の水平方向の向きにおいて、空気吹出し口109bの前方側の右のコーナの方向と、空気吹出し口109bの前方側の左のコーナの方向と、人検知部62で検知した人の位置とに基づいて室内の壁の位置を検知することができる。
本実施形態では、撮像部110の画像を用いた壁検出部63について説明したが、これに限定されるものではない。例えば、近赤外線を室内に向けて照射し、赤外線透過フィルタ(IR透過フィルタ)を備えたCCDイメージセンサで撮像し、画像の上方の輝度の程度と、輝度と距離のデータベースとの比較から、側面の壁や正面の壁までの距離を推定してもよい。
また、近赤外線を複数本の平行線状に室内に向けて照射し、IR透過フィルタを備えたCCDイメージセンサで撮像し、平行線の間隔の違いから側面や正面の壁までの距離を推定してもよい。
さらに、撮像部110は、室内機100の前面に据え付けられているとして説明したが、同様の方法で天井に据え付けられる撮像部により、床を検出することで壁を検出してもよい。
人検知部63は、撮像部110の画像に基づいて人を検知しているがこれに限定されるものではない。例えば、センサ部50として、赤外線センサ、サーモパイル、サーモグラフィー、焦電型センサ、超音波センサ、騒音センサを使用してもよい。人検知部62で検出するのは、人の位置に限られず、活動量、生活シーンなどを検出してもよい。温度検知センサとしてサーモパイルを用いる場合、例えば横×縦が1×1画素、4×4画素、1×8画素で構成されるサーモパイルとし、前面パネルの左右方向中央の下部に設置するとよい。温度検知センサで検出するのは、室内の平均的な表面温度に限られず、検出範囲の内の人を除いた領域の室内の表面温度、人の着衣の表面温度、人の皮膚の温度、床や壁や天井の各部の表面温度を検出することができる。
本実施形態によれば、気流制御部64がセンサ部50からの壁などの室内の面の位置に基づき風向を制御することができる。このため、室内の面に気流を沿わせることが可能となり、気流を沿わせる面に沿って室内の遠方へ気流を供給することが可能となる。従って、空気調和機Aの室内機100の空気吹出し口109a付近だけでなく、室内機100の空気吹出し口109aから遠く離れた室内の遠方まで気流を供給することが可能となり、室内の温度ムラを解消することが可能となる。
40 リモコン(空調制御端末)
41 表示画面(表示部)
45 送受信部
50 センサ部
60 制御部
61 撮像制御部
62 人検知部
63 壁検出部
64 気流制御部
65 記憶部
100 室内機
103 送風ファン
104 左右風向板(風向部)
105 上下風向板(風向部)
106 前面パネル
109b 空気吹出し口(吹出し口)
110 撮像部
200 室外機
202 圧縮機
207 プロペラファン
A 空気調和機

Claims (5)

  1. 室内を撮像する撮像部で撮影された画像に基づいて、室内の人の位置を検知する人検知部と、
    前記撮像部で撮影された画像に基づいて、室内の壁位置を検出する壁検出部と、
    人に直接気流をあてない間接気流モードを有する気流制御部と、を備え、
    前記気流制御部は、前記間接気流モードが選択されている状態において、前記人検知部で検知された人が、前記壁検出部で検出された側壁から所定距離以内に存在する場合、前記室内の吹出し口からみて前記検知された人の位置に近い手前の側壁の方向に、調和空気の風向を変える風向部を制御す
    ことを特徴とする空気調和機。
  2. 前記人検知部で検知された人が、前記壁検出部で検出された複数の側壁から所定距離以内に、それぞれ存在する場合、
    前記気流制御部は、前記検知された人の位置に近い手前の側壁の方向から、前記検知された他方の人の位置に近い手前の側壁の方向まで、前記風向部を往復制御する
    ことを特徴とする請求項1に記載の空気調和機。
  3. 前記気流制御部は、前記人検知部がひとつの側壁に対し人を検知した場合、前記吹出し口からみて前記検知された人の位置に近い手前の側壁の方向から、検知した人の方向を過ぎるまで、前記風向部を往復制御する
    ことを特徴とする請求項1に記載の空気調和機。
  4. 前記空気調和機は、さらに、室温を検知する温度検知部を有し、
    前記気流制御部は、運転開始後の所定時間内の設定温度と室内温度との温度差が所定の温度差以上の場合に、前記吹出し口からみて前記検知された人の位置に近い手前の側壁の方向に、前記風向部を制御する
    ことを特徴とする請求項1に記載の空気調和機。
  5. 前記壁検出部は、前記撮像部で撮影された画像から、前記風向部の水平方向の向きにおいて、前記吹出し口の前方側の右のコーナの方向と、前記吹出し口の前方側の左のコーナの方向と、前記人検知部で検知した人の位置とに基づいて前記室内の壁の位置を検知する
    ことを特徴とする請求項1に記載の空気調和機。
JP2014084828A 2014-04-16 2014-04-16 空気調和機 Active JP6386770B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014084828A JP6386770B2 (ja) 2014-04-16 2014-04-16 空気調和機

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014084828A JP6386770B2 (ja) 2014-04-16 2014-04-16 空気調和機

Publications (2)

Publication Number Publication Date
JP2015203557A JP2015203557A (ja) 2015-11-16
JP6386770B2 true JP6386770B2 (ja) 2018-09-05

Family

ID=54597091

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014084828A Active JP6386770B2 (ja) 2014-04-16 2014-04-16 空気調和機

Country Status (1)

Country Link
JP (1) JP6386770B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110671801A (zh) * 2019-05-08 2020-01-10 青岛海尔空调器有限总公司 用于控制出风方向和出音方向的方法、装置和空调
WO2021244064A1 (zh) * 2020-06-04 2021-12-09 广东美的制冷设备有限公司 天花机控制方法、装置、天花机及可读存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6623668B2 (ja) 2015-10-15 2019-12-25 スズキ株式会社 鞍乗り型車両のエアクリーナ構造
CN108119992B (zh) * 2016-11-28 2020-08-11 青岛海尔智能技术研发有限公司 一种空调定向送风方法
CN109405206B (zh) * 2018-10-10 2021-02-26 广东美的制冷设备有限公司 空气调节设备的送风控制方法和装置
KR102223178B1 (ko) * 2018-12-12 2021-03-04 엘지전자 주식회사 공기조화기 및 그의 제어방법
CN109654700B (zh) * 2018-12-29 2021-01-29 青岛海尔空调器有限总公司 防直吹空调的控制方法、装置、存储介质及计算机设备
JP7463310B2 (ja) 2021-02-22 2024-04-08 株式会社コロナ 空気調和機

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101166380B1 (ko) * 2006-10-17 2012-07-23 삼성전자주식회사 공기조화기 및 그 제어방법
JP5317883B2 (ja) * 2009-08-06 2013-10-16 三菱電機株式会社 空気調和機
JP5409825B2 (ja) * 2011-10-18 2014-02-05 三菱電機株式会社 空気調和機の室内機

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110671801A (zh) * 2019-05-08 2020-01-10 青岛海尔空调器有限总公司 用于控制出风方向和出音方向的方法、装置和空调
WO2021244064A1 (zh) * 2020-06-04 2021-12-09 广东美的制冷设备有限公司 天花机控制方法、装置、天花机及可读存储介质

Also Published As

Publication number Publication date
JP2015203557A (ja) 2015-11-16

Similar Documents

Publication Publication Date Title
JP6386770B2 (ja) 空気調和機
JP6393098B2 (ja) 空気調和機
JP6596269B2 (ja) 空気調和機
US10436456B2 (en) Air conditioner and method for controlling an air conditioner
JP5819271B2 (ja) 空気調和機
JP6368552B2 (ja) 空気調和機
JP6368571B2 (ja) 空気調和機
JP5815490B2 (ja) 空気調和機
CN107305035B (zh) 空调机
WO2008066311A1 (en) Air conditioner and method of controlling airflow having the same
JP2015052431A (ja) 空気調和機の室内機および空気調和機
JP2016156507A (ja) 空気調和機
JP2014081145A (ja) 空気調和機
JP6348763B2 (ja) 空気調和機
CN106196276A (zh) 空调机
JP2016130600A (ja) 空気調和機、その外部端末装置および空気調和システム
JP2010014350A (ja) 空気調和機
JP2015190666A (ja) 空気調和機の室内機及びこれを用いた空気調和機
JP2015055384A (ja) 空気調和機
JP2016017707A (ja) 空気調和システム
JP6408300B2 (ja) 空気調和機
JP2012107865A (ja) 空気調和機
JP2016044863A (ja) 空気調和機
JP2015048956A (ja) 空気調和機
JP6068301B2 (ja) 空気調和機

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160427

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170210

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20171011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180731

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180810

R150 Certificate of patent or registration of utility model

Ref document number: 6386770

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150