JP7087821B2 - 制御システム、複合機、および制御プログラム - Google Patents

制御システム、複合機、および制御プログラム Download PDF

Info

Publication number
JP7087821B2
JP7087821B2 JP2018155759A JP2018155759A JP7087821B2 JP 7087821 B2 JP7087821 B2 JP 7087821B2 JP 2018155759 A JP2018155759 A JP 2018155759A JP 2018155759 A JP2018155759 A JP 2018155759A JP 7087821 B2 JP7087821 B2 JP 7087821B2
Authority
JP
Japan
Prior art keywords
touch
braille
main body
unit
braille device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018155759A
Other languages
English (en)
Other versions
JP2020030606A (ja
Inventor
裕樹 保立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2018155759A priority Critical patent/JP7087821B2/ja
Publication of JP2020030606A publication Critical patent/JP2020030606A/ja
Application granted granted Critical
Publication of JP7087821B2 publication Critical patent/JP7087821B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Facsimiles In General (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、視覚障害者が使用可能な制御システム、複合機、および制御プログラムに関する。
一般に、通常のタッチパネルでは視覚障害者は操作ができない。このような問題に対して、特許文献1に開示された技術では、通常モードと視覚障害者モードとを切り替え可能なタッチパネル装置が開示されている。この装置では、ユーザーがヘッドフォンを装着することで、または決定スイッチを操作することで視覚障害者モードに切り替わる。そして、視覚障害者モードでは、タッチパネルにユーザーが触れた際、タッチ情報を制御手段に通知せずに、タッチした位置情報のみを制御手段に通知する。制御手段は、位置情報に相当する画面情報を音声で案内し、希望の画面情報であればユーザーはタッチパネルとは別の決定スイッチをONする。決定スイッチのONに応じてタッチパネル装置は、タッチ情報を制御手段に通知することで、通常モードと同様の操作を行えるようにしている。
また特許文献2に開示された技術では、無線通信可能な指キャップを装着したユーザーを用いた入力装置が開示され、以下の処理を実行している。指キャップを装着したユーザーがタッチパネルにタッチすると、タッチパネル側では、タッチの座標位置の操作種別情報に応じた点字マトリックス信号を指キャップに送信する。そして指キャップ側では、この点字マトリックス信号に応じた立体的な点字模様を内側に発生させる。ユーザーは、内側の点字模様をなぞることで、キーの種類を認識する。
特開2004-271748号公報 特開2000-172408号公報
情報機器の分野においては、対応する機能が年々増加しており、それぞれの機能に対する設定を行うためのボタン(アイコン)の数も増加してきている。1つの操作画面に表示するボタンの数も増加している。
引用文献1、2に開示された技術では、所望の機能に対応するボタンを探すために、操作画面の複数のボタンをひとつひとつ調べなくてはならず、使い勝手がよくない。
本発明は、上記事情に鑑みてなされたものであり、健常者と視覚障害者で複数のボタンが配置された操作画面を共用したとしても、視覚障害者が操作で戸惑うことなく利用できる制御システム、および制御プログラムを提供することを目的とする。
本発明の上記目的は、下記の手段によって達成される。
(1)操作を受け付ける本体装置、およびユーザーの手に装着される点字デバイスを備える制御システムであって、
前記本体装置は、
表示面に操作画面を表示するとともに、前記表示面へのタッチを検出するタッチパネルと、
前記点字デバイスと無線通信する本体通信部と、
本体制御部と、を備え、
前記点字デバイスは、
ユーザーの指先を覆う指カバーと、
前記指カバーの内側に配置され、点字情報を表示可能な点字表示部と、
前記本体通信部との間で無線通信する点字デバイス通信部と、を備え、
前記本体制御部は、前記操作画面を表示した前記タッチパネルへのタッチを検出した場合に、前記点字デバイスによるタッチであるか否かを判定し、
前記点字デバイスによるタッチでないと判定した場合には、タッチに応じた処理を実行し、
前記点字デバイスによるタッチであると判定した場合、さらに、前記タッチのタッチ位置が、前記操作画面に予め設定した操作禁止エリア内であるか否かを判定し、前記操作禁止エリア内でのタッチである場合は、前記タッチ位置への操作を無効にする、制御システム。
(2)前記本体制御部は、前記点字デバイスによるタッチを検出した場合に、
前記操作禁止エリア外でのタッチである場合には、前記点字表示部による、タッチ位置にある前記操作画面の表示内容の表示を行い、
前記操作禁止エリア内でのタッチである場合には、前記点字表示部による、表示内容の表示を行わないように制御する、上記(1)に記載の制御システム。
(3)前記点字デバイスは、さらに、決定スイッチを備え、
前記本体制御部は、前記点字デバイスによるタッチを検出した場合に、
前記操作禁止エリア外でのタッチである場合には、前記点字表示部による、タッチ位置にある前記操作画面の表示内容の表示を行うともに、前記決定スイッチが操作されることによりタッチ位置の表示内容に応じた処理を実行する、上記(1)または上記(2)に記載の制御システム。
(4)前記点字デバイスは、さらに、前記指カバーの指の腹に対応する位置に配置され、前記指カバーの外側が物体に接触したことを検知するセンサー部を備え、
前記点字デバイスは、前記センサー部の検出信号に応じた、物体への接触タイミングを前記本体装置に送信し、
前記本体制御部は、前記タッチパネルへのタッチを検出した場合、前記点字デバイスから受信した物体への前記接触タイミングと比較することで、前記タッチが前記点字デバイスによるものか否かを判定する、上記(1)から上記(3)のいずれかに記載の制御システム。
(5)前記操作画面、および前記操作画面の前記操作禁止エリアの設定は、記憶部に記憶されており、
前記操作禁止エリアの設定は、ユーザーにより変更可能である、上記(1)から上記(4)のいずれかに記載の制御システム。
(6)前記本体制御部は、前記点字デバイスにより、前記操作禁止エリア内でのタッチがなされた場合に、前記操作禁止エリア外の所定領域まで、ユーザーを誘導するための前記点字情報を前記点字表示部に表示させる、上記(1)から上記(5)のいずれかに記載の制御システム。
(7)前記操作禁止エリアには、視覚障害者にとって有用でない機能に関連する操作を行うボタンが含まれる、上記(1)から上記(6)のいずれかに記載の制御システム。
(8)前記操作禁止エリアは、予め前記点字デバイスの識別情報毎に設定されており、
前記本体制御部は、無線通信する前記点字デバイスから受信した前記点字デバイスの識別情報により、適用する前記操作禁止エリアの設定を変更する、上記(1)から上記(7)のいずれかに記載の制御システム。
(9)用紙に画像を形成するプリンター部と、
上記(1)から上記(8)のいずれかに記載の制御システムと、
を備える複合機。
(10)
タッチパネルを通じた操作を受け付ける本体装置と、ユーザーの手に装着される点字デバイスであって、ユーザーの指先を覆う指カバー、および前記指カバーの内側に配置され、点字情報を表示可能な点字表示部を備える点字デバイスとを備えた、制御システムを制御するコンピューターで実行される制御プログラムであって、
操作画面を表示した前記タッチパネルへのタッチを検出した場合に、前記点字デバイスによるタッチであるか否かを判定するステップ(a)と、
前記ステップ(a)で、前記点字デバイスによるタッチでないと判定した場合には、タッチに応じた処理を実行するステップ(b)と、
前記ステップ(a)で、前記点字デバイスによるタッチであると判定した場合、さらに、前記タッチのタッチ位置が、前記操作画面に予め設定した操作禁止エリア内であるか否かを判定し、前記操作禁止エリア内でのタッチである場合は、前記タッチ位置への操作を無効にするステップ(c)と、
を含む処理をコンピューターに実行させるための制御プログラム。
本発明によれば、操作画面を表示した前記タッチパネルへのタッチを検出した場合に、点字デバイスによるタッチであるか否かを判定し、点字デバイスによるタッチでないと判定した場合には、タッチに応じた処理を実行し、点字デバイスによるタッチであると判定した場合、さらに、タッチのタッチ位置が、操作画面に予め設定した操作禁止エリア内であるか否かを判定し、操作禁止エリア内でのタッチである場合は、タッチ位置への操作を無効にする。このように操作画面上であまり有用でないエリアを操作禁止に設定することで、健常者と操作画面を共用したとしても、視覚障害者が操作で戸惑うことなく利用できる。
本体装置のハードウェア構成を示すブロック図である。 点字デバイスのハードウェア構成を示すブロック図である。 点字デバイスでタッチパネルにタッチした状態を示す斜視図である。 点字デバイスの外観を示す斜視図である。 指カバー周辺の断面模式図である。 タッチパネルに表示する操作画面の例である。 図5に対応する点字用の操作画面(点字画像)を示す概念図である。 第1の実施形態における本体装置側で実行される制御を示すフローチャートである。 点字デバイス側の制御を示すフローチャートである。 タッチパネルに表示する操作画面の例である。 図9Aの操作画面に設定された操作禁止エリアを示す図である。 第1の変形例における操作禁止エリアの設定変更を説明する図である。 第2の実施形態における本体装置側で実行される制御を示すフローチャートである。 操作画面上で行われる誘導制御を説明する図である。 第3の実施形態における操作禁止エリアの設定テーブルの例である。 第3の実施形態における本体装置側の制御を示すフローチャートである。 第4の実施形態における本体装置側の制御を示すフローチャートである。
以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
図1は、本体装置100のハードウェア構成を示すブロック図であり、図2は、点字デバイス200のハードウェア構成を示すブロック図である。図3A、図3B、図4は、点字デバイス200等の構成を示す図である。これらの図に示すように制御システム500は、本体装置100、および点字デバイス200を備える。
(本体装置100)
本体装置100は、例えば複合機(MFP:Multifunction Peripheral)である。図1に示すように本体装置100は、制御部110(本体制御部)、タッチパネル120、記憶部130、プリンター部140、スキャナー部150、ファックス部160、無線通信部170、およびスピーカー180を備える。
制御部110は、CPU(Central Processing Unit)を備える。記憶部130は、RAM(Random Access Memory)、ROM(Read Only Memory)、およびHDD(Hard Disk Drive)などの補助記憶装置を備える。ROMは、予め各種プログラムや各種データを格納しておき、RAMは、作業領域として一時的にプログラムやデータを記憶する。CPUは、プログラムにしたがって本体装置100全体の制御を行う。この記憶部130には、複数の操作画面、この操作画面毎の操作禁止エリアの設定、および点字画像データが記憶されている。
タッチパネル120は、タッチスクリーン、または操作パネルとも称されるものであり、液晶スクリーンで構成されるLCD121と、これに重畳され、ユーザーの指の操作を検出するタッチセンサー122とを備える。
タッチセンサー122は、例えば、静電容量方式の検出部であり、ユーザーの指が、タッチパネル120の表面に接触した場合に、静電容量の変化に基づき、指の接触の有無、およびその接触位置(座標)を検出する。また複数本の指による同時タッチ(マルチタッチ)の検出にも対応している。
プリンター部140は、公知の電子写真方式またはインクジェット方式により、印刷データに基づいて用紙上に画像を形成する。
スキャナー部150は、原稿を載置する原稿ガラス、原稿に光を照射する光源と、レンズ等の光学系、および反射した光から画像データを生成するCCD等の光学素子を備える。スキャナー部150は、原稿ガラスに載置した原稿、または自動原稿搬送装置により搬送された原稿の画像を読み取って画像データを生成する。
ファックス部160は、モデム、データアクセス部を備える。モデムは、データアクセス部、および電話回線等の通信回線網に接続されている。データアクセス部は、相手先電話番号に応じたパルス信号を出力する機能を有する。ファックス部160は通信回線網を通じて、相手先のファックス装置と画像データの伝送を行う。
無線通信部170は、「本体通信部」として機能する。この無線通信部170は、BLE(Bluetooth(登録商標) Low Energy)、Bluetooth(登録商標)、IEEE802.11、IrDA等の無線通信インターフェースを備える。また、近距離無線通信として、FeliCa(登録商標)、ISO/IEC 14443(MIFARE(登録商標)の通信方式)、ISO/IEC 18092(NFC:Near Field Communication)等の通信方式を利用してもよい。なお、本体装置100が、これとは別に有線方式のインターフェースとして、イーサネット(登録商標)、FDDI等の規格によるLAN接続用インターフェースや、USB、IEEE1394等のシリアルインターフェースや、SCSI、IEEE1284等のパラレルインターフェース等のインターフェースを備えてもよい。
スピーカー180は、音声を出力する。具体的には、タッチパネル120に表示面に表示する操作画面の表示内容を、視覚障害者等のユーザーに音声で情報を通知する。
(点字デバイス200)
図2、図3A、図3B、図4に示すように、点字デバイス200は、制御部210(点字デバイス制御部)、点字表示部220、選択操作用の決定スイッチ230、接触センサー240、および無線通信部250を備える。
図3A、図3Bに示すように、点字デバイス200は、視覚障害者等のユーザーの手に装着されるものであり、手袋本体部281、装着した状態で人差し指を覆う指カバー282、この手袋本体部281の手の甲に相当する部分に設けられたユニットケース283で構成される。点字デバイス200は、手袋本体部281の手首バンド(図示せず)によりユーザーの手に装着される。
指カバー282の先端部には、点字表示部220、決定スイッチ230、および接触センサー240が設けられる。また、ユニットケース283の内部には、制御部210および無線通信部250が設けられる。これらはユニットケース283内に設けられた二次電池(図示せず)により電力が供給される。
(制御部210、無線通信部250)
制御部210は、CPU、RAM、およびROMを備える。無線通信部250は、「点字デバイス通信部」として機能し、無線通信により、本体装置100の無線通信部170と通信を行う。これらの機能は、それぞれ制御部110、および無線通信部170と同様であり、説明を省略する。
(点字表示部220)
点字表示部220は、指カバー282の内側に配置され、ユーザーに点字の感触を生じさせる立体的な点字模様を表示(具現)する。図4の指カバー282周辺の断面模式図に示すように点字表示部220は、指先に触覚を感じさせる多数のピンが設けられており、このピンの高さ方向の突き出し量は、圧電素子により個別に変更できる。ピンの密度(解像度)は、一般的な点字のピッチ(2~3mm)よりも高い密度で構成しており、点字模様以外にもテキスト情報や簡単な画像も表示可能である。
以下、図5、図6を参照し、点字表示部220で表示する点字模様の例を説明する。図5は、タッチパネル120に表示される操作画面12aの例である。なお、実際の操作画面は後述するように多くのボタン(操作ボタン、操作キー、またはアイコンともいう)が配置されているが、同図では説明のために簡易な画面例としている。複数のボタンb11~b14(以下、このようなボタンを総称して「ボタンb」ともいう)が配置され視覚的に表示されている。図6は、図5に対応する点字用の点字画像データd1~d4(以下、これらをまとめて「点字画像データd」ともいう)を表示する点字用の操作画面22a(点字画像)である。点字画像データd1~d4に含まれる点字情報は、それぞれボタンb11~b14に示される文字データに一対一に対応している。これらの図5、および後述する操作画面用の画像データは記憶部130に記憶されている。また、図6のような点字用の点字データ(画像データ)は、記憶部130または点字デバイス200の記憶部に記憶されている。
通常モードのときには、ユーザーは各ボタンbを指でタッチすることで、各ボタンbに対応した処理を実行できる。例えばボタンb11をタッチすることで、操作画面はコピーに関する設定画面に遷移する。後述する視覚障害者モードでは、点字デバイス200を装着したユーザーが指カバー282で、操作画面のボタンbにタッチすることで、対応した点字画像データdが点字表示部220に表示される。具体的には、例えば指カバー282でタッチパネル120表面のボタンb11の枠内(四角枠)のいずれかの位置をタッチすることで、ボタンb11に対応した点字画像データd1が本体装置100から、点字デバイス200に無線通信により送信される。そして、点字デバイス200は、受信した点字画像データd1を点字表示部220に表示する。この制御については後述する。なお、図6の例では、点字画像データd1は、6ピンを1組のデータとして6個のピンに対応するデータで構成されている。各データを、点字表示部220により所定時間間隔で順次表示するようにしてもよい。または、ユーザーによるボタンb11内でのスライド操作により、6個のデータをスクロールさせながら表示してもよい。さらに、点字画像データd1には、点字情報だけでなく、これら全体を囲む枠線などの図形を含めるようにしてもよい。
(決定スイッチ230)
決定スイッチ230は、点字表示部220に重畳して配置した圧力センサーである。ユーザーが指Fを下方に押し込むことで、圧力センサーにより所定以上の圧力が検知された場合に、制御部210は、ユーザーによって、決定スイッチ230がONされたと判定する。なお決定スイッチ230としては、これに限られず、空いている方の手で操作するタクトスイッチであってもよい。また、その場合、このタクトスイッチをユニットケース283の上部に配置してもよい。
(接触センサー240)
接触センサー240は、「センサー部」として機能する。接触センサー240は、指カバー282の指の腹に対応する位置に配置され、指カバー282の外側が、タッチパネル120の表面等の物体に接触したことを検知する。接触センサー240は、例えばマイクロスイッチまたは圧力センサーなどの機械的なセンサーであってもよく、光学的なセンサーであってもよい。また圧力センサーを用いた場合には、所定以上の圧力で物体に接触した場合に、接触したと判定するようにしてもよい。点字デバイス200を装着したユーザーが、指カバー282の先端でタッチパネル120等の何らかの物体にタッチした場合には、接触センサー240はそのタッチを検知する。
また、接触センサー240が検知した接触タイミングと、タッチパネル120(タッチセンサー122)の検出タイミングを比較することにより、タッチパネル120へのタッチが、点字デバイス200によりなされたものかを判定するようにしてもよい。例えば、制御部110は以下の手法により判定する。
(a)点字デバイス200が接触センサー240の出力をモニターし、センサー情報、すなわち何らかの物体への接触タイミングの情報をリアルタイムで、本体装置100に送信する。センサー情報の送信は、所定周期、例えば数十Hzの周期で行うことが好ましい。(b)本体装置100の制御部110は、自装置のタッチパネル120への点字デバイス200によるタッチを検出する。このとき、点字デバイス200から送信されてくる(a)のセンサー情報の接触タイミングを示す波形と、タッチパネル120へのタッチのタイミングを示す波形が同一であるか否かにより行う。より具体的には、接触センサー240のセンサー情報で非接触から接触に変化したタイミング、およびその後のタッチの継続を示す信号波形が、本体装置100でタッチの検出した信号波形と一致していれば、点字デバイス200によりタッチされたものであると判定する。例えば、点字デバイス200から、60Hz周期でセンサー情報を受信する場合、本体装置100は、非接触から接触に変化したタイミングが、同一周期あるいは1周期程度(約16msec)以内の差であれば、点字デバイス200によるタッチであると判定できる。
なお、以下の各実施形態における制御方法の説明においては、本体装置100は、上述の検出タイミングの比較により、点字デバイス200によるタッチであるか否かを判定する。しかしながら、本体装置100が、点字デバイス200との間で近距離無線通信(BLE規格等)が確立された期間において、タッチパネル120へ何らかの物体によりタッチがなされた場合には、視覚障害者の点字デバイス200によるタッチであるとみなしてもよい。
(制御方法)
図7~図9Bを参照し、第1の実施形態に係る制御システム500で実行される視覚障害者モードにおける制御方法について説明する。図7は本体装置100側で実行される制御を示すフローチャートであり、図8は点字デバイス200側で実行される制御を示すフローチャートである。図9A、9Bは、タッチパネル120に表示する操作画面の例である。
(本体装置100側の制御)
(ステップS11)
図7に示すように本体装置100の制御部110は、タッチパネル120へタッチがなされたかを判定する。タッチセンサー122によりタッチを検出した場合(YES)、処理をステップS12に進める。
(ステップS12)
制御部110は、点字デバイス200によるタッチであるか否かを判定する。タッチが、点字デバイス200によるものか否かの判定は、上述のように点字デバイス200から送信されてくるセンサー情報(後述のステップS22)の接触タイミングを示す波形と、タッチパネル120へのタッチのタイミングを示す波形が同一であるか否かにより行える。
点字デバイス200によるタッチであれば(YES)、すなわち点字デバイス200を装着したユーザーによるタッチであれば、処理をステップS13に進める。点字デバイス200によるタッチでなければ(NO)、処理をステップS17に進める(丸数字の10)。
(ステップS13)
図9Aと図9Bには、同じ操作画面12bを示しており、図9Bでは、操作画面12b内に複数の操作禁止エリア81~83を設定している。この操作禁止エリア81~83には、1つまたは複数のボタンが含まれている。また、1つの操作禁止エリアを、1つのボタンに対応するように設定し、ボタン毎に操作禁止の設定をするようにしてもよい(後述の第4の実施形態)。この操作禁止エリアは、操作画面毎に設定されており、その設定情報は、記憶部130に記憶されている。制御部110は、記憶部130から、この操作画面の操作禁止エリアの設定を呼び出し、操作禁止エリアの設定を行う。
(操作禁止エリアの設定)
本実施形態においては、健常者が使用する操作画面12a、12bを、視覚障害者がそのまま共通に使用している。このように健常者(通常モード)と視覚障害者(視覚障害者モード)で、操作画面の表示内容を共通にしている。これは、視覚障害者向けに新たな操作画面の準備を不要とすることで、表示用のデータ作成に関する工数を削減するためである。
しかしながら、健常者と同じUI(ユーザーインターフェース)を用いる場合には、一般にボタンの数が多くなりがちである。しかしながら、視覚障害者は、各ボタンの内容を知るには一つ一つのボタンを指先でタッチし、ボタンの内容に応じた点字情報を、点字デバイス200を通じて読み取る必要があり、多くのボタンを読み取らせるのは不親切である。このような状況を鑑み、本実施形態においては、記憶部130に記憶されている設定情報に基づいて、操作禁止エリアを設定する。そして、後述するように、そのエリア内にあるボタン等は、ないものとして、以降の操作を禁止し、点字デバイスによる点字表示も行わない。
ここで、この操作禁止エリアに設定するボタンをどのように選定するかについて説明する。図9A、図9Bに示す操作画面12bの例では、「コピー」と「らくらくコピー」、「ファックス」と「らくらくファックス」のボタンように、機能が重複するボタンがあり冗長である。このようなことから、操作がより複雑な方の「コピー」、「ファックス」ボタンを操作禁止として、操作禁止エリア81内に設定している。また、「画面輝度調整」ボタンは、全盲の視覚障害者にとっては、有用でない機能である。「言語切り替え」ボタンは、装置側で母国語(例えば日本語)以外の他言語への点字に対応していない場合には、同様に有用でない機能となる。また、一般に、管理者以外には使わない機能や、高度/詳細な機能に関するボタンは、視覚障害者にとって煩雑すぎて、不要であると考えられる。そのため、このようなボタンも操作禁止とし、操作禁止エリア82、83内に含ませている。
(ステップS14)
制御部110は、ステップS11でのタッチ位置が、ステップS13で呼び出した、いずれかの操作禁止エリア81~83内にあるか否かを判定する。操作禁止エリア内であれば(YES)、処理を終了する(エンド)。この場合、タッチ位置の表示情報を点字デバイス200には送信しない。例えば、操作禁止エリア83(図9Aの「ジョブメモリ」ボタンに対応)へのタッチがなされたとしても、この操作禁止エリア81内のボタンの表示情報を点字デバイス200に送信しない。すなわち、点字デバイス200を使用するユーザーには、なにも表示されていない(空白)と認識される。一方で、操作禁止エリア内でなければ(NO)、処理をステップS15に進める。
(ステップS15)
タッチされているボタンの内容に応じた点字情報を点字デバイス200に送信する。例えば、図9Bにおいて「らくらくコピー」ボタンへのタッチであれば、この「らくらくコピー」ボタンのテキストデータに対応する点字情報を点字デバイス200に送信する。
(ステップS16)
ここでは、点字デバイス200の処理(後述のステップS26)に応じて、点字デバイス200からの決定スイッチ230のON信号を受信したか否かを判定する。ON信号を受信した場合(YES)、処理をステップS17に進め、そうでなければ(NO)処理を終了する(エンド)。
(ステップS17)
制御部110は、ボタンへのタッチ(S11)があり、かつ、ON信号を受信(S16)した場合に、選択操作が行われたと判定し、現時点で、点字デバイス200によりタッチされている位置(例えばボタン)に応じた機能の処理を実行する。
(点字デバイス200側の制御)
次に、本体装置100側の図7で示した制御に並行して行われる点字デバイス200側の制御について説明する。
(ステップS21)
図8に示すように点字デバイス200の制御部210は、指カバー282の指の腹側に配置された接触センサー240により、物体へのタッチを検知した場合(YES)、ユーザーが点字デバイス200でタッチを行ったと判定し、処理をステップS22に進める。
(ステップS22)
制御部210は、接触センサー240の出力をモニターし、センサー情報、すなわち何らかの物体への接触タイミングの情報をリアルタイムで、本体装置100に送信する。この送信するデータは、例えば、接触センサー240の出力を数十Hz周期の信号に変換している。
(ステップS23)
ここでは、制御部210は、本体装置100から点字情報を受信したか否かを判断する。本体装置100のステップS15の処理に応じて、点字情報を受信した場合(YES)には、処理をステップS24に進める。
(ステップS24)
点字表示部220に、受信した点字情報に対応する点字画像を表示する。ボタンへのタッチに応じた点字情報であれば、ユーザーは、ステップ21(ステップS11)でタッチしたボタンの内容を認識できる。
(ステップS25)
ユーザーは、点字表示部220の表示内容から認識したボタンが、所望のボタンであれば、決定スイッチ230をONする(押し下げる)。制御部210は、決定スイッチ230がONされた場合(YES)には、処理をステップS26に進める。ONされない場合(NO)には、処理を終了する(エンド)。
(ステップS26)
点字デバイス200は、決定スイッチ230のON信号を本体装置100に送信して、終了する(エンド)。このとき、本体装置100側は、このON信号を受信することに応じて、タッチ位置に応じた処理を実行する(ステップS16、S17(図7))。
このように、第1の実施形態に係る点字デバイス200を用いた制御システム500においては、制御部110は、操作画面を表示した前記タッチパネルへのタッチを検出した場合に、点字デバイス200によるタッチであるか否かを判定し、点字デバイス200によるタッチでないと判定した場合には、タッチに応じた処理を実行し、点字デバイス200によるタッチであると判定した場合、さらに、タッチのタッチ位置が、操作画面に予め設定した操作禁止エリア内であるか否かを判定し、操作禁止エリア内でのタッチである場合は、タッチ位置への操作を無効にする。このようにすることで、健常者と視覚障害者で、複数のボタンが配置された操作画面を共用したとしても、操作画面上であまり有用でないエリアを操作禁止に設定することで、視覚障害者が操作で戸惑うことなく利用できる。
(第1の変形例)
図10は、第1の変形例における操作禁止エリアの設定変更を説明する図である。図10(a)は、図9Bにそのまま対応する。図10(a)の操作画面12bでは、操作禁止エリア81~83が設定されており、この設定は、工場出荷時のデフォルト設定(以下「標準」設定ともいう)である。一方で図10(b)の操作画面12bでは、操作禁止エリア82のみが設定されており、他の操作禁止エリア81、83は解除されている(以下「type1」設定ともいう)。
操作画面12b等の各操作画面の操作禁止エリアの設定は、ユーザーの操作パネル等を通じた指示により変更される。ユーザーは、操作禁止エリアの設定変更を行う場合には、対象となる操作画面を選択し、選択した操作画面に対して、操作禁止エリアの設定変更を行う。設定変更は、矩形の操作禁止エリアの端点(角)をマウス等により指定することにより行ってもよく、操作画面において対象とするボタンを選択することにより、ボタン単位で設定してもよい。設定後の操作禁止エリアの設定情報は、操作画面と紐付けられて記憶部130に記憶される、以降は、その操作画面を使用する毎に、設定情報が呼び出される(ステップS13(図7)等)。このように、ユーザーにより操作禁止エリアを変更することにより、多様な要望に対応できる。
(第2の実施形態)
次に、図11、図12を参照し、第2の実施形態について説明する。上述の第1の実施形態においては、点字デバイス200による操作禁止エリアへのタッチがあった場合には、タッチ位置への操作を無効とし、何ら点字情報を送信しなかった。以下に説明する第2の実施形態では、このような状況の場合にユーザーを誘導する誘導制御を実行する。
図11は、第2の実施形態における本体装置側の制御を示すフローチャートである。図12は、操作画面上で行われる誘導制御を説明する図である。なお、以下に説明する各実施形態においては、図1~図6で説明した制御システム500の装置構成は共通する。また、各実施形態で説明する処理以外の処理は、図7、図8と共通である。
(ステップS31)
図11のステップS31は、図7のステップS13に続いて行われる処理である。このステップS31は、ステップS14と同様の処理である。すなわち、制御部110はステップS11でのタッチ位置が、ステップS13で設定した、いずれかの操作禁止エリア81~83内にあるか否かを判定する。操作禁止エリア内であれば(YES)、処理をステップS32に進める。一方で、操作禁止エリア内でなければ(NO)、処理をステップS34に進める。
(ステップS32)
制御部110は、操作禁止エリア外の所定領域まで、ユーザーを誘導するための点字情報を点字表示部220に表示させる誘導制御を行う。例えば図12に示すように、ユーザーが、操作禁止エリア82内を、タッチしていた場合には、制御部110は、所定領域91まで誘導する。
ここで誘導先としての「所定領域」とは、次の選択操作を行うための1つまたは複数のボタンが配置されている領域であり、ユーザーのタッチ位置を誘導させる領域である。
例えば、所定領域は、ボタンに序列があればその先頭のボタンであり、デフォルトの設定があればその設定を行うボタンである。例えば、用紙サイズを設定する操作画面で、AB系列、インチ系、不定形サイズを選択するボタンがそれぞれある場合には、AB系列のボタンを所定領域とする。また、序列がない場合には、操作禁止エリア外の領域で、左上を基準位置とし、最も左上にあるボタンを所定領域とするようにしてもよい。
図12の例においては、「らくらくコピー」ボタンを、所定領域91としている。誘導制御としては、例えば、所定領域91に至る経路(図12の矢印)をなぞらせるような点字情報を点字デバイス200に送信する。例えば図12のように、操作禁止エリア82内の手首のイラストに示す位置を、ユーザーがタッチしていた場合には、制御部110は、誘導するための点字情報として、「ひだり(左)」の点字情報を点字デバイス200に送信し続け(複数回送信し)、対応する点字画像データを点字デバイス200の点字表示部220に表示させる。そして、左端まで移動するに応じて、今度は、下向き矢印に沿って誘導するように「した(下)」の点字情報を送信する。ここで、誘導するための点字情報は、タッチパネル120における現在のタッチ位置に対する所定領域までの相対的な位置関係を示す点字情報である。この相対的な位置関係は、方向、および/または距離である。例えば「ひだり」、「20mm」、または「ひだり斜め20mm」を表す点字情報としてもよい。
(ステップS33)
制御部110は、点字デバイス200のタッチ位置が誘導先の所定領域91まで到達したか否かを判定する。所定領域91まで達した場合には(YES)、処理をステップS34に進め、達していなければ(NO)、処理をステップS32に戻す。
(ステップS34~S36)
ここでは、図7のステップS15~S17と同様の処理を行い、制御部110は、決定スイッチON信号を受信することに応じて、タッチ位置に応じた処理を実行する。
このように第2の実施形態においては、操作禁止エリア外の所定領域まで、ユーザーを誘導するための点字情報を点字デバイス200の点字表示部220に表示させる誘導制御を行う。これにより、第1の実施形態と同様の効果が得られるとともに、誘導制御により、ユーザーは次の操作をどの位置からどのように始めればよいのかを、容易に把握できるので、視覚障害者が、健常者が用いる操作画面を共用したとしても、戸惑うことなく利用できる。
(第3の実施形態)
上述した第1の変形例(図10)においては、操作禁止エリアを変更する実施形態について説明した。第3の実施形態においては、点字デバイス200の識別情報(ID情報)毎に操作禁止エリアを設定する。そして、この設定情報を用いて、点字デバイス200を使用するユーザー毎に、操作禁止エリアを変更するものである。
視覚障害者のレベルも一様ではない。例えば、後天的に視覚障害となった者、障害の程度が比較的軽度な者、等があり、そのレベルに応じて、有用または有用でない、ボタンの種類も異なる。例えば、図10(a)の操作禁止エリアの「標準」設定は、重度な視覚障害者や、先天的な視覚障害者に設定する。図10(b)の操作禁止エリアの「type1」設定は、比較的軽度な視覚障害者や、後天的な視覚障害者に設定する。これはこのような視覚障害者は、ある程度、操作画面の内容を認識できるからである。
図13は、第3の実施形態における操作禁止エリアの設定テーブルの例である。図13の設定テーブルは、操作画面毎に点字デバイスIDに関連付けられて記憶部130に記憶されている。この設定テーブルは、管理者等のユーザーにより設定される。点字デバイスIDは、点字デバイス200それぞれに付与された番号であり、例えば、BLE規格で無線通信する際の通信インターフェースのMACアドレスと対応付けられている。また、各点字デバイス200は、特定のユーザー(視覚障害者)が使用するものとしている。例えば、図13の設定テーブルにある点字デバイスID002、003は、それぞれ特定のユーザーにより主に使用される。操作禁止エリアは、操作画面毎に設定されており、同図の例では、操作画面12bにおいては、点字デバイスID0001、002、003に対してそれぞれ「標準」、「type1」、「type2」の設定がなされている。このうち「標準」、「type1」は、上述のように、それぞれ図10(a)、(b)に対応する(type2は図示を省略)。
図14は、第3の実施形態における本体装置側の制御を示すフローチャートである。
(ステップS41、S42)
ここでは、図7のステップS11、S12と同様の処理を行い、制御部110は、タッチパネル120へのタッチがあれば、点字デバイス200によるタッチであるか否かを判定する。点字デバイス200によるタッチであれば(YES)、処理をステップS43に進め、点字デバイス200によるタッチでなければ(NO)、処理を図7のステップS17に進める(丸数字の10)。
(ステップS43)
制御部110は無線通信により、ステップS41でタッチを行い、無線通信している点字デバイス200のID情報を取得する。なお、このID情報の取得は、これよりも前の段階で行ってもよい。例えば、点字デバイス200間との無線通信が確立した段階で取得する。
(ステップS44)
制御部110は、取得したID情報に紐付けられた、操作禁止エリアがあるか否かを判定する。具体的には、図13に示したような、記憶部130に記憶されている設定テーブルに、ステップS43で取得したID情報が含まれているか否かを判定する。設定テーブルにID情報があれば(YES)、処理をステップS46に進め、ID情報がなければ(NO)、処理をステップS45に進める。
(ステップS45)
制御部110は、点字デバイス200に共通に適用する標準の操作禁止エリア設定を呼び出す。例えば図10(a)の操作禁止エリア設定である。
(ステップS46)
制御部110は、ID情報に紐付けられた操作禁止エリア設定を呼び出す。例えば、ステップS43で取得したID情報がデバイスID「0002」で、操作画面12bを表示している場合を想定する。この場合、図13の設定テーブルを参照し、type1の操作禁止エリア設定を呼び出す。例えば図10(b)の操作禁止エリア設定である。
以降は、処理を図7のステップS14に進める。制御部110は、ステップS45、またはステップS46で設定した操作禁止エリアを用いて、ステップS14以降の処理を行う。
このように、第3の実施形態においては、予め設定されている設定テーブルを用いて、無線通信する前記点字デバイスから受信した点字デバイス200の識別情報により、適用する操作禁止エリアを変更する。これにより、第1の実施形態と同様の効果が得られるとともに、点字デバイス200を用いるユーザーのレベルに応じた操作禁止エリアの設定を行えるので、より、視覚障害者が操作で戸惑うことなく、健常者と共用する操作画面を利用できる。
(第4の実施形態)
上述した各実施形態においては、操作画面において、操作禁止をエリア単位で行った。しかしながらこれに限られず、以下に説明する第4の実施形態のように、操作画面のボタン単位で行うようにしてもよい。
図15は、第4の実施形態における本体装置側の制御を示すフローチャートである。第4の実施形態においては、操作禁止ボタン、すなわち、各ボタンが操作禁止か否かの設定情報は、操作画面毎に設定されており、その設定情報は、記憶部130に記憶されている。
(ステップS51、S52)
ここでは、図7のステップS11、S12と同じ処理を行い、制御部110は、タッチパネル120へのタッチがあれば、点字デバイス200によるタッチであるか否かを判定し、そうであれば(YES)、処理をステップS53に進め、そうでなければ(NO)、処理をステップS57に進める(丸数字の20)。
(ステップS53~S55)
ここでは、制御部110は、記憶部130に記憶されている、操作禁止の設定情報を用い、ボタン毎に操作禁止か否かを判定し、図7のステップS13~S15と同様の処理を行う。すなわち、タッチ位置のボタンが操作禁止ボタン(ステップS54:「操作禁止ボタン」)であればタッチ位置のボタンの情報を点字デバイス200には送信せずに終了する(エンド)。一方で操作禁止ボタンでなければ(ステップS54:「操作(許可)ボタン」)、処理をステップS55に進め、タッチ位置のボタンの情報を点字デバイス200に送信する。
(ステップS56、S57)
制御部110は、図7のステップS16、S17と同様の処理を行い、点字デバイス200から受信した決定スイッチON信号に応じて、タッチ位置にあるボタンに応じた処理を行い終了する(エンド)。
このように、第4の実施形態においては、ボタン毎に操作禁止の判定を行う。このようにしても第1の実施形態と同様の効果が得られる。また、第4の実施形態において、ボタン毎に設定した操作禁止の設定情報は、第1の変型例のように、ユーザーにより設定変更してもよく、また第3の実施形態のように無線通信する点字デバイス200の識別情報に応じて、切り替えるようにしてもよい。
以上に説明した本体装置100、および点字デバイス200を備える制御システム500の構成は、上記の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られず、特許請求の範囲内において、以下に説明するように種々改変することができる。また、一般的な本体装置100や点字デバイス200が備える構成を排除するものではない。
例えば、上述の実施形態においては、点字デバイス200の点字表示部220とともに、スピーカー180を用いてもよい。具体的には、各実施形態で表示した、操作画面の表示内容をスピーカーによって、音声でも視覚障害者に通知する。
上述した各実施形態および各変形例に係る制御システムにおける各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、CD-ROM(Compact Disc Read Only Memory)等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、制御システムの一機能としてその装置のソフトウエアに組み込まれてもよい。
500 制御システム
100 本体装置
110 制御部
120 タッチパネル
130 記憶部
140 プリンター部
150 スキャナー部
160 ファックス部
170 無線通信部
180 スピーカー
200 点字デバイス
210 制御部
220 点字表示部
230 決定スイッチ
240 接触センサー
250 無線通信部
281 手袋本体部
282 指カバー
283 ユニットケース
81、82、83 操作禁止エリア
91 所定領域

Claims (10)

  1. 操作を受け付ける本体装置、およびユーザーの手に装着される点字デバイスを備える制御システムであって、
    前記本体装置は、
    表示面に操作画面を表示するとともに、前記表示面へのタッチを検出するタッチパネルと、
    前記点字デバイスと無線通信する本体通信部と、
    本体制御部と、を備え、
    前記点字デバイスは、
    ユーザーの指先を覆う指カバーと、
    前記指カバーの内側に配置され、点字情報を表示可能な点字表示部と、
    前記本体通信部との間で無線通信する点字デバイス通信部と、を備え、
    前記本体制御部は、前記操作画面を表示した前記タッチパネルへのタッチを検出した場合に、前記点字デバイスによるタッチであるか否かを判定し、
    前記点字デバイスによるタッチでないと判定した場合には、タッチに応じた処理を実行し、
    前記点字デバイスによるタッチであると判定した場合、さらに、前記タッチのタッチ位置が、前記操作画面に予め設定した操作禁止エリア内であるか否かを判定し、前記操作禁止エリア内でのタッチである場合は、前記タッチ位置への操作を無効にする、制御システム。
  2. 前記本体制御部は、前記点字デバイスによるタッチを検出した場合に、
    前記操作禁止エリア外でのタッチである場合には、前記点字表示部による、タッチ位置にある前記操作画面の表示内容の表示を行い、
    前記操作禁止エリア内でのタッチである場合には、前記点字表示部による、表示内容の表示を行わないように制御する、請求項1に記載の制御システム。
  3. 前記点字デバイスは、さらに、決定スイッチを備え、
    前記本体制御部は、前記点字デバイスによるタッチを検出した場合に、
    前記操作禁止エリア外でのタッチである場合には、前記点字表示部による、タッチ位置にある前記操作画面の表示内容の表示を行うともに、前記決定スイッチが操作されることによりタッチ位置の表示内容に応じた処理を実行する、請求項1または請求項2に記載の制御システム。
  4. 前記点字デバイスは、さらに、前記指カバーの指の腹に対応する位置に配置され、前記指カバーの外側が物体に接触したことを検知するセンサー部を備え、
    前記点字デバイスは、前記センサー部の検出信号に応じた、物体への接触タイミングを前記本体装置に送信し、
    前記本体制御部は、前記タッチパネルへのタッチを検出した場合、前記点字デバイスから受信した物体への前記接触タイミングと比較することで、前記タッチが前記点字デバイスによるものか否かを判定する、請求項1から請求項3のいずれかに記載の制御システム。
  5. 前記操作画面、および前記操作画面の前記操作禁止エリアの設定は、記憶部に記憶されており、
    前記操作禁止エリアの設定は、ユーザーにより変更可能である、請求項1から請求項4のいずれかに記載の制御システム。
  6. 前記本体制御部は、前記点字デバイスにより、前記操作禁止エリア内でのタッチがなされた場合に、前記操作禁止エリア外の所定領域まで、ユーザーを誘導するための前記点字情報を前記点字表示部に表示させる、請求項1から請求項5のいずれかに記載の制御システム。
  7. 前記操作禁止エリアには、視覚障害者にとって有用でない機能に関連する操作を行うボタンが含まれる、請求項1から請求項6のいずれかに記載の制御システム。
  8. 前記操作禁止エリアは、予め前記点字デバイスの識別情報毎に設定されており、
    前記本体制御部は、無線通信する前記点字デバイスから受信した前記点字デバイスの識別情報により、適用する前記操作禁止エリアの設定を変更する、請求項1から請求項7のいずれかに記載の制御システム。
  9. 用紙に画像を形成するプリンター部と、
    請求項1から請求項8のいずれかに記載の制御システムと、
    を備える複合機。
  10. タッチパネルを通じた操作を受け付ける本体装置と、ユーザーの手に装着される点字デバイスであって、ユーザーの指先を覆う指カバー、および前記指カバーの内側に配置され、点字情報を表示可能な点字表示部を備える点字デバイスとを備えた、制御システムを制御するコンピューターで実行される制御プログラムであって、
    操作画面を表示した前記タッチパネルへのタッチを検出した場合に、前記点字デバイスによるタッチであるか否かを判定するステップ(a)と、
    前記ステップ(a)で、前記点字デバイスによるタッチでないと判定した場合には、タッチに応じた処理を実行するステップ(b)と、
    前記ステップ(a)で、前記点字デバイスによるタッチであると判定した場合、さらに、前記タッチのタッチ位置が、前記操作画面に予め設定した操作禁止エリア内であるか否かを判定し、前記操作禁止エリア内でのタッチである場合は、前記タッチ位置への操作を無効にするステップ(c)と、
    を含む処理をコンピューターに実行させるための制御プログラム。
JP2018155759A 2018-08-22 2018-08-22 制御システム、複合機、および制御プログラム Active JP7087821B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018155759A JP7087821B2 (ja) 2018-08-22 2018-08-22 制御システム、複合機、および制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018155759A JP7087821B2 (ja) 2018-08-22 2018-08-22 制御システム、複合機、および制御プログラム

Publications (2)

Publication Number Publication Date
JP2020030606A JP2020030606A (ja) 2020-02-27
JP7087821B2 true JP7087821B2 (ja) 2022-06-21

Family

ID=69622559

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018155759A Active JP7087821B2 (ja) 2018-08-22 2018-08-22 制御システム、複合機、および制御プログラム

Country Status (1)

Country Link
JP (1) JP7087821B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000172408A (ja) 1998-12-07 2000-06-23 Fuji Electric Co Ltd 機器の入力装置
JP2004271748A (ja) 2003-03-06 2004-09-30 Nec Corp タッチパネル装置
JP2012042822A (ja) 2010-08-20 2012-03-01 Pioneer Electronic Corp ハンドヘルド点字変換装置、点字変換方法、プログラム
US20170316717A1 (en) 2016-04-27 2017-11-02 Abdelrazek Tarek Abdelrazek Aly Semi-wearable Device for Interpretation of Digital Content for the Visually Impaired

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000172408A (ja) 1998-12-07 2000-06-23 Fuji Electric Co Ltd 機器の入力装置
JP2004271748A (ja) 2003-03-06 2004-09-30 Nec Corp タッチパネル装置
JP2012042822A (ja) 2010-08-20 2012-03-01 Pioneer Electronic Corp ハンドヘルド点字変換装置、点字変換方法、プログラム
US20170316717A1 (en) 2016-04-27 2017-11-02 Abdelrazek Tarek Abdelrazek Aly Semi-wearable Device for Interpretation of Digital Content for the Visually Impaired

Also Published As

Publication number Publication date
JP2020030606A (ja) 2020-02-27

Similar Documents

Publication Publication Date Title
JP5929572B2 (ja) 操作表示装置およびプログラム
US10841438B2 (en) Guide device, control system, and recording medium
US7046235B2 (en) Input device and touch area registration method
JP5101995B2 (ja) 入力制御装置および画像形成装置
JP2009276926A (ja) 情報処理装置及び情報処理装置の表示情報編集方法
US9648181B2 (en) Touch panel device and image processing apparatus
US11494065B2 (en) Storage medium, control method of information processing apparatus, and information processing apparatus
JP2010055207A (ja) 文字入力装置、文字入力方法、プログラム、記憶媒体
JP4258836B2 (ja) 機能制御装置およびその方法
US20120242691A1 (en) Image forming apparatus, display method, and non-transitory computer-readable recording medium encoded with display program
JP5538869B2 (ja) 情報処理装置及びその制御方法及びプログラム
JP6982279B2 (ja) 制御システム、および制御プログラム
JP7087821B2 (ja) 制御システム、複合機、および制御プログラム
JP7135613B2 (ja) 点字デバイス制御システム、点字デバイス、および点字デバイス制御システムの制御方法
JP2015191241A (ja) 電子機器及び操作支援プログラム
JP2014115787A (ja) 入力装置、入力方法、コンピュータプログラム
JP7070105B2 (ja) 制御システム、および制御プログラム
JP2018047626A (ja) 画像形成装置、情報処理装置及び情報処理システム
JP2006209499A (ja) 操作パネル、操作パネル付き装置、操作パネルの操作方法およびプログラム
JP6206250B2 (ja) 表示制御装置、画像形成装置およびプログラム
JP2018124847A (ja) 画像処理装置、条件表示方法、およびコンピュータプログラム
JP6841180B2 (ja) 点字デバイス連携システム、点字デバイス、および点字デバイス連携システムの制御方法
JP6565256B2 (ja) 表示装置、画像処理装置及びプログラム
EP3961359A2 (en) Content input method, touch input device and storage medium
JP2024085779A (ja) 情報処理装置、方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220523

R150 Certificate of patent or registration of utility model

Ref document number: 7087821

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150