JP2021002795A - 車両用情報記録装置 - Google Patents

車両用情報記録装置 Download PDF

Info

Publication number
JP2021002795A
JP2021002795A JP2019116382A JP2019116382A JP2021002795A JP 2021002795 A JP2021002795 A JP 2021002795A JP 2019116382 A JP2019116382 A JP 2019116382A JP 2019116382 A JP2019116382 A JP 2019116382A JP 2021002795 A JP2021002795 A JP 2021002795A
Authority
JP
Japan
Prior art keywords
information
vehicle
image
angle
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019116382A
Other languages
English (en)
Other versions
JP7243478B2 (ja
Inventor
智陽 飯田
Tomoaki Iida
智陽 飯田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019116382A priority Critical patent/JP7243478B2/ja
Priority to US16/850,717 priority patent/US20200404187A1/en
Priority to CN202010492870.0A priority patent/CN112135080B/zh
Publication of JP2021002795A publication Critical patent/JP2021002795A/ja
Application granted granted Critical
Publication of JP7243478B2 publication Critical patent/JP7243478B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/915Television signal processing therefor for field- or frame-skip recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63Scene text, e.g. street names
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

【課題】新たな撮像部を追加することなく、車両の情報記録に適した画像を記録することができる車両用情報記録装置を得る。【解決手段】情報記録装置30は、第1撮像部60と、第2撮像部70と、情報取得部80と、記録部90とを有する。第1撮像部60は、車両10の前方又は後方の対象車両Cの少なくとも一部、及び対象車両Cの周辺部Pを含む第1画像G1、G3を第1画角θ1、θ3で撮像する。第2撮像部70は、対象車両C又は周辺部の特定対象部Sの対象情報が識別可能となるように、対象情報を含む第2画像G2、G4を、第1画角θ1、θ3に比べて狭い第2画角θ2、θ4で撮像する。情報取得部80は、第2画像G2、G4から対象情報を取得する。記録部90は、情報取得部80で取得された対象情報を第1画像G1、G3と関連付けて記録する。【選択図】図4

Description

本発明は、車両用情報記録装置に関する。
特許文献1には、カメラ部が撮影した画像を高画質で圧縮し、トリガー検出部でのトリガー検出タイミングに基づいて、高画質の動画像データを記録する車載用動画像データ記録装置が開示されている。
特開2013−80518号公報
運転支援を行うために、画角が異なる複数のカメラ(撮像部)が搭載された車両がある。運転支援に用いられるカメラの画角は、車両の情報記録に適したカメラの画角と比べて、一般的に狭くあるいは広い。このため、この車両に特許文献1のような車両の情報記録を行う情報記録装置(ドライブレコーダ)を設置する場合には、該情報記録装置専用のカメラを設置する必要があり、改善の余地がある。
本発明は上記事実を考慮し、新たな撮像部を追加することなく、車両の情報記録に適した画像を記録することができる車両用情報記録装置を得ることが目的である。
請求項1に記載の本発明に係る車両用情報記録装置は、車両の前方又は後方の対象車両の少なくとも一部、及び該対象車両の周辺部を含む第1画像を第1画角で撮像する第1撮像部と、前記対象車両又は前記周辺部の特定対象部の対象情報が識別可能となるように、前記対象情報を含む第2画像を、前記第1画角に比べて狭い第2画角で撮像する第2撮像部と、前記第2画像から前記対象情報を取得する情報取得部と、前記情報取得部で取得された前記対象情報を前記第1画像と関連付けて記録する記録部と、を有する。
請求項1に記載の本発明に係る車両用情報記録装置では、第1撮像部が、第1画像を第1画角で撮像する。また、第2撮像部が、対象車両又は周辺部の特定対象部の対象情報が識別可能となるように、対象情報を含む第2画像を第1画角に比べて狭い第2画角で撮像する。さらに、情報取得部が、第2画像から対象情報を取得する。そして、記録部が、対象情報を第1画像と関連付けて記録する。ここで、第1画像において特定対象部の識別ができなくても、第1画像と関連付けられた対象情報によって特定対象部を識別できるので、新たな撮像部を追加することなく、車両の情報記録に適した画像を記録することができる。
請求項2に記載の本発明に係る車両用情報記録装置の前記記録部は、前記対象車両のナンバー情報を含む前記対象情報を前記第1画像と関連付けて記録する。
請求項2に記載の本発明に係る車両用情報記録装置では、対象情報にナンバー情報が含まれていることで、対象情報に基づいて対象車両が1つに決まるので、複数の対象情報を記録しなくても対象車両を特定することができる。
請求項3に記載の本発明に係る車両用情報記録装置の前記記録部は、前記周辺部の車両走行規則情報を含む前記対象情報を前記第1画像と関連付けて記録する。
請求項3に記載の本発明に係る車両用情報記録装置では、対象情報に周辺部の車両走行規則情報が含まれているので、記録された対象車両が車両走行規則を遵守して走行しているか否かを判別することができる。
請求項4に記載の本発明に係る車両用情報記録装置の前記第1撮像部の前記第1画角としての水平画角は、180°以上に設定されている。
請求項4に記載の本発明に係る車両用情報記録装置では、第1撮像部の水平画角が180°以上に設定されていることで、水平画角が180°よりも小さい構成に比べて撮像範囲が広がるので、車両の周辺情報をより多く取得することができる。
以上説明したように、本発明によれば、新たな撮像部を追加することなく、車両の情報記録に適した画像を記録することができるという優れた効果を有する。
本実施形態に係る情報記録装置が適用された車両における各カメラの配置及び画角を示す平面図である。 本実施形態に係る情報記録装置が適用された車両においてフロントウインドシールドガラスを通して乗員に視認される視界の一例を示すイメージ図である。 本実施形態に係る情報記録装置のハードウェア構成を示すブロック図である。 本実施形態に係る情報記録装置の機能構成を示すブロック図である。 本実施形態に係る情報記録装置が適用された車両における車間距離と各画像のナンバー情報の識別状態との関係を示した説明図である。 図3に示される後方狭角カメラで撮像された第2画像において後方車両のナンバー情報が識別不可能な状態を示すイメージ図である。 図3に示される後方狭角カメラで撮像された第2画像において後方車両のナンバー情報が識別され難い状態を示すイメージ図である。 図3に示される後方狭角カメラで撮像された第2画像において後方車両のナンバー情報が識別された状態を示すイメージ図である。 図3に示される後方広角カメラで撮像された第1画像に後方車両のナンバー情報が結合された記録画像を示すイメージ図である。 本実施形態に係る情報記録装置において第1画像に後方車両のナンバー情報が結合される処理の流れを示すフローチャートである。 図1に示される前方狭角カメラで撮像された第2画像を示すイメージ図である。 図1に示される前方広角カメラで撮像された第1画像に前方車両のナンバー情報及び規制速度情報が結合された記録画像を示すイメージ図である。 本実施形態の変形例に係る情報記録装置で撮像された第1画像に3台の後方車両のナンバー情報が関連付けられた記録画像を示すイメージ図である。
図1には、本実施形態に係る車両用情報記録装置の一例としての情報記録装置30が適用された車両10の平面図が示されている。車両10は、車体12と、フロントウインドシールドガラス14と、リヤウインドシールドガラス16と、情報記録装置30とを含んで構成されている。車体12には、ルーフ18と、左右一対のサイドドア22と、各サイドドア22に設けられたカメラ支持部24とが含まれている。カメラ支持部24は、電子ミラー用カメラ23(図2参照)を支持している。
矢印FRは車両前後方向前側を示しており、矢印RRは車両前後方向後側を示しており、矢印UPは車両上下方向上側を示しており、矢印OUTは車幅方向外側を示している。車両前後方向、車両上下方向、車幅方向は、互いに直交する方向である。以下、単に前後、上下、左右の方向を用いて説明する場合は、特に断りのない限り、車両前後方向の前後、車両上下方向の上下、進行方向を向いた場合の車幅方向の左右を示すものとする。
図2には、車両10の車室13内から前方側の視界Vを見た状態が示されている。走行経路(車道)Rでは、一例として、車両10の前方側に前方車両CAが走行している。車室13内において、インストルメントパネル17には、後述するメインモニタ52が設けられている。また、車室13内には、左右一対のサブモニタ54が設けられている。車両10には、図示されないGPS(Global Positioning System)受信機、通信IF(Interface)及び衝突検知センサ等が設けられている。
次に、情報記録装置30について説明する。
〔ハードウェア構成〕
図3に示されるように、情報記録装置30は、一例として、ECU32と、カメラ部40と、メモリカード48と、メインモニタ52と、サブモニタ54と、記録スイッチ55と、衝突予知センサ56と、タイマー58と、イグニッションセンサ59とを有する。ECUは、Electronic Control Unitを意味する。これらの各構成は、内部バス31を介して相互に通信可能に接続されている。
ECU32は、CPU(Central Processing Unit)34と、ROM(Read Only Memory)35と、RAM(Random Access Memory)36と、ストレージ37とを有する。
ROM35は、各種プログラム及び各種データを格納する。RAM36は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ37は、一例として、flash ROM(Read Only Memory)により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。CPU34は、ROM35又はストレージ37に記録されている情報記録処理等の各種プログラムを実行することで、情報記録装置30の各部の作動及び各種情報の記録を制御する。
カメラ部40は、一例として、前方広角カメラ42と、前方狭角カメラ43と、側方カメラ44と、後方広角カメラ45と、後方狭角カメラ46とを有する。なお、相対的に画角(視野角)が大きいカメラを「広角カメラ」と称し、「広角カメラ」の画角よりも画角が小さい(狭い)カメラを「狭角カメラ」と称している。以後の説明において、「画角」とは「水平画角」を意味するが、これに限らず、「画角」を「垂直画角」あるいは「対角線方向の画角」で設定してもよい。予め設定された画像(映像)のアスペクト比に基づいて、それぞれの画角に変換すればよい。
カメラ部40が有する各カメラは、レンズと、CCD(charge-coupled device)やCMOS(complementary metal oxide semiconductor)等の撮像素子とを含んで構成されている。また、各カメラによる画像(映像)の撮像頻度は、一例として、30ms(ミリ秒)程度となるように設定されている。
図1に示されるように、前方広角カメラ42は、一例として、車体12の前端部且つ車幅方向中央に設置されており、車両10の前方の第1画像G1(図11B参照)を第1画角θ1で撮像する。第1画角θ1は、一例として、180°以上(ここでは200°)に設定されている。なお、図1では、角度を見易くするために、第1画角θ1及び後述する第1画角θ3が200°よりも小さい角度で図示されている。前方広角カメラ42が撮像した第1画像G1の情報は、ECU32(図3参照)に出力される。前方広角カメラ42の例としては、パノラミックビューモニタ用カメラがある。
前方狭角カメラ43は、一例として、車室13内のルームミラー15(図2参照)のステイ付近に設置されており、車両10の前方の第2画像G2(図11A参照)を第2画角θ2で撮像する。第2画角θ2は、第1画角θ1よりも狭い。前方狭角カメラ43が撮像した第2画像G2の情報は、ECU32に出力される。第2画像G2を用いて、前方車両CAのナンバープレートN(図2参照)の情報が識別(解析)される。前方狭角カメラ43の例としては、車両前方周辺の状況検知部として用いられるカメラ(道路標識認識、前方車両の認識、前方の白線認識等を行うためのカメラ)がある。
側方カメラ44は、左右一対のカメラ支持部24の下部(電子ミラー用カメラ23(図2参照)の下側)に設けられている。また、側方カメラ44は、車両10の後方且つ側方を撮像する。側方カメラ44によって撮像された画像情報は、ECU32に送られる。側方カメラ44の画角をθ5とする。
後方広角カメラ45は、一例として、車体12の後端部且つ車幅方向中央に設置されており、車両10の後方の第1画像G3(図7参照)を第1画角θ3で撮像する。第1画角θ3は、一例として、180°以上(ここでは200°)に設定されている。後方広角カメラ45が撮像した第1画像G3の情報は、ECU32に出力される。後方広角カメラ45の例としては、バックガイドモニタ用カメラがある。
後方狭角カメラ46は、一例として、車体12の後端部且つ車幅方向中央で後方広角カメラ45よりも下側に設置されており、車両10の後方の第2画像G4(図6参照)を第2画角θ4で撮像する。第2画角θ4は、第1画角θ3よりも狭い。後方狭角カメラ46が撮像した第2画像G4の情報は、ECU32に出力される。第2画像G4を用いて、後方車両CBのナンバープレートN(図7参照)の情報が識別(解析)される。後方狭角カメラ46の例としては、電子インナミラー用カメラがある。
図3に示されるメモリカード48は、情報記録装置30に設けられた図示されないカードリーダのスロットに挿入されることで、情報の取得及び情報の記録が可能とされている。
図2に示されるメインモニタ52は、図示されないタッチパネルを含んで構成されている。また、メインモニタ52には、カメラ部40(図3参照)において撮像された各画像を表示可能となっている。サブモニタ54には、電子ミラー用カメラ23で撮像された画像が表示される。
記録スイッチ55は、インストルメントパネル17に設けられており、図示されない乗員(運転者)によって、ON、OFFが操作されるようになっている。記録スイッチ55の信号は、ECU32(図3参照)に出力される。記録スイッチ55がON状態とされることで、後述する結合情報が、メモリカード48(図3参照)に記録される。また、記録スイッチ55がOFF状態とされることで、メモリカード48への結合情報の記録が停止される。
図3に示される衝突予知センサ56は、図示されないミリ波レーダ、レーザレーダ、車載カメラ等を含んで構成されている。車両10では、衝突予知の情報が、衝突予知センサ56からECU32に出力される。本実施形態では、記録スイッチ55からの出力信号及び衝突予知センサ56からの出力信号が、後述する結合情報の記録が開始されるときのトリガー信号として用いられるようになっている。なお、一例として、衝突予知センサ56を用いることで、車両10と後述する対象車両Cとの車間距離を測定可能となっている。
タイマー58は、現在の時刻(時点)情報をECU32に送る。また、タイマー58は、ECU32からの指示によって、2つの時点の間となる時間を計時可能に構成されている。タイマー58において計時された時間情報は、ECU32に送られる。
イグニッションセンサ59は、車両10の図示されないイグニッションのON状態(始動状態)又はOFF状態(停止状態)を検出する。イグニッションセンサ59で検出されたON状態又はOFF状態の情報は、ECU32に送られる。
〔機能構成〕
情報記録装置30は、情報記録処理プログラムを実行する際に、上記のハードウェア資源を用いて各種の機能を実現する。情報記録装置30が実現する機能構成について以下に説明する。なお、図1、図2及び図3に示された各構成については、個別の図番の記載を省略する場合がある。
図4に示されるように、情報記録装置30は、機能構成として、第1撮像部60と、第2撮像部70と、情報取得部80と、記録部90とを有する。各機能構成は、情報記録装置30のCPU34が、ROM35又はストレージ37に記憶されたプログラム、情報を読み出し、RAM36に展開して実行することにより実現される。
<第1撮像部>
第1撮像部60は、前方広角撮像部62と、後方広角撮像部64とを有する。
前方広角撮像部62は、車両10の前方の対象車両C(以後、前方車両CAと称する)の少なくとも一部、及び前方車両CAの周辺部PAを含む第1画像G1(図11B参照)を第1画角θ1で撮像する。第1画像G1の画像情報は、記録部90に送られる。後方広角撮像部64は、車両10の後方の対象車両C(以後、後方車両CBと称する)の少なくとも一部、及び後方車両CBの周辺部PBを含む第1画像G3(図7参照)を第1画角θ3で撮像する。第1画像G3の画像情報は、記録部90に送られる。
<第2撮像部>
第2撮像部70は、前方狭角撮像部72と、後方狭角撮像部74とを有する。
前方狭角撮像部72は、前方車両CA及び周辺部PAの特定対象部S(図2参照)の対象情報が識別可能となるように、対象情報を含む第2画像G2を、第1画角θ1に比べて狭い第2画角θ2で撮像する。第2画像G2の画像情報は、記録部90に送られる。後方狭角撮像部74は、後方車両CB及び周辺部PBの特定対象部Sの対象情報が識別可能となるように、対象情報を含む第2画像G4を、第1画角θ3に比べて狭い第2画角θ4で撮像する。第2画像G4の画像情報は、記録部90に送られる。
なお、特定対象部Sは、対象車両C及び周辺部Pの少なくとも一方において、情報を識別して記録することが必要とされる対象となる部位を意味する。ここでは、特定対象部Sの一例として、対象車両CのナンバープレートNと、速度標識V(図11A参照)とが設定されている。また、特定対象部Sについて、後述する記録部90に記録することが必要とされる対象情報の一例としては、該ナンバープレートNのナンバー情報と、速度標識Vの規制速度情報とが設定されている。
<情報取得部>
情報取得部80は、第2画像G2及び第2画像G4から、特定対象部Sの対象情報(ナンバー情報及び規制速度情報)を取得する。具体的には、情報取得部80は、一例として、狭角画像取得部82と、対象識別部84と、対象解析部86と、対象情報記録部88とを有する。
狭角画像取得部82は、第2撮像部70から第2画像G2及び第2画像G4の情報を取得する。対象識別部84は、一例として、公知のパターンマッチング及び領域認識の手法を用いて、第2画像G2及び第2画像G4中のナンバープレートN及び速度標識Vを識別(検出)する。対象解析部86は、対象識別部84で識別されたナンバープレートN及び速度標識Vについて、一例として、公知の文字認識(OCR(optical character recognition))の手法を用いて、ナンバー情報及び規制速度情報を解析し、テキスト化する。
対象情報記録部88では、対象解析部86においてテキスト化されたナンバー情報及び規制速度情報が一時的に記憶される。換言すると、対象情報記録部88に記録されたナンバー情報及び規制速度情報は、予め設定された設定時間が経過した場合に、自動的に消去又は上書きされるようになっている。このナンバー情報及び規制速度情報は、記録部90に送られる。なお、後述するトリガー信号がECU32に入力された場合において、該トリガー信号が入力された時点の前後の時間内に記録されたナンバー情報及び規制速度情報は、保存されるようになっている。
<記録部>
記録部90は、情報取得部80で取得された対象情報(ナンバー情報及び規制速度情報)を、第1画像G1及び第1画像G3と関連付けて記録する。具体的には、記録部90は、一例として、広角画像取得部92と、対象識別部94と、情報結合部96と、結合情報記録部98とを有する。
広角画像取得部92は、第1撮像部60から第1画像G1及び第1画像G3を取得する。対象識別部94は、広角画像取得部92で取得された第1画像G1及び第1画像G3中のナンバープレートN及び速度標識Vを識別する。なお、対象識別部94における対象の識別とは、該対象が大まかに他の部分と区別されればよい程度の識別を意味する。このため、対象識別部94では、必要な対象情報まで得られなくてもよい。
情報結合部96は、ナンバー情報及び規制速度情報が得られる期間内において、第1画像G1及び第1画像G3中のナンバープレートNと、情報取得部80で得られたナンバー情報とを、時点(時間)を同期させた状態で関連付けする。また、当該期間内において、情報結合部96は、第1画像G1中の速度標識V及び第1画像G3中の速度標識Vと、情報取得部80において得られた規制速度情報とを、時点(時間)を同期させた状態で関連付けする。なお、情報結合部96は、ナンバー情報及び規制速度情報が得られない期間内では、既に得られているナンバー情報及び規制速度情報を、第1画像G1及び第1画像G3中のナンバープレートN及び速度標識Vと関連付けする。
ここで、「関連付けする」とは、一の情報と他の情報との間に繋がりをもたせることを意味する。また、「関連付けすること」とは、個別に記録された一の情報と他の情報とを関係づけることに限らず、一の情報と他の情報とを一つにまとめて記録すること(「結合すること」、「重畳すること」)を含んでいる。以後の説明において、「結合情報」とは、対象情報と第1画像とが時間的な同期をとって結合された情報を意味する。
結合情報記録部98は、既述のトリガー信号(ON)が入力された場合に、情報結合部96で結合された結合情報の記録を行う。また、結合情報記録部98は、既述のトリガー信号(OFF)が入力された場合に、情報結合部96で結合された結合情報の記録を停止する。本実施形態では、第1画像G1、G3への対象情報の結合の一例として、対象情報が第1画像G1、G3に重畳されて(重ねられて)いる。なお、第1画像G1、G3への対象情報の結合には、対象情報を第1画像G1、G3と並べて表示し、一つの画像とすることが含まれる。
〔車間距離と画像の関係〕
図5には、対象車両C(図2参照)のナンバー情報について、車両10から対象車両Cまでの車間距離と、狭角画像(第2画像G2、G4)及び記録画像(関連付け後の画像)との関係が示されている。規制速度情報については、図示を省略している。一例として、記録開始時点からの経過時間が長くなるほど、車間距離が遠くなっている。
車間距離が近い状態では、狭角画像でナンバー情報を識別可能であるので、広角画像(第1画像G1、G3)とナンバー情報とをリアルタイムで同期させた記録画像が、記録部90(図4参照)に記録される。車間距離が少し遠くなった(長くなった)状態では、ナンバー情報を識別できなくなるが、対象車両Cの存在の有無は識別可能である。このため、広角画像と、ナンバー情報を識別可能な時点の対象車両Cのナンバー情報とが、関連付けられて記録部90に記録される。
車間距離が遠い(かなり長くなった)状態では、対象車両Cのナンバー情報を識別できず、また、対象車両Cの存在の有無も識別できないため、記録部90には、ナンバー情報は記録されない。車間距離が近すぎる状態(図6参照)では、ナンバープレートNが隠れてしまうため、ナンバー情報を取得できなくなるが、対象車両Cの存在の有無は識別可能である。このため、車間が近すぎる状態での広角画像と、車間が近くなりすぎる前に狭角画像で識別された対象車両Cのナンバー情報とが、関連付けられて記録部90に記録される。
〔作用及び効果〕
次に、本実施形態の情報記録装置30の作用について説明する。
図10には、ECU32(図3参照)による情報記録処理の流れを示すフローチャートが示されている。なお、車両10及び情報記録装置30における各構成については、図1から図4までの各図を参照することとし、個別の図番の記載を省略する。ここでは、一例として、車両10の後方側における情報記録について説明する。車両10の前方側における情報記録については、後述する。また、記録される対象情報として、ナンバー情報が選択された場合について説明する。
ECU32では、CPU34がROM35又はストレージ37から情報記録処理プログラムを読み出して、RAM36に展開して実行することにより、情報記録処理が行われる。
ステップS10において、CPU34は、イグニッションセンサ59が検出した信号を確認して、イグニッションがON状態であるか否かを判定する。ON状態であると判定した場合(S10:Yes)には、ステップS12に移行する。OFF状態であると判定した場合(S10:No)には、ステップS10を繰り返す。
ステップS12において、CPU34は、後方狭角撮像部74を用いて狭角画像情報(第2画像G4(図8参照))を取得する。このとき、第2画像G4には、タイマー58から得られた撮像時刻の情報が関連付けられている。そして、ステップS14に移行する。
ステップS14において、CPU34は、後方広角撮像部64を用いて広角画像情報(第1画像G3(図9参照))を取得する。このとき、第1画像G3には、タイマー58から得られた撮像時刻の情報が関連付けられている。そして、ステップS16に移行する。
ステップS16において、CPU34は、後方車両CBのナンバープレートNのナンバー情報の解析が可能であるか否かを判定する。解析が可能であるか否かの判定は、一例として、車両10と後方車両CBとの車間距離が、予め設定された車間距離の範囲内に入っているか否かで判定される。解析が可能と判定した場合(S16:Yes)には、ステップS18に移行する。解析が不可能と判定した場合(S16:No)には、ステップS12に移行する。
ステップS18において、CPU34は、対象解析部86を用いて、後方車両CBのナンバー情報を解析する(図8参照)。そして、ステップS20に移行する。
ステップS20において、CPU34は、解析されたナンバー情報を対象情報記録部88に記憶させる。そして、ステップS22に移行する。
ステップS22において、CPU34は、既述のトリガー信号の入力の有無を判定する。トリガー信号有り(S22:Yes)の場合には、ステップS24に移行する。トリガー信号無し(S22:No)の場合には、ステップS12に移行する。
ステップS24において、CPU34は、ナンバー情報と広角画像情報(第1画像G3)とを結合する(関連付ける)ことで、結合情報(図9に示された第1画像G3)を得る。そして、ステップS26に移行する。
ステップS26において、CPU34は、ステップS24で得られた結合情報を記録部90に記録させる。そして、ステップS28に移行する。
ステップS28において、CPU34は、イグニッションがOFF状態であるか否かを判定する。OFF状態と判定した場合(S28:Yes)には、プログラムを終了する。ON状態と判定した場合(S28:No)には、ステップS12に移行する。
以上、説明したように、情報記録装置30では、第1撮像部60が、第1画像G3を比較的広角の第1画角θ3で撮像する。また、第2撮像部70が、対象情報を含む第2画像G4を第1画角θ3に比べて狭い第2画角θ4で撮像する。さらに、情報取得部80が、第2画像G4から対象情報を取得する。そして、記録部90が、対象情報を第1画像G3と関連付けて記録する。ここで、第1画像G3において特定対象部Sの識別ができなくても、第1画像G3と関連付けられた対象情報によって特定対象部Sを識別できるので、新たな撮像部を追加することなく、車両10の情報記録に適した画像を記録することができる。
また、情報記録装置30では、対象情報にナンバー情報が含まれていることで、対象情報に基づいて対象車両が1つに決まるので、複数の対象情報を記録しなくても対象車両を特定することができる。
さらに、情報記録装置30では、第1撮像部60の水平画角が180°以上に設定されていることで、水平画角が180°よりも小さい構成に比べて撮像範囲が広がるので、車両10の周辺情報をより多く取得することができる。
図11Aには、情報記録装置30(図3参照)を用いて得られた車両10の前方側の第2画像G2が示されている。第2画像G2では、前方車両CAのナンバープレートNのナンバー情報、及び速度標識Vの規制速度情報が識別可能となっている。そして、第2画像G2からナンバー情報及び規制速度情報が取得されるようになっている。
図11Bには、情報記録装置30(図3参照)を用いて得られた結合情報(記録画像)の他の例として、車両10の前方側の第1画像G1が示されている。この結合情報では、前方車両CAのナンバープレートNとナンバー情報とが関連付けられており、速度標識Vと規制速度情報とが関連付けられている。このように、車両10の前方側において、対象情報と広角画像とを関連付けて結合情報とし、結合情報記録部98(図4参照)に記録させてもよい。
図11Bに示された例では、対象情報に前方車両CAの周辺部PAの車両走行規則情報(一例として規制速度情報)が含まれているので、前方車両CAが車両走行規則を遵守して走行しているか否かを判別することができる。例えば、車両10(自車両)がパトカーであり、規制速度(制限速度)が40km/hのところを60km/hで走行して、前方車両CAを追走している場合に、図11の画像(結合情報)が得られれば、前方車両CAが違反をしていることが分かる。また、信号機SGの点灯色が赤の状態で前方車両CAが交差点に進入している画像(結合情報)が得られれば、前方車両CAが違反をしていることが分かる。さらに、ナンバー情報から、前方車両CAが1つに決まる。
なお、本発明は、上記の実施形態に限定されない。
図12には、情報記録装置30(図3参照)を用いて得られた結合情報の他の例として、車両10(図1参照)の後方側に後方車両CB(C1、C2、C3)が走行している第1画像G3が示されている。第1画像G3は、画像表示領域G3aに表示された画像と、画像表示領域G3aと並ぶ情報表示領域G3bに表示された画像(テキスト情報)とで構成されている。情報表示領域G3bでは、一例として、後方車両C1、C2、C3のナンバー情報が「1234」、「8366」、「4567」として示されている。このように、複数の対象車両Cに対応する複数の対象情報をまとめて示してもよい。
なお、3つのナンバー情報は、後方車両C1、C2、C3と一対一で結合されていることが好ましいが、3つのナンバー情報のいずれかが、後方車両C1、C2、C3のいずれかに該当するという大まかな情報の関連付け(結合)を行ってもよい。また、対象車両Cの台数は、1台あるいは3台に限らず、2台あるいは4台以上であってもよい。
情報記録装置30において、図1に示す側方カメラ44を後方狭角カメラ46として用いてもよい。また、第1画角θ1は、180°よりも小さくてもよい。記録部90に記録される対象情報は、ナンバー情報や車両走行規則情報に限らず、例えば、後方車両CBの運転者の顔、あるいは助手席の乗員の顔であってもよい。また、車両走行規則情報として、信号機SGの点灯色情報を取得して、第1画像G1、G3と結合させてもよい。
図10に示すフローチャートにおいて、ステップS12とステップS14とは、同時に行われてもよい。
上記の実施形態でCPU34がソフトウェア(プログラム)を読み込んで実行した情報記録処理を、CPU34以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上記の処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実行してもよい。これらの各種のプロセッサのハードウェア的な構造は、より具体的には半導体素子等の回路素子を組み合わせた電気回路である。
また、上記の実施形態では、情報記録処理プログラムがROM35またはストレージ37に予め記憶(インストール)されている態様を説明したが、これに限定されない。プログラムは、CD−ROM(Compact Disk Read Only Memory)、DVD−ROM(Digital Versatile Disk Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、情報記録処理プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
10 車両
30 情報記録装置(車両用情報記録装置の一例)
60 第1撮像部
70 第2撮像部
80 情報取得部
90 記録部
C 対象車両
G1 第1画像
G2 第2画像
G3 第1画像
G4 第2画像
P 周辺部
S 特定対象部
θ1 第1画角
θ2 第2画角
θ3 第1画角
θ4 第2画角

Claims (4)

  1. 車両の前方又は後方の対象車両の少なくとも一部、及び該対象車両の周辺部を含む第1画像を第1画角で撮像する第1撮像部と、
    前記対象車両又は前記周辺部の特定対象部の対象情報が識別可能となるように、前記対象情報を含む第2画像を、前記第1画角に比べて狭い第2画角で撮像する第2撮像部と、
    前記第2画像から前記対象情報を取得する情報取得部と、
    前記情報取得部で取得された前記対象情報を前記第1画像と関連付けて記録する記録部と、
    を有する車両用情報記録装置。
  2. 前記記録部は、前記対象車両のナンバー情報を含む前記対象情報を前記第1画像と関連付けて記録する請求項1に記載の車両用情報記録装置。
  3. 前記記録部は、前記周辺部の車両走行規則情報を含む前記対象情報を前記第1画像と関連付けて記録する請求項1又は請求項2に記載の車両用情報記録装置。
  4. 前記第1撮像部の前記第1画角としての水平画角は、180°以上に設定されている請求項1から請求項3のいずれか1項に記載の車両用情報記録装置。
JP2019116382A 2019-06-24 2019-06-24 車両用情報記録装置 Active JP7243478B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019116382A JP7243478B2 (ja) 2019-06-24 2019-06-24 車両用情報記録装置
US16/850,717 US20200404187A1 (en) 2019-06-24 2020-04-16 In-vehicle information recording device
CN202010492870.0A CN112135080B (zh) 2019-06-24 2020-06-03 车辆用信息记录装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019116382A JP7243478B2 (ja) 2019-06-24 2019-06-24 車両用情報記録装置

Publications (2)

Publication Number Publication Date
JP2021002795A true JP2021002795A (ja) 2021-01-07
JP7243478B2 JP7243478B2 (ja) 2023-03-22

Family

ID=73851609

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019116382A Active JP7243478B2 (ja) 2019-06-24 2019-06-24 車両用情報記録装置

Country Status (3)

Country Link
US (1) US20200404187A1 (ja)
JP (1) JP7243478B2 (ja)
CN (1) CN112135080B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7400705B2 (ja) * 2020-11-30 2023-12-19 トヨタ自動車株式会社 撮像システム及び撮像装置
CN113052098B (zh) * 2021-03-31 2024-02-23 深圳酷派技术有限公司 车辆防刮预警方法、相关装置及计算机存储介质
JP2023042895A (ja) * 2021-09-15 2023-03-28 キヤノン株式会社 運転支援装置、運転支援方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05342497A (ja) * 1992-06-09 1993-12-24 Mazda Motor Corp 車両の障害物検出装置
JPH08161500A (ja) * 1994-12-05 1996-06-21 Minolta Co Ltd 物体認識装置
JP2017130155A (ja) * 2016-01-22 2017-07-27 富士通テン株式会社 物体認識装置および物体認識方法
JP2019046092A (ja) * 2017-08-31 2019-03-22 古野電気株式会社 車載装置、基地局装置、映像情報提供システム、映像情報提供方法、及びコンピュータプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001243285A1 (en) * 2000-03-02 2001-09-12 Donnelly Corporation Video mirror systems incorporating an accessory module
JP2003116029A (ja) 2001-10-04 2003-04-18 Minolta Co Ltd 撮像装置及びこの撮像装置を用いた画像記録装置
US7526103B2 (en) * 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
JP2007036756A (ja) 2005-07-27 2007-02-08 Kazuo Iwane 視角固定の全周カメラと視点方向を制御可能な狭角カメラをリンクさせた監視カメラシステム
JP2010195235A (ja) 2009-02-25 2010-09-09 Viewtec Japan Co Ltd 車載カメラシステム
WO2011028686A1 (en) * 2009-09-01 2011-03-10 Magna Mirrors Of America, Inc. Imaging and display system for vehicle
JP2011096063A (ja) 2009-10-30 2011-05-12 Sharp Corp ドライブレコーダ装置
US20150228066A1 (en) * 2014-02-10 2015-08-13 Michael Scot Farb Rear Encroaching Vehicle Monitoring And Alerting System
CN106573588B (zh) * 2014-08-21 2019-01-25 三菱电机株式会社 驾驶辅助装置、驾驶辅助方法和程序
JP6327160B2 (ja) * 2014-09-02 2018-05-23 株式会社デンソー 車両用画像処理装置
EP3214832B1 (en) 2014-10-31 2019-11-27 Fujifilm Corporation Imaging device and method for recognizing target object
JP6406159B2 (ja) * 2015-08-04 2018-10-17 株式会社デンソー 車載表示制御装置、車載表示制御方法
JP6413974B2 (ja) * 2015-08-05 2018-10-31 株式会社デンソー キャリブレーション装置、キャリブレーション方法、及びプログラム
JP6631350B2 (ja) * 2016-03-22 2020-01-15 株式会社デンソー ドライブレコーダ
JP6767518B2 (ja) 2017-02-14 2020-10-14 パイオニア株式会社 情報記録装置、情報記録方法及び情報記録用プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05342497A (ja) * 1992-06-09 1993-12-24 Mazda Motor Corp 車両の障害物検出装置
JPH08161500A (ja) * 1994-12-05 1996-06-21 Minolta Co Ltd 物体認識装置
JP2017130155A (ja) * 2016-01-22 2017-07-27 富士通テン株式会社 物体認識装置および物体認識方法
JP2019046092A (ja) * 2017-08-31 2019-03-22 古野電気株式会社 車載装置、基地局装置、映像情報提供システム、映像情報提供方法、及びコンピュータプログラム

Also Published As

Publication number Publication date
JP7243478B2 (ja) 2023-03-22
US20200404187A1 (en) 2020-12-24
CN112135080B (zh) 2023-04-07
CN112135080A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
US10802210B2 (en) Apparatus and method for a safety system of cameras for advantageously viewing vehicular traffic by the driver
EP2423901B1 (en) Driving support device, driving support method and program
JP7243478B2 (ja) 車両用情報記録装置
KR20090031997A (ko) 차량용 주변 감시 장치 및 영상 표시 방법
CN111674389B (zh) 停车支援装置及停车支援方法
TWI757419B (zh) 攝像裝置、攝像模組及攝像裝置之控制方法
US20220230456A1 (en) Vehicular driver assist system with adjustable display
JP7163748B2 (ja) 車両用表示制御装置
JP2008222153A (ja) 合流支援装置
WO2017145549A1 (ja) 脇見見落とし注意システム及びコンピュータプログラム
US20180005529A1 (en) Vision system
JPH11296785A (ja) 車両ナンバー認識システム
US20200304698A1 (en) Imaging control apparatus, imaging control method, computer program, and electronic device
JP2005202787A (ja) 車両用表示装置
EP1494194A2 (en) Vehicle braking apparatus and method
US11152726B2 (en) Connector device and connector system
CN112082569A (zh) 信息显示装置、控制方法及存储介质
JPH1142989A (ja) 車両用後側方監視装置
US10572967B2 (en) Image data processing circuit and imaging circuit
JP6927787B2 (ja) 車載器および運転支援装置
US20220292686A1 (en) Image processing apparatus, image processing method, and computer-readable storage medium storing program
JP2003127772A (ja) 車載用死角画像表示装置
CN110995981B (zh) 图像处理装置及其控制方法、非暂时性可读记录介质、信息处理***
JP7042604B2 (ja) 運転支援装置、及び運転支援方法
CN112141084A (zh) 停车支援装置及停车支援方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230220

R151 Written notification of patent or utility model registration

Ref document number: 7243478

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151