JP7421681B2 - Biological signal processing device and automatic analysis data generation method - Google Patents

Biological signal processing device and automatic analysis data generation method Download PDF

Info

Publication number
JP7421681B2
JP7421681B2 JP2023097217A JP2023097217A JP7421681B2 JP 7421681 B2 JP7421681 B2 JP 7421681B2 JP 2023097217 A JP2023097217 A JP 2023097217A JP 2023097217 A JP2023097217 A JP 2023097217A JP 7421681 B2 JP7421681 B2 JP 7421681B2
Authority
JP
Japan
Prior art keywords
data
electrocardiogram
signal processing
biological signal
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023097217A
Other languages
Japanese (ja)
Other versions
JP2023120282A (en
Inventor
弘敏 呉
達哉 米山
史明 井芹
剛 山内
匠 澤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fukuda Denshi Co Ltd
Original Assignee
Fukuda Denshi Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fukuda Denshi Co Ltd filed Critical Fukuda Denshi Co Ltd
Priority to JP2023097217A priority Critical patent/JP7421681B2/en
Publication of JP2023120282A publication Critical patent/JP2023120282A/en
Application granted granted Critical
Publication of JP7421681B2 publication Critical patent/JP7421681B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Description

本発明は生体信号処理装置および自動解析用データ生成方法に関する。 The present invention relates to a biological signal processing device and an automatic analysis data generation method.

従来、心電図の自動解析には人間の考え方に比較的近い枝分かれ手法やポイントスコア法が主に用いられている。近年、AI技術の実用化が急速に進んでいることにより、心電図波形を時系列データまたは画像として取扱い、機械学習や深層学習のモデルを用いて自動解析する手法も提案されている(特許文献1)。 Conventionally, automatic analysis of electrocardiograms has mainly used branching methods and point scoring methods that are relatively similar to human thinking. In recent years, as the practical application of AI technology has progressed rapidly, methods have been proposed that treat electrocardiogram waveforms as time-series data or images and automatically analyze them using machine learning or deep learning models (Patent Document 1) ).

特開2017-525410号公報Japanese Patent Application Publication No. 2017-525410

特許文献1は、心電図モニタの単一誘導を対象として、異常な心拍リズムが心室頻拍(VT)または心室細動(VF)によるものかノイズによるものかを判断するのに機械学習を利用することを開示している。しかしながら、心電図は例えば12誘導心電図のように、複数種の誘導(チャンネル)について同時に計測されるのが一般的である。
複数種の誘導について深層学習を行おうとした場合、誘導毎に学習すると学習に要する計算時間が長くなる上、誘導間の相互関係を考慮した所見を学習できない。そのため、左室肥大や心筋梗塞などのように、複数の誘導間の相互関係を考慮すべき所見について、自動解析による判別精度が低下するという問題点がある。
Patent Document 1 uses machine learning to target a single lead of an electrocardiogram monitor and determine whether an abnormal heart rhythm is due to ventricular tachycardia (VT), ventricular fibrillation (VF), or noise. This is disclosed. However, an electrocardiogram is generally measured simultaneously for multiple types of leads (channels), such as a 12-lead electrocardiogram.
When attempting to perform deep learning on multiple types of leads, learning for each lead increases the calculation time required for learning, and it is not possible to learn findings that take into account the interrelationships between the leads. Therefore, there is a problem in that the accuracy of automatic analysis in determining findings such as left ventricular hypertrophy and myocardial infarction that requires consideration of the correlation between multiple leads is reduced.

本発明はこのような従来技術の課題に鑑みてなされたものであり、心電図における複数種の波形情報と誘導間の関係を効率的に深層学習させることが可能な自動解析用データを生成する生体信号処理装置および自動解析用データ生成方法を提供することを目的の1つとする。 The present invention has been made in view of the problems of the prior art, and is a biological system that generates data for automatic analysis that enables efficient deep learning of the relationships between multiple types of waveform information and leads in an electrocardiogram. One of the objects is to provide a signal processing device and a method for automatically generating data for analysis.

本発明はその一態様において、深層学習を利用した心電図解析に用いる心電図解析用データを生成する生体信号処理装置であって、複数種の誘導に関する心電図データを取得する取得手段と、心電図データに基づいて、複数種の誘導に関する波形の情報を表す2次元画像が誘導ごとに異なる予め定められた位置に2次元配置された合成画像のデータを心電図解析用データとして生成する生成手段と、を有し、生成手段は、同一心拍に係る複数種の誘導のそれぞれについて、心電図データの値を波形として表す2次元画像が誘導ごとに異なる予め定められた位置に2次元配置され、波形と背景以外の情報を含まない合成画像のデータを心電図解析用データとして生成する、ことを特徴とする生体信号処理装置を提供する。 In one aspect, the present invention provides a biological signal processing device that generates electrocardiogram analysis data used in electrocardiogram analysis using deep learning, comprising: an acquisition means for acquiring electrocardiogram data regarding multiple types of leads; and generating means for generating data of a composite image in which two-dimensional images representing waveform information regarding a plurality of types of leads are two-dimensionally arranged at different predetermined positions for each lead as data for electrocardiogram analysis. , the generating means arranges two-dimensional images representing the values of electrocardiogram data as waveforms for each of the plurality of types of leads related to the same heartbeat at predetermined positions that are different for each lead, and generates information other than the waveforms and the background. Provided is a biological signal processing device characterized in that it generates composite image data that does not include electrocardiogram analysis data as electrocardiogram analysis data.

本発明によれば、心電図における複数種の波形情報と誘導間の関係を効率的に深層学習させることが可能な自動解析用データを生成する生体信号処理装置および自動解析用データ生成方法を提供することができる。 According to the present invention, there is provided a biological signal processing device and an automatic analysis data generation method that generate automatic analysis data that allows efficient deep learning of the relationships between multiple types of waveform information and leads in an electrocardiogram. be able to.

実施形態に係る生体信号処理装置の機能構成例を示すブロック図である。FIG. 1 is a block diagram showing an example of a functional configuration of a biological signal processing device according to an embodiment. 実施形態に係る自動解析用データ生成処理に関するフローチャートである。It is a flowchart regarding automatic analysis data generation processing concerning an embodiment. 実施形態に係る自動解析用データ生成処理に関するフローチャートである。It is a flowchart regarding automatic analysis data generation processing concerning an embodiment. 実施形態に係る自動解析用データ生成処理に関するフローチャートである。It is a flowchart regarding automatic analysis data generation processing concerning an embodiment. 実施形態における前処理の具体例を示す図である。It is a figure showing a specific example of pre-processing in an embodiment. 実施形態における合成画像の生成処理の具体例を示す図である。FIG. 3 is a diagram illustrating a specific example of a composite image generation process in the embodiment. 実施形態における合成画像の生成処理の別の具体例を示す図である。FIG. 7 is a diagram illustrating another specific example of the composite image generation process in the embodiment. 実施形態に係る自動解析用データの評価結果を示す図である。It is a figure showing the evaluation result of the data for automatic analysis concerning an embodiment. 実施形態に係る自動解析用データの評価結果を示す図である。It is a figure showing the evaluation result of the data for automatic analysis concerning an embodiment.

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下に説明する実施形態は本発明をいかなる意味においても限定しない。また、実施形態で説明される構成の全てが本発明に必須とは限らない。また、明らかに不可能である場合や、それが否定されている場合を除き、異なる実施形態に含まれる構成を組み合わせたり、入れ替えたりしてもよい。また、重複した説明を省略するために、添付図面においては全体を通じて同一もしくは同様の構成要素には同一の参照番号を付してある。 Hereinafter, the present invention will be described in detail based on exemplary embodiments thereof with reference to the accompanying drawings. Note that the embodiments described below do not limit the present invention in any way. Furthermore, not all of the configurations described in the embodiments are essential to the present invention. Furthermore, unless it is clearly impossible or denied, configurations included in different embodiments may be combined or replaced. Furthermore, in order to avoid redundant explanation, the same or similar components are designated by the same reference numerals throughout in the accompanying drawings.

図1は、本実施形態に係る生体信号処理装置100の機能構成例を示すブロック図である。生体信号処理装置100は、例えばプログラマブルプロセッサにより、後述する動作を実現するアプリケーションプログラムを実行することによって実現することができる。したがって、生体信号処理装置は、プログラマブルプロセッサを有する電子機器一般で実施することができる。ただし、ニューラルネットワークを用いた学習処理や学習済みモデルを適用する処理に必要なメモリ容量や演算量が多いため、GPUや深層学習に適したコプロセッサとメモリを搭載したボードなど、深層学習に関する演算を高速に実行可能なハードウェアを有する(あるいは内蔵する)電子機器で実施することが好ましい。 FIG. 1 is a block diagram showing an example of the functional configuration of a biological signal processing device 100 according to the present embodiment. The biological signal processing device 100 can be realized, for example, by using a programmable processor to execute an application program that realizes the operations described below. Therefore, the biosignal processing device can be implemented in general electronic equipment having a programmable processor. However, since the memory capacity and amount of calculation required for learning processing using neural networks and processing for applying trained models is large, it is necessary to use GPUs and boards equipped with coprocessors and memory suitable for deep learning to perform deep learning calculations. It is preferable to implement the process using an electronic device having (or incorporating) hardware that can execute the process at high speed.

生体信号処理装置100は、複数種の誘導を含んだ心電図の時系列データ(以下、心電図データと呼ぶ)から、複数種の誘導間の関係をも勘案した心電図解析を実現するニューラルネットワークの深層学習および学習済みニューラルネットワークを用いた自動解析に適したデータ(心電図解析用データ)を生成する。なお、生体信号処理装置が生成する心電図解析用データは、ニューラルネットワークの学習時および、学習済みのニューラルネットワークを用いた自動解析時に用いられる。 The biological signal processing device 100 uses deep learning of a neural network to realize electrocardiogram analysis that takes into account relationships among multiple types of leads from time-series electrocardiogram data including multiple types of leads (hereinafter referred to as electrocardiogram data). and generate data (electrocardiogram analysis data) suitable for automatic analysis using a trained neural network. Note that the electrocardiogram analysis data generated by the biological signal processing device is used during learning of a neural network and during automatic analysis using a trained neural network.

制御部110は、プログラマブルプロセッサ、ROM、RAMを有し、ROMや記録部130に記憶されているプログラムをRAMに読み込んで実行することにより、後述する心電図解析用データ生成処理を含む、生体信号処理装置100の処理を実現する。 The control unit 110 includes a programmable processor, ROM, and RAM, and performs biological signal processing, including data generation processing for electrocardiogram analysis, which will be described later, by loading programs stored in the ROM and recording unit 130 into the RAM and executing them. The processing of the device 100 is realized.

外部I/F120は生体信号処理装置100が外部装置と有線および/または無線通信するためのインタフェースである。生体信号処理装置100は、外部I/F120を通じて、解析結果を外部機器へ出力したり、自動血圧計、IDリーダ等の外部機器から必要なデータを取得したりすることができる。外部I/F120は例えば、USB、無線LAN、有線LAN、bluetooth(登録商標)などの規格の1つ以上に準じた外部装置と通信可能であってよい。 External I/F 120 is an interface through which biological signal processing device 100 communicates with an external device by wire and/or wirelessly. The biological signal processing device 100 can output analysis results to an external device or acquire necessary data from an external device such as an automatic blood pressure monitor or an ID reader through the external I/F 120. The external I/F 120 may be capable of communicating with an external device that conforms to one or more of standards such as USB, wireless LAN, wired LAN, and Bluetooth (registered trademark).

記録部130は心電図データ及び解析結果を収録するための装置であり、SSD、HDDなどの記憶装置、および/またはUSBメモリなどが使用できる。制御部110は、記録部130にデータを記録したり、記録部130に記録されたデータを読み出したりする。 The recording unit 130 is a device for recording electrocardiogram data and analysis results, and can use a storage device such as an SSD or an HDD, and/or a USB memory. The control unit 110 records data in the recording unit 130 and reads data recorded in the recording unit 130.

信号処理部140は、心電図などの生体信号に対して予め定められた処理を適用する。信号処理部140は例えばGPUやDSPなど、信号処理や、ニューラルネットワークに関する処理(深層学習および学習済みニューラルネットワークの適用)に適したプログラマブルプロセッサと、プログラムを記憶するROM、プログラムの実行に用いられるRAMから構成することができる。本実施形態では、ニューラルネットワークの深層学習処理および、心電図解析用データを深層学習済のニューラルネットワークを用いて自動解析処理することを、信号処理部140が実現するものとする。なお、本明細書において、深層学習とは、複数層を有するニューラルネットワークの学習を意味するものとする。 The signal processing unit 140 applies predetermined processing to biological signals such as electrocardiograms. The signal processing unit 140 includes a programmable processor such as a GPU or a DSP suitable for signal processing and processing related to neural networks (application of deep learning and trained neural networks), a ROM for storing programs, and a RAM used for executing programs. It can be composed of In this embodiment, it is assumed that the signal processing unit 140 realizes deep learning processing of a neural network and automatic analysis processing of electrocardiogram analysis data using a deep learned neural network. Note that in this specification, deep learning refers to learning of a neural network having multiple layers.

表示部150はLCDなどの表示装置であり、生体信号処理装置100のユーザインタフェースや生体信号などを表示する。
操作部160はキーボード、ポインティングデバイス、タッチパネル、スイッチ、ボタンなど、ユーザが生体信号処理装置100に指示を入力するための入力デバイスの総称である。
The display unit 150 is a display device such as an LCD, and displays the user interface of the biosignal processing device 100, biosignals, and the like.
The operation unit 160 is a general term for input devices such as a keyboard, a pointing device, a touch panel, a switch, a button, etc., through which a user inputs instructions to the biological signal processing apparatus 100.

図2は、自動解析用データ生成処理のフローチャートである。
S210で制御部110は、複数種の誘導に関する心電図データ(例えば12誘導心電図のデータ)を、例えば記録部130から取得する。なお、ここでは予め記録された心電図データを取得するものとするが、生体信号処理装置100が心電計に組み込まれる場合などにはリアルタイムで心電図データを取得してもよい。
FIG. 2 is a flowchart of automatic analysis data generation processing.
In S210, the control unit 110 acquires electrocardiogram data regarding multiple types of leads (for example, 12-lead electrocardiogram data) from the recording unit 130, for example. Although it is assumed here that electrocardiogram data recorded in advance is acquired, electrocardiogram data may be acquired in real time when the biological signal processing device 100 is incorporated into an electrocardiograph.

後述するように、本実施形態では各誘導について1心拍分の波形を用いて自動解析用データを生成するため、S210で制御部110は1心拍分の心電図データを取得する。あるいは、制御部110は、所定時間分の心電図データを1心拍分ずつ分割し、それらを加算平均することにより1心拍分の心電図データを生成してもよい。しかしながら、各誘導について1心拍分より長い心電図データを用いて自動解析用データを生成してもよい。なお、心電図データを1心拍ずつ分割したり、1心拍内を複数の区間に分割したりするための区分点は、複数種の誘導のうちの1つを用いて決定し、全誘導について共通に使用することができる。区分点の決定に用いる誘導は予め定めておいてもよいし、振幅の最も大きな誘導を用いてもよい。また、これらの分割には公知の任意の方法を用いることができる。 As described later, in this embodiment, data for automatic analysis is generated using a waveform for one heartbeat for each lead, so in S210, the control unit 110 acquires electrocardiogram data for one heartbeat. Alternatively, the control unit 110 may generate electrocardiogram data for one heartbeat by dividing electrocardiogram data for a predetermined period of time into parts corresponding to one heartbeat, and averaging the divided parts. However, data for automatic analysis may be generated using electrocardiogram data longer than one heartbeat for each lead. Note that the division points for dividing electrocardiogram data into one heartbeat or one heartbeat into multiple sections are determined using one of multiple types of leads, and the division points are determined using one of multiple types of leads. can be used. The guidance used to determine the division point may be determined in advance, or the guidance with the largest amplitude may be used. Further, any known method can be used for these divisions.

S220で制御部110は、取得した心電図データに対して前処理を適用する。前処理は、各誘導について、波形の特徴を残しつつデータ量を削減する処理である。前処理の詳細については後述する。前処理は必須ではないが、実施した方が深層学習および自動解析の演算負荷を低減でき、また学習および自動解析の精度が向上する。 In S220, the control unit 110 applies preprocessing to the acquired electrocardiogram data. Preprocessing is processing for reducing the amount of data for each lead while preserving the waveform characteristics. Details of the preprocessing will be described later. Although preprocessing is not essential, performing it can reduce the computational load of deep learning and automatic analysis, and improve the accuracy of learning and automatic analysis.

S230で制御部110は、前処理された各誘導のデータを用いて、複数種の誘導に関する波形の情報を表す1フレームの画像(合成画像)のデータを生成する。S230における画像データ生成処理の詳細については後述する。 In S230, the control unit 110 uses the preprocessed data for each lead to generate one frame of image (composite image) data representing waveform information regarding multiple types of leads. Details of the image data generation process in S230 will be described later.

S240で制御部110は、S230で生成した合成画像に対し、必要に応じて後処理を適用する。後処理は例えば解像度の低減処理であってよい。後処理は必ずしも行わなくてもよい。したがって、S230で生成される合成画像のデータ、あるいはS240で後処理が適用された合成画像のデータが、自動解析用データとなる。制御部110は、生成した自動解析用データを、例えば記録部130に記録する。 In S240, the control unit 110 applies post-processing to the composite image generated in S230, as necessary. Post-processing may be, for example, resolution reduction processing. Post-processing does not necessarily have to be performed. Therefore, the data of the composite image generated in S230 or the data of the composite image to which post-processing has been applied in S240 becomes data for automatic analysis. The control unit 110 records the generated automatic analysis data in the recording unit 130, for example.

信号処理部140が実現するニューラルネットワークの深層学習(または検証)を行う場合、制御部110は、学習用(または検証用)の心電図データ(既知の心電図データ)から生成した自動解析用データを信号処理部140に供給する。また、信号処理部140が実現する学習済みのニューラルネットワークを用いた自動解析処理を行う場合、制御部110は、解析用の心電図データ(未知の心電図データ)から生成した自動解析用データを信号処理部140に供給する。 When performing deep learning (or verification) of the neural network realized by the signal processing unit 140, the control unit 110 uses automatic analysis data generated from learning (or verification) electrocardiogram data (known electrocardiogram data) as a signal. It is supplied to the processing section 140. Further, when performing automatic analysis processing using a trained neural network realized by the signal processing unit 140, the control unit 110 performs signal processing on automatic analysis data generated from analysis electrocardiogram data (unknown electrocardiogram data). 140.

次に、図3に示すフローチャートを用いて、図2のS220で行う前処理の詳細について説明する。
S222で制御部110は、心電図データに対して非線形増幅処理を適用する。非線形増幅処理は、心電図データの振幅値(基線レベルとの差)が小さい部分に大きなゲインを、振幅値が大きい部分に小さなゲインを適用する。非線形増幅の特性には特に制限はないが、対数関数的な利得曲線を用いることができる。非線形増幅は心電図データのダイナミックレンジの非線形圧縮ということもできる。
Next, details of the preprocessing performed in S220 of FIG. 2 will be described using the flowchart shown in FIG.
In S222, the control unit 110 applies nonlinear amplification processing to the electrocardiogram data. In the nonlinear amplification process, a large gain is applied to a portion of the electrocardiogram data where the amplitude value (difference from the baseline level) is small, and a small gain is applied to a portion where the amplitude value is large. Although there are no particular limitations on the characteristics of nonlinear amplification, a logarithmic gain curve can be used. Nonlinear amplification can also be referred to as nonlinear compression of the dynamic range of electrocardiogram data.

S224で制御部110は、非線形増幅した心電図データを正規化する。例えば全誘導の最大値を用いて各誘導の心電図データを正規化してもよいし、誘導ごとに、その誘導の最大値で正規化してもよい。正規化により各誘導の心電図データは-1から1までの値を有するようになる。 In S224, the control unit 110 normalizes the nonlinearly amplified electrocardiogram data. For example, the electrocardiogram data of each lead may be normalized using the maximum value of all leads, or each lead may be normalized using the maximum value of that lead. Due to normalization, the electrocardiogram data for each lead has a value between -1 and 1.

S226で制御部110は、各誘導の正規化後の心電図データにダウンサンプリングを適用して時間軸方向のデータ(サンプル)数を削減する。ダウンサンプリングは必須ではないが、学習や解析の負荷を軽減する効果がある。 In S226, the control unit 110 applies downsampling to the normalized electrocardiogram data of each lead to reduce the number of data (samples) in the time axis direction. Although downsampling is not essential, it has the effect of reducing the learning and analysis load.

ダウンサンプリングを実施する場合には、サンプリングレートを一定とするよりも、波形の変化が大きい区間は変化の小さい区間よりも高いサンプリングレートとして、サンプル数の減少を抑制することが好ましい。例えば制御部110は、1心拍の期間をQRS区間(例えばR波のピークを基準として前後所定サンプル数(時間)の第1の区間と、P区間(例えばQRS区間の前の所定サンプル数(時間)の第2の区間と、他の第3の区間とに分割する。そして、間引かれるサンプルの割合が多い方から第3の区間>第2の区間>第1の区間となるように、ダウンサンプリングのサンプリングレートを異ならせることができる。また、区間内において、等間隔にサンプルを間引かずに、例えば値の差が大きい隣接サンプルについては間引かないよう、間引くサンプルを調整してもよい。なお、ここでは単純にサンプルを間引く構成としたが、補間を伴うサブサンプリングを実施してもよい。 When performing downsampling, rather than keeping the sampling rate constant, it is preferable to set a sampling rate higher in sections where the waveform changes are large than in sections where the changes are small, to suppress a decrease in the number of samples. For example, the control unit 110 divides the period of one heartbeat into a QRS interval (for example, a first interval with a predetermined number of samples (time) before and after the R wave peak) and a P interval (for example, a predetermined number of samples (time) before and after the QRS interval). ) and another third interval.Then, in descending order of the proportion of samples to be thinned out, the third interval > the second interval > the first interval. The sampling rate of downsampling can be made different.Also, instead of thinning out samples at equal intervals within an interval, for example, you can adjust the samples to be thinned out so that adjacent samples with a large difference in value are not thinned out. Note that although the configuration here is such that the samples are simply thinned out, subsampling with interpolation may be implemented.

S228で制御部110は、必要に応じて、心電図データのうち重要でない区間のデータをトリミング(削除)する。例えば制御部110は、1心拍期間のうち、T波終了後からP波開始前の区間においてデータを削除することができる。なお、トリミングは必須ではないが、トリミングを行うことによりデータ量が削減できるため、学習時や自動解析時の演算負荷が低減できるという効果がある。なお、トリミングはダウンサンプリングの前に実行してもよい。 In S228, the control unit 110 trims (deletes) data in unimportant sections of the electrocardiogram data as necessary. For example, the control unit 110 can delete data in a section from after the end of the T wave to before the start of the P wave within one heartbeat period. Although trimming is not essential, trimming can reduce the amount of data, which has the effect of reducing the computational load during learning and automatic analysis. Note that trimming may be performed before downsampling.

このような前処理が行われた後、S230で実施される画像データ生成処理の詳細について、図4のフローチャートを用いて説明する。
S232で制御部110は、誘導ごとに、心電図データから画像データを生成する。本実施形態では、各誘導の時系列データである心電図データから、予め定められた共通の大きさ(水平および垂直方向の画素数)を有する矩形状の画像に対応する画像データを生成する。
Details of the image data generation process performed in S230 after such preprocessing is performed will be described using the flowchart of FIG. 4.
In S232, the control unit 110 generates image data from the electrocardiogram data for each lead. In this embodiment, image data corresponding to a rectangular image having a predetermined common size (number of pixels in horizontal and vertical directions) is generated from electrocardiogram data that is time-series data of each lead.

心電図データを構成する各サンプルの値(すなわち、誘導の波形に関する情報)をどのような画像で表現するかに特に制限はなく、様々な方法が考えられる。ここでは2つの例を説明する。第1の方法は、画像の水平方向を時間軸、垂直方向を振幅軸として、各サンプル値に対応する座標をプロットすることにより、波形を表す画像を生成する方法である。また、第2の方法は、サンプル値を輝度値とした画像を生成する方法である。 There is no particular restriction on the type of image that represents the values of each sample (that is, information regarding the waveform of the leads) constituting the electrocardiogram data, and various methods can be considered. Two examples will be explained here. The first method is to generate an image representing a waveform by plotting the coordinates corresponding to each sample value, with the horizontal direction of the image as the time axis and the vertical direction as the amplitude axis. Moreover, the second method is a method of generating an image using a sample value as a luminance value.

まず、第1の方法について説明する。ここで、各誘導の心電図データから生成する画像の大きさが、垂直方向が振幅値の量子化により一定の画素数、水平方向がサンプル数に等しい画素数であるものとする。例えば、前処理において心電図データが正規化されている場合、垂直方向の63画素を+1から-1の値の範囲に割り当てて各サンプル値に対応する垂直方向の座標を決定する。水平方向の座標はサンプルごとに1ずつ加算すればよい。このようにして決定された各サンプル値の座標に該当する画素の値を1、他の座標に該当する画素の値を0とした2値画像を生成する。これにより、黒の背景にサンプル値が白でプロットされた、誘導波形を表す画像が生成される。 First, the first method will be explained. Here, it is assumed that the size of the image generated from the electrocardiogram data of each lead has a constant number of pixels in the vertical direction due to quantization of the amplitude value, and a number of pixels in the horizontal direction equal to the number of samples. For example, if electrocardiogram data is normalized in preprocessing, 63 pixels in the vertical direction are assigned to a value range of +1 to -1 to determine the vertical coordinates corresponding to each sample value. The horizontal coordinates may be added by 1 for each sample. A binary image is generated in which the value of the pixel corresponding to the coordinate of each sample value determined in this way is 1, and the value of the pixel corresponding to the other coordinates is 0. This produces an image representing the guided waveform, with the sample values plotted in white on a black background.

なお、生成する画像の水平方向の大きさ(画素数)よりも心電図データのサンプル数が少ない場合には、画像の水平方向をサンプル数に合わせて小さくしてもよいし、サンプルがプロットされない領域は背景のままとしてもよい。前処理を行う場合には、サブサンプリングのサンプリングレートやトリミングするサンプル数を調整して、心電図データのサンプル数を、生成する画像の水平方向の大きさ(画素数)に合わせることが好ましい。 Note that if the number of samples of electrocardiogram data is smaller than the horizontal size (number of pixels) of the image to be generated, the horizontal direction of the image may be reduced to match the number of samples, or the area where no samples are plotted may be may remain in the background. When performing preprocessing, it is preferable to adjust the sampling rate of subsampling and the number of samples to be trimmed so that the number of samples of electrocardiogram data matches the horizontal size (number of pixels) of the image to be generated.

次に、第2の方法について説明する。第2の方法は、時系列データである心電図データを、複数の区間に分割し、各区間を、そこに含まれる複数のサンプルの値を輝度値とした1次元画像に変換する。そして、各区間の1次元画像を時系列に従って垂直方向に並べることにより、2次元の多値画像を生成する。 Next, the second method will be explained. The second method divides electrocardiogram data, which is time-series data, into a plurality of sections, and converts each section into a one-dimensional image whose brightness values are the values of a plurality of samples included therein. Then, a two-dimensional multivalued image is generated by arranging the one-dimensional images of each section vertically in time series.

各誘導の心電図データから生成する画像の大きさが垂直方向y画素、水平方向x画素とすると、時系列データを構成するサンプル数がx×y以下となるように、画像の大きさおよび/またはサンプル数を調整する。サンプル数がx×yに等しい場合、心電図データをy分割して各区間を1次元画像に変換すれば、水平方向x画素の1次元画像がy個生成される。したがって、y個の1次元画像を垂直方向に並べることで、所定の大きさの画像を生成することができる。サンプル数がx×y未満の場合、サンプルが足りない部分については基線レベルに等しい輝度を有する画素とすることができる。 Assuming that the size of the image generated from the electrocardiogram data of each lead is y pixels in the vertical direction and x pixels in the horizontal direction, the image size and/or Adjust the number of samples. When the number of samples is equal to x x y, if the electrocardiogram data is divided into y parts and each section is converted into a one-dimensional image, y one-dimensional images of x pixels in the horizontal direction are generated. Therefore, by arranging y one-dimensional images in the vertical direction, an image of a predetermined size can be generated. When the number of samples is less than x x y, pixels having a luminance equal to the baseline level can be used for the portion where there are insufficient samples.

以上のようにして、各誘導の心電図データから同じ大きさの2次元画像を表す画像データを生成したら、制御部110は処理をS234に進める。 After generating image data representing a two-dimensional image of the same size from the electrocardiogram data of each lead as described above, the control unit 110 advances the process to S234.

S234で制御部110は、S232で生成した誘導種に等しい数の2次元画像を隣接配置した合成画像のデータを生成する。一般的に利用可能なニューラルネットワークのプログラムライブラリは正方形状の画像を取り扱うことを前提としているものが多いため、合成画像は好ましくは正方形状とするが、矩形状であってもよい。 In S234, the control unit 110 generates data of a composite image in which a number of two-dimensional images equal to the number of guided species generated in S232 are arranged adjacently. Since many commonly available neural network program libraries are based on the assumption that square images are handled, the synthesized image is preferably square, but may be rectangular.

最終的に正方形状の合成画像が生成できるように、合成画像の大きさを誘導種の数で分割してS232で誘導ごとに生成する2次元画像の大きさを定めてもよい。そして、2次元画像の大きさに基づいて、前処理におけるサブサンプリングレートやトリミングするサンプル数を決定すれば、効率よく合成画像のデータを生成することができる。 In order to finally generate a square-shaped composite image, the size of the composite image may be divided by the number of guided species to determine the size of the two-dimensional image to be generated for each guide in S232. Then, by determining the sub-sampling rate in preprocessing and the number of samples to be trimmed based on the size of the two-dimensional image, it is possible to efficiently generate data for a composite image.

上述のように、S234で生成する合成画像のデータは、そのまま自動解析用データとして用いてもよいし、さらに後処理を適用してもよい。 As described above, the data of the composite image generated in S234 may be used as is as data for automatic analysis, or may be further subjected to post-processing.

図5は、前処理の具体例を示している。図5(a)は取得した1心拍分の心電図データを示しており、サンプル数は500である。この心電図データに対して、非線形増幅を適用し、全誘導の最大値で正規化した結果を図5(b)に示す。この状態ではサンプル数は変化していない。 FIG. 5 shows a specific example of preprocessing. FIG. 5(a) shows the acquired electrocardiogram data for one heartbeat, and the number of samples is 500. Nonlinear amplification was applied to this electrocardiogram data, and the result normalized by the maximum value of all leads is shown in FIG. 5(b). In this state, the number of samples remains unchanged.

ダウンサンプリングに際して、P波区間、QRS区間、T波区間、および他の区間に分割し、それぞれサンプリングレートをDSR2、DSR3、DSR4、DSR1に設定する。ここで、ダウンサンプリングによって間引かれるサンプルの割合は、DSR1>DSR4>=DSR2>DSR3という関係を有する。ここでは、ダウンサンプリングレートDSR1の区間についてはトリミングによって削除するものとし、DSR3を1/2、DSR2を1/6、DSR4を1/6とした。ここでダウンサンプリングレート1/nは、ダウンサンプリングによってサンプル数がもとの1/nに減少することを示す。図5(c)は、サブサンプリングおよびトリミング後の心電図データを示している。サンプル数が500から84に削減されているが、誘導に関する波形の特徴は保持されている。 During downsampling, it is divided into a P-wave section, a QRS section, a T-wave section, and other sections, and the sampling rates are set to DSR2, DSR3, DSR4, and DSR1, respectively. Here, the ratio of samples thinned out by downsampling has a relationship of DSR1>DSR4>=DSR2>DSR3. Here, the section with the downsampling rate DSR1 is deleted by trimming, and DSR3 is set to 1/2, DSR2 is set to 1/6, and DSR4 is set to 1/6. Here, the downsampling rate 1/n indicates that the number of samples is reduced to 1/n of the original number due to downsampling. FIG. 5(c) shows the electrocardiogram data after subsampling and trimming. Although the number of samples has been reduced from 500 to 84, the waveform characteristics related to guidance are retained.

図6は、12誘導心電図データに対して図5に示した前処理を適用し、第1の方法によって各誘導に関する画像を生成し、さらに合成画像を生成した例を示している。
図6(a)は、各誘導の心電図データから第1の方法によって生成した、水平方向84画素、垂直方向63画素の画像データが表す矩形画像を模式的に示している。ただし、図6(a)の例では、前処理における正規化が、誘導ごとに、その最大値を用いて行われている。
FIG. 6 shows an example in which the preprocessing shown in FIG. 5 is applied to 12-lead electrocardiogram data, images related to each lead are generated by the first method, and a composite image is further generated.
FIG. 6A schematically shows a rectangular image represented by image data of 84 pixels in the horizontal direction and 63 pixels in the vertical direction, generated by the first method from the electrocardiogram data of each lead. However, in the example of FIG. 6(a), normalization in preprocessing is performed using the maximum value for each lead.

図6(b)は、図6(a)に示す各誘導の画像を、水平方向に3つ、垂直方向に4つ隣接配置して生成した、水平方向252画素、垂直方向252画素の正方形状の合成画像を示している。この合成画像が大きすぎる場合には、後処理を適用して、図6(c)~図6(e)のような縮小画像を生成してもよい。この場合、後処理では例えばバイキュービック法のような公知の画像縮小処理を適用することができる。 FIG. 6(b) shows a square shape of 252 pixels in the horizontal direction and 252 pixels in the vertical direction, which is generated by arranging three images of each guidance shown in FIG. 6(a) adjacently in the horizontal direction and four in the vertical direction. shows a composite image of If this composite image is too large, post-processing may be applied to generate reduced images as shown in FIGS. 6(c) to 6(e). In this case, in the post-processing, for example, known image reduction processing such as the bicubic method can be applied.

図7は、12誘導心電図データに対し、図5に示した前処理のうち、非線形増幅および正規化処理を適用した後、第2の方法によって各誘導に関する画像を生成し、さらに合成画像を生成した例を示している。図7(a)は、12誘導のうち1つの心電図データを例示的に示している。ここでは、水平方向に72画素の画像を生成するため、500に最も近い72の倍数である432サンプルを用いることとし、残りの68サンプルについてはトリミングしている。トリミングする区間は、T波終了からP波開始までの区間(図7(a)の両端部分)としている。 Figure 7 shows that after applying the nonlinear amplification and normalization processing of the preprocessing shown in Figure 5 to 12-lead electrocardiogram data, an image for each lead is generated using the second method, and then a composite image is generated. An example is shown below. FIG. 7(a) exemplarily shows electrocardiogram data for one of the 12 leads. Here, in order to generate an image of 72 pixels in the horizontal direction, 432 samples, which is the multiple of 72 closest to 500, are used, and the remaining 68 samples are trimmed. The section to be trimmed is the section from the end of the T wave to the start of the P wave (both ends of FIG. 7(a)).

次に、制御部110は、432サンプルを1~6の区間(セグメント)に等分割する。そして、制御部110は、セグメントごとに、サンプル値を輝度値とする1次元画像のデータに変換し、得られた6ラインの画像を時系列に従って垂直方向に並べた、垂直方向6画素、水平方向72画素の画像のデータを生成する(図7(b))。ここでは、最も古いサンプル群からなるセグメント1が一番下のラインとなるように並べているが、セグメント1を一番上のラインとして、セグメント2以降を順次下に並べてもよい。 Next, the control unit 110 equally divides the 432 samples into 1 to 6 segments. Then, the control unit 110 converts the sample values into one-dimensional image data with luminance values for each segment, and arranges the obtained 6-line image vertically in chronological order by 6 pixels in the vertical direction and 6 pixels horizontally. Image data of 72 pixels in the direction is generated (FIG. 7(b)). Here, segment 1 consisting of the oldest sample group is arranged as the bottom line, but segment 1 may be set as the top line and segments 2 and onwards may be arranged sequentially below.

同様にして各誘導に関する心電図データから垂直方向6画素、水平方向72画素の画像のデータを生成すると、制御部110は、各誘導の画像を予め定めた順序で垂直方向に並べた垂直方向72画素、水平方向72画素の画像の合成画像のデータを生成する(図7(c))。 Similarly, when image data of 6 pixels in the vertical direction and 72 pixels in the horizontal direction is generated from the electrocardiogram data regarding each lead, the control unit 110 generates 72 pixels in the vertical direction by arranging the images of each lead vertically in a predetermined order. , generates data of a composite image of images of 72 pixels in the horizontal direction (FIG. 7(c)).

なお、合成画像のサイズを小さくしたい場合、図7(d)に示すように、各誘導の心電図データをサブサンプリングしてから画像を生成してもよいし、後処理において合成画像データを縮小してもよい。 Note that if you want to reduce the size of the composite image, you can generate the image after subsampling the electrocardiogram data of each lead, as shown in Figure 7(d), or you can reduce the composite image data in post-processing. You can.

以上説明したように、本実施形態によれば、複数の誘導に関する心電図データから、全誘導の心電図波形の情報をまとめた1つの2次元画像を自動解析用データとして生成する。本実施形態によって生成した自動解析用データを用いることにより、個々の誘導に関する学習とともに、複数の誘導間の関係についても学習が可能になる。 As described above, according to the present embodiment, from electrocardiogram data regarding a plurality of leads, one two-dimensional image that summarizes information on electrocardiogram waveforms of all the leads is generated as data for automatic analysis. By using the automatic analysis data generated according to this embodiment, it is possible to learn not only individual guidance but also relationships between multiple guidance.

以下、本実施形態による自動解析用データを、2次元の畳み込みニューラルネットワーク(2D CNN)に適用した例について説明する。ここで、評価に用いた2D CNNに関するパラメータは以下の通りである。
層数:6~10層
カーネルサイズ:3×3
活性化関数:ReLU
バッチサイズ:64
Epoch数:10~20
Dropout割合:0.5
An example in which the automatic analysis data according to this embodiment is applied to a two-dimensional convolutional neural network (2D CNN) will be described below. Here, the parameters regarding the 2D CNN used for the evaluation are as follows.
Number of layers: 6 to 10 layers Kernel size: 3×3
Activation function: ReLU
Batch size: 64
Epoch number: 10-20
Dropout ratio: 0.5

また、比較例として以下の方法についても評価した。
・時系列データとして学習
比較例1:1次元CNN
比較例2:RNN(Recurrent Neural Network)
比較例3:Wavelet変換+Kernel SVM(Support Vector Machine)
・画像として学習
比較例4:AE(Auto Encoder)
比較例はいずれも誘導ごとに学習を行った。
Additionally, the following method was also evaluated as a comparative example.
・Learning as time series data Comparative example 1: 1-dimensional CNN
Comparative example 2: RNN (Recurrent Neural Network)
Comparative example 3: Wavelet conversion + Kernel SVM (Support Vector Machine)
・Learning as an image Comparative example 4: AE (Auto Encoder)
In all comparative examples, learning was performed for each lead.

図8は、12誘導心電図データとして、正常心電図(Normal)250件、右脚ブロック(RBBB)250件、左脚ブロック(LBBB)250件、ウォルフ・パーキンソン・ホワイト症候群(WPW)200件、心筋梗塞(IMI)250件を用いて学習を行った後、それぞれ100件(WPWのみ50件)について検証を行った結果を示している。 Figure 8 shows 12-lead electrocardiogram data including 250 cases of normal electrocardiogram (Normal), 250 cases of right bundle branch block (RBBB), 250 cases of left bundle branch block (LBBB), 200 cases of Wolff-Parkinson-White syndrome (WPW), and 200 cases of myocardial infarction. (IMI) The results are shown after learning using 250 items and then verifying 100 items each (50 items for WPW only).

本実施形態に係る自動解析用データについては、図6の後処理により合成画像を42×42画素、と図7の後処理により、合成画像を36×36画素に縮小したものを用いた。また、AEについては誘導ごとに100×100画素の波形画像を用いた。図8において、比較例1~4はいずれも、12誘導のそれぞれについて別個に検証を行い、最も成績の良かった1誘導についての値(%)を示している。感度は正解率であり、陽性的中率は、陽性と判定されたもののうち、実際に陽性であった確率を示している。 Regarding the data for automatic analysis according to the present embodiment, a composite image reduced to 42×42 pixels by post-processing in FIG. 6 and a composite image reduced to 36×36 pixels by post-processing in FIG. 7 was used. Furthermore, for AE, a 100×100 pixel waveform image was used for each lead. In FIG. 8, in each of Comparative Examples 1 to 4, each of the 12 leads was verified separately, and the value (%) for the 1 lead with the best performance is shown. Sensitivity is the rate of correct answers, and positive predictive value indicates the probability that among those determined to be positive, the results are actually positive.

1つの誘導から判別が可能な右脚ブロック(RBBB)、左脚ブロック(LBBB)、ウォルフ・パーキンソン・ホワイト症候群(WPW)についての感度(R_Acc、L_Acc、W_Acc)および陽性的中率(R_PPR、L_PPR、W_PPR)を比較すると、本実施形態による自動解析用データを用いることにより、比較例と同等以上の精度が得られていることがわかる。
また、複数の誘導の相互関係を考慮して判別する必要がある心筋梗塞(IMI)の感度(I_Acc)および陽性的中率(I_PPR)を比較すると、本実施形態による自動解析用データを用いることにより、比較例に対して精度が大幅に向上していることが分かる。
Sensitivity (R_Acc, L_Acc, W_Acc) and positive predictive value (R_PPR, L_PPR) for right bundle branch block (RBBB), left bundle branch block (LBBB), and Wolff-Parkinson-White syndrome (WPW) that can be distinguished from one lead. , W_PPR), it can be seen that by using the automatic analysis data according to this embodiment, accuracy equal to or higher than that of the comparative example is obtained.
In addition, when comparing the sensitivity (I_Acc) and positive predictive value (I_PPR) of myocardial infarction (IMI), which needs to be determined by considering the interrelationship of multiple leads, it is found that using the automatic analysis data according to this embodiment It can be seen that the accuracy is significantly improved compared to the comparative example.

さらに、本実施形態による自動解析用データを用いる場合、36×36画素は42×42画素よりも画素数が25%以上少ないものの、それでも比較例よりも良好な精度が得られている。また、学習に要する時間も短いことが分かる。 Furthermore, when using the automatic analysis data according to this embodiment, although the number of pixels is 25% or more smaller in 36×36 pixels than in 42×42 pixels, better accuracy is still obtained than in the comparative example. It can also be seen that the time required for learning is short.

図9は、前処理において非線形増幅を適用することの効果を評価した結果を示している。非線形増幅の特性を対数関数としているため、図9では対数圧縮(Log Compression)と記載している。対数圧縮後、全誘導の最大値で各誘導を正規化している。
比較のため、対数圧縮を行わずに、誘導ごとに最大値で正規化を行った場合(Each Ch Normalization)と、対数圧縮を行わずに、最大振幅を飽和させた後、全誘導の最大値で各誘導を正規化した場合(Saturation)についても評価した。
FIG. 9 shows the results of evaluating the effect of applying nonlinear amplification in preprocessing. Since the nonlinear amplification characteristic is a logarithmic function, it is described as log compression in FIG. 9. After logarithmic compression, each lead is normalized by the maximum value of all leads.
For comparison, the case where normalization is performed at the maximum value for each lead without logarithmic compression (Each Ch Normalization) and the maximum value of all leads after saturating the maximum amplitude without logarithmic compression. We also evaluated the case where each lead was normalized (Saturation).

ここでは、正常心電図10500件、異常心電図10500件を用いて学習し、その後、正常心電図4500件、異常心電図4500件について、正常(Normal)か異常(Abnormal)かの判定精度を評価した。また、それぞれの方法について、自動解析用データのサイズを252×252画素の場合と、84×84画素の場合について、感度および陽性的中率を評価した。AVG_Accは平均感度、AVG_Pprは平均陽性的中率であり、AVG_Accの下に記載したNormal、Abnormalがそれぞれの感度、AVG_Pprの下に記載したNormal、Abnormalがそれぞれの陽性的中率である。 Here, learning was performed using 10,500 normal electrocardiograms and 10,500 abnormal electrocardiograms, and then the accuracy of determining whether the electrocardiograms were normal or abnormal was evaluated for 4,500 normal electrocardiograms and 4,500 abnormal electrocardiograms. Furthermore, for each method, the sensitivity and positive predictive value were evaluated for cases in which the size of data for automatic analysis was 252 x 252 pixels and 84 x 84 pixels. AVG_Acc is the average sensitivity, AVG_Ppr is the average positive predictive value, Normal and Abnormal listed under AVG_Acc are the respective sensitivities, and Normal and Abnormal listed under AVG_Ppr are the respective positive predictive rates.

非線形増幅を適用した場合、データサイズを小さくした場合の精度の低下がほとんど見られないことが分かる。84×84画素のデータサイズは252×252画素のデータサイズのほぼ1/9である。データサイズは計算量に直結するため、精度の低下を抑制しながら大幅にデータサイズを低減可能である点において、非線形増幅の有用性が理解される。 It can be seen that when nonlinear amplification is applied, there is almost no decrease in accuracy when the data size is reduced. The data size of 84×84 pixels is approximately 1/9 of the data size of 252×252 pixels. Since the data size is directly linked to the amount of calculation, the usefulness of nonlinear amplification is understood in that it is possible to significantly reduce the data size while suppressing a decrease in accuracy.

以上説明したように、本実施形態によれば、深層学習を利用した心電図解析用のデータとして、複数種の誘導に関する波形の情報を表す画像を生成するようにした。これにより、単一の誘導に関する情報からでは判別が難しい所見についても、精度のよい自動解析が実現できる。また、心電図データに対して非線形増幅を適用してから2次元画像を生成することにより、判定精度の低下を抑制しながら2次元画像のサイズを小さくすることが可能であり、学習や自動解析の演算コストおよび時間を大幅に削減することができる。 As described above, according to the present embodiment, images representing waveform information regarding multiple types of leads are generated as data for electrocardiogram analysis using deep learning. As a result, highly accurate automatic analysis can be achieved even for findings that are difficult to distinguish from information regarding a single lead. In addition, by applying nonlinear amplification to electrocardiogram data and then generating a 2D image, it is possible to reduce the size of the 2D image while suppressing a decline in judgment accuracy, which is useful for learning and automatic analysis. Computation costs and time can be significantly reduced.

発明は上述した実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。例えば、上述した実施形態では12誘導心電図データを用いる場合について説明したが、本発明は任意の複数種の誘導に関する心電図データに対して適用可能である。 The invention is not limited to the embodiments described above, and various modifications and changes can be made within the scope of the invention. For example, in the above-described embodiment, the case where 12-lead electrocardiogram data is used has been described, but the present invention is applicable to electrocardiogram data related to any plurality of types of leads.

なお、本発明に係る生体信号処理装置は、一般的に入手可能な、パーソナルコンピュータ、スマートフォン、タブレット端末のようなプログラムを実行可能な電子機器で、図2~図4に示したフローチャートの動作を実行させるプログラム(アプリケーションソフトウェア)を実行することによっても実現できる。従って、このようなプログラムおよび、プログラムを格納した記憶媒体(CD-ROM、DVD-ROM等の光学記録媒体や、磁気ディスクのような磁気記録媒体、半導体メモリカードなど)もまた本発明を構成する。 The biological signal processing device according to the present invention is a generally available electronic device capable of executing programs such as a personal computer, a smartphone, or a tablet terminal, and can perform the operations shown in the flowcharts shown in FIGS. 2 to 4. This can also be achieved by executing a program (application software). Therefore, such programs and storage media storing the programs (optical recording media such as CD-ROMs and DVD-ROMs, magnetic recording media such as magnetic disks, semiconductor memory cards, etc.) also constitute the present invention. .

100…生体信号処理装置、110…制御部、140…信号処理部 100... Biological signal processing device, 110... Control unit, 140... Signal processing unit

Claims (12)

深層学習を利用した心電図解析に用いる心電図解析用データを生成する生体信号処理装置であって、
複数種の誘導に関する心電図データを取得する取得手段と、
前記心電図データに基づいて、前記複数種の誘導に関する波形の情報を表す2次元画像が誘導ごとに異なる予め定められた位置に2次元配置された合成画像のデータを前記心電図解析用データとして生成する生成手段と、を有し、
前記生成手段は、
同一心拍に係る前記複数種の誘導のそれぞれについて、前記心電図データの値を波形として表す2次元画像が誘導ごとに異なる予め定められた位置に2次元配置され、前記波形と背景以外の情報を含まない合成画像のデータを前記心電図解析用データとして生成する、
ことを特徴とする生体信号処理装置。
A biological signal processing device that generates electrocardiogram analysis data used in electrocardiogram analysis using deep learning,
acquisition means for acquiring electrocardiogram data regarding multiple types of leads;
Based on the electrocardiogram data, data of a composite image in which two-dimensional images representing waveform information regarding the plurality of types of leads are two-dimensionally arranged at different predetermined positions for each lead is generated as the electrocardiogram analysis data. generating means;
The generating means is
For each of the plurality of types of leads related to the same heartbeat, a two-dimensional image representing the value of the electrocardiogram data as a waveform is two-dimensionally arranged at a different predetermined position for each lead, and includes information other than the waveform and background. generating data of a composite image that does not exist as the electrocardiogram analysis data;
A biological signal processing device characterized by:
前記生成手段は、前記心電図データに対して振幅値の正規化を含む前処理を適用し、前記前処理を適用した心電図データに基づいて、前記心電図解析用データを生成することを特徴とする請求項1に記載の生体信号処理装置。 The generating means applies preprocessing including amplitude value normalization to the electrocardiogram data, and generates the electrocardiogram analysis data based on the electrocardiogram data to which the preprocessing is applied. 2. The biological signal processing device according to item 1. 前記生成手段は、前記心電図データの値を非線形圧縮した値に基づいて前記心電図解析用データを生成することを特徴とする請求項1に記載の生体信号処理装置。 The biological signal processing device according to claim 1, wherein the generating means generates the electrocardiogram analysis data based on a value obtained by nonlinearly compressing the electrocardiogram data. 前記生成手段は、前記非線形圧縮した値を誘導ごとに正規化してから前記心電図解析用データを生成することを特徴とする請求項3に記載の生体信号処理装置。 4. The biological signal processing apparatus according to claim 3, wherein the generating means generates the electrocardiogram analysis data after normalizing the nonlinearly compressed value for each lead. 前記生成手段は、前記正規化された値を有する心電図データに対し、ダウンサンプリングを適用してから前記2次元画像のデータを生成することを特徴とする請求項4に記載の生体信号処理装置。 5. The biological signal processing apparatus according to claim 4, wherein the generating means generates the two-dimensional image data after applying downsampling to the electrocardiogram data having the normalized value. 前記ダウンサンプリングが、心電図の1心拍期間を分割した区間に応じたサンプリングレートを有することを特徴とする請求項5に記載の生体信号処理装置。 6. The biological signal processing device according to claim 5, wherein the downsampling has a sampling rate corresponding to sections obtained by dividing one heartbeat period of an electrocardiogram. 前記生成手段は、前記合成画像の解像度を低減して前記心電図解析用データとすることを特徴とする請求項2から6のいずれか1項に記載の生体信号処理装置。 The biological signal processing device according to any one of claims 2 to 6, wherein the generation unit reduces the resolution of the composite image to use it as the electrocardiogram analysis data. 前記合成画像が正方形状であることを特徴とする請求項1から7のいずれか1項に記載の生体信号処理装置。 The biological signal processing device according to any one of claims 1 to 7, wherein the composite image has a square shape. 深層学習を利用した心電図解析に用いる心電図解析用データの生成方法であって、
複数種の誘導に関する心電図データを取得する取得工程と、
前記心電図データに基づいて、前記複数種の誘導に関する波形の情報を表す2次元画像が誘導ごとに異なる予め定められた位置に2次元配置された合成画像のデータを前記心電図解析用データとして生成する生成工程と、を有し、
前記生成工程は、
同一心拍に係る前記複数種の誘導のそれぞれについて、前記心電図データの値を波形として表す2次元画像が誘導ごとに異なる予め定められた位置に2次元配置され、前記波形と背景以外の情報を含まない合成画像のデータを前記心電図解析用データとして生成することと、
を有することを特徴とする心電図解析用データの生成方法。
A method for generating electrocardiogram analysis data used in electrocardiogram analysis using deep learning, the method comprising:
an acquisition step of acquiring electrocardiogram data regarding multiple types of leads;
Based on the electrocardiogram data, data of a composite image in which two-dimensional images representing waveform information regarding the plurality of types of leads are two-dimensionally arranged at different predetermined positions for each lead is generated as the electrocardiogram analysis data. a generation step;
The production step includes:
For each of the plurality of types of leads related to the same heartbeat, a two-dimensional image representing the value of the electrocardiogram data as a waveform is two-dimensionally arranged at a different predetermined position for each lead, and includes information other than the waveform and background. generating data of a composite image that does not exist as the electrocardiogram analysis data;
1. A method for generating data for electrocardiogram analysis, comprising:
コンピュータを、請求項1から8のいずれか1項に記載の生体信号処理装置が有する各手段として機能させるためのプログラム。 A program for causing a computer to function as each means included in the biological signal processing device according to any one of claims 1 to 8. 既知の心電図データから請求項1から8のいずれか1項に記載の生体信号処理装置が生成した心電図解析用データを用いてニューラルネットワークを学習する工程を有することを特徴とする、ニューラルネットワークの学習方法。 Learning a neural network, comprising the step of learning a neural network using electrocardiogram analysis data generated by the biological signal processing device according to any one of claims 1 to 8 from known electrocardiogram data. Method. 既知の心電図データから請求項1から8のいずれか1項に記載の生体信号処理装置が生成した心電図解析用データを用いて学習したニューラルネットワークに、未知の心電図データから請求項1から8のいずれか1項に記載の生体信号処理装置が生成した心電図解析用データを適用することにより、前記未知の心電図データの自動解析を行う心電図解析装置。 Any one of claims 1 to 8 from unknown electrocardiogram data to a neural network trained using electrocardiogram analysis data generated by the biological signal processing device according to any one of claims 1 to 8 from known electrocardiogram data. An electrocardiogram analysis device that automatically analyzes the unknown electrocardiogram data by applying electrocardiogram analysis data generated by the biological signal processing device according to item (1).
JP2023097217A 2019-02-22 2023-06-13 Biological signal processing device and automatic analysis data generation method Active JP7421681B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023097217A JP7421681B2 (en) 2019-02-22 2023-06-13 Biological signal processing device and automatic analysis data generation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019030386A JP7297464B2 (en) 2019-02-22 2019-02-22 BIOLOGICAL SIGNAL PROCESSING DEVICE AND DATA GENERATION METHOD FOR AUTOMATIC ANALYSIS
JP2023097217A JP7421681B2 (en) 2019-02-22 2023-06-13 Biological signal processing device and automatic analysis data generation method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019030386A Division JP7297464B2 (en) 2019-02-22 2019-02-22 BIOLOGICAL SIGNAL PROCESSING DEVICE AND DATA GENERATION METHOD FOR AUTOMATIC ANALYSIS

Publications (2)

Publication Number Publication Date
JP2023120282A JP2023120282A (en) 2023-08-29
JP7421681B2 true JP7421681B2 (en) 2024-01-24

Family

ID=72277161

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019030386A Active JP7297464B2 (en) 2019-02-22 2019-02-22 BIOLOGICAL SIGNAL PROCESSING DEVICE AND DATA GENERATION METHOD FOR AUTOMATIC ANALYSIS
JP2023097217A Active JP7421681B2 (en) 2019-02-22 2023-06-13 Biological signal processing device and automatic analysis data generation method

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019030386A Active JP7297464B2 (en) 2019-02-22 2019-02-22 BIOLOGICAL SIGNAL PROCESSING DEVICE AND DATA GENERATION METHOD FOR AUTOMATIC ANALYSIS

Country Status (1)

Country Link
JP (2) JP7297464B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112022144B (en) * 2020-09-09 2022-05-24 生物岛实验室 Network training method for detecting electrocardio abnormality, electrocardio abnormality early warning method and device
CN112885459A (en) * 2021-02-09 2021-06-01 清华珠三角研究院 System and device for predicting ventricular hypertrophy and storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005287849A (en) 2004-03-31 2005-10-20 Eucalyptus:Kk Body surface electrocardiograph
US20150141862A1 (en) 2013-11-21 2015-05-21 Welch Allyn, Inc. Navigation Features for Electrocardiograph Device User Interface
JP2018089005A (en) 2016-11-30 2018-06-14 フクダ電子株式会社 Electrocardiographic waveform display method and electrocardiographic waveform display device
JP2018175631A (en) 2017-04-19 2018-11-15 日本光電工業株式会社 Biological information waveform processing method, storage medium, program, and biological information waveform processing device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009207837A (en) * 2008-03-06 2009-09-17 Nippon Koden Corp Biological signal measuring device
KR102563044B1 (en) * 2016-11-04 2023-08-02 이센티아 아이엔씨. Computer-implemented method of handling electrocardiogram data
CN107837082B (en) * 2017-11-27 2020-04-24 乐普(北京)医疗器械股份有限公司 Automatic electrocardiogram analysis method and device based on artificial intelligence self-learning
WO2020004369A1 (en) * 2018-06-29 2020-01-02 学校法人東京女子医科大学 Electrocardiogram diagnostic device based on machine learning using electrocardiogram images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005287849A (en) 2004-03-31 2005-10-20 Eucalyptus:Kk Body surface electrocardiograph
US20150141862A1 (en) 2013-11-21 2015-05-21 Welch Allyn, Inc. Navigation Features for Electrocardiograph Device User Interface
JP2018089005A (en) 2016-11-30 2018-06-14 フクダ電子株式会社 Electrocardiographic waveform display method and electrocardiographic waveform display device
JP2018175631A (en) 2017-04-19 2018-11-15 日本光電工業株式会社 Biological information waveform processing method, storage medium, program, and biological information waveform processing device

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
古林 せなみ、他4名,深層学習を用いた心電図波形の正常異常判定に関する研究,医療情報学会・人工知能学会 AIM 合同研究会資料,第5巻第5号,一般社団法人人工知能学会,2018年03月15日,pp.05-01~05-05

Also Published As

Publication number Publication date
JP7297464B2 (en) 2023-06-26
JP2023120282A (en) 2023-08-29
JP2020130772A (en) 2020-08-31

Similar Documents

Publication Publication Date Title
JP7421681B2 (en) Biological signal processing device and automatic analysis data generation method
US10869610B2 (en) System and method for identifying cardiac arrhythmias with deep neural networks
Cao et al. A novel data augmentation method to enhance deep neural networks for detection of atrial fibrillation
CN109411041B (en) Electrocardio information processing method and electrocardio workstation system
EP3731748B1 (en) Detecting atrial fibrillation using short single-lead ecg recordings
CN109411042B (en) Electrocardio information processing method and electrocardio workstation
CN113408508B (en) Transformer-based non-contact heart rate measurement method
WO2021027224A1 (en) Electrocardiosignal recognition apparatus and method based on group convolutional neural network
EP3801238A1 (en) Detecting abnormalities in ecg signals
US20120071730A1 (en) Adaptive Processing of Ambulatory Electrocardiogram Signals
CN110522442B (en) Multi-lead electrocardiographic abnormality detection device, electronic apparatus, and storage medium
CN110680278B (en) Electrocardiosignal recognition device based on convolutional neural network
KR20140139564A (en) Systems and methods for ecg monitoring
US9591977B2 (en) Method and apparatus for comparing and visualizing serial ECG data
CN111631705A (en) Electrocardio abnormality detection method, model training method, device, equipment and medium
CN113786200A (en) Electrocardiosignal processing method, electrocardiosignal processing device, electrocardiosignal processing equipment and readable medium
US20150065907A1 (en) Apparatus and method for selectively collecting electroencephalogram data through motion recognition
US10743789B2 (en) ECG signal parallel analysis apparatus, method and mobile terminal
Ji et al. MSGformer: A multi-scale grid transformer network for 12-lead ECG arrhythmia detection
CN111528833B (en) Rapid identification and processing method and system for electrocardiosignals
CN115486849A (en) Electrocardiosignal quality evaluation method, device and equipment
CN110179451B (en) Electrocardiosignal quality detection method and device, computer equipment and storage medium
Lee et al. Adaptive ecg signal compression method based on look-ahead linear approximation for ultra long-term operating of healthcare iot devices (sci)
KR102373778B1 (en) Apparatus and method for generating photoplethysmography wave data from electrocardiogram data
CN111265211B (en) Sliding detection method and device for heartbeat data

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230713

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240112

R150 Certificate of patent or registration of utility model

Ref document number: 7421681

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150