Evaluation of penalized and machine learning methods for asthma disease prediction in the Korean Genome and Epidemiology Study (KoGES)

Choi, Yongjun; Cha, Junho; Choi, Sungkyoung

doi:10.1186/s12859-024-05677-x

Table 2 Performance evaluation metrics for prediction methods in the CAVAS cohort using the test dataset

From: Evaluation of penalized and machine learning methods for asthma disease prediction in the Korean Genome and Epidemiology Study (KoGES)

# of SNPs	Metrics	Ridge	Lasso	Enet	SCAD	SVM	RF	Boosting	Bagging	NB	KNN
50	AUC	0.795	0.805	0.802	0.794	0.659	0.777	0.748	0.618	0.769	0.692
	Precision	0.183	0.146	0.148	0.120	0.065	0.091	0.147	0.060	0.117	0.032
	Recall	0.684	0.632	0.632	0.684	0.684	0.684	0.579	0.421	0.737	1.000
	F1-score	0.289	0.238	0.240	0.205	0.118	0.160	0.234	0.105	0.201	0.061
	Cohen′s Kappa	0.251	0.196	0.199	0.159	0.064	0.111	0.193	0.053	0.155	0.000
	Balanced accuracy	0.792	0.756	0.756	0.760	0.680	0.730	0.734	0.603	0.777	0.500
	Error rate	0.107	0.128	0.127	0.168	0.323	0.227	0.120	0.227	0.185	0.968
	MCC	0.317	0.261	0.263	0.237	0.134	0.189	0.248	0.087	0.243	0.000
	AUPRC	0.204	0.303	0.303	0.296	0.192	0.156	0.118	0.064	0.106	0.088
100	AUC	0.893	0.890	0.890	0.889	0.856	0.822	0.817	0.792	0.808	0.584
	Precision	0.115	0.214	0.214	0.221	0.169	0.090	0.086	0.032	0.060	0.138
	Recall	0.895	0.789	0.789	0.789	0.737	0.737	0.842	1.000	0.947	0.211
	F1-score	0.204	0.337	0.337	0.345	0.275	0.161	0.157	0.061	0.114	0.167
	Cohen′s Kappa	0.156	0.302	0.302	0.311	0.235	0.111	0.105	0.000	0.057	0.134
	Balanced accuracy	0.835	0.847	0.847	0.849	0.809	0.747	0.776	0.500	0.733	0.584
	Error rate	0.222	0.098	0.098	0.095	0.123	0.243	0.287	0.968	0.468	0.067
	MCC	0.272	0.379	0.379	0.386	0.313	0.198	0.209	0.000	0.163	0.137
	AUPRC	0.382	0.391	0.393	0.397	0.389	0.307	0.171	0.131	0.105	0.090
200	AUC	0.949	0.947	0.954	0.946	0.930	0.832	0.810	0.823	0.809	0.610
	Precision	0.187	0.224	0.273	0.236	0.107	0.092	0.140	0.116	0.140	0.032
	Recall	0.895	0.895	0.947	0.895	1.000	0.789	0.789	0.737	0.632	1.000
	F1-score	0.309	0.358	0.424	0.374	0.193	0.165	0.238	0.200	0.229	0.061
	Cohen′s Kappa	0.271	0.324	0.394	0.341	0.144	0.115	0.195	0.154	0.186	0.000
	Balanced accuracy	0.884	0.897	0.932	0.900	0.863	0.767	0.816	0.776	0.752	0.500
	Error rate	0.127	0.102	0.082	0.095	0.265	0.253	0.160	0.187	0.135	0.968
	MCC	0.375	0.418	0.484	0.431	0.278	0.211	0.289	0.241	0.252	0.000
	AUPRC	0.572	0.557	0.548	0.559	0.483	0.219	0.255	0.200	0.152	0.134
400	AUC	0.977	0.986	0.983	0.928	0.985	0.896	0.889	0.809	0.883	0.593
	Precision	0.548	0.429	0.346	0.200	0.279	0.158	0.158	0.124	0.106	0.032
	Recall	0.895	0.947	0.947	0.895	1.000	0.789	0.789	0.684	0.895	1.000
	F1-score	0.680	0.590	0.507	0.327	0.437	0.263	0.263	0.210	0.189	0.061
	Cohen′s Kappa	0.667	0.571	0.483	0.290	0.407	0.222	0.222	0.165	0.140	0.000
	Balanced accuracy	0.935	0.953	0.944	0.889	0.958	0.826	0.826	0.763	0.823	0.500
	Error rate	0.027	0.042	0.058	0.117	0.082	0.140	0.140	0.163	0.243	0.968
	MCC	0.689	0.622	0.553	0.391	0.506	0.313	0.313	0.242	0.256	0.000
	AUPRC	0.802	0.825	0.815	0.410	0.776	0.259	0.346	0.222	0.162	0.137

Back to article page

ISSN: 1471-2105

Contact us

General enquiries: journalsubmissions@springernature.com

BMC Bioinformatics

Contact us