Evaluation of penalized and machine learning methods for asthma disease prediction in the Korean Genome and Epidemiology Study (KoGES)

Choi, Yongjun; Cha, Junho; Choi, Sungkyoung

doi:10.1186/s12859-024-05677-x

Table 4 Comparison of the prediction performance of methods with oversampling algorithms in the CAVAS cohort using the test dataset

From: Evaluation of penalized and machine learning methods for asthma disease prediction in the Korean Genome and Epidemiology Study (KoGES)

Algorithm	# of SNP	Metrics	Ridge	Lasso	Enet	SCAD	SVM	RF	Boosting	Bagging	NB	KNN
MWMOTE	50	AUC	0.653	0.641	0.639	0.642	0.552	0.652	0.624	0.715	0.484	0.622
		Precision	0.109	0.049	0.048	0.051	0.010	0.045	0.000	0.084	0.022	0.042
		Recall	0.438	0.733	0.800	0.733	0.062	1.000	0.000	0.533	0.533	0.938
		F1-score	0.175	0.092	0.090	0.096	0.017	0.086	NaN	0.145	0.043	0.080
		Cohen′s Kappa	0.129	0.036	0.033	0.040	− 0.043	0.028	− 0.048	0.097	− 0.018	0.018
		Balanced accuracy	0.658	0.639	0.643	0.648	0.424	0.656	0.456	0.673	0.392	0.600
		Error rate	0.137	0.450	0.504	0.431	0.238	0.667	0.117	0.196	0.740	0.714
		MCC	0.167	0.097	0.100	0.104	− 0.067	0.118	− 0.055	0.151	− 0.085	0.082
		AUPRC	0.065	0.110	0.112	0.063	0.034	0.044	0.038	0.057	0.045	0.042
	100	AUC	0.669	0.685	0.706	0.681	0.561	0.698	0.784	0.772	0.368	0.622
		Precision	0.212	0.066	0.066	0.055	0.068	0.053	0.096	0.063	0.000	0.042
		Recall	0.467	0.733	0.733	0.867	0.333	0.800	0.733	0.800	0.000	0.733
		F1-score	0.292	0.122	0.121	0.103	0.114	0.100	0.171	0.118	NaN	0.080
		Cohen′s Kappa	0.260	0.068	0.067	0.047	0.065	0.044	0.122	0.063	− 0.059	0.023
		Balanced accuracy	0.705	0.700	0.699	0.691	0.594	0.671	0.756	0.710	0.370	0.600
		Error rate	0.071	0.331	0.333	0.473	0.162	0.450	0.223	0.375	0.283	0.525
		MCC	0.282	0.146	0.145	0.133	0.091	0.119	0.209	0.149	− 0.104	0.070
		AUPRC	0.202	0.054	0.060	0.053	0.041	0.063	0.091	0.112	0.022	0.054
	200	AUC	0.788	0.748	0.756	0.740	0.610	0.704	0.731	0.725	0.430	0.560
		Precision	0.074	0.072	0.082	0.071	0.057	0.056	0.075	0.054	0.034	0.039
		Recall	0.933	0.867	0.800	0.867	0.600	0.867	0.688	0.933	0.800	0.533
		F1-score	0.137	0.133	0.148	0.131	0.105	0.106	0.135	0.102	0.065	0.072
		Cohen′s Kappa	0.083	0.080	0.097	0.078	0.050	0.050	0.080	0.045	0.005	0.015
		Balanced accuracy	0.777	0.753	0.755	0.751	0.641	0.699	0.698	0.702	0.531	0.554
		Error rate	0.369	0.354	0.288	0.358	0.321	0.458	0.292	0.515	0.721	0.427
		MCC	0.197	0.181	0.192	0.180	0.104	0.139	0.154	0.141	0.025	0.038
		AUPRC	0.080	0.099	0.085	0.094	0.040	0.080	0.085	0.061	0.025	0.040
RWO	50	AUC	0.715	0.717	0.734	0.717	0.594	0.733	0.776	0.715	0.733	0.555
		Precision	0.065	0.105	0.090	0.096	0.073	0.066	0.064	0.055	0.058	0.057
		Recall	1.000	0.533	0.533	0.533	0.400	0.733	1.000	0.800	0.800	0.333
		F1-score	0.123	0.176	0.154	0.163	0.124	0.122	0.120	0.102	0.109	0.098
		Cohen′s Kappa	0.064	0.130	0.106	0.116	0.075	0.068	0.065	0.046	0.053	0.047
		Balanced accuracy	0.755	0.694	0.680	0.686	0.618	0.700	0.762	0.676	0.691	0.578
		Error rate	0.474	0.156	0.183	0.171	0.177	0.331	0.460	0.440	0.410	0.192
		MCC	0.182	0.184	0.161	0.171	0.109	0.146	0.183	0.123	0.135	0.071
		AUPRC	0.067	0.110	0.119	0.100	0.049	0.147	0.091	0.073	0.082	0.038
	100	AUC	0.790	0.780	0.771	0.759	0.729	0.827	0.816	0.748	0.849	0.628
		Precision	0.182	0.175	0.231	0.137	0.058	0.105	0.104	0.066	0.118	0.031
		Recall	0.667	0.667	0.600	0.667	0.800	0.733	0.867	0.812	0.867	1.000
		F1-score	0.286	0.278	0.333	0.227	0.109	0.183	0.186	0.122	0.208	0.061
		Cohen′s Kappa	0.249	0.240	0.302	0.185	0.053	0.136	0.138	0.065	0.162	0.000
		Balanced accuracy	0.785	0.783	0.768	0.766	0.691	0.766	0.813	0.709	0.829	0.500
		Error rate	0.104	0.108	0.075	0.142	0.410	0.204	0.238	0.387	0.206	0.969
		MCC	0.311	0.304	0.341	0.257	0.135	0.224	0.248	0.152	0.272	0.000
		AUPRC	0.239	0.162	0.153	0.134	0.091	0.139	0.100	0.074	0.170	0.043
	200	AUC	0.809	0.826	0.832	0.814	0.867	0.870	0.857	0.823	0.775	0.634
		Precision	0.095	0.104	0.080	0.084	0.087	0.141	0.112	0.090	0.110	0.031
		Recall	0.800	0.867	0.933	0.867	1.000	0.867	0.933	0.800	0.733	1.000
		F1-score	0.170	0.186	0.147	0.154	0.160	0.243	0.200	0.162	0.191	0.061
		Cohen′s Kappa	0.121	0.138	0.095	0.103	0.109	0.200	0.153	0.112	0.145	0.000
		Balanced accuracy	0.777	0.813	0.794	0.782	0.831	0.848	0.847	0.770	0.771	0.500
		Error rate	0.244	0.238	0.338	0.298	0.327	0.169	0.233	0.258	0.194	0.969
		MCC	0.219	0.248	0.212	0.210	0.240	0.308	0.275	0.210	0.232	0.000
		AUPRC	0.236	0.273	0.257	0.281	0.155	0.139	0.288	0.141	0.109	0.049
SMOTE	50	AUC	0.786	0.702	0.737	0.689	0.572	0.697	0.619	0.618	0.694	0.600
		Precision	0.067	0.056	0.071	0.050	0.047	0.063	0.056	0.049	0.056	0.056
		Recall	0.933	0.800	0.733	0.867	0.667	0.733	0.533	0.867	0.867	0.625
		F1-score	0.126	0.104	0.130	0.095	0.088	0.116	0.101	0.093	0.104	0.103
		Cohen′s Kappa	0.071	0.048	0.078	0.038	0.032	0.062	0.047	0.036	0.049	0.045
		Balanced accuracy	0.758	0.681	0.713	0.669	0.617	0.690	0.620	0.663	0.696	0.633
		Error rate	0.406	0.431	0.306	0.517	0.429	0.350	0.298	0.527	0.465	0.360
		MCC	0.181	0.126	0.159	0.118	0.082	0.138	0.091	0.114	0.136	0.098
		AUPRC	0.153	0.111	0.070	0.065	0.038	0.053	0.046	0.103	0.056	0.044
	100	AUC	0.834	0.751	0.764	0.750	0.563	0.812	0.795	0.690	0.545	0.625
		Precision	0.238	0.086	0.091	0.083	0.043	0.073	0.068	0.055	0.091	0.060
		Recall	0.667	0.800	0.800	0.800	0.600	0.867	1.000	0.875	0.267	0.467
		F1-score	0.351	0.156	0.163	0.150	0.080	0.135	0.127	0.104	0.136	0.106
		Cohen′s Kappa	0.320	0.105	0.114	0.099	0.023	0.082	0.073	0.045	0.093	0.054
		Balanced accuracy	0.799	0.763	0.771	0.757	0.585	0.756	0.778	0.682	0.590	0.615
		Error rate	0.077	0.271	0.256	0.283	0.429	0.348	0.429	0.499	0.106	0.246
		MCC	0.368	0.202	0.211	0.195	0.060	0.184	0.194	0.130	0.109	0.093
		AUPRC	0.298	0.099	0.109	0.091	0.054	0.092	0.085	0.124	0.043	0.054
	200	AUC	0.797	0.770	0.780	0.761	0.606	0.787	0.780	0.758	0.546	0.641
		Precision	0.080	0.069	0.078	0.065	0.043	0.066	0.082	0.065	0.051	0.055
		Recall	0.867	0.933	0.933	0.933	1.000	0.867	0.867	0.800	0.400	0.667
		F1-score	0.146	0.128	0.144	0.122	0.083	0.123	0.149	0.120	0.091	0.102
		Cohen′s Kappa	0.094	0.074	0.092	0.068	0.021	0.069	0.098	0.066	0.038	0.046
		Balanced accuracy	0.772	0.762	0.789	0.752	0.621	0.735	0.776	0.714	0.581	0.648
		Error rate	0.317	0.398	0.346	0.419	0.733	0.387	0.308	0.367	0.250	0.369
		MCC	0.200	0.185	0.208	0.176	0.102	0.167	0.204	0.153	0.065	0.106
		AUPRC	0.111	0.103	0.109	0.092	0.049	0.105	0.078	0.079	0.037	0.047

Back to article page

ISSN: 1471-2105

Contact us

General enquiries: journalsubmissions@springernature.com

BMC Bioinformatics

Contact us