IMPACT OF SAMPLING TECHNIQUES ON THE PERFORMANCE OF PREDICTION MODELS FOR STUDENT PERFORMANCE IN COMPUTATIONAL THINKING
DOI:
https://doi.org/10.33872/revcontrad.v5n2.e067Keywords:
Student Performance Prediction, Machine Learning, Computational ThinkingAbstract
The increasing dropout and failure rates in Technology courses have found an ally in artificial intelligence to mitigate their impacts. This study investigated the predictive capacity of demographic data in identifying students at risk of failure in computational thinking classes. For this purpose, machine learning models were developed and their performance evaluated, also considering the impact of different sampling techniques. The results indicated a low correlation between demographic data and student performance, suggesting that these data, in isolation, have limited predictive power. However, the use of techniques such as SMOTE proved significant, enhancing the models' evaluation metrics. Highlights include logistic regression, with a recall of 53% for the failure class, and SVC, which achieved 75% accuracy when combined with SMOTE and Tomek links. These findings emphasize the role of balancing strategies in improving predictive effectiveness in challenging scenarios.
Downloads
References
AMRA, I. A. A.; MAGHARI, Y. A. A. Students Performance Prediction Using KNN and Naïve Bayesian. In: International Conference on Information Technology, 8, 2017, Amã, Jordânia. Anais eletrônicos [...] Amã: IEEE, 2017. p. 909-913, doi: 10.1109/ICITECH.2017.8079967. Disponível em: https://ieeexplore.ieee.org/document/8079967 Acesso em: 12 nov. 2024.
BATISTA, G.; BAZZAN, B.; MONARD, M. Balancing Training Data for Automated Annotation of Keywords: a Case Study. In: WOB, p. 10-18, 2003. Disponível em: https://www.inf.ufrgs.br/maslab/masbio/papers/balancing-training-data-for.pdf Acesso em: 12 nov. 2024.
CARUSO, M.; PEACOCK, C. E.; SOUTHWELL, R.; ZHOU, G.; D’MELLO, S. K. Going deep and far: Gaze-based models predict multiple depths of comprehension during and one week following reading. In: Proceedings of the 15th International Conference on Educational Data Mining, 2022. Disponível em: https://educationaldatamining.org/edm2022/proceedings/2022.EDM-long-papers.13/2022.EDM-long-papers.13.pdf Acesso em: 12 nov. 2024.
CHAWLA, N. V.; BOWYER, K. W.; HALL, L. O.; KEGELMEYER, W. P. SMOTE: synthetic minority over-sampling technique. Journal of Artificial Intelligence Research, 321-357, 2002. Disponível em: https://arxiv.org/abs/1106.1813 Acesso em: 11 nov. 2024.
COHAUSZ, L.TSCHALZAV, A.; BARTELT, C. Investigating the importance of demographic features for edm-predictions. In: Proceedings of the 16th International Conference on Educational Data Mining, 2023. Disponível em: https://educationaldatamining.org/EDM2023/proceedings/2023.EDM-long-papers.11/index.html Acesso em 10 nov. 2024.
COSTA, E. B.; FONSECA, B.; SANTANA, M. A.; ARAÚJO, F. F.; REGO, J. Evaluating the effectiveness of educational data mining techniques for early prediction of students' academic failure in introductory programming courses. Computers in Human Behavior, v. 73, p. 247-256, 2017. Disponível em: https://www.infona.pl/resource/bwmeta1.element.elsevier-7608d17d-609f-3558-847a-38d53476cec1 Acesso em: 05 out. 2024.
GARCIA, L. M. L. S.; LARA, D. S.; GOMES, R. S.; CAZELLA, S. C. Ferramenta para Predição do Desempenho Acadêmico no Ensino Superior. In: Simpósio Brasileiro de Informática na Educação (SBIE), Anais eletrônicos [...], 34. 2023, Passo Fundo/RS. Porto Alegre: Sociedade Brasileira de Computação, 2023. p. 1215-1225. Disponível em: https://sol.sbc.org.br/index.php/sbie/article/view/26748 Acesso em: 03 out. 2024.
GOTTARDO, E.; KAESTNER, C. A. A.; NORONHA, R. V. Estimativa de Desempenho Acadêmico de Estudantes: Análise da Aplicação de Técnicas de Mineração de Dados em Cursos à Distância. Revista Brasileira de Informática na Educação, 22, 01, 2014. Disponível em: http://milanesa.ime.usp.br/rbie/index.php/rbie/article/view/2381 Acesso em: 12 out. 2024.
GUIMARÃES, C. A.; NUNES, I.; PIRES, A. K.; ALENCAR, E. A Produção de Learning Analytics e Predição de Desempenho Acadêmico por pesquisadores Brasileiros: Uma Revisão Sistemática da Literatura. In: V Congresso sobre Tecnologias na Educação, Anais eletrônicos [...]. 2020. Disponível em: https://sol.sbc.org.br/index.php/ctrle/article/view/11408 Acesso em: 23 nov. 2024.
FILHO, F. H. B.; SIQUEIRA, D. S.; LEAL, B. C. Predição de Evasão Utilizando Técnicas de Classificação: Um Estudo de Caso do Instituto Federal do Ceará. In: Escola Regional de Computação do Ceará, Maranhão e Piauí (ERCEMAPI), Anais eletrônicos [...], 8, 2020, Evento Online. Porto Alegre: Sociedade Brasileira de Computação, 2020. Disponível em: https://sol.sbc.org.br/index.php/ercemapi/article/view/11478/11341 Acesso em: 05 nov. 2024.
HÄMÄLÄINEN, W.; VINNI, M. Classifiers for Educational Data Mining. In: Romero et al. Handbook of Educational Data Mining. Flórida, CRC Press, p. 57-71, 2011. Disponível em: https://www.researchgate.net/publication/260300354_Classiers_for_educational_data_mining Acesso em: 05 nov. 2024.
HE, H.; BAI, Y.; GARCIA, E. A.; ADASY, N. Adaptive synthetic sampling approach for imbalanced learning. In: IEEE International Joint Conference on Neural Networks, 2008. Disponível em: https://ieeexplore.ieee.org/document/4633969 Acesso em 23 nov. 2024.
HOQ, M.; BRUSILOVSKY, P.; AKRAM, B. Analysis of an Explainable Student Performance Prediction Model in an Introductory Programming Course. In: Educational Data Mining Conference, Anais eletrônicos [...], 2023. Disponível em: https://files.eric.ed.gov/fulltext/ED630852.pdf Acesso em 05 nov. 2024.
JYOTI, E.; WALIA, E. A. S. A review on recommendation system and web usage data mining using k-nearest neighbor (knn) method. Int. Res. J. Eng. Technol. 4, 2017. Disponível em: https://www.irjet.net/archives/V4/i4/IRJET-V4I4713.pdf Acesso em: 08 nov. 2024.
NEO, A.; NEO, G. S.; FREITAS JR, O. G.; RODRIGUES, W. R. M. Previsão de reprovação de estudantes utilizando Aprendizado de Máquina. IN: Sánchez, J. (2023) Editor. Nuevas Ideas en Informática Educativa, Vol. 17, p. 413 – 417, Santiago de Chile. Disponível em: https://www.researchgate.net/publication/376453197_Previsao_de_reprovacao_de_estudantes_utilizando_Aprendizagem_de_Maquina Acesso em 12 nov. 2024.
PRODANOV, C. C.; FREITAS, E. C. Metodologia do trabalho científico: métodos e técnicas da pesquisa e do trabalho acadêmico. 2ed. Novo Hamburgo: Feevale, 2013. Disponível em: https://www.feevale.br/Comum/midias/0163c988-1f5d-496f-b118-a6e009a7a2f9/E-book%20Metodologia%20do%20Trabalho%20Cientifico.pdf Acesso em 05 out. 2024.
ROHANI , N.; GAL , K.; GALLAGHER , M.; MANATAKI, A. Early prediction of student performance in a health data science MOOC . In: FENG, M., KÄSER, T.; TALUKDAR P., In: Proceedings of the 16th international conference on educational data mining, Anais eletrônicos [...], 2023. Disponível em: https://educationaldatamining.org/EDM2023/proceedings/2023.EDM-short-papers.32/2023.EDM-short-papers.32.pdf Acesso em: 15 out. 2024.
SAA, A. A. Educational data mining & students performance prediction. Int.
J. Adv. Comput. Sci. Appl. 7, 212–220, 2016. Disponível em: https://www.researchgate.net/publication/303869038_Educational_Data_Mining_Students'_Performance_Prediction Acesso em: 11 nov. 2024.
SAILEMA, W. G. C.; SÁNCHEZ, M.; COREZO, R.; ROMERO, C. Predicting students' performance using emotion detection from face-recording video when interacting with an ITS" In: Proceedings of The 13th International Conference on Educational Data Mining, Anais eletrônicos [...], 2020. Disponível em: https://educationaldatamining.org/files/conferences/EDM2020/papers/paper_232.pdf Acesso em: 23 out. 2024.
SILVA, E. E. O.; SILVA, J. S.; ALBUQUERQUE, C. H. Uma Análise da Evasão Escolar nos Cursos de Tecnologia da Informação: Um estudo de caso em Floresta/PE. In: Workshop sobre Educação em Computação (WEI), Anais eletrônicos [...], 24, 2016, Porto Alegre. Disponível em: https://sol.sbc.org.br/index.php/wei/article/view/9685 Acesso em: 21 out. 2024.
SOUZA, O.; MORAIS, P.; SILVA JÚNIOR, F. Um Estudo sobre a Evasão no Curso de Licenciatura em Informática do IFRN – Campus Natal – Zona Norte. In: Workshop sobre Educação em Computação (WEI), 23, 2015, Recife. Anais eletrônicos [...]. Porto Alegre: Sociedade Brasileira de Computação, 2015, p. 216-225. DOI: https://doi.org/10.5753/wei.2015.10238. Disponível em: https://sol.sbc.org.br/index.php/wei/article/view/10238 Acesso em: 09 nov.2024.
WAMPFLER, R.; KLINGLER, S.; SOLENTHALER, B.; SCHINAZI, V. R. Affective State Prediction in a Mobile Setting using Wearable Biometric Sensors and Stylus. In: Proceedings of The 12th International Conference on Educational Data Mining, Anais eletrônicos [...], 2019. Disponível em: https://files.eric.ed.gov/fulltext/ED599181.pdf Acesso em: 10 out. 2024
ZHANG, Y; YUN, Y.; AN, R.; CUI, J.; DAI, H; SHANG, X. Educational Data Mining Techniques for Student Performance Prediction: Method Review and Comparison Analysis. Frontiers in Psychology. DOI: 10.3389/fpsyg.2021.698490. Disponível em: https://www.frontiersin.org/journals/psychology/articles/10.3389/fpsyg.2021.698490/full Acesso em: 23 nov. 2024.
Downloads
Published
Issue
Section
License
Copyright (c) 2024 Carmélia Teixeira de Sousa, Júlio César da Silva Dantas
This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
Licença CC-BY-NC - "Contradição - Revista Interdiscplinar de Ciências Humanas e Sociais" adota a licença Creative Commons BY-NC do tipo "Atribuição Não Comercial". Essa licença permite, exceto onde está identificado, que o usuário final remixe, adapte e crie a partir do seu trabalho para fins não comerciais, sob a condição de atribuir o devido crédito e da forma especificada pelo autor ou licenciante"
