Порівняльний аналіз методів використання природномовної обробки для автоматизованого генерування тест-кейсів

Олексій Максимов; Дмитро Лисенко

doi:10.25140/2411-5363-2025-4(42)-233-244

Автор(и)

Олексій Максимов Національний університет «Чернігівська політехніка», Україна https://orcid.org/0009-0008-4257-6549
Дмитро Лисенко Національний університет «Чернігівська політехніка», Україна https://orcid.org/0000-0001-6870-6120

DOI:

https://doi.org/10.25140/2411-5363-2025-4(42)-233-244

Ключові слова:

природномовна обробка; автоматизоване тестування; генерація тест-кейсів; машинне навчання; оптимізація; якість програмного забезпечення

Анотація

У статті здійснено порівняльний аналіз основних науково-методичних підходів до використання методів природномовної обробки (NLP) для автоматизованого генерування тест-кейсів. Розглянуто правило-орієнтовані методи, підходи на основі машинного навчання та трансформерні моделі. Подано узагальнену характеристику принципів роботи кожної групи методів, особливості їх застосування та вимоги до вхідних даних. Стаття також описує структуру процесу автоматизації, охоплює питання попередньої обробки вимог, формування тестових сценаріїв і критеріїв порівняння підходів.

Посилання

Макуховська Д.А. (2025) Моделі тестування при розробці web-платформи для обміну 3D-моделями. Вісник ХНТУ, (3), 45–52.

Boukhlif, M., Hanine, M., Kharmoum, N., Ruigómez Noriega, A., García Obeso, D., & Ashraf, I. (2024). Natural Language Processing-Based Software Testing: A Systematic Literature Review. IEEE Access, 12, 43132–43154. https://doi.org/10.1109/ACCESS.2024.3407753

Gröpler, R., Sudhi, V., García, E. J. C., & Bergmann, A. (2021). NLP-Based Require-ments Formalization for Automatic Test Case Generation. CEUR Workshop Proceedings, (Vol. 2951). https://ceur-ws.org/Vol-2951/paper15.pdf.

Tufano, M., Drain, D., Svyatkovskiy, A., Deng, S. K., & Sundaresan, N. (2020). Unit Test Case Generation with Transformers and Focal Context. arXiv preprint arXiv:2009.05617. https://doi.org/10.48550/ arXiv.2009.05617.

Medeshetty, N., et al. (2025). Froрm Requirements to Test Cases: An NLP-Based Ap-proach for High-Performance ECU Test Case Automation. arXiv preprint arXiv:2505.00547. https://doi.org/10.48550/ arXiv.2505.00547.

Shakthi, S., Srivastava, P., Kumar, R. L., & Prasad, S. G. (2024). Automated Test Case Generation for Satellite FRD Using NLP and Large Language Model. 4th International Confer-ence on Electrical, Computer, Communications and Mechatronics Engineering (ICECCME). (рр. 1–6). IEEE. https://doi.org/ 10.1109/ICECCME62383.2024.10796866.

Kumar, S., Napte, K., Rani, R., Pippal, S. K. (2025). A method for IoT devices test case generation using language models. MethodsX, 14, 103340. https://doi.org/10.1016/j.mex.2025.103340.

Mahalakshmi, G. S., Vani, V., & Antony, B. (2018). Named Entity Recognition for Auto-mated Test Case Generation. The International Arab Journal of Information Technology, 15(1), 112–120. https://www.iajit.org/paper/3691.

Malik, G., Cevik, M., Khedr, Y., Parikh, D., Başar, A. (2021). Named Entity Recognition on Software Requirements Specification Documents. 34th Canadian Conference on Artificial Intelligence (Canadian AI 2021). https://doi.org/10.21428/594757db.507e7951.

Celik, A., & Mahmoud, Q. H. (2025). A Review of Large Language Models for Auto-mated Test Case Generation. Machine Learning and Knowledge Extraction, 7(3), 97. https://doi.org/10.3390/ make7030097.

Korraprolu, B. R., Pinninti, P., Reddy, Y. R. (2025). Test Case Generation for Require-ments in Natural Language – An LLM Comparison Study. 18th Innovations in Software Engi-neering Conference (ISEC 2025). https://doi.org/10.1145/3717383.3717389.

Albdeiwi, Y. (2024). Generating Test Cases Using Natural Language Processing. Mas-ter's thesis, Lund University. https://lup.lub.lu.se/student-papers/search/publication/9168588.

Iznaga, Y. S., Rato, L., Salgueiro, P., & León, J. L. (2025). Integrating Large Language Models into Automated Software Testing. Future Internet, 17(10), 476. https://doi.org/10.3390/fi17100476.

Mustafa, A., Wan-Kadir, W. M. N., Ibrahim, N., Shah, M. A., Younas, M., et al. (2021). Automated Test Case Generation from Requirements: A Systematic Literature Review. Comput-ers, Materials & Continua, 67(2), 1819–1833. https://doi.org/10.32604/cmc.2021.014391.

Farooq, M. S., & Tahreem, T. (2022). Requirement-Based Automated Test Case Genera-tion: Systematic Literature Review. VFAST Transactions on Software Engineering, 10(2), 133–142. https://doi.org/10.21015/vtse.v10i2.940.

Garousi, V., Bauer, S., & Felderer, M. (2020). NLP-assisted software testing: A systemat-ic mapping of the literature. Information and Software Technology, 126, 106321. https://doi.org/10.1016/ j.infsof.2020.106321.

Ayenew, H., & Wagaw, M. (2024). Software Test Case Generation Using Natural Lan-guage Processing (NLP): A Systematic Literature Review. Artificial Intelligence Evolution, 5(1), 35-56. https://doi.org/10.37256/aie.5120243220.

Navarro Calizaya, J., & Ibarra, R. (2025). Automatic test case generation using natural language processing: A systematic mapping study. Information and Software Technology, 189, 107929. https://doi.org/10.1016/j.infsof.2025.107929.

Dwarakanath, A., & Sengupta, B. (2012). Litmus: Generation of Test Cases from Func-tional Requirements in Natural Language. Natural Language to Information Systems (NLDB 2012), (Lecture Notes in Computer Science, Vol. 7337). Springer. https://doi.org/10.1007/978-3-642-31178-9_6.

Santiago Júnior, V., & Vijaykumar, N. (2012). Generating Model-Based Test Cases from Natural Language Requirements for Space Application Software. Software Quality Journal, 20(1), 77–143. https://doi.org/10.1007/s11219-011-9155-6.

Carvalho, G., Falcão, D., Barros, F. A., Blackburn, M. R. (2014). NAT2TEST(SCR): Test Case Generation from Natural Language Requirements Based on SCR Specifications. Science of Computer Programming, 95, 275–297. https://doi.org/10.1145/2480362.2480591.

Sarmiento, E., Leite, J. C. S. P., Almentero, E., & Alzamora, G. S. (2016). Test Scenario Generation from Natural Language Requirements Descriptions based on Petri-Nets. Electronic Notes in Theoretical Computer Science, 329, 123–148. https://doi.org/10.1016/j.entcs.2016.12.008.

Silva, B. C. F., Carvalho, G., & Sampaio, A. (2019). CPN Simulation-Based Test Case Generation from Controlled Natural-Language Requirements. Science of Computer Program-ming, 181, 111–139. https://doi.org/10.1016/j.scico.2019.04.001.

Wang, C., Pastore, F., Goknil, A., & Briand, L. C. (2020). Automatic Generation of Ac-ceptance Test Cases from Use Case Specifications: An NLP-Based Approach. IEEE Transactions on Software Engineering, 48(2), 585–616. https://doi.org/10.48550/arXiv.1907.08490.

Allala, S. Ch., Sotomayor, J. P., Santiago, D., King, T. M., & Clarke, P. J. (2022). Gener-ating Abstract Test Cases from User Requirements Using MDSE and NLP. 2022 IEEE Interna-tional Conference on Software Testing, Verification and Validation Workshops (ICSTW) (c. 138-147). IEEE. https://doi.org/10.1109/QRS57517.2022.00080.

Vani, V., & Mahalakshmi, G. S. (2015). Generation of Patterns for Test Cases. 2015 In-ternational Conference on Green Computing and Internet of Things (ICGCIoT) (c. 526-531). IEEE. https://doi.org/10.17485/ijst/2015/v8i24/80176.

Chioasca, E.-V., Zhao, L., Alhoshan, W., & Ferrari, A. (2020). Natural Language Pro-cessing (NLP) for Requirements Engineering: A Systematic Mapping Study. Proceedings of the 17th International Conference on Mining Software Repositories (c. 391–405). https://doi.org/10.48550/arXiv.2004.01099.

Arora, C., Herda, T., & Homm, V. (2024). Generating Test Scenarios from NL Require-ments Using Retrieval-Augmented LLMs: An Industrial Study. 32nd IEEE International Re-quirements Engineering Conference (RE 2024) (c. 240–251). IEEE. https://doi.org/10.48550/arXiv.2404.12772.

Karmouda, O., Ghaouat, M., & Feuilloley, G. (2025). Automated Test Case Generation from Natural Language Requirements Using Large Language Models. Future Technologies Con-ference (FTC 2025) (Lecture Notes in Networks and Systems, Vol. 1677, с. 260–281). Springer. https://doi.org/10.1007/978-3-032-07995-4_18.

Wang, J., Huang, Y., Chen, C., Liu, Z., Wang, S., & Wang, Q. (2024). Software Testing with Large Language Models: Survey, Landscape, and Vision. IEEE Transactions on Software Engineering, 50(4), 911–936. https://doi.org/10.48550/arXiv.2307.07221.