МЕТОД ПРИСКОРЕННЯ ВИКОНАННЯ ЗАДАЧ НЕЙРОННИХ МЕРЕЖ НА ГЕТЕРОГЕННИХ СИСТЕМАХ CPU-GPU

Автор(и)

  • Володимир Русінов Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Україна https://orcid.org/0000-0002-4362-0248
  • Олексій Череватенко Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Україна https://orcid.org/0000-0001-9686-0555
  • Леонід Пустовіт Київський національний університет імені Тараса Шевченка , Україна https://orcid.org/0000-0002-4606-1971
  • Олександр Пустовіт Київський національний університет імені Тараса Шевченка, Україна https://orcid.org/0000-0001-6659-4786

DOI:

https://doi.org/10.25140/2411-5363-2021-2(24)-131-140

Ключові слова:

: гетерогенні системи; нейронні мережі; машинне навчання; CPU; GPU

Анотація

У статті розглянуто питання використання гетерогенних систем CPU-GPU для прискорення вирішення задач, пов’язаних із навчанням нейронних мереж. Досліджено основні архітектурні відомості, застосовані в кінцевій архітектурі гетерогенної системи. Розроблено метод на основі лінійної регресії для розподілу задачі між процесором та відеоприскорювачем. На основі методу, проведені експериментальні дослідження на зазначених системах. На основі отриманих результатів був проведений аналіз на основі визначених коефіцієнтів прискорення.

Біографії авторів

Володимир Русінов , Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського»

студент

Олексій Череватенко, Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського»

 студент

Леонід Пустовіт, Київський національний університет імені Тараса Шевченка

студент

Олександр Пустовіт, Київський національний університет імені Тараса Шевченка

студент

Посилання

Chen Tianqi, Li Mu, Li Yutian, Min Lin, Naiyan Wang, Minjie Wang, Tianjun Xiao, Bing Xu, Chiyuan Zhang, Zheng Zhang. MXNet: A Flexible and Efficient Machine Learning Library for Heterogeneous Distributed Systems, 2015.

Stone J. E., Gohara D., Shi G. OpenCL: A Parallel Programming Standard for Heterogeneous Computing Systems. Computing in Science & Engineering. May-June 2010. Vol. 12, No. 3. Pp. 66-73. DOI: 10.1109/MCSE.2010.69.

Nurvitadhi E., Sim Jaewoong, Sheffield D., Mishra A., Krishnan S., Marr D. Accelerating recurrent neural networks in analytics servers: Comparison of FPGA, CPU, GPU, and ASIC. 2016 26th International Conference on Field Programmable Logic and Applications (FPL). Lausanne, 2016. Рp. 1-4. DOI: 10.1109/FPL.2016.7577314.

Van Werkhoven Ben, Jason Maassen, Frank Seinstra, Henri Bal. Performance models for CPU-GPU data transfers. Proceedings - 14th IEEE/ACM International Symposium on Cluster, Cloud, and Grid Computing. CCGrid 2014. DOI: 10.1109/CCGrid.2014.16.

Kim Y., Mercati P., More A., Shriver E., Rosing T. P4: Phase-based power/performance prediction of heterogeneous systems via neural networks. 2017 IEEE/ACM International Conference on Computer-Aided Design (ICCAD). Irvine, CA, 2017. Рp. 683-690. DOI: 10.1109/ICCAD.2017.8203843.

GPU-Accelerated Applications. URL: https://www.nvidia.com/content/dam/en-zz/Solutions/ Data-Center/tesla-product-literature/gpu-applications-catalog.pdf.

NVidia Turing GPU Architecture. URL: https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/technologies/turing-architecture/NVIDIA-Turing-Architecture-Whitepaper.pdf.

Canqun Yang, Feng Wang, Yunfei Du, Juan Chen, Jie Liu, Huizhan Yi, Kai Lu. Adaptive Optimization for Petascale Heterogeneous CPU/GPU Computing. Proceedings - IEEE International Conference on Cluster Computing, ICCC. 2010. Рр. 19-28. DOI: 10.1109/CLUSTER.2010.12.

Hestness J., Keckler S. W., Wood D. A. GPU Computing Pipeline Inefficiencies and Optimization Opportunities in Heterogeneous CPU-GPU Processors. 2015 IEEE International Symposium on Workload Characterization. Atlanta, GA, 2015. Рp. 87-97.

Soyata T. GPU Parallel Program Development Using CUDA. New York: CRC Press, 2018.

CUDA Refresher: Reviewing the Origins of GPU Computing. URL: https://www.nvidia.com/ content/dam/en-zz/Solutions/design-visualization/technologies/turing-architecture/NVIDIA-Turing-Architecture-Whitepaper.pdf.

##submission.downloads##

Опубліковано

2021-07-05

Як цитувати

Русінов , В., Череватенко, О., Пустовіт, Л., & Пустовіт, О. (2021). МЕТОД ПРИСКОРЕННЯ ВИКОНАННЯ ЗАДАЧ НЕЙРОННИХ МЕРЕЖ НА ГЕТЕРОГЕННИХ СИСТЕМАХ CPU-GPU. Технічні науки та технології, (2(24), 131–140. https://doi.org/10.25140/2411-5363-2021-2(24)-131-140

Номер

Розділ

ІНФОРМАЦІЙНО-КОМП’ЮТЕРНІ ТЕХНОЛОГІЇ