МЕТОД ПРИСКОРЕННЯ ВИКОНАННЯ ЗАДАЧ НЕЙРОННИХ МЕРЕЖ НА ГЕТЕРОГЕННИХ СИСТЕМАХ CPU-GPU
DOI:
https://doi.org/10.25140/2411-5363-2021-2(24)-131-140Ключові слова:
: гетерогенні системи; нейронні мережі; машинне навчання; CPU; GPUАнотація
У статті розглянуто питання використання гетерогенних систем CPU-GPU для прискорення вирішення задач, пов’язаних із навчанням нейронних мереж. Досліджено основні архітектурні відомості, застосовані в кінцевій архітектурі гетерогенної системи. Розроблено метод на основі лінійної регресії для розподілу задачі між процесором та відеоприскорювачем. На основі методу, проведені експериментальні дослідження на зазначених системах. На основі отриманих результатів був проведений аналіз на основі визначених коефіцієнтів прискорення.
Посилання
Chen Tianqi, Li Mu, Li Yutian, Min Lin, Naiyan Wang, Minjie Wang, Tianjun Xiao, Bing Xu, Chiyuan Zhang, Zheng Zhang. MXNet: A Flexible and Efficient Machine Learning Library for Heterogeneous Distributed Systems, 2015.
Stone J. E., Gohara D., Shi G. OpenCL: A Parallel Programming Standard for Heterogeneous Computing Systems. Computing in Science & Engineering. May-June 2010. Vol. 12, No. 3. Pp. 66-73. DOI: 10.1109/MCSE.2010.69.
Nurvitadhi E., Sim Jaewoong, Sheffield D., Mishra A., Krishnan S., Marr D. Accelerating recurrent neural networks in analytics servers: Comparison of FPGA, CPU, GPU, and ASIC. 2016 26th International Conference on Field Programmable Logic and Applications (FPL). Lausanne, 2016. Рp. 1-4. DOI: 10.1109/FPL.2016.7577314.
Van Werkhoven Ben, Jason Maassen, Frank Seinstra, Henri Bal. Performance models for CPU-GPU data transfers. Proceedings - 14th IEEE/ACM International Symposium on Cluster, Cloud, and Grid Computing. CCGrid 2014. DOI: 10.1109/CCGrid.2014.16.
Kim Y., Mercati P., More A., Shriver E., Rosing T. P4: Phase-based power/performance prediction of heterogeneous systems via neural networks. 2017 IEEE/ACM International Conference on Computer-Aided Design (ICCAD). Irvine, CA, 2017. Рp. 683-690. DOI: 10.1109/ICCAD.2017.8203843.
GPU-Accelerated Applications. URL: https://www.nvidia.com/content/dam/en-zz/Solutions/ Data-Center/tesla-product-literature/gpu-applications-catalog.pdf.
NVidia Turing GPU Architecture. URL: https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/technologies/turing-architecture/NVIDIA-Turing-Architecture-Whitepaper.pdf.
Canqun Yang, Feng Wang, Yunfei Du, Juan Chen, Jie Liu, Huizhan Yi, Kai Lu. Adaptive Optimization for Petascale Heterogeneous CPU/GPU Computing. Proceedings - IEEE International Conference on Cluster Computing, ICCC. 2010. Рр. 19-28. DOI: 10.1109/CLUSTER.2010.12.
Hestness J., Keckler S. W., Wood D. A. GPU Computing Pipeline Inefficiencies and Optimization Opportunities in Heterogeneous CPU-GPU Processors. 2015 IEEE International Symposium on Workload Characterization. Atlanta, GA, 2015. Рp. 87-97.
Soyata T. GPU Parallel Program Development Using CUDA. New York: CRC Press, 2018.
CUDA Refresher: Reviewing the Origins of GPU Computing. URL: https://www.nvidia.com/ content/dam/en-zz/Solutions/design-visualization/technologies/turing-architecture/NVIDIA-Turing-Architecture-Whitepaper.pdf.
##submission.downloads##
Опубліковано
Як цитувати
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial 4.0 International License.
