Optimization and acceleration of convolutional neural networks: A survey

Convolutional neural networks (CNN) is a specialized case of artificial neural networks(ANN) and finds its application in computer vision and parallel distributed computing for processing of massive amount of data generated by sensors and to meet the power constraints of IOT devices. Recent advancements in parameter optimization, regularization techniques, improvement in activation functions, corresponding loss functions, advancements in the coted the research of Convolutonal Neural Network’s(CNN’s) in past few years. Training of neural networks is cumbersome and takes a lot of time can take days or even weeks. This limits the application of Convolutional Neural Network(CNN) in real time research fields where computational speed is of utmost importance. Thus there is a need for appropriate and enhanced computational speed to meet the requirements of these real time applications.This paper describes CNN in detail summarizes architectural evolution of CNN from 1998 to 2019. Three types of strategies have been explained to enhance the computational speed of CNN at algorithmic level and implementation level. This paper gives detailed insight about computation speed acceleration using Stochastic Gradient Decent(SGD) optimization, Fast convolution and exploiting parallelism challenges in CNN posed by these techniques and recent advancements.The paper also includes detailed view of different framework usage while implementing fast convolution or parallelism techniques. The ultimate aim of the paper to explore all such recent techniques by which we can accelerate the training speed of the CNN’s without compromising the accuracy.

بهینه‌سازی و شتاب شبکه‌های عصبی کانولوشن: یک بررسی

شبکه‌های عصبی کانولوشن (سی ان ان)یک مورد خاص از شبکه‌های عصبی مصنوعی (ANN)است و کاربرد آن را در دید کامپیوتری و محاسبات توزیعی موازی برای پردازش مقدار زیادی از داده‌های تولید شده توسط سنسورها و برای برآورده کردن محدودیت‌های توان دستگاه‌های IOT پیدا می‌کند. پیشرفت‌های اخیر در بهینه‌سازی پارامتر، تکنیک‌های تنظیم، بهبود در توابع فعالسازی، توابع زیان متناظر، پیشرفت‌هایی در تحقیقات شبکه عصبی کونولوتونی (سی ان ان)در چند سال گذشته. آموزش شبکه‌های عصبی کار دشواری است و زمان زیادی طول می‌کشد و ممکن است روزها و یا حتی هفته‌ها طول بکشد. این امر کاربرد شبکه عصبی کانولوشن (سی ان ان)را در زمینه‌های تحقیقاتی زمان واقعی که در آن سرعت محاسباتی از بیش‌ترین اهمیت برخوردار است، محدود می‌کند. بنابراین نیاز به سرعت محاسباتی مناسب و پیشرفته برای برآورده کردن نیازهای این برنامه‌های زمان واقعی وجود دارد. این مقاله CNN را به طور مفصل توصیف می‌کند و تکامل معماری سی ان ان را از سال ۱۹۹۸ تا ۲۰۱۹ خلاصه می‌کند. سه نوع استراتژی برای افزایش سرعت محاسباتی سی ان ان در سطح الگوریتمی و سطح اجرا توضیح داده شده‌است. این مقاله بینش دقیقی در مورد شتاب سرعت محاسبات با استفاده از بهینه‌سازی توزیع تصادفی (SGD)، کانولوشن سریع و بهره‌برداری از چالش‌های موازی در سی ان ان ناشی از این تکنیک‌ها و پیشرفت‌های اخیر ارائه می‌دهد. هدف نهایی این مقاله بررسی تمام این تکنیک‌های اخیر است که با آن‌ها می‌توانیم سرعت آموزش سی ان ان را بدون به خطر انداختن دقت سرعت دهیم.

ترجمه شده با