view in publisher's site

Random error sampling-based recurrent neural network architecture optimization

Recurrent neural networks are good at solving prediction problems. However, finding a network that suits a problem is quite hard because their performance is strongly affected by their architecture configuration. Automatic architecture optimization methods help to find the most suitable design, but they are not extensively adopted because of their high computational cost. In this work, we introduce the Random Error Sampling-based Neuroevolution (RESN), an evolutionary algorithm that uses the mean absolute error random sampling, a training-free approach to predict the expected performance of an artificial neural network, to optimize the architecture of a network. We empirically validate our proposal on four prediction problems, and compare our technique to training-based architecture optimization techniques, neuroevolutionary approaches, and expert designed solutions. Our findings show that we can achieve state-of-the-art error performance and that we reduce by half the time needed to perform the optimization.

بهینه‌سازی ساختار شبکه عصبی بازگشتی مبتنی بر نمونه‌برداری خطای تصادفی

شبکه‌های عصبی بازگشتی در حل مسائل پیش‌بینی خوب هستند. با این حال، یافتن شبکه‌ای که مناسب یک مشکل باشد بسیار دشوار است زیرا عملکرد آن‌ها به شدت تحت‌تاثیر پیکربندی معماری آن‌ها قرار دارد. روش‌های بهینه‌سازی خودکار معماری به یافتن مناسب‌ترین طراحی کمک می‌کنند، اما به دلیل هزینه محاسباتی بالا به طور گسترده مورد استفاده قرار نمی‌گیرند. در این مقاله، ما تکامل عصبی مبتنی بر نمونه‌برداری خطای تصادفی (REN)را معرفی می‌کنیم، یک الگوریتم تکاملی که از نمونه‌برداری تصادفی میانگین مطلق خطا استفاده می‌کند، یک رویکرد آموزش آزاد برای پیش‌بینی عملکرد مورد انتظار یک شبکه عصبی مصنوعی، برای بهینه‌سازی معماری یک شبکه. ما به طور تجربی پیشنهاد خود را در چهار مساله پیش‌بینی تایید می‌کنیم و تکنیک خود را با تکنیک‌های بهینه‌سازی معماری مبتنی بر آموزش، رویکردهای تکاملی عصبی و راه‌حل‌های طراحی‌شده توسط متخصصان مقایسه می‌کنیم. یافته‌های ما نشان می‌دهد که ما می‌توانیم به عملکرد خطای سطح بالا دست یابیم و تا نصف زمان مورد نیاز برای انجام بهینه‌سازی را کاهش دهیم.
ترجمه شده با

Download PDF سفارش ترجمه این مقاله این مقاله را خودتان با کمک ترجمه کنید
سفارش ترجمه مقاله و کتاب - شروع کنید

95/12/18 - با استفاده از افزونه دانلود فایرفاکس و کروم٬ چکیده مقالات به صورت خودکار تشخیص داده شده و دکمه دانلود فری‌پیپر در صفحه چکیده نمایش داده می شود.