Evolution of Deep Convolutional Neural Networks Using Cartesian Genetic Programming

The convolutional neural network (CNN), one of the deep learning models, has demonstrated outstanding performance in a variety of computer vision tasks. However, as the network architectures become deeper and more complex, designing CNN architectures requires more expert knowledge and trial and error. In this article, we attempt to automatically construct high-performing CNN architectures for a given task. Our method uses Cartesian genetic programming (CGP) to encode the CNN architectures, adopting highly functional modules such as a convolutional block and tensor concatenation, as the node functions in CGP. The CNN structure and connectivity, represented by the CGP, are optimized to maximize accuracy using the evolutionary algorithm. We also introduce simple techniques to accelerate the architecture search: rich initialization and early network training termination. We evaluated our method on the CIFAR-10 and CIFAR-100 datasets, achieving competitive performance with state-of-the-art models. Remarkably, our method can find competitive architectures with a reasonable computational cost compared to other automatic design methods that require considerably more computational time and machine resources.

تکامل شبکه‌های عصبی کانولوشن عمیق با استفاده از برنامه‌نویسی ژنتیک دکارتی

فراخواندن ها: p. شبکه عصبی کانولوشن (سی ان ان)، یکی از مدل‌های یادگیری عمیق، عملکرد قابل‌توجهی در انواع وظایف بینایی کامپیوتری نشان داده‌است. با این حال، هرچه معماری شبکه عمیق‌تر و پیچیده‌تر می‌شود، طراحی معماری سی ان ان نیاز به دانش و آزمون و خطای تخصصی بیشتری دارد. در این مقاله، ما تلاش می‌کنیم تا به طور خودکار معماری‌های با عملکرد بالا در سی ان ان را برای یک کار مشخص بسازیم. روش ما از برنامه‌نویسی ژنتیک دکارتی (CGP)برای رمزگذاری معماری‌های سی ان ان، با اتخاذ ماژولهای بسیار کاربردی مانند بلوک کانولوشن و الحاق تانسوری، به عنوان توابع گره در CGP استفاده می‌کند. ساختار و اتصال سی ان ان، نشان‌داده‌شده توسط CGP، برای به حداکثر رساندن دقت با استفاده از الگوریتم تکاملی بهینه شده‌است. ما همچنین تکنیک‌های ساده‌ای را برای شتاب بخشیدن به جستجوی معماری معرفی می‌کنیم: مقداردهی اولیه غنی و پایان آموزش اولیه شبکه. ما روش خود را بر روی مجموعه داده‌های CIFAR - ۱۰ و CIFAR - ۱۰۰ ارزیابی کردیم و به عملکرد رقابتی با مدل‌های سطح بالا دست یافتیم. به طور قابل‌توجهی، روش ما می‌تواند معماری‌های رقابتی را با هزینه محاسباتی منطقی در مقایسه با دیگر روش‌های طراحی خودکار که نیاز به زمان محاسباتی و منابع ماشین قابل‌توجهی دارند، پیدا کند. CNN / jats: p.

ترجمه شده با