view in publisher's site

Compressing 3DCNNs based on tensor train decomposition

Three-dimensional convolutional neural networks (3DCNNs) have been applied in many tasks, e.g., video and 3D point cloud recognition. However, due to the higher dimension of convolutional kernels, the space complexity of 3DCNNs is generally larger than that of traditional two-dimensional convolutional neural networks (2DCNNs). To miniaturize 3DCNNs for the deployment in confining environments such as embedded devices, neural network compression is a promising approach. In this work, we adopt the tensor train (TT) decomposition, a straightforward and simple in situ training compression method, to shrink the 3DCNN models. Through proposing tensorizing 3D convolutional kernels in TT format, we investigate how to select appropriate TT ranks for achieving higher compression ratio. We have also discussed the redundancy of 3D convolutional kernels for compression, core significance and future directions of this work, as well as the theoretical computation complexity versus practical executing time of convolution in TT. In the light of multiple contrast experiments based on VIVA challenge, UCF11, UCF101, and ModelNet40 datasets, we conclude that TT decomposition can compress 3DCNNs by around one hundred times without significant accuracy loss, which will enable its applications in extensive real world scenarios.

ترکیب ۳ DCNNها براساس تجزیه تانسوری قطار

شبکه‌های عصبی کانولوشن سه‌بعدی (۳ DCNNs)در بسیاری از وظایف به کار گرفته شده‌اند، به عنوان مثال، تشخیص ابر نقطه‌ای سه‌بعدی و ویدئو. با این حال، به دلیل ابعاد بالاتر کرنل کانولوشن، پیچیدگی فضایی ۳ DCNNها به طور کلی بیشتر از شبکه‌های عصبی کانولوشن دو بعدی سنتی است (۲ DCNNs). برای کوچک‌سازی ۳ DCNNs برای استقرار در محیط‌های محدود کننده مانند دستگاه‌های تعبیه‌شده، فشرده‌سازی شبکه عصبی یک روش امیدوار کننده است. در این کار، ما از تجزیه تانسوری (TT)، یک روش فشرده‌سازی آموزش مستقیم و ساده در محل، برای کوچک کردن مدل‌های ۳ DCNN استفاده می‌کنیم. از طریق پیشنهاد تنظیم هسته‌های کانولوشن سه‌بعدی در فرمت TT، ما به بررسی چگونگی انتخاب رتبه‌های مناسب TT برای دستیابی به نسبت تراکم بالاتر می‌پردازیم. همچنین حشو هسته‌های کانولوشن سه‌بعدی برای فشرده‌سازی، اهمیت هسته و جهات آینده این کار و همچنین پیچیدگی محاسبات نظری در مقابل زمان اجرای عملی کانولوشن در TT را مورد بحث قرار داده‌ایم. با توجه به آزمایش‌ها متعدد کنتراست مبتنی بر چالش VIVA، UCF۱۱، UCF۱۰۱ و مجموعه داده‌های مدل Net۴۰، ما نتیجه می‌گیریم که تجزیه TT می‌تواند حدود صد برابر DCNNها را بدون از دست دادن دقت قابل‌توجه فشرده کند، که کاربردهای آن را در سناریوهای جهان واقعی گسترده قادر می‌سازد.
ترجمه شده با


پر ارجاع‌ترین مقالات مرتبط:

  • مقاله Artificial Intelligence
  • ترجمه مقاله Artificial Intelligence
  • مقاله هوش مصنوعی
  • ترجمه مقاله هوش مصنوعی
  • مقاله Cognitive Neuroscience
  • ترجمه مقاله Cognitive Neuroscience
  • مقاله علوم عصبی شناختی
  • ترجمه مقاله علوم عصبی شناختی
سفارش ترجمه مقاله و کتاب - شروع کنید

با استفاده از افزونه دانلود فایرفاکس چکیده مقالات به صورت خودکار تشخیص داده شده و دکمه دانلود فری‌پیپر در صفحه چکیده نمایش داده می شود.