view in publisher's site

A dynamic block device reconfiguration algorithm in virtual MapReduce cluster

With the advances of cloud computing and virtualization technologies, running MapReduce applications over clouds has been attracting more and more attention in recent years. However, as a fundamental problem, the performance of MapReduce applications can sometimes be severely degraded due to the overheads from I/O virtualization and resource competitions among virtual machines. In this paper, we propose a dynamic block device reconfiguration algorithm in virtual MapReduce clusters, which reduces the data transfer time between virtual machines and thereby improving the performance of MapReduce applications on top of the clouds. The proposed algorithm utilizes a block device reconfiguration scheme, where a block device attached to a virtual machine can be dynamically detached and reattached to other virtual machines at runtime. This scheme allows us to move files easily across different virtual machines without any network transfers between virtual machines. This algorithm is also dynamic in a sense that it estimates the total data transfer times between virtual machines using multiple regression analysis based on CPU utilization and data size, and adaptively determines a least-cost data transfer path between a mapper virtual machine and a reducer virtual machine. We have implemented our algorithm in Hadoop MapReduce. The benchmarking results showed that the overheads incurred by transferring data from mapper virtual machines to reducer virtual machines are minimized and the execution times of MapReduce applications are shortened up to 14 %.

یک الگوریتم پیکربندی بلوکی دینامیکی در خوشه mapreduce مجازی

با پیشرفت فن‌آوری‌های محاسبات ابری و مجازی سازی ابر، اجرای برنامه‌های کاربردی mapreduce بر روی ابرها در سال‌های اخیر توجه و توجه بیشتری را به خود جلب کرده‌است. با این حال، به عنوان یک مشکل اساسی، عملکرد برنامه‌های کاربردی گاهی ممکن است به دلیل سربار از مجازی سازی I / O مجازی و رقابت‌های منابع بین ماشین‌های مجازی به شدت تخریب شود. در این مقاله، ما یک الگوریتم پیکربندی قطعات یدکی در خوشه‌های مجازی mapreduce را پیشنهاد می‌کنیم، که زمان انتقال داده بین ماشین‌های مجازی را کاهش می‌دهد و در نتیجه عملکرد کاربردهای mapreduce را در بالای ابرها بهبود می‌دهد. الگوریتم پیشنهادی از یک طرح ترکیب‌بندی قطعات بلوکی استفاده می‌کند، که در آن یک دستگاه بلوک متصل به یک ماشین مجازی را می توان به طور پویا جدا و متصل به دیگر ماشین‌های مجازی در زمان اجرا کرد. این طرح به ما اجازه می‌دهد تا فایل‌ها را به راحتی در میان ماشین‌های مجازی مختلف بدون انتقال شبکه بین ماشین‌های مجازی حرکت دهیم. این الگوریتم به گونه‌ای پویا است که کل زمان انتقال داده‌ها بین ماشین‌های مجازی با استفاده از تحلیل رگرسیون چند متغیره براساس کاربرد CPU و اندازه داده را تخمین می‌زند و به طور تطبیقی یک مسیر انتقال داده حداقل هزینه بین ماشین مجازی mapper و یک ماشین مجازی کاهنده را تعیین می‌کند. ما الگوریتم خود را در Hadoop mapreduce اجرا کرده‌ایم. نتایج مقایسه‌ای نشان داد که هزینه‌های سربار همراه با انتقال داده از ماشین‌های مجازی mapper به کاهنده ماشین‌های مجازی به حداقل رسیده‌است و زمان اجرای برنامه‌های کاربردی mapreduce به ۱۴ % کاهش می‌یابد.

ترجمه شده با

Download PDF سفارش ترجمه این مقاله این مقاله را خودتان با کمک ترجمه کنید
سفارش ترجمه مقاله و کتاب - شروع کنید

95/12/18 - با استفاده از افزونه دانلود فایرفاکس و کروم٬ چکیده مقالات به صورت خودکار تشخیص داده شده و دکمه دانلود فری‌پیپر در صفحه چکیده نمایش داده می شود.