view in publisher's site

An efficient distributed caching for accessing small files in HDFS

In this paper, we propose a distributed caching scheme to efficiently access small files in Hadoop distributed file system. The proposed scheme reduces the volume of metadata to manage in the NameNode by combining and storing multiple small files in a block. In addition, it reduces unnecessary accesses by maintaining information on requested files using client cache and DataNode cache, and synchronizing metadata of the client cache. The client cache maintains small files requested by users and metadata, and each DataNode cache maintains small files frequently requested by users. Performance evaluation shows that the proposed distributed cache management scheme significantly outperforms existing schemes in small file access costs.

یک حافظه نهان کارآمد برای دسترسی به فایل‌های کوچک در HDFS

در این مقاله، ما یک طرح ذخیره توزیعی برای دسترسی موثر پرونده‌های کوچک در سیستم پرونده توزیع‌شده Hadoop را پیشنهاد می‌کنیم. طرح پیشنهادی حجم متاداده برای مدیریت در the را با ترکیب کردن و ذخیره چندین فایل کوچک در یک بلوک کاهش می‌دهد. علاوه بر این، دسترسی غیر ضروری را از طریق حفظ اطلاعات در فایل‌های درخواستی با استفاده از حافظه نهان client و حافظه نهان datanode و synchronizing metadata حافظه نهان مشتری کاهش می‌دهد. حافظه نهان مشتری فایل‌های کوچکی دارد که توسط کاربران و metadata درخواست شده‌است، و هر حافظه نهان datanode فایل‌های کوچکی دارد که اغلب توسط کاربران درخواست شده‌است. ارزیابی عملکرد نشان می‌دهد که طرح مدیریت حافظه گسترده توزیع‌شده به طور قابل‌توجهی عملکرد بهتری از طرح‌های موجود در هزینه‌های دسترسی به پرونده کوچک دارد.
ترجمه شده با

سفارش ترجمه مقاله و کتاب - شروع کنید

با استفاده از افزونه دانلود فایرفاکس چکیده مقالات به صورت خودکار تشخیص داده شده و دکمه دانلود فری‌پیپر در صفحه چکیده نمایش داده می شود.