view in publisher's site

ABCDM: An Attention-based Bidirectional CNN-RNN Deep Model for sentiment analysis

Highlights•We propose the first Attention-based Bidirectional CNN-RNN Deep Model for sentiment analysis.•We extract both past and future contexts by considering temporal information flow in both directions.•The attention mechanism is applied on the output layers to put more or less emphasis on different words.•Experiments were conducted on five review and three Twitter datasets.•Our model achieves state-of-the-art results on both long review and short tweet polarity classification.AbstractSentiment analysis has been a hot research topic in natural language processing and data mining fields in the last decade. Recently, deep neural network (DNN) models are being applied to sentiment analysis tasks to obtain promising results. Among various neural architectures applied for sentiment analysis, long short-term memory (LSTM) models and its variants such as gated recurrent unit (GRU) have attracted increasing attention. Although these models are capable of processing sequences of arbitrary length, using them in the feature extraction layer of a DNN makes the feature space high dimensional. Another drawback of such models is that they consider different features equally important. To address these problems, we propose an Attention-based Bidirectional CNN-RNN Deep Model (ABCDM). By utilizing two independent bidirectional LSTM and GRU layers, ABCDM will extract both past and future contexts by considering temporal information flow in both directions. Also, the attention mechanism is applied on the outputs of bidirectional layers of ABCDM to put more or less emphasis on different words. To reduce the dimensionality of features and extract position-invariant local features, ABCDM utilizes convolution and pooling mechanisms. The effectiveness of ABCDM is evaluated on sentiment polarity detection which is the most common and essential task of sentiment analysis. Experiments were conducted on five review and three Twitter datasets. The results of comparing ABCDM with six recently proposed DNNs for sentiment analysis show that ABCDM achieves state-of-the-art results on both long review and short tweet polarity classification.

برنامه ABCDM: یک مدل عمیق مبتنی بر توجه دوجانبه سی ان ان - RNN برای تحلیل احساسات

کاره‌ای برجسته ما اولین مدل عمیق دو سویه مبتنی بر توجه CNN - RNN را برای تحلیل احساسات پیشنهاد می‌کنیم. ما هر دو زمینه گذشته و آینده را با در نظر گرفتن جریان اطلاعات زمانی در هر دو جهت استخراج می‌کنیم. مکانیزم توجه بر روی لایه‌های خروجی اعمال می‌شود تا تاکید کم و بیش بر روی کلمات مختلف داشته باشد. آزمایش‌ها در پنج مجموعه مرور و سه مجموعه تویی‌تر انجام شدند. مدل ما هم در بررسی بلند مدت و هم در دسته‌بندی کوتاه قطبیت به نتایج پیشرفته‌ای دست می‌یابد. اخیرا، مدل‌های شبکه عصبی عمیق (DNN)در وظایف تحلیل احساسات برای به دست آوردن نتایج امیدوار کننده به کار گرفته می‌شوند. در میان معماری‌های عصبی مختلفی که برای تحلیل احساسات به کار می‌روند، مدل‌های حافظه کوتاه‌مدت بلند مدت (LSTM)و انواع آن مانند واحد بازگشتی دروازه دار (GRU)توجه زیادی را به خود جلب کرده‌اند. اگر چه این مدل‌ها قادر به پردازش توالی‌هایی با طول دل‌خواه هستند، استفاده از آن‌ها در لایه استخراج ویژگی یک DNN فضای ویژگی را با ابعاد بالا می‌سازد. اشکال دیگر این مدل‌ها این است که آن‌ها مشخصه‌های مختلف را به طور مساوی مهم در نظر می‌گیرند. برای حل این مشکلات، ما یک مدل عمیق (ABCDM مبتنی بر توجه دو جانبه سی ان ان را پیشنهاد می‌کنیم. با استفاده از دو لایه LSTM و GRU دو طرفه مستقل، ABCDM هر دو زمینه گذشته و آینده را با در نظر گرفتن جریان اطلاعات زمانی در هر دو جهت، استخراج خواهد کرد. همچنین، مکانیزم توجه بر روی خروجی‌های لایه‌های دو جهته ABCDM اعمال می‌شود تا تاکید کم و بیش بر روی کلمات مختلف داشته باشد. برای کاهش ابعاد ویژگی‌ها و استخراج ویژگی‌های محلی تغییر ناپذیر موقعیت، ABCDM از کانولوشن و مکانیسم‌های ترکیب استفاده می‌کند. کارایی ABCDM بر روی تشخیص قطبیت احساسات ارزیابی می‌شود که رایج‌ترین و ضروری‌ترین کار آنالیز احساسات است. آزمایش‌ها در پنج مرور و سه مجموعه داده تویی‌تر انجام شدند. نتایج مقایسه ABCDM با شش DNNs پیشنهاد شده اخیر برای تحلیل احساسات نشان می‌دهد که ABCDM به نتایج پیشرفته در بازبینی بلند مدت و طبقه‌بندی قطبیت کوتاه دست می‌یابد.
ترجمه شده با


پر ارجاع‌ترین مقالات مرتبط:

  • مقاله Software
  • ترجمه مقاله Software
  • مقاله نرم‌افزار
  • ترجمه مقاله نرم‌افزار
  • مقاله Hardware and Architecture
  • ترجمه مقاله Hardware and Architecture
  • مقاله سخت‌افزار و معماری
  • ترجمه مقاله سخت‌افزار و معماری
  • مقاله Computer Networks and Communications
  • ترجمه مقاله Computer Networks and Communications
  • مقاله شبکه‌ها و ارتباطات کامپیوتری
  • ترجمه مقاله شبکه‌ها و ارتباطات کامپیوتری
سفارش ترجمه مقاله و کتاب - شروع کنید

95/12/18 - با استفاده از افزونه دانلود فایرفاکس و کروم٬ چکیده مقالات به صورت خودکار تشخیص داده شده و دکمه دانلود فری‌پیپر در صفحه چکیده نمایش داده می شود.