view in publisher's site

Sentence alignment using local and global information

Highlights•We propose an integer linear programming algorithm to extract parallel sentences.•We build an English–Persian parallel corpus from Wikipedia articles.•Intrinsic evaluation using gold data shows the effectiveness of the ILP method.•Extrinsic evaluation via SMT and CLIR confirms high quality of the created corpus.•The extracted parallel corpus is freely available for research purposes.AbstractParallel corpora are essential resources for statistical machine translation (SMT) and cross language information retrieval (CLIR) systems. Creating parallel corpora is highly expensive in terms of both time and cost. In this paper, we propose a novel approach to automatically extract parallel sentences from aligned documents. To do so, we first train a Maximum Entropy binary classifier to compute the local similarity between each two sentences in different languages. To consider global information (e.g., the position of sentence pairs in the aligned documents), we define an objective function to penalize the cross alignments and then propose an integer linear programming approach to optimize the objective function. In our experiments, we focus on English and Persian Wikipedia articles. The experimental results on manually aligned test data indicate that the proposed method outperforms the baselines, significantly. Furthermore, the extrinsic evaluations of the corpus extracted from Wikipedia on both SMT and CLIR systems demonstrate the quality of the extracted parallel sentences. In addition, Experiments on the English–German language pair demonstrate that the proposed ILP method is a language-independent sentence alignment approach. The extracted English–Persian parallel corpus is freely available for research purposes.

تطابق جملات با استفاده از اطلاعات محلی و جهانی

نکات مهم: ما یک الگوریتم برنامه‌نویسی خطی صحیح را برای استخراج جملات موازی پیشنهاد می‌کنیم. ما یک پیکره موازی فارسی - فارسی از مقالات ویکی‌پدیا می‌سازیم. ارزیابی ذاتی با استفاده از داده‌های طلا، کارایی روش ILP را نشان می‌دهد. ارزیابی Extrinsic از طریق SMT و clir کیفیت بالای پیکره زبانی ایجاد شده را تایید می‌کند. پیکره موازی استخراج‌شده به طور رایگان در دسترس می‌باشند. پیکره‌های موازی، منابع اصلی ترجمه ماشینی آماری (SMT)و سیستم‌های بازیابی اطلاعات (clir)می‌باشند. ساخت پیکره‌های موازی از نظر زمان و هزینه بسیار پرهزینه است. در این مقاله، ما یک رویکرد جدید برای استخراج خودکار جملات موازی از اسناد همسو را پیشنهاد می‌کنیم. برای انجام این کار، اولین دسته‌بندی کننده باینری کمینه را برای محاسبه تشابه موضعی بین هر دو جمله به زبان‌های مختلف آموزش می‌دهیم. برای در نظر گرفتن اطلاعات جهانی (به عنوان مثال، موقعیت جفت‌های جمله در اسناد همسو)، ما یک تابع هدف را تعریف می‌کنیم تا the متقاطع را جریمه کنیم و سپس یک روش برنامه‌ریزی خطی عدد صحیح را برای بهینه‌سازی تابع هدف پیشنهاد کنیم. در آزمایش‌ها ما بر روی مقاله‌های ویکی‌پدیا و فارسی متمرکز می‌شویم. نتایج تجربی حاصل از داده‌های تست دستی، نشان می‌دهد که روش پیشنهادی، به طور قابل‌توجهی بهتر عمل می‌کند. علاوه بر این، ارزیابی‌های بیرونی پیکره زبانی استخراج‌شده از ویکی‌پدیا در هر دو سیستم SMT و SMT، کیفیت جملات موازی استخراج‌شده را نشان می‌دهند. علاوه بر این، آزمایش‌ها روی دو زبان انگلیسی - آلمانی نشان می‌دهد که روش ILP پیشنهادی یک روش همترازسازی جملات مستقل از زبان است. پیکره موازی فارسی - فارسی استخراج‌شده به طور رایگان برای اهداف تحقیقاتی در دسترس است.
ترجمه شده با

سفارش ترجمه مقاله و کتاب - شروع کنید

با استفاده از افزونه دانلود فایرفاکس چکیده مقالات به صورت خودکار تشخیص داده شده و دکمه دانلود فری‌پیپر در صفحه چکیده نمایش داده می شود.