view in publisher's site

A nonparametric procedure for exploring differences in rating quality across test-taker subgroups in rater-mediated writing assessments:

Differences in rater judgments that are systematically related to construct-irrelevant characteristics threaten the fairness of rater-mediated writing assessments. Accordingly, it is essential that researchers and practitioners examine the degree to which the psychometric quality of rater judgments is comparable across test-taker subgroups. Nonparametric procedures for exploring these differences are promising because they allow researchers and practitioners to examine important characteristics of ratings without potentially inappropriate parametric transformations or assumptions. This study illustrates a nonparametric method based on Mokken scale analysis (MSA) that researchers and practitioners can use to identify and explore differences in the quality of rater judgments between subgroups of test-takers. Overall, the results suggest that MSA provides insight into differences in rating quality across test-taker subgroups based on demographic characteristics. Differences in the degree to which raters adhere to basic measurement properties suggest that the interpretation of ratings may vary across subgroups. The implications of this study for research and practice are discussed.

یک روش غیرپارامتری برای بررسی تفاوت‌ها در کیفیت درجه‌بندی در میان زیرگروه‌های test در ارزیابی‌های کتبی با واسطه rater:

تفاوت‌ها در قضاوت rater که به طور سیستماتیک در ارتباط با ویژگی‌های مرتبط با ساختار هستند، انصاف را در ارزیابی‌های کتبی از سوی متخصصان مورد تهدید قرار می‌دهند. از این رو، ضروری است که محققان و افراد حرفه‌ای درجه را بررسی کنند که در آن کیفیت psychometric قضاوت rater در میان زیر گروه‌های مورد آزمون قابل‌مقایسه است. روش‌های nonparametric برای بررسی این تفاوت‌ها امیدوارکننده هستند چون به محققان و متخصصان اجازه می‌دهند تا ویژگی‌های مهم درجه‌بندی بدون تغییر شکل بالقوه نامناسب یا فرضیات را بررسی کنند. این مطالعه یک روش غیر پارامتری مبتنی بر تحلیل مقیاس Mokken (MSA)را نشان می‌دهد که محققان و متخصصان می‌توانند برای شناسایی و کشف تفاوت‌ها در کیفیت قضاوت‌های rater بین زیر گروه‌های آزمون کنندگان استفاده کنند. به طور کلی، نتایج نشان می‌دهند که MSA براساس ویژگی‌های جمعیت شناختی، نسبت به تفاوت‌های موجود در کیفیت رتبه در میان زیرگروه‌های آزمون را فراهم می‌کند. تفاوت‌ها در درجه‌ای که which به ویژگی‌های اندازه‌گیری پایه پایبند هستند نشان می‌دهند که تفسیر درجه‌بندی ممکن است در میان زیرگروه‌های مختلف متفاوت باشد. مفاهیم این مطالعه برای تحقیق و عمل مورد بحث قرار می‌گیرند.

ترجمه شده با

Download PDF سفارش ترجمه این مقاله این مقاله را خودتان با کمک ترجمه کنید
سفارش ترجمه مقاله و کتاب - شروع کنید

95/12/18 - با استفاده از افزونه دانلود فایرفاکس و کروم٬ چکیده مقالات به صورت خودکار تشخیص داده شده و دکمه دانلود فری‌پیپر در صفحه چکیده نمایش داده می شود.