Модели языковой программы экзамена по английскому языку университета на Тайване

A Valid and Reliable English Proficiency Exam: 
A Model from a University Language Program in Taiwan

James M. Sims (Associate Professor/Director)

Foreign Language Center, National Cheng Kung University & Airiti Press Inc.

Оценка знания языка является не только важной задачей, но также деликатный вопрос. Это особенно актуально в Тайване и в Азии, где тестирование прочно интегрировалось в культуру. Есть несколько серийно выпускаемых экзаменов, существующих на рынке сегодня, на знание языка. Но, эти экзамены являются дорогостоящими, предложены только в ограниченный период времени, и может не подходить для потребностей некоторых языковых программ. В результате многие университеты находятся в процессе создания собственного языкового экзамена. Однако, есть несколько моделей для учебных заведений, которым необходимо следовать при создании собственного экзамены на знание.

В данной статье представлены шаги в университете на Тайване затем, чтобы создать английский экзамен с высокой надежностью, соответствующими действительности и сильной корреляции с тестом английского как иностранного языка (TOEFL). Этот документ включает в себя шесть процедур, используемых для развития языкового экзамена: (1) Определение целей тестирования, (2) Разработка тестовой спецификации, (3) Конструирование тестовых заданий, (4) Оценки и пересмотр тестовых заданий, (5), Определяющее процедуры скоринга, и (6) Выполнение действия (содержание, и одновременно создание) и надежность (splithalf и Cronbach’s alpha) исследований. Наконец, документ завершается обсуждение изменений в технических требованиях к испытательным лучшим рефлекторным изменениями в способности нынешних студентов университета на Тайване. Предполагается, что этот документ будет служить образцом для других школ, которые хотят создать свой собственный языковой экзамен.

Ключевые слова: тест на знание языка; язык программы; создание языка теста; размещение экзамена

1. Введение

Оценка знания языка является не только важной задачей, но и деликатный вопрос. Это особенно актуально в Тайване и в Азии, где тестирование прочно въелась в культуру (Cheng, 2005; Choi, 2008; Pan, 2013; Qi, 2007; Shohamy 2001, Watanabe, 2004). По мнению Pan (2014), в попытке улучшить способности студентов и их глобальная конкурентоспособность на рынке, во многих азиатских странах теперь требуют, чтобы их студенты, чтобы достичь определенного уровня или для того, чтобы выпускник ориентировался в тестах на знание английского языка.  Чтобы не остаться позади и при поддержке Министерства образования, большинство университетов на Тайване сейчас требуют от своих студентов прохождения определенных языковых экзаменов, таких как общие знания английского языка тест (GEPT) или тест по английскому для международного общения (TOEIC) для того, чтобы выпускник (Pan, 2013; Roever & Pan, 2008; Tsai & Tsou, 2009). В качестве средства, чтобы помочь студентам, которые не достигли требуемого порога на эти экзамены, университеты предоставляют “support/alternative/complementary measures” (“поддержка/альтернативных/дополнительных мер”) (Pan, 2014), чтобы помочь студентам выполнять их требования изучая язык. Эти альтернативные методы включают как занятия и внутренним аттестационных экзаменов.

В дополнение к playing a gate-keeping role (роль в игре врата учета), общее экзамены используются в качестве размещению тестов с целью размещения студентов на соответствующие уровни и разделы языка, учебный план или программу (Alderson, Clapham, & Wall, 1995; Brown, 2004; Hughes, 2003). Несколько более спорным являются экзамены на знание использованы в до-и после формата для оценки улучшений в общей способности учащихся использующих язык как средство оценки эффективности отдельных программ или языковых программ (Brown, 2004).

Экзамены на классность используются для многочисленных целей, и есть несколько серийно выпускаемых экзамены имеющиеся знания сегодня на рынке. Но, эти экзамены являются дорогостоящими, предложены только в ограниченный период времени, и может не подходить для потребностей некоторых программ. В результате многие университеты находятся в процессе создания собственного языкового экзамена. Однако, есть несколько моделей для учебных заведений, которым необходимо следовать при создании собственного экзамена на знание.

Целью данной работы является представление процедур, применяемых в университете для создания языковой экзамен с помощью соответствующего действия, высокой надежностью и сильной корреляции с установленным стандартизированным экзаменам. Во-первых, в статье описаны процедуры, которые были проведены, чтобы создать три раздела (грамматика, чтение и аудирование) ЕГЭ. Представленные далее шаги, которые были использованы для определения валидности и надежности оценки. Наконец, в статье анализируется обсуждение и объяснение изменений, чтобы проверить технические характеристики, чтобы лучше оценить текущую способность языка студентов университета на Тайване.

2. Обзор литературы

Нет четкого определения или соглашения о характере владения языком. Многие исследователи (Bachman & Palmer, 1996) предпочитают термин “способности” к “знанию”, потому что термин “способности” в большей степени соответствует текущему пониманию того, что конкретные языковые компоненты должны быть оценены отдельно (Brown, 2004, с. 71). Тем не менее, существует общее мнение, что оба слова состоят из различных конструкций, которые могут быть определены и измерены. Этот документ, как Bachman и Palmer (1996), поддерживает понятие языковой способности, которая состоит из отдельных компонентов, воплощенных в четырех навыков: аудирование, говорение, чтение и письмо.

McNamara (2000) предполагает интеграцию нескольких изолированных компонентов исполнительского мастерства как средство демонстрации более интегративный характер способности к иностранным языкам. Отсюда и профессионального тестирования, представленные в данной работе была построена вокруг компонентов языка (грамматика) и постановки навыков (чтение и аудирование). Кроме того, он был разработан, чтобы “измерять общие способности или навыки, в отличие от теста, который измеряет степень усвоения конкретного материала, представленного в определенный курс, учебника или программы обучения” (Henning, 1987, с. 196).

При создании данной работы автор рассмотрел следующие издания: методические рекомендации для лучшей отработки практики, чтобы обеспечить обоснованность и справедливость на международный уровень владения английским языком тест (Educational Testing Service, 2013); Международной тестовой комиссии по международным руководящим принципам для теста (International Test Commission, 2000); Международный языковой тест Ассоциации рекомендации для практика (International Language Testing Association, 2007). Многие рекомендации из этих документов были включены в модель, представленная в данной статье. К ним относятся критически важных этапов в процессе планирования и развития оценка уровня владения английским языком для тех, кто изучал английский язык в иноязычной контексте, а также разработки и оценки отдельных и построил-ответ тестовых заданий, анализ результатов, проведение исследования обоснованности. Они представлены в следующих разделах работы.

Как было рекомендовано Brown (2004), шесть процедур для развития языкового теста были заняты в создании экзамена:

(1) определить цель тестирования, (2) Разработка спецификации теста (3) сконструировать тестовые задания, (4) оценки и пересмотра тестовых заданий, (5) определение процедур оценки, и (6) проанализировать обоснованность и достоверность исследования.

3. Создание Экзамена

3.1 Определение цели

На знание языка экзамен был создан, чтобы служить трем целям. Первая цель была, чтобы разместить студентов на разных уровнях начальный курс английского для студентов непрофильных специальностей (FENM) классы на основе их способности языка и определить, какие студенты могут претендовать на отказ от FENM. Второй целью было создать диагностический инструмент для того чтобы помочь определить слабые и сильные стороны студентов. Как указывает Brown (2004), кроме того, предлагая информацию, чем просто обозначение уровня конечно, хорошо разработанный тест может также служить в диагностических целях. Третья цель оценить эффективность программы FENM, используя его в до и после анализа формата для измерения улучшения способности учащихся язык после одного учебного года обучения. Координационный Комитет по программе и Совет отдела решил, что общий английский экзамен из трех конструктов (грамматика, чтение и аудирование) смог достичь поставленных целей.

Для того, чтобы достичь этих целей, необходимо учитывать два фактора время. Самым большим фактором было то, что результаты экзаменов, сданных около 3600 студентов должны рассчитываться в очень короткий промежуток времени. Поворот-вокруг времени между студентов, сдающих экзамен и их первый класс может быть менее двух дней. Во-вторых, только в 70-минутный период при ориентации новичка, отведено на экзамен.

С этими двумя факторами времени, было решено создать несколькими вариантами экзамен состоит из 60 вопросов. Каждый вопрос имел четыре вероятных варианта, но только один правильный ответ. Многовариантный Формат был выбран потому, что баллы могут быть быстро рассчитывается с помощью компьютерных карт на листах ответов. Как заявил Bailey (1998), многовариантные тесты быстро, легко, экономично результат, и может быть объективно забили. Чтобы отражать ее основное назначение, экзамен был назначен новый экзамен New English Placement Exam (NEPE).

3.2 Конструкция спецификации теста

В NEPE строится на оценке трех конструктов: Грамматика, чтение и аудирование. Раздел Грамматика (20%) состоит из двух пунктов с 10 вопросами в каждом при в общей сложности 20 очков. В разделе чтение (40%) состоит из двух коротких отрывков с 5 вопросов, на прохождение и прохождение по 10 вопросов, всего 40 очков. Раздел аудирование (40%) состоит из трех частей: короткие диалоги (7 вопросов), коротких отрывков (7 вопросов), и соответствующих ответов (6 вопросов).

Следующие руководящие принципы были использованы в конструкции множественного выбора элементов: (1) каждый элемент измеряется конкретной цели; (2) как вопрос и дистракторов были высказаны просто и непосредственно; (3) предполагаемый ответ был единственно правильным ответом; и (4) Ответ и дистракторы были лексически и грамматически правильно, в параллельной грамматической структуры (т. е. либо пары целых предложений или пары фразеологических форм), и были попарно одинаковой длины, без выбора быть значительно дольше или короче, чем другие.

Раздел 3.2.1 Грамматика

Хьюз (2003) подчеркивает важность компонента грамматики в экзамене для студентов место в соответствующем классе. Кроме того, знание грамматической способности учащихся-это полезно для определения того, какие существуют пробелы в их грамматического справочника. В разделе грамматика NEPE был конструирован для того чтобы измерить способность студента распознавать язык, который подходит для стандартного письменного английского языка. С учетом этого, в разделе грамматика NEPE сфокусирован на правильном глагола, субъект-глагол соглашения, прилагательные, сравнения, граф и не граф существительные, объект местоимения, притяжательные местоимения, относительные придаточные предложения, союзы и страдательном залоге. Эти грамматики были признаны недостаточными, чтобы дать адекватное разделение между оценками грамматики, так что студенты могут быть размещены в соответствующих уровня и слабые места могут быть определены.

Два раздела в проходах с несколькими вариантами ответов, а также слов, фраз и грамматики, чтобы быть проверены был выбран не случайно, но были основаны на лингвистических критериях, как полагают Шапель и Авраам (1990). Темы cloze в проходы были общего характера считаются известными для всех тайваньских школьников, так что никакой особой группы будет иметь преимущество. Каждый проход был около 200 слов в длину с одной cloze в пустую в каждом предложении (около десяти слов друг от друга). Выбранные отрывки не требует глубокого понимания содержания проход так, что вопросы могли бы обратить внимание на необходимый товар грамматики проводится проверка. Дистракторы были представлены в простой параллельный форматы или разные формы одних и тех же слов или глаголов.

Раздел 3.2.2 Чтение

Секция чтение состоит из двух коротких отрывков о 240-300 слова и один длинный проход 560 слов (см. приложение a для модели). Первый проход и вопросы были менее трудными, чем второй проход и вопросы, в то время как третий отрывок и вопросы были самыми трудными. Это было сделано для того, чтобы создать распределение навыков чтения, что бы отделить более опытным читателем из нижних. Проходы были: (1) ясный, понятный, и фактическом введении, простой стиль, и очень четкий, явный тезиса в конце вводного абзаца; (2) тело с единой, согласованной пунктах во главе с четкой темой предложения; и (3) однозначный вывод в последнем абзаце. Чтение отрывков, носящих пояснительный и референтный характер, как журнал или текст учебника и несколько учебных по содержанию (т. е. не разговорный или наполнен сленг и идиоматические английский). Кроме того, читая тексты были информативными, познавательными, и описательные, как полагают Алдерсон (2000). Каждый абзац с отступом и пронумерованы, с проверенными словарный запас подчеркнутым и жирным шрифтом.

Основываясь на Алдерсон (2000), конструкт “способность к чтению” считается несколько навыков, которые могут быть определены как макро-скилл вопросы и микро-скилл вопросы (коричневый, 2004; Хьюз, 2003). Термин “вопросы макро” означает предметы, предназначенные для тестирования студентов понимания текста или абзац, в то время как термин “микро-вопросы” относится к предметы, предназначенные для проверки понимания учащимися отдельных слов и предложений. Чтение отрывков из NEPE имел следующие макро-скилл вопросы: основная идея статьи, главная мысль абзаца, и умозаключения; и следующие микро-скилл вопросы: общее понимание/детали и лексики в контексте.

…

5.Результаты и рекомендации

Руководящие принципы и процедуры, представленные в настоящем документе учтены многочисленные рекомендации из публикаций сообщается в обзоре литературы за создание “общего” экзамен с основной целью экзамена. Однако, они также могут служить образцом для создания других экзаменов на знание. Например, в течение года, языковой центр, где это исследование было проведено по просьбе своего университета, чтобы создать множество “общих” экзаменов по английскому: зимний трансферный экзамен, летний MA entrance exam, экзамен, расширенные вступительные экзамены, специалистов по продвижению экзаменов и т. д. Каждый год после использования этих экзаменов они размещаются в интернете. В результате, экзамены не могут быть повторно использованы и каждый год должны быть созданы новые экзамены. Регулируя уровень сложности содержания теста, в программе нашли процедур, изложенных в данном документе, чтобы быть эффективной моделью в создании этих экзаменов.

В NEPE материал был использован в течение двух учебных лет для трех целей, для которых он был разработан. Неформальная Обратная связь от учителя (Informal feedback from teachers) заявили, что экзамен разместили ученики на соответствующих уровнях FENM. Будущие исследования необходимы, чтобы подтвердить это. На диагностическом уровне, результаты экзамена показали, что студенты имеют проблемы с вопросы вывода на чтение раздела и с определенных точек грамматики. В результате, учителя больше внимания уделяли помочь студентам понять и сделать выводы, а исходные данные из пост-тестов показывают, что эти усилия начинают приносить дивиденды. Что касается грамматики, будущие исследования необходимы, чтобы лучше выявлять эти недостатки и найти способы, чтобы помочь студентам с их. Кроме того, будущие исследования необходимы, чтобы исследовать целесообразность NEPE с целью пре — и пост — оценки программы FENM. Но, предварительные результаты первого года являются благоприятными. Эти результаты должны быть подтверждены данными из второй год (в конце текущего учебного года). В NEPE не был рассчитан на критерии общеевропейской основы для языков (cefr). Однако, следует отметить, что в исследование корреляции между NEPE и промежуточных GEPT сообщили в параллельную действительность разделе выше, 158 из 165 школьников (95.8%), который набрал 60 очков или более на NEPE прошел первый этап (аудирование и чтение) промежуточного GEPT. По данным сайта LTTC, первый этап промежуточными GEPT соответствует уровню В1 согласно cefr. Это предполагает, что учащихся, набравших 60 и выше на NEPE может быть как минимум на уровне В1 согласно cefr для прослушивания и чтения. Однако, будущие исследования должны быть проведены, чтобы лучше понять NEPE с точки зрения различных уровней согласно CEFR.

В создании NEPE не было никаких незначительных достижениях. Разработка спецификации теста необходимо определить точки должны быть проверены, а затем определить соответствующие и практические способы оценки этих элементов. Строительство пунктов был трудоемкий процесс, требующий оценки и пересмотра элементов. Однако, все это внимание к деталям строительства повлекло за собой экономически эффективным, экономия времени, точный и надежный инструмент.

Использованные источники

1. Alderson, J. C. (2000). Assessing reading. Cambridge, England: Cambridge University Pressю.
2. lderson, J. C., Clapham, C., & Wall, D. (1995). Language test construction and evaluation. Cambridge, England: Cambridge University  Press.
3. Bachman, L.  F.  (2004). Statistical analysis for  language assessment.Cambridge, England: Cambridge  University.
4. Bachman, L. F., & Palmer, A. S. (1996). Language testing in practice: Designing and Developing Useful Language test. Oxford, England: Oxford University Press.
5. Bae, J., & Bachman, L. F. (1998). A latent variable approach to listening and reading: testing factorial invariance across two groups of children in the Korean/English two-way immersion program. Language Testing, 15, 380-414.
6. Bailey, K. (1998). Learning about Language Assessment. Boston, MA: Heinle  & Heinle.
7. Brindley, G. (1998). Assessing listening abilities. Annual Review of Applied Linguistics, 18, 171-191.
8. Brown, H. D. (2004). Language assessment: Principles and classroom practices. White Plains, NY:  Pearson Education.
9. Buck, G. (2001). Assessing listening. Cambridge, England: Cambridge University Press.
10. Byrne, B. M. (1994). Structural equation modeling with EQS and EQS? Windows. Thousand Oaks, CA: Saga.
11. Chapelle, C. A., and Abraham, R. G. (1990). Cloze method: What does it make? Language Testing, 7, 121-146.
12. Cheng, L. (2005). Changing language teaching through language testing: A washback study. Cambridge, England: Cambridge University   Press.
13. Choi, I.  C.  (2008). The impact of  EFL testing on  EFL education in  Korea. Language Testing, 25, 39-62.
14. Educational Testing Service. (2013). Guidelines for best test development practices to ensure validity and fairness for international english language proficiency assessments. Retrieved from ets.org/ s/about/pdf/best_practices_ensure_validity_fairness_english_language_ assessments.pdf
15. Hale, G. A., Rock, D. A., &  Jirele, T.  (1989). Confirmatory factor analysis  of the TOEFL. TOEFL research report 32. Princeton, NJ: Educational Testing Service.
16. Henning, G. (1987). A guide to language testing. Los Angeles, CA: Newbury House.
17. Hughes, A. (2002). Testing for language teachers. Cambridge, England: Cambridge University Press.
18. International Language Testing Association. (2007). Guidelines for    practice.  Retrieved from iltaonline.com/images/pdfs/ilta_guidelines. pdf
19. International Test Commission. (2000). International guidelines for     test use. Retrieved  from intestcom.org/page/5
20. McNamara, T.  F.  (2000).  Communication  and design  of  language tests. In H.
21. G.   Widdowson (Ed.), Language testing (pp. 13-22). Oxford, England: Oxford University Press.
22. Pan, Y. C. (2013). Does teaching to the exit? A case study of teachers washback in Taiwan. Journal of Asia TEFL, 10(4),  185-213.
23. Pan, Y. C. (2014). Learner washback variability in standardized exit tests. The Electronic Journal for English as a Second Language, 18(2),   1-30.
24. Qi, L. (2007). Is testing an efficient agent for pedagogical change? Examining the intended washback of the writing task in a high-stakes English test in China. Assessment in Education, 14,  51-74.
25. Roever, C., &  Pan, Y.  C.  (2008). Test  review: GEPT:  General   English Proficiency Test. Language Testing, 25, 403-408.
26. Römhild, A. (2008). Investigating the factor structure of the ECPE across different proficiency levels. Spaan Fellow Working Papers in Second of Foreign Language Assessment, 6, 29-55.
27. Shin, S. K. (2005). Did they take the same test? Examinee language proficiency and the structure of language tests. Language Testing, 22, 31- 57.
28. Shohamy, E. (2001). The power of tests. Harlow, England: Pearson Education. Sims, J. (2008). Tunghai freshmen English for non-majors program. Tunghai Journal of Humanities, 49,  353-373.
29. Sims, J. (2012). Perceived changes in the English language ability of freshmen  at a university in Taiwan. Journal of Pan-Pacific Association of Applied Linguistics, 16(1), 33-54.
30. Sims, J., & Liu, J. (2013). Two decades of changes in the English ability of freshmen at a university in Taiwan. Hwa Kang English Journal, 19, 23-  51.
31. Song, M. Y. (2008). Do divisible subskills exist in second language (L2) comprehension? A structural  equation  modeling  approach. Language Testing, 25, 435-464.
32. Tomblin, J.  B.,  &  Zhang, X.  (2006). The  dimensionality of  language ability in school-age children. Journal of Speech, Language, and Hearing Research, 49, 1193-1208.
33. Tsai, Y., & Tsou, C. H. (2009). A standardized English Language Proficiency test as the graduation benchmark: Student perspectives on its application   in higher education. Assessment in Education: Principles, Policy & Practice, 16, 319-330.
34. Watanabe, Y. (2004). Methodology in washback studies. In L. Cheng, Y. Watanabe, & A. Curtis (Eds.), Washback in language testing: Research contexts and methods (pp. 19-36). Mahwah, NJ:  Erlbaum.

Полный текст публикации (англ.). Формат pdf