Обмислете следния сценарий.

смята

Записали сте се в масовия отворен онлайн курс (MOOC), предлаган от световноизвестния университет.

След четири седмици солидна работа завършихте първата си работа и седнете, за да изпратите есе. Във второто от есетата, което е представено за класификация, резултатът ви изглежда обявява, че есето ви е по-малко от звездно усилие.

Но есето може да не е било видяно от хората, а вместо това е оценено изключително от компютърна система, сравняваща есето с извадка от есета в база данни.

EdX, доставчик на MOOC с нестопанска цел, основан от Харвардския университет и Масачузетския технологичен институт, въведе възможност за автоматизирана класификация на есета при актуализации на софтуера по-рано тази година.

Но трябва ли да се използват автоматизирани системи за класификация за есета? И колко добре са тези системи?

MOOC явления

Изобилието около MOOC достигна треската на терена миналата година. Първоначално MOOC са ни донесени от престижни американски университети - които предлагат същото съдържание, за което са платили студентите, безплатно за всички.

Австралийските университети скоро се качиха и бързо последваха вътрешните платформи MOOC.

Австралийските училища и университети в продължение на много години използват автоматизирани системи за оценяване за множество и истински тестове.

Но edX направи крачка по-напред с технологията за изкуствен интелект към есетата - противоречива стъпка, като се има предвид, че този подход все още не е предприет.

Президентът на EdX Анант Агарвал каза пред New York Times този месец, че „софтуерът за незабавна оценка би бил полезен педагогически инструмент, който ще позволи на учениците да правят тестове и да пишат есета отново и отново и да подобрят качеството на отговорите си. Технологиите за изкуствен интелект за оценяване на есета имаха „различни предимства пред традиционната система в класната стая, където учениците често чакат дни или седмици за оценки“.

Роботни нивелири

Автоматизирани системи за класификация, които оценяват писмените отговори, съществуват от 60-те години на миналия век, когато са въведени първите мейнфрейм компютри.

The New York Times съобщава, че четири щати в САЩ (Луизиана, Северна Дакота, Юта и Западна Вирджиния) сега използват автоматизирани системи за оценяване на есета в гимназиите, а в някои ситуации софтуерът се използва като резервно копие, за да осигури контрол на човешките оценители.

Автоматизираното оценяване на есе се основава на система, която е обучена с набор от примери за есета, които са били ръчно оценени. След това те ще се учат от примери за есета и резултати, предоставени за други ученически есета и ще включват анализ на показатели на фрази, ключови думи, изречения и конструкция на абзаци.

Автоматизираните системи за класификация на анализи могат да бъдат прецизирани, за да накарат хората да оценяват подмножество от изпратени есета. Това обаче ограничава способността на автоматизираната система за класификация да предоставя незабавни резултати и обратна връзка.

След това технологията за изкуствен интелект може да влезе в процеса, за да направи процеса по-усъвършенстван, използвайки знания, получени от есета, маркирани от човешки същества.

Може ли компютър наистина да оцени есе?

Използването на технологии за изкуствен интелект в автоматизирани системи за класификация обикновено не се приема. И неотдавнашните стъпки на организациите за онлайн образование за използване на технологии за изкуствен интелект за тестване на високи залози предизвикаха загриженост сред академичните среди.

Този интерес завърши с онлайн петиция срещу машинната оценка на есета, стартирана тази година от група заинтересовани учени и изследователи. До момента са събрани над 3600 подписа, включително от високопоставени интелектуалци като Ноам Чомски.

В изявление на уебсайта на петицията се казва, че „компютрите не могат да четат“. Те не могат да измерват основите на ефективната писмена комуникация: точност, разсъждения, адекватност на доказателствата, здрав разум, етично отношение, убедителен аргумент, значима организация, яснота и правдивост, наред с други неща.

Лес Перелман, изследовател в MIT, е много критичен към автоматизираните системи за класификация и е критикувал най-съвременните технологии, използващи технология за изкуствен интелект в автоматизирани системи за класификация на анализите.

Перелман заявява, че „сравнението на ефективността на човешките грейдери, които се съчетават помежду си, с машини, които съответстват на диференциран резултат, все още предполага някои признаци, че оценителите могат да бъдат значително по-надеждни от машините.

През юни 2012 г. Перелман изпрати безсмислено есе до Службата за тестване на образованието в САЩ (ETS), наречено e-Rater, и получи възможно най-високата оценка.

ETS използва софтуер e-Rater в сътрудничество с оценители на правата на човека, за да класифицира изпити за дипломиране (GRE) и тестове по английски език (TOEFL) за практически тестове.

И двата теста са високи - първият взема решение за прием в американски аспирантури, а вторият - за съдбата на не-англоговорящи, които искат да учат в американски университети.

Тестови времена

Австралийските университети могат да бързат да приемат MOOC, за да пропуснат важни дискусии за това кои форми на оценяване са приемливи и как да гарантират, че резултатите от обучението са валидни.

Централната стойност на стойностите на MOOCs като педагогически инструмент е методът, използван за оценка на участниците в курса.

Технологиите за изкуствен интелект напредват бързо, но достигнаха точка, в която автоматизирани системи за оценяване могат да заменят академичните учители?

Моля, кажете ни какво мислите - имаме ли нужда от истински живи хора, които да оценяват есета или смятате, че компютрите могат да си вършат работата също толкова добре? Оставете вашите мисли в коментарите по-долу.