Программисты «учат» компьютеры понимать многообразие диалектов английского языка

В течение 30 лет программисты обучали компьютеры понимать стандартный английский язык, для бесперебойной работы поисковых систем, таких как Google, и социальных сетей Facebook и Twitter. Однако, использование компьютерами и роботами только стандартного английского языка оставляет за бортом те части общества, которые используют диалекты и нестандартные вариации английского. Исследователи считают, что этот пробел становится все более и более проблематичным.

Например, в настоящий момент, когда используются только существующие методы анализа стандартного английского языка в интернете, многие фразы афроамериканского диалекта системы определяют как «не английский язык».

Метод

Brendan O'Connor, эксперт в natural language processing (NLP) сообщает, что в настоящее время в распоряжении исследователей имеется огромный массив лингвистического электронного материала, которого не было раньше, и также многие демографические группы пользуются интернетом. Поисковые системы должны понимать их запросы и находить нужные тексты.

Значительное количество текстовых материалов, которые написаны на неофициальном, и нестандартном, английском языке, находится в разделах «opinions» и переписке пользователей.

Для того, чтобы системы опознавали диалекты, используется метод сравнения этих диалектов со стандартным английским языком.

Разнообразие английского языка, которому обучают компьютеры, включает также аббревиатуру и акронимы – ими богат современный английский язык интернета.

Афроамериканский английский язык

В настоящее время группа исследователей Массачусетского университета работает над проектом, целью которого является научить Twitter опознавать и понимать слова, словосочетания и предложения из афроамериканского английского языка. Уже проведена огромная работа, и впервые была создана база данных, которая включает 59 миллионов твитов от 2, 8 миллионов пользователей. Ученые надеются, что создаваемая ими модель распознания афроамериканского английского как английского будет использоваться системой Гугл уже в следующем году.

Какой английский язык преподается в нашей школе?

В России, в школах и университетах, традиционно преподается британский английский язык на основе британских учебников и прилагающихся к ним аудио и видео материалов.

Наша онлайн школа не является исключением, но благодаря тому, что у нас преподается английский по скайпу, студенты имеют возможность выбрать преподавателя – носителя языка из любой англоязычной страны.