Введение 3
Глава 1. Частотные словари как один из инструментов сравнения текстов 5
Глава 2. Анализ ошибок, допущенных при автоматической генерации частотного словаря 11
Заключение 21
Список литературы 23
Читать дальше
В ходе выполнения данной работы была поставлена следующая основная цель: изучение верификация частотного словаря, составленного на основе корпуса текстов экономической тематики. Для достижения данной цели были решены следующие основные задачи:
- рассмотрены частотные словари как один из инструментов сравнения текстов;
- проведен анализ ошибок, допущенных при автоматической генерации частотного словаря.
По результатам выполнения данной работы можно сделать следующие основные задачи:
Как правило, частотные словари создаются на основе корпусов текстов: используется набор текстов, представляющих весь язык для определенной предметной области или автора, и из них извлекаются словоформы, леммы и части речи (последние извлекаются, если на теле есть морфологические отметины).
Проблемы с созданием списков частот:
- воспроизводимость (идентичны ли результаты в другом аналогичном случае),
- Повышается частота отдельных слов (частота слова в тексте может влиять на его позицию в списке частотности),
- сложность определения позиции менее употребительных слов, из-за чего невозможно их рационально расположить; Например, слово «тарабарщина» входит в 20 000 самых распространенных слов, а слово «ворчание» - за пределами первых 40 000.
Все эти проблемы связаны с тем фактом, что со статистической точки зрения язык - это большое количество редких событий (закон Ципфа), в результате чего небольшое количество слов встречается очень часто, а подавляющее большинство слов имеют очень низкую частоту. Частота слова и (наиболее распространенное слово в русском языке) примерно в десять раз выше, чем частота слова, которое, в свою очередь, встречается в 100 раз чаще, чем такие общие слова, как путешествия, возраст или мода.
Для описания скачков частоты можно использовать метафору хоббита: если в корпусе есть несколько текстов о хоббитах, это слово используется почти в каждом предложении. В результате его частота в этих текстах сравнима с частотой служебных слов, но это слово занимает невероятно высокое место в списке частот большого корпуса, содержащего такие тексты. Эти всплески частоты можно оценить с помощью коэффициента вариации: отношения стандартного отклонения к средней частоте.
Таким образом, задачи данной работы можно считать решенными, цель достигнутой.
Читать дальше
1. Алексеев П.М. Частотные словари: учебное пособие. СПб .: Изд-во Санкт-Петербурга. Университет, 2019. - 56 с.
2. Андрианов И.А., Григорьева А.Н. Эффективный поиск плагиата в программном коде для системы дистанционного программирования // В сборнике: Информатизация инженерного образования. Материалы Международной научно-практической конференции ИНФОРИНО-2016. – С. 485-488.
3. Апальков В.Г. Использование современных учебных пособий и интернет-технологий в обучении иностранным языкам // Открытое образование. 2013. № 6 (101). - С. 71-75.
4. Драгальчук Е. Англо-русский словарь компьютерных терминов. Англо-русский словарь компьютерных терминов. [Электронный ресурс]. Режим доступа: https://slovar-vocab.com/englishrussian/computer-terms-vocab.htm (дата обращения: 30.12.2020)
5. Елисеева О.Е. Создание частотного словаря словоформ средствами Microsoft Word и Excel. [Электронный ресурс]. Режим доступа: http://it.lang-study.com/sozdaniechastotnogo-slovarya-word-excel/ (дата доступа: 30.12.2020)
6. Кэрролл Дж. Б., Дэвис П., Дэвис М., Гарднер Д. Частотный словарь современного американского английского языка: зарисовки слов, словосочетания и тематические списки. Рутледж, 2018. - 368 с.
7. Лагун И. М., Лукашин О. В. Частотный словарь как инструмент повышения эффективности обучения иностранных студентов // Вестник Тульского государственного университета. Серия «Современные образовательные технологии на уроках естествознания». - 2012. - № 11. - С. 115–118.
8. Лопина Л.М. Совершенствование управления самостоятельной внеаудиторной работой студентов по иностранному языку // В сб .: Вузовская наука - Материалы XIII. Всероссийская научная конференция по региону. - 2015. - С. 324–326.
9. Лычагин М.В., Лычагин А.М., Бекарева С.В., Шевцов А.С. Опыт создания частотного словаря современной английской деловой лексики // Вестник Новосибирского государственного университета. Серия: Лингвистика и межкультурная коммуникация. - 2016. - Т. 4. № 1. - С. 103-106.
10. Оршанский С.А. Для решения олимпиадных задач при программировании формата ICM-ICPC. [Электронный ресурс]. Режим доступа: http://is.ifmo.ru/works/orshanskiy (дата обращения: 30.12.2020)
11. Пиявка Г., П. Райсон, А. Уилсон. Частота слов в письменном и устном английском: на основе Британского национального корпуса. Лондон: Лонгман, 2019. - С. 320.
12. Попов К.А. Использование частотных словарей при изучении иностранных языков URL: http://www.openclass.ru/node/6373. (Дата обращения: 30.12.2020)
13. Ржеутская С.Ю., Мальцева Т.В. Программное обеспечение для создания частотных словарей на уроках английского языка в техническом университете // В сборнике: Современные тенденции в научно-технических материалах II Международной научной конференции. Сер. «Молодой ученый». - 2013. - С. 14-16.
14. Ржеутская С.Ю., Харина М.В. Интегрированная информационная среда обучения как средство развития коммуникативных иноязычных навыков учащихся // Открытое образование. - 2016. - № 1. - С. 43–48.
15. Ржеутская С.Ю., Харина М.В. Междисциплинарное взаимодействие в интегрированной информационной образовательной среде технического вуза // Открытое образование. 2017. - № 2. - С. 21–28.
16. Семина В.В. Проблема усвоения лексического аспекта иностранного языка // Современное гуманитарное образование в социокультурном пространстве мегаполиса: сборник научных статей. Эд. А.Г. Кутузова, Л. Осечкина. Москва: МГПИ, 2011-е изд. 4. Том 2. - С. 111-116.
17. Стародубцева О.Г. Воспитание лексической иноязычной компетенции студентов неязыкового вуза в рамках междисциплинарных отношений // Научно-педагогическое обозрение. Образовательный обзор. - 2014. - № 3 (5). - С. 38-42.
18. Терентьева И.А. Частотные словари для обучения иностранным языкам. Актуальные проблемы гуманитарных и естественных наук. - 2014. - № 11-2. - С. 185-187.
19. Храброва В.Е. Развитие лексической компетенции при изучении английского языка путем интенсивной работы над текстом // Фундаментальные исследования. 2013. - № 10-13. - С. 3022-3028.
20. Шамов А.Н. Последовательное обучение лексическому языку и навыкам чтения: монография. Н. Новгород: НГЛУ им. НА. Добролюбова, 2000. - 152 с.
Читать дальше