Реклама

Настроить

Любовь и благодарность

Июл. 31, 2008

12:05 pm - Компьютерная обработка текстов

Самая заманчивая и сложная, но частично выполнимая,  в ИТ область, как мне кажется,  - это КОТ (см. заголовок).

Кроме того, что нужно определить язык текста, для каждого языка нужно иметь необходимый минимум справочников и алгоритмов.

Во первых - это алфавиты, их сортировка, гласные, согласные, знаки препинания и т.д.

Во-вторых - это словари для морфологии (проверка орфографии и различные формы) и поиск в них.

В-третих - это семантический и синтаксический разбор, алгоритмы и справочники:

а) определение тематики текста, построение лексически-статистической характеристики (получение часто используемых фраз и выражений),
б) для разбора частей речи и построения семантической модели - словари форм, разные тезаурусы и частотные списки синонимов, антонимов, и.т.д. (с настроенными по каждой теме весовыми коэффициентами).
б) алгоритмы поиска и преобразования:
 - дат и времени (промежутков, периодов, проверка корректности, календари праздников и выходных дней, эпохи, эры, современная история и доисторические времена, слишком большие и слишком малые величины),
- чисел (все множество чисел, алгоритмы перевода из прописи в число и обратно),
- формул (математических, физических, химических, поддержка законов природы, периодическая таблица элементов, физические константы, построение графиков и написание формул),
- кодов (числовых, например почтовых индексов, ников, имен переменных => разбор программного кода, поддержка распространенных языков программирования),
- цветов (перевод слов в значения и обратно),
- собственных имен (словари имен, фамилий, прозвищ),
- географических названий (отсюда и местоположения), а также поиск адресов, карты и списки локаций,
- составление кратких аннотаций к тексту (сниппеты).

В-четвертых - это машинный перевод, синтез речи и анализ изображений (OCR).

Но у нас в Украине пока мало из перечисленного доступно и интегрировано в одних руках...

Tags: ,
(12 комментариев | Оставить комментарий)

Реклама

Настроить