Статья: СОВРЕМЕННЫЕ МЕТОДЫ ОБРАБОТКИ ДОКУМЕНТОВ ДЛЯ РАСЧЕТА БИРЖЕВЫХ ИНДИКАТОРОВ (2025)

Читать онлайн

В данной статье рассматриваются современные методы экстраполяции предобученных трансформеров, направленные на повышение их способности обрабатывать длинные, а также короткие текстовые последовательности на русском языке в финансовой сфере. Особое внимание уделяется задаче классификации текстов, отражающих ожидания брокерских аналитиков относительно движения рынка (ожидание роста, падения либо неопределенности изменения). Для решения данной задачи исследуется применение облегченных языковых моделей ruBERT-tiny1 и ruBERT-tiny2, адаптированных для эффективной работы с большим объемом входных данных при сохранении качества предсказаний. В работе анализируются различные подходы к расширению контекстного окна моделей, включая методы экстраполяции, а также рассматривается влияние стратегий токенизации, векторизации и эмбеддингов на итоговые результаты классификации. Дополнительно обсуждаются особенности применения трансформеров в условиях повышенной волатильности рынка и изменяющихся новостных потоков, что позволяет глубже оценить устойчивость предлагаемых решений. Кроме того, предлагается и обсуждается формула расчета опережающего индикатора для биржевых рынков, демонстрирующая практическую значимость использования трансформерных моделей в анализе финансовых текстов и формировании аналитических метрик. Представленные результаты подчеркивают перспективность применения компактных трансформеров в задачах предиктивной финансовой аналитики. Пул брокеров образует выборку мнений в виде текста с определенным смыслом, последовательность слов позволяет оценивать возможные ожидания на финансовом рынке совершенно нелинейным методом. Решение задачи обработки длинных последовательностей токенов актуально, конкретного универсального метода решения данной проблемы нет. Одним из вариантов решения задачи обработки естественного языка NLP на практике является ряд предобученных языковых моделей. Применение предобученных языковых моделей позволяет решать различные задачи классификации, исследуя тексты различных контекстов. В рамках исследования применяется метод экстраполяции предобученных трансформеров для изучения точности классификации и времени обучения, в зависимости от количества токенов в контекстном окне модели. Полученные данные могут быть использованы для дальнейших исследований и построения математической модели расчета опережающих индикаторов на рынке.

Ключевые фразы: токенизация, ТОКЕНЫ, языковые модели, эсктраполяция, ПОСЛЕДОВАТЕЛЬНОСТЬ, ВЕКТОРИЗАЦИЯ, эмбеддинги
Автор (ы): Болтачев Эльдар Филаридович (Boltachev E. F.), Тюляков Александр Игоревич (Tyulyakov A. I.)
Журнал: ЦИФРОВЫЕ РЕШЕНИЯ И ТЕХНОЛОГИИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

Предпросмотр статьи

Идентификаторы и классификаторы

SCI
Информатика
УДК
001. Наука в целом. Науковедение. Организация умственного труда
Для цитирования:
БОЛТАЧЕВ Э. Ф., ТЮЛЯКОВ А. И. СОВРЕМЕННЫЕ МЕТОДЫ ОБРАБОТКИ ДОКУМЕНТОВ ДЛЯ РАСЧЕТА БИРЖЕВЫХ ИНДИКАТОРОВ // ЦИФРОВЫЕ РЕШЕНИЯ И ТЕХНОЛОГИИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА. 2025. Т. 1 № 4
Текстовый фрагмент статьи
Будьте первым, кто начнет обсуждение

Если у вас возникли вопросы или появились предложения по содержанию статьи, пожалуйста, направляйте их в рамках данной темы.