Представлен анализ методологии бенчмаркинга и проблематики его применения для оценки эффективности больших языковых моделей (БЯМ). Этот метод получил широкое распространение в различных научных областях — как гуманитарных, так и технических. Отмечено, что в сфере машинного обучения бенчмаркинг применяется давно и считается основным способом определения качества моделей и оценки их способностей решать разноплановые задачи, однако отсутствует строгая методология создания бенчмарков, организации процесса тестирования и интерпретации полученных результатов. Показано, что бенчмаркинг представляет собой многоаспектный и комплексный процесс, подверженный влиянию социокультурной, экономической и политической среды. Изучение данной проблематики имеет высокую актуальность как для разработки БЯМ, так и для всей области искусственного интеллекта, поскольку корректная методология оценки позволит минимизировать риски интеграции моделей в различные сферы человеческой деятельности. Рассмотрены отдельные этапы становления и развития бенчмаркинга. Особое внимание уделено критическому анализу современных методов оценки, их ограничениям и потенциальным искажениям при определении реальных возможностей интеллектуальных систем. Сформулированы концептуальные аспекты для философского осмысления бенчмаркинга и намечены направления дальнейших исследований, что составляет научную новизну данной работы.
Идентификаторы и классификаторы
- SCI
- Нанотехнология
Успех больших языковых моделей (БЯМ) в задачах обработки естественного языка, а также развитие в сторону мультимодальности, т. е. возможности работы с различными видами данных, привели к интенсивному внедрению их в различные процессы, в том числе в бизнесе и государстве. Инструменты ИИ внедряют в сферы, которые прежде могли считаться не подлежащими автоматизации, например, в науку [1]. Помимо выполнения конкретных задач, данные системы могут играть роль личного ассистента, предлагая различную помощь. Так, к современным БЯМ, которые не имеют узкой специализации, любой человек может обратиться, например, с описанием симптомов своего заболевания с целью получить определенные рекомендации.
Если у вас возникли вопросы или появились предложения по содержанию статьи, пожалуйста, направляйте их в рамках данной темы.
Список литературы
1. Каримов К.С. Основные проблемы искусственного интеллекта в науке. Постсоветский материк, 2022, № 4, с. 59-65.
2. Карпенко И.И., Меринов В.Ю. Галлюцинирование генеративного искусственного интеллекта: опасности и их предотвращение. Донецкие чтения 2024: образование, наука, инновации, культура и вызовы современности: Материалы IX Международной научной конференции (Донецк, 15-17 октября 2024 г.). Т. 4: Филологические науки. Ч. 1. Донецк, Издательство ДонГУ, 2024, с. 348-350.
3. Zhou Z. Yu H., Zhang X., Xu R., Huang F., Li Y. How Alignment and Jailbreak Work: Explain LLM Safety through Intermediate Hidden States. arXiv, 2024, p. 27. URL: https://arxiv.org/abs/2406.05644 (дата обращения 01.03.2025).
4. Singh C., Inala J., Galley M., Caruana R., Gao J. Rethinking interpretability in the era of large language models. arXiv, 2024, p. 7. URL: https://arxiv.org/abs/2402.01761 (дата обращения 01.03.2025).
5. Regulation (EU) 2022/2065 of the European Parliament and of the Council of 19 October 2022 on a Single Market For Digital Services and amending Directive 2000/31/EC (Digital Services Act). URL: https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng (дата обращения 01.03.2025).
6. AAAI 2025 Presidential Panel on the Future of AI Research. URL: https://aaai.org/about-aaai/presidential-panel-on-the-future-of-ai-research/ (дата обращения 01.03.2025).
7. Turing A.M. Computing machinery and intelligence. Mind, 1950, vol. LIX, no. 236, pp. 433-460.
8. Михайлов М.А., Кокодей Т.А. Риски злонамеренного использования искусственного интеллекта и возможности их минимизации. Всероссийский криминологический журнал, 2023, № 5, с. 452-461.
9. Брежнева В.В. Бенчмаркинг в интернет-среде. Труды СПбГИК, 2006, c. 50-58.
10. Ракитский А.А., Рябко Б.Я., Фионов А.Н. Аналитический метод сравнения и оценки производительности компьютеров и вычислительных систем. ЖВТ, 2014, т. 19, № 4, c. 84-98.
11. Raji I.D., Bender E., Paullada A., Denton E., Hanna A. AI and the Everything in the Whole Wide World Benchmark. arXiv, 2021, p. 17. URL: https://arxiv.org/abs/2111.15366 (дата обращения 01.03.2025).
12. Orr W., Kang E.B. AI as a Sport: On the Competitive Epistemologies of Benchmarking. The 2024 ACM Conference on Fairness, Accountability, and Transparency. Rio de Janeiro Brazil: ACM, 2024, pp. 1875-1884.
13. Denton Е., Hanna А., Amironesei R., Smart A., Nicole H. On the genealogy of machine learning datasets: A critical history of ImageNet. Big Data & Society, 2021, vol. 8, no. 2, p. 14.
14. Chiang W.-L., Zheng L., Sheng Y., Angelopoulos A., Li T., Li D., Zhu B., Zhang H., Jordan M., Gonzalez J., Stoica I. Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference. arXiv, 2024, p. 29. URL: https://arxiv.org/abs/2403.04132 (дата обращения 01.03.2025).
15. Eriksson M., Purificato E., Noroozian A., Vinagre J., Chaslot G., Gomez E., Fernandez-Llorca D. Can We Trust AI Benchmarks? An Interdisciplinary Review of Current Issues in AI Evaluation. arXiv, 2025, p. 22. URL: https://arxiv.org/abs/2502.06559 (дата обращения 01.03.2025).
16. Liu Z. Cultural Bias in Large Language Models: A Comprehensive Analysis and Mitigation Strategies. Journal of Transcultural Communication, 2024, p. 21. 10.1515/jtc-2023-0019 (дата обращения 01.03.2025). DOI: 10.1515/jtc-2023-0019(
17. Yan T., Viberg O., Baker R.S., Kizilcec R.F. Cultural bias and cultural alignment of large language models. PNAS Nexus, 2024, vol. 3, no. 9, p. 9. 10.1093/pnasnexus/pgae346 (дата обращения 01.03.2025).
Выпуск
Другие статьи выпуска
Рассмотрена роль нейродидактики в обучении иностранным языкам студентов технических специальностей. Обоснована целесообразность внедрения нейродидактического подхода в обучение иностранным языкам в технических вузах. Основное внимание уделено персонализации, эмоциональному вовлечению и интерактивности, что позволяет развивать языковые навыки в контексте профессиональной деятельности. Приведены примеры использования принципов нейродидактики при обучении иностранным языкам в МГТУ им. Н. Э. Баумана.
Представлен анализ экзистенциального аспекта категории длительности применительно к идее служения Отечеству в русской философской традиции XX в. Показано, что в отличие от традиционного понимания патриотизма как единичного героического поступка русские мыслители (Н. А. Бердяев, И. А. Ильин, Л. И. Шестов, А. Ф. Лосев и др.) рассматривали служение Родине как каждодневный труд, «невидимый подвиг», придающий человеческой жизни глубокий смысл и духовное содержание. На основе герменевтического анализа первоисточников продемонстрировано, что категория длительности выступает фундаментальной для понимания патриотизма, поскольку связывает индивидуальное бытие человека с длительным историческим существованием народа. Отмечено, что подлинный патриотизм предполагает творческое и ответственное отношение к повседневной жизни, преодоление рутины и осознание своего труда как духовного служения. Сделаны выводы, подчеркивающие актуальность представленного подхода для современной социальной философии и нравственного воспитания личности в условиях кризиса духовных ценностей.
С позиций философии медицины выявлены основные духовные факторы сохранения и укрепления здоровья и достижения продуктивного долголетия. Применены методы абстрагирования, индукции и дедукции, анализа и синтеза, мысленного моделирования, герменевтики, сравнения. Теоретической основой исследования послужил материал разработанной психосоматической проблемы с использованием новой антропологической парадигмы «биологическое — личностное — социальное». Раскрыта важная роль в функционировании человеческого организма и в сохранении здоровья таких психических явлений и состояний, как надежда, вера, воля. Важное свойство надежды продемонстрировано фактами повышения смертности в фашистских концлагерях при потере надежды на освобождение и ее резкого снижения при ожидании близкого освобождения. Показано, что попытка со стороны стойких заключенных воодушевить людей и обрести смысл жизни всегда предполагала поиск для них какой-либо цели в будущем. Такая цель и связанное с ней обязательство обычно находились, что активировало волю и веру человека. Рассмотрена разумная и слепая вера. Формирование исцеляющей веры представлено как переход от установки «на болезнь» к установке «на здоровье» и как трансформация внутренней картины болезни во внутреннюю картину здоровья. Охарактеризована роль веры в формировании плацебо-эффекта. Раскрыт механизм возникновения синдрома ускоренного соматического износа, который наблюдается у пенсионеров, лишенных необходимой для здоровья поисковой и практической активности. Рассмотрены особенности влияния на здоровье религиозной веры. Показана ограниченность религиозной психотерапии, которая так или иначе ориентирует человека на пассивность, заставляя его ждать внешнюю помощь. Сделаны выводы о том, что использование результатов психосоматических исследований имеет большие перспективы повышения эффективности медицинских методов, укрепления здоровья населения и увеличения продолжительности его жизни. Полученные результаты могут способствовать решению демографических проблем на государственном и личностном уровне.
Показано, что структура знания любой науки имеет вертикальную организацию, состоящую из четырех основных уровней: чувственного, эмпирического, теоретического и метатеоретического. Каждый из уровней научного знания относительно независим от других уровней как по своему предмету, так и по методам фиксации и описания его содержания. Отмечено, что предметом чувственного уровня научного знания является множество чувственных моделей познаваемых наукой объектов, а предметом эмпирического уровня научного знания — множество абстрактных объектов, создаваемых мышлением путем абстрагирования и комбинаторики свойств чувственных объектов. По своему содержанию множество абстрактных объектов науки в чем-то беднее содержания ее чувственных объектов, а чем-то богаче за счет «продуктивного воображения» (Кант) и комбинаторики мышлением наблюдавшихся свойств объектов. Показано, что благодаря различию содержания чувственного и эмпирического уровней научного знания между ними не существует отношения логической выводимости одного из другого, но есть другой вид взаимосвязи, сущность которого составляет конструктивное отождествление их содержания на базе когнитивной воли, конвенций, а также консенсуса научного сообщества. В его основе лежит метод проб и ошибок. Подробно описаны структура эмпирического знания в науке, его основные единицы, методы их конструирования и функции в общем процессе научного познания.
Проведен междисциплинарный анализ эволюции методов структурирования темпоральности человеком. Показано влияние исторических событий на инженерную практику конструирования языков программирования. Выявлены трудности построения формализуемой и алгоритмизируемой модели времени, коренящиеся в различных этапах развития инструментария его измерения. Проанализированы ограничения в устройстве временных моделей, вызванные влиянием исторического развития календарных систем, шкал времени и концепции часовых зон. Учтены проблемы, связанные с календарными реформами, нерегулярностью астрономических циклов, постоянным уточнением временных шкал и изменением метрологических оснований, подвижностью границ и корректировкой правил административных часовых зон. Показано, что социокультурные факторы — региональные традиции, социальная инерция — вносят значимый вклад в проблему репрезентации времени в языках программирования наравне с физическими факторами. Рассмотрены фундаментальные методологические ограничения существующих инженерных решений, таких как Unix time и Time Zone Database. Продемонстрировано, как компромиссы и допущения в моделях времени порождают ошибки при высокоточной синхронизации и долговременном хранении данных. Новизна исследования заключается в системном сопоставлении культурно-исторической трансформации подходов к измерению времени с конкретными архитектурными вызовами при проектировании языков программирования и инженерных стандартов. Сделан вывод о невозможности построения универсальной темпоральной модели в силу фундаментального конфликта между идеальной природой математических моделей времени и непредсказуемостью социальной и физической реальности. Показано, что задача синхронизации шкалы времени с социальными и биологическими циклами на Земле неизбежно приводит к ее нерегулярности и требует постоянной ручной корректировки, исключая возможность полной алгоритмизации. Отмечено, что проблема предела формализации времени в контексте создания языков программирования нуждается в дальнейшем философско-методологическом анализе.
Рассмотрен философский и культурный феномен русской идеи как выражение национальной идентичности, своеобразия русской истории и культуры, русского национального самосознания, духовной миссии и исторического предназначения России и ее места в мировой истории и культуре. Прослежена трансформация содержания феномена русской идеи — от классических концепций русской религиозной философии (В. С. Соловьев, В. И. Иванов, Н. А. Бердяев) до современных интерпретаций. Акцентировано внимание на современном толковании данного феномена, что способствует более глубокому пониманию его сущности и значения в конкретном социокультурном контексте. Проанализировано воплощение русской идеи в художественной литературе и кинематографе и ее влияние на массовую культуру, политический дискурс и процессы формирования общественного сознания в условиях глобализации. Продемонстрирована непосредственная связь перспективы развития русской идеи с социально-экономическим прогрессом и уровнем благосостояния общества. Показано, что материальный прогресс сам по себе состояться не может, ибо он немыслим без прогресса культурно-национального, без свободного развития человека, являющегося подлинной целью социального развития.
Дан логико-семантический, социально-философский, историко-философский и культурологический анализ русских национальных особенностей эсхатологического сознания и экзистенциала в их историософском, антропологическом и ментальном измерении, особенно на конкретном примере не-классической эпохи и личности Петра I. Сделан актуальнейший вывод об оптимистическом: и православно, и модернизированно — характере этой — по сути безсмертной — эсхатологии. В пику «западнической»: убийственно — «(само)спасительности» и «гармонии».
Рассмотрены социальные и эстетические проблемы развития промышленной архитектуры Москвы. Исследована эволюция градостроительных решений, связанных с взаимным размещением промышленной и селитебной (жилой) зон. Эволюционный подход помогает установить причины преемственности и новаторства в вопросах размещения промышленности и селитьбы, в их диалектической взаимосвязи друг с другом и факторами, их породившими. Сделан вывод о целесообразности применения всех существующих видов взаимного размещения промышленных предприятий и жилых районов, что определяется многообразием производственных, социальных, градостроительных и других жизненных процессов.
Осуществлена реконструкция истории семьи советского композитора Алексея Васильевича Фере на основе изучения архивных источников, отложившихся в фондах Российского государственного архива литературы и искусств, центральных государственных архивов Санкт-Петербурга, Центрального государственного архива Самарской области, Государственного архива Пермского края, а также документальных публикаций, воспоминаний участников событий, интернет-источников и научной литературы. Воссозданы жизнь и деятельность его дядей и отца. Прослежены этапы биографии и деятельности Фере. Основное внимание уделено Петроградскому, позднее Ленинградскому периоду, когда Фере в условиях выживания стремился при составлении анкет скрыть свое социальное происхождение, что было обусловлено попыткой органично вписаться в новую для него советскую эпоху. Но мифологизация биографии не спасла композитора от репрессий: он вместе с женой был выслан в Уфу. Куйбышевский период стал вершиной творчества Фере. Приведены сведения о его педагогической деятельности в музыкальных учреждениях города Куйбышева, создании им музыкальных произведений, активном участии в деятельности областного отделения Союза композиторов СССР. Особое внимание уделено его взаимоотношениям с учениками, для которых он даже по завершении ими учебы выступал в качестве педагога и наставника. Приведены новые материалы о жене композитора Марии Федоровне Фере, выпускнице Смольного института, замечательном музыкальном педагоге, которая предпринимала попытки сохранить историческую память об одном из выдающихся представителей интеллектуальной элиты крупнейшего промышленного города Российской Федерации Куйбышева — композиторе А. В. Фере.
Рассмотрена роль великого княжества Московского в войне Псковской республики против Ливонского ордена в 1480–1481 гг. Проанализированы русские и ливонские источники, показано, что в столкновении с Ливонией великий князь Московский Иван III не только предоставил военную помощь Пскову, но и стал доминировать во внешнеполитических контактах Пскова как в преддверии войны, так и в переговорном процессе. Отмечено, что война 1480–1481 гг., предвосхитившая руссколивонские войны XVI в., способствовала окончательному формированию расстановки сил, обозначив круг противников и союзников единого Русского государства на северо-западных рубежах. Сделан акцент на том, что после завершения конфликта Москва продемонстрировала свою заинтересованность в восстановлении торговых отношений с Ливонией и рассматривала ее как вероятного союзника в столкновении с польским королем и великим князем Литовским Казимиром IV.
Статистика статьи
Статистика просмотров за 2026 год.
Издательство
- Издательство
- МГТУ им. Н.Э. Баумана
- Регион
- Россия, Москва
- Почтовый адрес
- 105005, г. Москва, вн. тер. г. муниципальный округ Басманный, ул. 2-я Бауманская, д. 5, с. 1
- Юр. адрес
- 105005, г. Москва, вн. тер. г. муниципальный округ Басманный, ул. 2-я Бауманская, д. 5, с. 1
- ФИО
- Гордин Михаил Валерьевич (Ректор)
- E-mail адрес
- bauman@bmstu.ru
- Контактный телефон
- +7 (499) 2636377
- Сайт
- https://bmstu.ru/