Статья: РАЗРАБОТКА ГИБРИДНОГО МЕТОДА ВЕРОЯТНОСТНОГО ПОИСКА И ВЕРИФИКАЦИИ ЗАПИСЕЙ В БАЗАХ ДАННЫХ (2026)

Читать онлайн

Цель исследования – разработка гибридного метода вероятностного поиска и верификации записей в реляционных базах данных, позволяющего сопоставлять строковые атрибуты, содержащие опечатки, сокращения и разночтения. Методология базируется на вычислении нормированного расстояния Левенштейна для каждого атрибута, формировании байесовской оценки апостериорной вероятности совпадения записи из внешнего источника с эталонной записью и выборе кандидата, максимизирующего эту вероятность. Для повышения производительности применяются C-расширения (библиотека rapidfuzz), ограничение числа кандидатов топ-20 наиболее похожих записей по ФИО, векторизация операций с помощью pandas и предварительная нормализация строк. Ключевые результаты: разработанный метод демонстрирует устойчивость к искажениям входных данных, учитывает одновременно несколько атрибутов (ФИО, идентификаторы, наименования) и не требует размеченной обучающей выборки, в отличие от классического вероятностного подхода Fellegi–Sunter. Экспериментальная проверка на эталонной базе из 250 тысяч записей и тестовой выборке из 159 искаженных записей показала время обработки 62 секунды на стандартном оборудовании. Вывод: предложенный гибридный метод сочетает гибкость нечеткого сравнения строк и вероятностную оценку, что делает его эффективным для задач интеграции и очистки данных в корпоративных информационных системах.

Ключевые фразы: вероятностный поиск, нечеткое сравнение строк, расстояние левенштейна, разрешение сущностей, связывание записей, байесовская оценка, rapidfuzz, PANDAS, очистка данных, интеграция данных
Автор (ы): ГИЛЬМУТДИНОВ Т. А. (GILMUTDINOV T. A.), ПОДЛЕСНЫХ Д. А. (PODLESNYH D. A.)
Журнал: ЦИФРОВАЯ ЭКОНОМИКА

Предпросмотр статьи

Идентификаторы и классификаторы

SCI
Социология
УДК
004.6. Данные
Для цитирования:
ГИЛЬМУТДИНОВ Т. А., ПОДЛЕСНЫХ Д. А. РАЗРАБОТКА ГИБРИДНОГО МЕТОДА ВЕРОЯТНОСТНОГО ПОИСКА И ВЕРИФИКАЦИИ ЗАПИСЕЙ В БАЗАХ ДАННЫХ // ЦИФРОВАЯ ЭКОНОМИКА. 2026. № 4 (39)
Текстовый фрагмент статьи
Моя история просмотров (10)
Будьте первым, кто начнет обсуждение

Если у вас возникли вопросы или появились предложения по содержанию статьи, пожалуйста, направляйте их в рамках данной темы.