Глубокий семантический анализ: роль текстов в ранжировании в эпоху ИИ

Нередко специалисты по поисковой оптимизации задаются вопросом: сохраняют ли значимость текстовые факторы ранжирования на фоне массовых накруток поведенческих метрик. Практика доказывает, что поисковые алгоритмы продолжают опираться на глубокий семантический анализ. Ниже представлена техническая выжимка о принципах работы нейросетей с текстовыми данными, основанная на исследованиях кандидата технических наук и разработчика ML-архитектур Владислава Папернюка.

Как работают текстовые факторы ранжирования в 2024-2025 гг.

Ядро современного алгоритма ранжирования Яндекса — модель YATI (Yet Another Transformer with Improvements). Данная система функционирует на базе архитектуры нейросетей-трансформеров. Она анализирует не просто наличие ключей, а нелинейные смысловые связи в тексте, что напрямую повышает релевантность поисковой выдачи. Первичное обучение YATI проводилось на массивах документов с применением метода маскирования, что делает качественный текст фундаментальным фактором ранжирования.

Типовой цикл машинного текстового анализа состоит из четырех строгих этапов:

1. Сбор исходного текста.
2. Оцифровка (векторизация) данных.
3. Математическая обработка числовых значений.
4. Вывод итоговых метрик.

Для проведения глубокого семантического анализа оптимизатору требуются конкретные массивы данных:

• Текстовые выборки. Источниками служат документы конкурентов из топ-10, поисковые сниппеты или специализированные академические коллекции (например, база «Национальный корпус русского языка»).
• Метрики оцифровки. Нейросети преобразуют текст в математические объекты: векторы One-Hot Encoding (бинарное представление токена вида 0,0,1), матрицы для обработки последовательностей и эмбеддинги (числовые многомерные векторы, кодирующие смысл и взаимосвязи).
• Частотные показатели. Учитывается TF (Term Frequency — частотность термина в рамках одного документа) и IDF (Inverse Document Frequency — обратная частотность термина относительно всей базы документов).
• Математические формулы. Применяются количественные соотношения и метрика TF-IDF, оценивающая статистическую значимость лексемы.

Результатом правильного парсинга и анализа становятся готовые матрицы ключевых фраз, технические задания для копирайтеров и спецификации для постраничного внедрения текстовых факторов.

Как нейросети анализируют тексты

В основе обучения языковых моделей (LLM) лежит алгоритм маскирования. При обработке входящего текста система опирается на служебные токены: CLS обозначает начало конструкции, а SEP — ее алгоритмическое завершение.

В процессе обучения в модель подается предложение, где программно скрыты (замаскированы) отдельные слова. Нейросеть должна предиктивно восстановить пропущенный токен. Если генерация верна, веса модели получают положительное подкрепление; при ошибке система штрафуется. Таким образом алгоритм усваивает синтаксические паттерны и правила построения связей.

Параллельно происходит оцифровка: токен конвертируется в эмбеддинг. Если визуализировать эту матрицу в многомерной системе координат, векторы семантически близких понятий (например, «кот» и «Барсик») будут сгруппированы в одном кластере. Векторы терминов из других ниш (например, «инжектор» — механический узел системы впрыска топлива в ДВС) получат перпендикулярное или противоположное направление.

Для измерения математической дистанции между векторами применяется параметр косинусной близости (Cosine Similarity, CS). Он отражает степень смыслового родства ключей. На практике вычислять значения CS можно через специализированные среды, такие как сервис RusVectors.

Как работают трансформеры в поиске

Архитектура классического трансформера базируется на трех функциональных узлах:

• использование эмбеддингов (векторных баз);
• механизм Positional Encoding (позиционное кодирование);
• механизм Attention (пространственное внимание).

Positional Encoding интегрирует информацию о положении токена в предложении непосредственно в его цифровой код. Разберем механику на примере ниши пластиковых окон (ПВХ-конструкций со стеклопакетами для энергоэффективного остекления).

Сравним две фразы с ключом «пластиковые окна»:

• Прямой порядок: «Покупайте пластиковые окна в компании Оконика со скидкой в Москве недорого с установкой и бесплатной гарантией». Косинусная близость (CS) = 0,8.
• Инверсия: «В компании Оконика покупайте недорого со скидкой и установкой с бесплатной гарантией пластиковые окна в Москве». Показатель CS падает до 0,73.
  Перемещение токенов внутри структуры радикально искажает математическую релевантность всего пассажа.

Механизм Attention фиксирует сильные парные связи между словами вне зависимости от их удаленности друг от друга. Например, алгоритм видит жесткую математическую сцепку между токеном «Ферстаппен» (пилот Формулы-1) и триграммой «быстро едет в автомобиле», или между лексемами «Макрон» и «Елисейский дворец». Именно благодаря этому механизму Google и Яндекс классифицируют фактический смысл статей.

Как использовать LLM-модели для улучшения релевантности текстов: исследования

Позиция слова зашита в эмбеддинг на уровне кода, а механизм Attention жестко контролирует связи. Следовательно, в языке присутствуют семантически релевантные слова (SRW), интеграция которых программно усиливает привязку документа к поисковому ключу. Важно: SRW отличаются от LSI-семантики (LSI задают лишь общую тематику, а SRW повышают точечную релевантность).

Эксперимент №1: как находить связки слов, которые улучшат релевантность текста ключу

Сбор семантически релевантных n-грамм (фраз, состоящих из n-числа слов) осуществляется двумя базовыми методами: парсингом широких коллекций текстов (генерирует высокий процент информационного шума) или выгрузкой из сниппетов и текстов в топе выдачи.

Второй подход автоматически отфильтровывает мусорные фразы. Собранные n-граммы затем проходят сверку с маркерным запросом по показателю косинусной близости.

Математика процесса такова: близкая по смыслу семантика показывает CS на уровне 0,7 (погрешность не превышает 0,1%). Нейтральная лексика фиксируется на отметке 0,5. При внедрении маркерного ключа в нейтральную конструкцию ее CS искусственно возрастает с 0,4 до 0,7+. Универсального порога отсечения не выявлено — значение CS необходимо калибровать под конкретную коммерческую нишу.

Аналитика показала, что шумовые предложения (с пиковым CS около 0,62) вносят критическую погрешность в расчеты. После программного удаления нерелевантных участков максимальная косинусная близость целевых кластеров выросла до 0,84.

Интересный факт: внедрение профильного термина «стеклопакет» (герметичный оптический блок для оконных систем) дало меньший прирост CS, чем добавление нейтрального слова «интерьер». Вывод: угадать нужный SRW-ключ без предварительного машинного расчета невозможно.

Эксперимент №2: какая LLM лучше находит SRW

Качество расчета семантической близости напрямую зависит от архитектуры языковой модели. Для тестирования эффективности применялись четыре популярные нейросети:

• textEmbedding от Яндекс;
• Gecko-001 от Google;
• Ada от ChatGPT;
• GigaChatEmbeddings от SberAI.

В рамках исследования алгоритмы обработали 253 текстовые пары по трем маркерным запросам. Результаты прошли перекрестную асессорскую оценку квалифицированными SEO-специалистами.

Выводы

По результатам экспериментов сформирован ряд технических постулатов:

• Текстовые факторы остаются базисом для архитектуры трансформеров и прямо влияют на итоговое ранжирование.
• Качественную SRW-семантику можно выгружать напрямую из интерфейсов современных LLM-моделей.
• Интеграция SRW-фраз гарантированно увеличивает косинусную близость связки «ключ — текст».
• Прямой математической зависимости между значениями CS пары «ключ/SRW» и пары «ключ/текст» не зафиксировано.
• Дистанция между ключом и SRW-токеном внутри одного предложения не оказывает влияния на итоговый показатель косинусной близости.
• Нерелевантный текстовый обвес (слева и справа от ключа) критически снижает общую CS пассажа.
• Абсолютных пороговых значений для SRW-фраз не существует — метрика строго индивидуальна.
• В русскоязычном сегменте наиболее точные и релевантные слова генерируют модели textEmbedding (Яндекс) и GigaChat (Сбер). Архитектура LLM от Google показала самые низкие результаты.