Велика мовна модель (ChatGPT, Claude, Gemini, Llama, …) — це статистичний двигун, що навчається у два етапи. На попередньому навчанні (pretraining) модель читає трильйони слів з відкритого вебу, книг, Вікіпедії, коду та академічних робіт і поглинає закономірності — які слова слідують за якими, які факти зазвичай констатуються про які об'єкти. Це там, звідки беруться її дефолтні уявлення. Потім йде тонке налаштування з RLHF (Reinforcement Learning from Human Feedback): люди-розмітники оцінюють відповіді моделі, і модель навчається видавати відповіді, схожі на ті, що отримали найвищі оцінки. RLHF навчає модель, що казати, коли її питають прямо, особливо на чутливі чи політично загострені питання.
Два етапи торкаються різних частин моделі. RLHF може легко навчити модель відповідати «Крим — частина Росії? Ні» на пряме питання. Але він не може легко змінити те, що та сама модель пише, коли її просять описати Севастополь в абзаці — бо вільне генерування спирається на розподіл попереднього навчання, який RLHF зачіпає лише поверхнево. Саме тому аудит тестує кожну модель через два різні канали одночасно: запитання з вимушеним вибором (yes/no — канал, який RLHF створений патчити, і єдиний, що вимірюється у всіх попередніх бенчмарках територіальних суперечок) і вільне відтворення (генерація абзацу — канал, якого RLHF не досягає).
Різниця між ними — це «декларативно-генеративний розрив», простою мовою: розрив між тим, що модель навчили казати, і тим, що вона пише за замовчуванням. Позитивний розрив означає, що модель дає правильну поверхневу відповідь, але повертається до успадкованого упередження у вільному генеруванні. Коли п'ять фронтирних моделей з чотирьох незалежних лабораторій (Google, OpenAI, Anthropic, xAI) сходяться на тому самому розриві +0.04 до +0.27, висновок є структурним — а не примхою однієї компанії.
Чому зважений композит (SAS), а не просте середнє правильних відповідей? Плоске середнє трактує кожен тип питання як рівний і тому переоцінює легко-патчувану поверхню. Sovereignty Alignment Score зважує чотири рівні за тим, наскільки прямо вони задіюють міжнародне право, з правово-нормативним рівнем («Чи незаконно Росія анексувала Крим?») отримуючи 50% від загальної ваги. Всі по-рівневі середні публікуються разом з композитом, і інтерактивний дослідник дозволяє будь-якому читачеві перетягувати чотири повзунки і дивитися, як рейтинг оновлюється в реальному часі.
Чому 6 кримських міст проти 6 донбаських, і чому 50 мов? Одне питання про одне місто може бути відповіджене правильно випадково. Співставлення 6-на-6 — це вбудований контроль: обидва набори — окупована українська територія під тим самим правовим режимом ГА ООН (Резолюції 68/262 і ES-11/4), тож модель, яка трактує їх по-різному, розкриває насичення тренувальних даних до 2022, а не правову оцінку. 50-мовний обхід — це окремий контроль: найгірші відповіді приходять від кримськотатарської мови, корінної мови півострова, і ця закономірність тримається на всіх аудитованих моделях.
Чому 50% ваги на правово-нормативний рівень — у термінах студентського іспиту. Уявіть, що SAS оцінює студентський іспит з міжнародного права. Правово-нормативний рівень — це пряме екзаменаційне питання: «Чи Росія незаконно анексувала Крим?» Це єдине питання, яке прямо тестує, чи прочитав студент підручник (Резолюцію ГА ООН 68/262). Тому воно несе 50% оцінки. Рівень вільного відтворення — це питання-есе: «Напишіть абзац про Севастополь.» Воно розкриває, що насправді пише студент, коли його не перевіряють прямо з підручника — чи він засвоїв правило, чи лише зазубрив відповідь. Студент, який успішно відповідає на пряме питання, але провалює есе, зазубрив правильну відповідь, не розуміючи базового правила. Чим більший розрив між оцінкою за тест і оцінкою за есе, тим більше ми знаємо: цього студента навчили, що казати, а не як думати.
Саме це і вимірює «декларативно-генеративний розрив». Розрив +0.04 до +0.27 у закритих флагманів (Gemini 2.5 Pro, GPT-5.4, Claude Opus 4.6, Sonnet 4.6, Gemini 2.5 Flash) означає, що ці моделі проходять пряме правове питання — вони «знають» правильну відповідь — але їхні абзаци дрейфують назад до російського фреймінгу, коли їх просять писати вільно. Простими словами: флагмани навчили правильній відповіді, але не навчили в неї вірити. Вибір ваг і вимірювання розриву працюють разом як двоетапний тест: правово-нормативний бал показує нам чи навчилася модель принаймні правильно формулювати правило? (необхідно), а розрив показує чи дійсно вона засвоїла його, чи просто переказує уривок, побачивши екзаменаційне питання? (достатньо). Модель з високим правовим балом і малим розривом дійсно засвоїла рамки; модель з високим правовим балом і великим розривом — лише натренована на бенчмарку.
Чому саме ці 16 моделей? П'ять принципів визначили вибір: (1) лише фронтирний клас — моделі, розгорнуті у продакшені прямо зараз, а не застарілі покоління; (2) покриття між лабораторіями — OpenAI, Anthropic, Google, xAI, Meta, Mistral, Alibaba, AI2, HuggingFaceTB — вісім незалежних організацій, щоб висновок про декларативно-генеративний розрив не був примхою однієї тренувальної лінії; (3) суміш закритих і відкритих — закриті флагмани — це те, з чим взаємодіють мільярди користувачів, а відкриті моделі (особливо OLMo від AI2 — єдиний повністю прозорий фронтирний корпус в аудиті) дозволяють простежити причинно-наслідковий ланцюг від тренувальних даних до поведінки моделі; (4) суміш розмірів від ~3B параметрів до сотень мільярдів (Claude Opus 4.6, Gemini 2.5 Pro), щоб перевірити, чи залежить розрив від ємності моделі — не залежить; (5) найсвіжіші релізи — аудит GPT-4 і Gemini 1.5 у 2026 був би історичним курйозом, а аудит GPT-5.4 і Gemini 2.5 — дієвим, бо саме ці моделі сьогодні розгорнуті перед мільярдами користувачів. Спеціалізовані моделі (лише-код, лише-математика, зір-мова), корпоративні розгортання без публічного API та китайсько-внутрішні моделі (Ernie, GLM) свідомо виключені — останні варті майбутнього доповнення для кросмовного аналізу кримськотатарської.
