MultiLangBench: тест SQLite і міграція COBOL — різні задачі
OpenAI оприлюднила тест програмування двадцятьма мовами. Розбираємо, як він перевіряє базу даних і чому його бал не доводить готовності до міграції COBOL.
OpenAI 19 жовтня представила MultiLangBench — перевірку, у якій модель має написати сумісний із SQLite рушій однією з двадцяти мов. У тому самому повідомленні компанія описує інший тест: перенесення готових COBOL-програм зі збереженням їхньої поведінки. Це різні завдання й різні результати.
У відкритому репозиторії описано перевірку через файл бази даних. Програма виконує запит, а еталонний SQLite 3.40.1 читає змінену базу й порівнює результат із очікуваним. README рекомендує підмножину з 272 тестів; повний набір можна запускати окремо. Це не встановлює, яку саме підмножину використано для кожного оприлюдненого бала.
Ми прочитали один конкретний тест: запит створює дві таблиці й записує рядок. Перевірка читає цей рядок, кількість записів другої таблиці та наявність іменованого індексу. Це аудит файлів тесту, не запуск моделі чи незалежне відтворення її бала.
Окрему міграцію COBOL OpenAI оцінює прихованими тестами: потрібен побайтовий збіг видимих результатів, причому мають пройти всі перевірки. Отже, частка пройдених SQL-тестів не є часткою успішно перенесених виробничих систем. Для реального проєкту постачальник також вимагає експертної перевірки бізнес-правил і залежностей.