Агент каже «виправлено»: як перевірити саме виправлення
Висновок із розбору Jepsen: відділяйте заяву розробника, точну версію програми, результат перевірки та надійність самого тесту.
Повідомлення агента про успіх — це початок перевірки. Щоб прийняти зміну, потрібно відтворити помилку на попередній версії й показати, що той самий сценарій проходить після виправлення. Інакше можна перевірити інший код, інше середовище або вже змінений тест.
Kyle Kingsbury у розборі ParticleDB від 31 жовтня описує випадки, коли заяви про виправлення не витримували перевірки. Дослідження фінансував Orkes, виробник системи. Це досвід конкретного дослідника й продукту, а не доказ, що використання ШІ спричиняє кожну помилку.
Важливо відділити перевірені збірки від наступних заяв. Orkes повідомляє, що у версії 1.1.19 усунув виявлені проблеми. Сам факт такої заяви не означає, що Jepsen або NODVIEW повторно підтвердили кожне виправлення.
У записі про зміну збережіть чотири речі: мінімальний сценарій помилки, ідентифікатор збірки, різницю коду та результат незмінної перевірки. Якщо тест довелося змінити, поясніть чому й залиште попередній варіант для порівняння. Так інший інженер зможе перевірити висновок без довіри до пояснення агента.
Перевіряйте й сам інструмент перевірки. У репозиторії тестів Jepsen окремо зазначені відомі проблеми генератора й можливі хибні спрацювання. Невдалий тест потребує розбору; зелений індикатор теж не доводить правильність усієї системи. NODVIEW прочитав джерела, але не запускав ці тести чи ParticleDB.