Ризики однієї моделі ШІ: перевірка впевненої відповіді

Що вимірює дослідження

Farquhar та ін., опублікований у журналі Nature 19 червня 2024, повідомили про середнє значення AUROC 0.790 для 30 комбінацій завдання–модель для семантичної ентропії. Метод виявляє нестійкі конфабуляції. AUROC вимірює розрізнення правильних і неправильних відповідей; це не означає, що 79% відповідей правильні. Це не було оцінювання Colay. Farquhar et al., Nature, 2024

NIST AI 600-1 визначає впевнено представлену неправдиву інформацію як явний генеративний ризик AI. Це система управління ризиками, а не таблиця лідерів чи дослідження рівня помилок продукту. NIST AI 600-1, 2024

Наша практична рекомендація полягає в тому, щоб оцінювати докази окремо від презентації. Елегантна таблиця може містити непідтримуваний вхід. Довге пояснення може пропустити виняток, який має значення для вашої ситуації. Перш ніж запитувати додатковий аналіз, позначте кілька тверджень, які можуть змінити ваші дії. Ці твердження заслуговують на чітку перевірку, навіть якщо решта відповіді виглядає переконливо.

неправильне та довільне

Farquhar et al., Nature, 2024Переклад цитати

Nature використовує цей вислів для конфабуляцій, чутливих до випадкових деталей генерації: це окремий клас помилок.

Чотири способи, як правдоподібна відповідь може бути невдалою

Почніть із фактичного рівня: чи існує цитований документ і чи правильна його дата? Далі перевірте застосовність: чи охоплює заява ваше місцезнаходження, продукт і період часу? Потім перевірте арифметику, особливо одиниці та знаменники. Нарешті, запитайте про повноту: яка реалістична альтернатива була пропущена? Відповідь може пройти три з цих перевірок і все одно не прийняти рішення.

За допомогою однієї відповіді ці запитання можуть об’єднатися в одне враження, що все виглядає розумно. Інша модель корисна, коли вона розділяє їх і визначає конкретну слабкість. Перефразування того самого висновку додає мало доказів. Відповідна одиниця прогресу – це перевірене припущення, а не черговий абзац чи чергове голосування за бажаний варіант.

Приклад роботи: правильна арифметика, неправильний діапазон

Розгляньте гіпотетичну пропозицію автоматизації підтримки. Чернетка припускає 1,200 звернень на місяць, економію чотирьох хвилин на звернення та вартість робочої години €20. Множення дає 80 годин, що відповідає €1,600. Ці вигадані числа ілюструють процес; це не кейс клієнта й не спостережувані результати Colay.

Перша відповідь рекомендує рухатися далі. Перевіряльник зауважує, що для автоматизації можуть підходити лише 40% звернень. За незмінних інших припущень оцінка стає 32 години, або €640. Початкова модель могла бездоганно порахувати, але підтримати невдале рішення через пропущене припущення про частку охоплення.

Наступним кроком є встановлення цифри 40% за фактичними квитками. Якщо він також вигаданий, рецензент просто замінив одну непідтверджену передумову іншою. Корисний синтез визначає необхідний зразок, альтернативні сценарії та поріг для продовження. Угода не усуває відсутнє спостереження; вимірювання робить.

Використання Consensus для видимості припущень

У Colay Consensus учасники обговорюють завдання, а координатор синтезує результат. Для цього прикладу користувач може явно запросити перевірку припущень, перевірку одиниць, альтернативні пояснення та невирішені запитання. Це запропоновані інструкції, а не твердження про те, що продукт автоматично надає незалежних експертів, перевірені джерела чи завершений аудит.

Надайте однакову таблицю введення та відокремте виміряні значення від оцінок. Попросіть кожне заперечення визначити рядок, від якого воно залежить. Попросіть остаточну відповідь, яка розділяє встановлені факти, умовні висновки та невідомі. Потім відкрийте основні документи та відтворіть вирішальний розрахунок. Деякі моделі, які приймають оцінку, не перетворюють її на виміряний факт.

Коли додаткова перспектива мало що додає

Якщо кожен учасник отримає неповний документ, усі можуть пропустити той самий виняток. Питання, яке містить ваш бажаний висновок, також може обґрунтувати всю дискусію навколо його захисту. Координатор, який усуває заперечення, може видалити свій найцінніший результат. Додаткові кредити найкраще витрачати, коли інший учасник робить новий тестовий виклик.

Короткий переклад власного тексту або чернетка запрошення може потребувати лише звичайної корекції. Рекомендація, яка передбачає витрати, змінює обіцянку клієнта або залежить від зовнішніх фактів, заслуговує на більш детальну перевірку. Зіставте процес перевірки з наслідками помилки та легкістю її скасування. Більше учасників – це засіб організації перевірки, а не причина пропускати її.

Зберігайте записи про рішення

Збережіть початкове запитання, вирішальне твердження, документ або розрахунок на його підтвердження, невирішене обмеження та відповідальну за рішення особу. Через тиждень цей стислий запис пояснить, чому команда діяла саме так і які нові докази мають спричинити перегляд. Він також дає конкретну основу для порівняння однієї моделі з Consensus у вашій роботі.

Почніть з однієї записки, найслабше припущення якої може вплинути на реальне рішення. Попросіть Consensus визначити це припущення, а потім перевірте його поза обговоренням. Успіхом може бути переглянута рекомендація, підтверджений розрахунок або рішення дочекатися одного пропущеного вимірювання. Усі три корисніші, ніж впевненість, не підтверджена доказами.