Colay / Посібники
Узагальнюйте інтерв'ю з клієнтами без залежності від інтерпретації однієї моделі
Кілька інтерпретацій ШІ допоможуть помітити різні закономірності у 20 інтерв’ю, але повторення тем моделями не додає свідчень учасників. У Colay порівняйте запропоновані коди й теми, потім перевірте кожен важливий висновок за дозволеними вихідними уривками. Результат має бути таблицею доказів, яку може перевірити інший дослідник, а не голосуванням за найпереконливішу розповідь.
Підготуйте докази, перш ніж запитувати теми
Підтвердьте, що дозволи на дослідження та правила вашої організації дозволяють ділитися матеріалом із вибраною службою. Видаліть ідентифікатори та непотрібні конфіденційні дані. Призначте кожному інтерв’ю стабільний ідентифікатор, а кожному уривку – місце, наприклад абзац або позначку часу. Зберігайте ідентифікаційний ключ поза матеріалом, який ви надсилаєте.
Якщо матеріал не вміщується в доступний контекст, працюйте задокументованими групами з однаковими інструкціями кодування. Фіксуйте склад кожної групи та зберігайте посилання на оригінальні уривки. Не припускайте, що модель прочитала пропущений текст або що окремі чати автоматично пам’ятають один одного.
Розділіть спостереження, інтерпретацію та дії
Рекомендації GOV.UK щодо аналізу дослідження розрізняють спостереження, висновки на їх основі й подальші дії. У роботі з ШІ явно вимагайте ці три рівні результату. Цитата клієнта не повинна непомітно перетворюватися на вимогу до продукту.
Спочатку попросіть доступних агентів у режимі Ask separately запропонувати коди для однакових уривків. Порівняйте визначення, ID на підтримку й винятки. Різні назви можуть описувати ту саму поведінку, а однакові — приховувати різні значення. Перед об’єднанням перечитайте вихідний матеріал.
Приклад: повторювані слова не є повторними учасниками
Вигаданий набір даних: 20 інтерв'ю про запис на прийом. П'ять учасників згадують про труднощі зі зміною бронювання. Один учасник, I07, описує той самий випадок тричі. Інший, I12, каже, що змінити бронювання було легко, але зрозуміти підтвердження було важко. Це винайдені вхідні дані для ілюстрації методу.
Не рахуйте три уривки I07 як трьох незалежних учасників і не зараховуйте I12 до тієї самої проблеми без перевірки змістової різниці. Навіть підтверджені п’ять із цих 20 учасників описують лише цю вибірку, а не поширеність проблеми серед усіх клієнтів.
Корисною розбіжністю було б, щоб одна модель кодувала матеріал як складність навігації, а інша як невизначеність після зміни. Поверніться до уривків і вирішіть, чи це окремі теми чи етапи одного досвіду. Збережіть суперечливий випадок, а не видаляйте його, щоб зробити історію чистішою.
| Запропонований висновок | Докази, які потрібно додати | Перевірте перед використанням |
|---|---|---|
| Змінити бронювання може бути важко | Унікальні ID учасників і точні місця уривків | Чи описують уривки ту саму складність? |
| Підтвердження може залишатися незрозумілим | I12 та уривок на підтримку | Зберігайте окремо від труднощів із внесенням змін |
| Запропонована зміна дизайну | ID висновків і явно зазначена гіпотеза | Перевірити зміну; не представляйте це як перевірене рішення |
Запит для інтерпретації з перевірюваними джерелами
Для синтезу явно надайте Consensus оригінальні уривки та пропозиції кодування з мітками. Попросіть показати збіги й розбіжності, не трактуючи згоду моделей як додатковий доказ. Зберігайте ID джерел у кожній редакції. Якщо згенеровану цитату неможливо знайти дослівно, видаліть її й поверніться до джерела замість виправляти з пам’яті.
Дослідницьке питання: [питання]. Дозволені знеособлені уривки з ID інтерв’ю та місцями в джерелі: [матеріал]. Запропонуй коди й теми. Для кожної теми дай визначення, ID інтерв’ю на підтримку, точні місця уривків, суперечливі випадки та альтернативну інтерпретацію. Рахуй унікальних учасників лише за підтвердженням у наданому матеріалі; не роби припущень про пропущені інтерв’ю. Відокрем спостереження, інтерпретацію й запропоновану дію. Не вигадуй цитат. Познач твердження, що потребують перевірки за оригінальною розшифровкою.
Підготуйте результат дослідження, який команда може перевірити
Надайте довідник кодів, таблицю доказів, невирішені інтерпретації й наступні дослідницькі питання. Читач має перейти від твердження до уривка й зрозуміти, чому ви прийняли цю інтерпретацію. Перевіряйте всі висновки, що впливають на рішення, включно з тими, щодо яких погодилися всі моделі.
Порівняйте роботу за якістю цієї відстежуваності та зусиллями перевірки, а не за кількістю згенерованих ідей. Colay використовує кредити та ліміти; починайте з керованого дозволеного набору витягів перед розширенням. Кілька моделей можуть розширити інтерпретації кандидатів, але ваше дослідницьке судження та докази учасників залишаються основою для висновку.
Відповіді на запитання
Чи є кілька аналізів ШІ незалежними наборами доказів?
Ні. Вони є інтерпретаціями того самого матеріалу учасника та можуть мати спільні помилки. Докази походять із фактичного дослідження з його вибіркою та методологічними обмеженнями.
Чи можу я завантажити всі 20 інтерв'ю одночасно?
Перевірте дозволи та доступний обсяг вхідних даних. За потреби працюйте задокументованими групами, зберігаючи ID джерел; не припускайте врахування пропущеного матеріалу.
Чи зберігати тему, яку знайшла лише одна модель?
Збережіть її для перевірки, якщо вона має підтримку в джерелах. Частота появи в результатах моделей не є критерієм прийняття або відхилення висновку з інтерв’ю.
Джерела та методологія
- GOV.UK — Analyse a research session
Першоджерело щодо розрізнення спостережень, висновків і дій. Воно не перевіряє кодування ШІ або вигаданий набір інтерв’ю.
Задайте своє наступне запитання Colay
Виберіть модель, скористайтеся Auto або об'єднайте кілька точок зору за допомогою Consensus.