Модели
Как выбрать нейросеть для своей задачи?
Выбирайте модель по результату на вашей задаче. Возьмите несколько типичных примеров, задайте одинаковые условия и заранее определите критерии оценки. Сравните точность, соблюдение инструкций, качество нужного формата и время получения пригодного результата. В Plyrum можно начать с режима «Авто» или выбрать доступную модель вручную; актуальный состав моделей смотрите в каталоге.
Соберите небольшой набор своих задач
Для работы с документами полезно проверить извлечение фактов, сравнение двух версий и ответ на вопрос по длинному тексту. Для таблиц — перенос исходных данных, формулы и обработку пропусков. Для кода — воспроизводимый небольшой дефект с понятным ожидаемым поведением.
Добавьте хотя бы один неудобный пример: противоречивые сведения, пустой ввод или условие, на которое нет ответа в источнике. Именно на таких случаях видно, умеет ли модель обозначать неопределённость вместо уверенного предположения.
Пример задания для сравнения
Можно взять за основу
Используя только прикреплённый документ, выпиши обязательства сторон в таблицу: сторона, действие, срок, номер пункта. Не дополняй отсутствующие сроки. Если пункты противоречат друг другу, покажи оба. В конце перечисли сведения, которые нельзя установить по документу.
Оцените пригодность результата
Сначала оцените ошибки, которые делают результат непригодным: потерянные строки, придуманные факты, неверные ссылки на пункты. Затем — удобство доработки. Быстрый ответ, который требует полной перепроверки, может оказаться менее полезным, чем более медленный, но аккуратный.
Не делайте вывод по единственному запуску. Повторите трудные примеры и сохраните критерии неизменными. Если сравнение должно быть беспристрастным, временно скройте названия моделей при оценке результатов.
Таблица оценки
- Одинаковые исходные данные и инструкции для всех вариантов.
- Отдельные оценки фактических ошибок, полноты и соблюдения формата.
- Проверка повторяемости на нескольких примерах, а не один впечатляющий ответ.
- Итоговый выбор относится к конкретной задаче; универсальное первое место не объявляется.