- С инструкциями беда: запрос может быть специфичный. Вместо того, чтобы придумать, как объяснить чат-боту, что нужно сделать, лучше сразу посмотреть видео. В нашем случае бот предложил удачную базовую инструкцию к задаче.
Чат-бот умеет отвечать на вопросы о сторонних ресурсах и прикрепленных документах. В перечне возможных форматов числится pdf, docx, csv, txt. Успешно переходит по ссылкам.
С переводами OkGPT справляется хорошо. Но если первоначальная фраза дана не на английском, нужно уточнять, на какой язык ее перевести. Послужной список большой: английский, испанский, французский, немецкий, итальянский, португальский, китайский, японский, корейский, арабский и, наконец, русский.
Чтобы проверить способность универсальной модели GPT 3.5 реагировать на широкие запросы и узкие тематики на тест были предложены:
- Вопросы с выбором вариантов (правильный и неочевидный варианты: «Кто защищал рабовладельческий строй: Аристотель или Демосфен?»)
- Цитаты и определение автора (Г. Еллинек)
- Широкие вопросы с отсутствием конкретного ответа («Как Конфуций повлиял на китайский социализм?», «Проблема Востока и Запада»)
- Творческие вопросы («Откуда в человеке тяга к прекрасному?»)
- Пространные вопросы с последующим уточнением при необходимости («Когда личность зарождается в человеке?», «В чем единственном мы не можем сомневаться?»)
- Сравнительные вопросы («Архэ у Фалеса и Гераклита»)
- Некорректные вопросы («Как Павел I повлиял на развитие Русского музея?»)
С задачей ответить на вопрос студента бот справился: смог подсказать литературу для изучения, дать базовые советы в выполнении какой-либо деятельности, найти и исправить ошибку в тексте или с нуля сделать текст корректным. Человеку, который только учится разбираться в теме, бот может подсветить векторы дальнейшего анализа. Но если встает задача найти ответ на академический вопрос, бот может не дать желаемый ответ. Информация содержит много обобщений, порой не хватает развернутости и завершения мысли. Нет ощущения экспертности.