NVIDIA выпустила предварительную версию программы Chat with RTX, которая позволяет запускать локально на ПК чат-бота с генеративным ИИ на основе обширной языковой модели (LLM). Чат-бот способен создавать сводки и релевантные ответы на основе видеороликов и документов пользователя. Chat with RTX работает на ПК под управлением Windows с видеокартами NVIDIA GeForce RTX 30 или 40 серии, оснащенными как минимум 8 Гбайт видеопамяти.
Chat with RTX умеет обрабатывать видео YouTube – достаточно просто ввести URL-адрес, чтобы получить от чат-бота краткое содержание в текстовом виде. Chat with RTX позволяет выполнять поиск по расшифровке видео. По отзывам экспертов, поиск в видеороликах занимает считанные секунды. При этом отмечены случаи, когда чат-бот по непонятной причине использовал для поиска содержание другого ролика вместо приглашенного. Это очевидно указывает на ошибки ранней демоверсии.
Исследователи находят Chat with RTX полезным для обработки PDF-файлов. Утверждается, что чат-бот от NVIDIA по этой задаче проявил себя лучше, чем Microsoft Copilot, без проблем извлекая ключевую информацию. Эксперты также отметили, что Chat with RTX дает ответ практически мгновенно, без задержек, обычно наблюдаемых при использовании облачных чат-ботов ChatGPT или Copilot. С помощью чат-бота тестировщикам удалось создать релевантный набор данных по судебному делу FTC против Microsoft и обобщить всю стратегию Microsoft по Xbox Game Pass.
При установке Chat with RTX на ПК пользователя устанавливается веб-сервер и экземпляр Python, использующий LLM Mistral или Llama 2. Тензорные ядра на графическом процессоре NVIDIA RTX применяются для ускорения обработки запросов. Установка Chat with RTX на ПК с процессором Intel Core i9-14900K и видеокартой NVIDIA GeForce RTX 4090 занимает около 30 минут. На диске приложение занимает около 40 Гбайт, а интерпретатор Python при работе потребляет около 3 Гбайт ОЗУ. После запуска пользователь получает доступ в чат-бот через веб-интерфейс, а в командной строке отображается ход выполнения и коды ошибок.
Эксперты отмечают, что Chat with RTX пока больше всего напоминает раннюю демоверсию для разработчиков и компьютерных энтузиастов. Существует ряд известных проблем и ограничений. Попытка проиндексировать с помощью Chat with RTX папку из 25 000 документов привела к сбою программы, требовавшей сброса всех настроек для восстановления работоспособности. Кроме того, чат-бот создал файлы JSON внутри всех папок, которые индексировали, что не всегда уместно. Chat with RTX также не запоминает контекст, поэтому новый запрос не может опираться на содержание предыдущего.
Тем не менее Chat with RTX – это хорошая техническая демонстрация возможностей и перспектив локально установленного на компьютере пользователя чат-бота с II. Найдется достаточное количество людей, которые не хотят для анализа личных данных использовать подписные облачные службы II, такие как Copilot Pro или ChatGPT Plus.
Если вы заметили ошибку, выделите ее мышью и нажмите CTRL+ENTER.