Freevi

Сейчас для локального запуска на домашнем компьютере совершенно бесплатно доступно большое количество больших языковых моделей для работы со звуком, картинками, видео или как умного помощника в виде чат-ботов. Вот только обычно для их работы требуется Python и ряд библиотек определенной версии. Если установить Python со всеми зависимостями на компьютер и запускать обычным способом из операционной системы, не получиться работать с различными «искусственными интеллектами». Фактически пользователь будет ограничен использованием одним приложением искусственного интеллекта, для нормальной работы которого нельзя Python и используемые в работе библиотеки.

Эту проблема обошли использованием виртуальной среды исполнения, внутри которой запускаться Python и библиотек нужной версии. В самых популярные приложениях искусственного интеллекта это реализовано запуском одного исполняемого файла, скрипта или Docker контейнера. Для менее популярных больших языковых моделей установка и настройка виртуальной среды делается вручную через командную строку.

Но есть универсальный инструмент который позволит экспериментировать с различными ИИ на компьютере, не разбираясь в тонкостях установки и запуска. Это Pinokio который разработчики называют браузером для ИИ.

В основе Pinokio лежит браузер через который пользователи скачивают приложение искусственного интеллекта, устанавливают и запускают. Реализовано это на скриптах, где прописаны все зависимости и параметры запуска.

Установка Pinokio

1. Скачиваем установочный файл Pinokio, отсюда, для вашей операционной системы.

2. Запускаем скачанный установочный файл.

3. В окне настроек на интересует строке «HOME», где указываем папку в которой будут храниться исполняемые файлы, библиотеки, установочные файлы и языковые модели. В этой папке будут храниться все ИИ со всеми файлами которые необходимые для работы, включая языковые модели . Учтите на диске должно быт свободно как минимум несколько десятков гигабайт свободного места, так как больших языковых моделей, которые занимают очень много места.

4. Для сохранения сделанных настроек нажимаем кнопку «Save».

5. В окне с уведомлением, в котором нас предупредят нежелательно использовать диск с файловой системой exFAT, нажимает «Select».

6. После чего будет предложено перезагрузить Pinokio, для чего в открывшемся окне нужно нажать «Restart», после чего браузер для искусственного интеллекта будет готов к работы.

Установка приложений для работы с искусственны интеллектом

1. После запуска Pinokio нажимаем кнопку «Discover», чтоб открыть страницу поиска доступных для установки приложений.

2. В строку поиска вводим название приложение которое нас интересует. Правда с поиском здесь есть один нюанс. Все приложения сгруппированы по двум вкладкам «Verified Script» (проверенные приложения работоспособность которых гарантируется) и «Community Script» (приложение выложенные энтузиастами за работоспособность которых по факту никто не отвечает). Поиск осуществляться только в «Verified Script», а в «Community Script» все доступные приложения выводятся в виде списка.

Например можно ввести «Whisper» для поиска программы для перевода человеческой речи в текст.

4. Кликаем мышкой по иконке нужной программы.

5. В новом окне, которое откроется, нажимаем кнопку «One-Clicl install with Pinokio», чтоб начать процесс установки выбранного приложения.

6. В открывшиеся окне будет показан список пакетов необходимых для работы приложения и какие из них уже установлены. Чтоб запустить процесс инсталляции необходимо нажать «Install».

7. Вот тут есть один нюанс. Pinokio запускает все приложения в изолированной среде, перед установкой самого приложения идет проверка наличия всех необходимых пакетов для её работы. Если все нужные пакеты установлены, то этот шаг пропускается, в противном случае до установлены недостающие пакеты.

Прогресс инсталляции пакетов для работы изолированной среды будет отображаться в консоли, которую нельзя закрывать. Наберитесь терпения это процесс долгий, занимает много времени.

8. Для установка самого приложения искусственного интеллекта откроется новое окно, где можно дать ему свое название, и нажать «Download».

9. На следующем шаге откроется еще одно окно, где можно внести изменения в настройка приложения, которые можно раскрыть нажав «Customize», и нажать «Install». На первых порах не стоит ничего менять, использовать все параметры по умолчанию. Только после этого начнется процесс установки, прогресс которого выводиться в консоль, которое выглядит как вкладка браузер.

Запуск приложения установленного в Pinokio

1. Запускаем Pinokio.

2. В главном окне сразу будет отображаться список установленных приложений с искусственным интеллектом. Делаем двойной клик по нужному для его запуска.

3. После чего откроется вкладка консоли «Terminal» где будет вино процесс загрузки и работы приложения. Если приложение имеет графический интерфейс Web UI для работы с ним, то откроется дополнительная с графическим интерфейсом «Open Web UI».

Остановка приложения искусственного интеллекта запущенного в в Pinokio

Если вы находитесь в окне запущенного приложения, то переходим на вкладку «Terminal». Нажимаем на кнопку «Stop».

Если находимся в основном окне Pinokio, то в списке установленных приложений находим запущенное и «stop start.js»

Дополнительная информация

Чтоб из любого окна запущенного приложения в главное окно Pinokio, нужно нажать на иконку «Pinokio» в главном меню. Сам интерфейс программы стоит рассматривать как браузер, где реализован похожий процесс навигации между окнами и вкладками, только заточение для запуска искусственного интеллекта базирующегося на различных версиях большой языковой модели.

Приложения искусственного интеллекта хранятся в папке «api», а исполняемые файлы и библиотеки «bin». Позаботитесь чтоб у вас на диске, где будут сохраниться приложения искусственного интеллекта была как минимум 15 гигабайт свободного места, которого должно хватить для установки всех компонентов для работы среды и одной языковой модели.

Главный плюс Pinokio это возможность эксперементировать с различными большими языковыми моделями, не вдаваясь в нюансы их установки и работы. Минус это не оптимальное использование ресурсов системы, ради возможности запуска на компьютерах различной конфигурации.