Обзор
Работает на Solana
io.net Cloud — это современная децентрализованная вычислительная сеть, которая позволяет инженерам машинного обучения получать доступ к распределенным облачным кластерам за небольшую часть стоимости сопоставимых централизованных сервисов.
Современные модели машинного обучения часто используют параллельные и распределенные вычисления. Крайне важно использовать мощность нескольких ядер в нескольких системах для оптимизации производительности или масштабирования до более крупных наборов данных и моделей. Процессы обучения и логического вывода — это не просто задачи, выполняемые на одном устройстве, но часто включают в себя скоординированную сеть графических процессоров, которые работают в синергии.
К сожалению, из-за потребности в большем количестве графических процессоров в общедоступном облаке получение доступа к распределенным вычислительным ресурсам сопряжено с рядом проблем. Вот некоторые из наиболее заметных из них:
Ограниченная доступность: Часто на получение доступа к оборудованию с помощью облачных сервисов, таких как AWS, GCP или Azure, могут уйти недели, а популярные модели графических процессоров часто недоступны.
Плохой выбор: У пользователей мало выбора в отношении аппаратного обеспечения графического процессора, местоположения, уровня безопасности, задержки и других параметров.
Высокие затраты: Приобретение хороших графических процессоров обходится очень дорого, и проекты могут легко тратить сотни тысяч долларов ежемесячно на обучение и инференс.
io.net решает эту проблему, агрегируя графические процессоры из недостаточно используемых источников, таких как независимые центры обработки данных, крипто майнеры и крипто проекты, такие как Filecoin, Render и другие. Эти ресурсы объединены в децентрализованную сеть физической инфраструктуры (DePIN), предоставляя инженерам доступ к огромным объемам вычислительной мощности в системе, которая является доступной, настраиваемой, экономичной и простой в реализации.
С помощью io.net команды могут масштабировать свои рабочие нагрузки в сети графических процессоров с минимальными настройками. Система отвечает за оркестрацию, планирование, отказоустойчивость и масштабирование, а также поддерживает различные задачи, такие как предварительная обработка, распределенное обучение, настройка гиперпараметров, обучение с подкреплением и обслуживание моделей. Он предназначен для вычислений общего назначения для рабочих нагрузок Python.
io.net предложение специально разработано для четырех основных функций:
Пакетный вывод и обслуживание модели: Выполнение вывода на входящих пакетах данных можно распараллелить, экспортировав архитектуру и весовые коэффициенты обученной модели в общее хранилище объектов. io.net позволяет командам машинного обучения создавать рабочие процессы вывода и обслуживания моделей в распределенной сети графических процессоров.
Параллельное обучение: Ограничения памяти ЦП/ГП и последовательные рабочие процессы обработки представляют собой серьезное узкое место при обучении моделей на одном устройстве. io.net использует библиотеки распределенных вычислений для оркестрации и пакетного обучения заданий таким образом, чтобы их можно было распараллеливать на множестве распределенных устройств с помощью параллелизма данных и моделей.
Параллельная настройка гипер параметров: Эксперименты по настройке гипер параметров по своей сути являются параллельными, и io.net использует распределенные вычислительные библиотеки с расширенной настройкой Hyperparam для создания контрольных точек наилучшего результата, оптимизации планирования и простого задания шаблонов поиска.
Обучение с подкреплением: io.net использует библиотеку обучения с подкреплением с открытым исходным кодом, которая поддерживает высоко распределённые рабочие нагрузки RL производственного уровня наряду с простым набором API.
Все началось на хакатоне Solana в феврале 2023 года и Solana Austin Hacker House
Last updated
