IO Начало

Как мы начинали

До июня 2022 года io.net занималась исключительно разработкой количественных торговых систем институционального уровня как для фондового рынка США, так и для криптовалютных рынков. Нашей основной задачей было создание инфраструктуры, необходимой для размещения надежной серверной торговой системы со значительной вычислительной мощностью.

Наши торговые стратегии, граничащие с высокочастотной торговлей (HFT), требовали мониторинга тиковых данных в режиме реального времени более чем 1 000 акций и 150 криптовалют. HFT - это метод торговли, который использует надежные компьютерные программы для выполнения множества ордеров за доли секунды.

Он использует сложные алгоритмы для анализа нескольких рынков и исполнения ордеров на основе рыночных условий. Кроме того, наша система должна была динамически тестировать и корректировать параметры алгоритма для каждого актива в режиме реального времени, а также быть оптимизированной для облегчения торговли для более чем 30 000 индивидуальных клиентов в ETrade.com, Alpaca Markets и Binance.com, поддерживая задержку ниже 200 миллисекунд от рыночных событий до реакции системы на клиентском счете для исполнения ордеров.

Открытие Ray.io

Такая инфраструктура требует выделенной команды профессионалов MLOps и DevOps. Однако наше открытие Ray.io, библиотеки с открытым исходным кодом, используемой OpenAI для распределения обучения GPT-3/4 на более чем 300 000 центральных и графических процессоров, произвело революцию в нашем подходе и оптимизировало управление инфраструктурой. Кроме того, мы увеличили скорость создания этого бэкенда с более чем шести месяцев до менее чем 60 дней.

После интеграции Ray в наш бэкенд и подготовки к развертыванию приложения на кластере рабочих ролей GPU и CPU для обработки нашей значительной вычислительной мощности, мы столкнулись с ценой запуска такой системы из-за завышенных цен на GPU поставщиков облачных услуг по требованию.

Поиск проблемы с ценой

Например, цена карты NVIDIA A100 составляла более 80 долларов в день за карту. Нам понадобилось более 50 таких карт, чтобы работать в среднем 25 дней в месяц, что составило 80 долларов США х 50 карт х 25 дней = 100 тыс. долларов США в месяц. Эта стоимость стала серьезным испытанием для нас, а также для других самофинансируемых стартапов в индустрии искусственного интеллекта и машинного обучения.

Даже при таких высоких ценах требования к вычислительным ресурсам для приложений ИИ удваиваются каждые три месяца, в 10 раз каждые 18 месяцев; поэтому OpenAI пришлось арендовать CPU +300K и GPU 10K для обучения GPT3, и это только начало.

Ссылки:

[1] Средняя рыночная цена: https://www.paperspace.com/pricing

[2] https://arxiv.org/pdf/2202.05924.pdf

[3] https://businessolution.org/gpt-3-statistics/

[4] https://research.ark-invest.com/hubfs/1_Download_Files_ARK-Invest/White_Papers/ARK_BigIdeas2022.pdf?hsCtaTracking=217bbc93-a71a-4c2b-9959-0842b6fe301c%7C2653a4d0-af35-42f0-853a-c5f90f002abb

PreviousСеть ввода-выводаNextНам нужны распределенные вычисления

Last updated