Жизнь на облаке с графическим ускорителем Как работает облачная платформа immers.cloud

Компания Immers.cloud начала свое существование как облачная платформа с графическими ускорителями в 2019 году и сейчас одной из ее основных целей стало оказание услуг клиентам, которые работают с искусственным интеллектом. В 2019 году эта тема не была так распиарена, как сейчас, и условия были немного другими. Если говорить про рынок, то графические ускорители использовались в основном для рендера. Мир жил в парадигме графических спецэффектов.

Но уже тогда технические специалисты, которые проектируют карты, понимали, куда все идет. Тот сдвиг, который мы сейчас наблюдаем, обусловлен появлением в 2017 году архитектуры трансформеров, которую разрабатывали в Google. То есть это текстовые трансформеры, которые могут работать с контентом, выявлять в запросе смысл, а потом генерировать ответ (и смысл) самостоятельно. В 2019 году это было еще экзотикой, но с 21 года история начинает раскручиваться. Как только появляется первая видеокарта модели NVIDIA A100, специалисты Immers.cloud первыми в России запустили ее в широкий доступ в облаке (специализированный вариант с 80 ГБ). С тех пор 60% нашей деятельности заточено под клиентов, занимающихся ИИ.

Владислав Галянин, Co-founder и CTO Immers.cloud:

Быть одним из пионеров в этой области, возможно, самая интересная задача в жизни. Когда-то была эра парового двигателя, потом нефти, а теперь говорят про экономику данных. Данные станут новой нефтью. Поэтому мы создаем мир и экономику будущего

Для чего это нужно

Большие языковые модели, например, GPT, тренируются на специализированном оборудовании. Карты там те же самые, но сетевая обвязка гораздо сложней. Чтобы натренировать современного базового трансформера нужно от 2 до 4 тысяч карт, которые работают от 3 до 6 месяцев. Поэтому технология тренировки трансформера не доступна даже среднему бизнесу. Это удел крупных корпораций, у которых с одной стороны большие объемы текста, а с другой — большие финансовые и вычислительные мощности.

Компания Immers.cloud наращивает количество карт, улучшает сетевую обвязку между ними для того, чтобы решать некоторые задачи, например, «доубучения» (Fine Tuning). Это когда берется уже существующая открытая модель и доучивается на текстах, которые есть у клиента или просто в свободном доступе. И вот как раз карты А100 и Н100 хорошо справляются с этой задачей.

Владислав Галянин, Co-founder и CTO Immers.cloud:

Это самый частый у нас кейс, касающийся бизнеса. Если же говорить про частных лиц, то сейчас очень популярна тема «генеративного искусства». Народ рисует картинки и пишет музыку. Появилась целая индустрия — нейрохудожников с законодателем мод компанией OpenAl. Мы же наращиваем количество карт и предоставляем клиентам возможность рисовать и писать, а также решать другие вычислительные задачи

Как это работает

Когда человек приходит в компанию Immers.cloud за услугой, он получает: очень быстрый онбординг, однокнопочную регистрацию — виртуальная машина стартует за 2 минуты. Любой клиент с небольшой суммой на счету может взять любую карту и попробовать ее. «Под капотом» он получает дорогое серверное оборудование, виртуализацию в простом интерфейсе. А дальше уже идет продуктовая линейка. На данный момент Immers.cloud предоставляет самый большой ассортимент — 11 видов карт. Плюс набор адаптаций, чтобы все это работало хорошо, и техподдержка 24/7.

Специалисты компании правильно настраивают сетевое оборудование, готовят образы с софтом под каждого клиента, чтобы оборудование в графических задачах работало с максимальной производительностью.

Владислав Галянин, Co-founder и CTO Immers.cloud:

Майнинг — это наша проблема, мы боремся с этими ребятами. Это стихийная история: когда цены криптовалют подскакивают так, что майнить становится выгодно на любом оборудовании, они претендуют на наши мощности. Мы понимаем, что наша клиентская база может от этого пострадать, поэтому мы запретили майнинг на нашем ресурсе. Используем специальные системы детекции, чтобы распознать майнинг. Обычных клиентов приоритезируем. Наша бизнес-модель не про майнинг

Почему цены не кусаются

В центрах обработки данных есть большая проблема с охлаждением, они требуют двукратного запаса энергии и огромной инфраструктуры, чтобы все это охлаждать. В Immers.cloud этот вопрос закрыт радикально: поскольку жидкость на три порядка плотнее воздуха, она лучше и охлаждает. Поэтому в компании в два раза меньше потребляется электроэнергии, оборудование не перегревается и работает лучше, нет электростатики, пыли, вибрации и так далее. Все это позволяет сильно сократить траты на охлаждение и обслуживание.

Когда-то серверы вычисляли без видеокарт, затем нужна была одна всего видеокарта, потом потребовался сервер с 4 видеокартами, а потом специальный суперкомпьютер, который состоит из несколько серверов объединенных высокоскоростными сетевыми интерфейсами. Есть такой термин «гиперконвергентный суперкомпьютинг». Компания Immers.cloud в перспективе нескольких лет стремится к тому, чтобы ее облако работало и как суперкомпьютер, но в то же время эти части этой мощности были бы доступны рядовым потребителям.

В планах отдельные сервисы для генерации контента (уже сейчас у нас есть образы со Stable Diffusion для нейрохудожников) и обучения собственных базовых траснформеров, которые создаются от таких монстров как OpenAI и Facebook, внутри Яндекса и Сбербанка.

Владислав Галянин, Co-founder и CTO Immers.cloud:

Сейчас клиенты хотят не хранить, а вычислять. А это серьезные энергетические затраты. Мы начали с простого — инжиниринга: как правильно охлаждать. А закончили самым сложным — виртуализацией: как создавать виртуальные машины, как их соединять, адаптировать для графических ускорителей