Cerebras показали CS-4 Новый сервер позволяет запускать модели на скорости в 2 раза выше, и даёт во

Cerebras показали CS-4

Новый сервер позволяет запускать модели на скорости в 2 раза выше, и даёт возможность запускать 10T модели на скорости в 1000+ токенов в секунду. В каждом таком сервере три WSE 3 Turbo, это разогнанная версия оригинального WSE 3. Удвоив частоту с 1,4 Ghz до 2,8 Ghz компания удвоила пропускную способность памяти и FLOP/s, что и даёт прирост в скорости моделей. Памяти на чип правда те же 44 гигабайта, так что для обещанных 10T моделей нужно несколько десятков CS-4.

Отдельная особенность CS-4 это модульность — каждый чип находится в отдельном модуле, который подключается к стойке отвечающей за питание и охлаждение. Это упрощает установку — стойки можно поставить заранее, а потом подключить к ним чипы, когда они будут готовы. К тому же это даёт возможность апгрейда в будущем.

@ai_newz