Самый большой процессор в мире
Обновлено: 21.11.2024
В процессоре 1,2 трлн транзисторов и 400 000 ядер, оптимизированных для искусственного интеллекта. Для сравнения, в самом большом графическом процессоре 21,1 млрд транзисторов.
Cerebras Wafer Scale Engine содержит 1,2 триллиона транзисторов и 400 000 ядер, оптимизированных для искусственного интеллекта. (Системы Церебрас)
Cerebras Wafer Scale Engine содержит 1,2 триллиона транзисторов и 400 000 ядер, оптимизированных для искусственного интеллекта. (Системы Церебрас)
В полупроводниковой промышленности чем больше, тем лучше. В течение 60 лет производители чипов стремились сделать мозги компьютеров как можно меньше.
Стартап Cerebras Systems перевернет это правило с ног на голову в понедельник, когда представит процессор размером примерно 8 на 8 дюймов. Это как минимум в 50 раз больше, чем у аналогичных чипов, доступных сегодня.
По словам основателя Эндрю Фельдмана, логика успеха проста. Программное обеспечение искусственного интеллекта требует для улучшения огромных объемов информации, поэтому процессоры должны работать как можно быстрее, чтобы обработать все эти данные, даже если это означает, что компоненты становятся очень громоздкими.
Разработанный компанией чип Wafer Scale Engine имеет большие размеры, так как содержит 1,2 триллиона транзисторов, 400 000 вычислительных ядер и 18 ГБ памяти. (Типичный процессор ПК будет иметь около 2 миллиардов транзисторов, от четырех до шести ядер и часть памяти).
"Каждый квадратный миллиметр оптимизирован для этой работы", – сказал Фельдман. «Работа с ИИ растет как сумасшедшая. Наши клиенты страдают». Он добавил, что самым большим ограничением современных систем искусственного интеллекта является то, что обучение программного обеспечения занимает слишком много времени.
По его словам, у Фельдмана есть опыт и поддержка отрасли, необходимые для решения инженерной проблемы такого масштаба. Он стал соучредителем производителя серверов SeaMicro Inc. и продал его производителю микросхем Advanced Micro Devices Inc. более чем за 300 млн долларов в 2012 году.
Cerebras привлекла более 100 млн долларов США от инвесторов из Кремниевой долины, в том числе от Benchmark, Энди Бехтольшейма и Сэма Альтмана. В Фельдмане работает команда из 174 инженеров, а компания Taiwan Semiconductor Manufacturing Co., выбранная Apple Inc. в качестве производителя микросхем, занимается производством массивного процессора Cerebras.
Cerebras не будет продавать чипы, потому что очень сложно подключить и охладить такой огромный кусок кремния. Вместо этого продукт будет предлагаться в составе нового сервера, который будет установлен в центрах обработки данных. Компания заявила, что у нее есть тестовые системы, работающие с несколькими крупными потенциальными клиентами, и они начнут коммерческие поставки машин в октябре.
На рынок чипов для ИИ входят Nvidia Corp., Intel Corp. и британский стартап Graphcore Ltd. Компания Google настолько стремилась ускорить развитие ИИ, что интернет-гигант разработал собственные специальные чипы под названием Tensor Processing Units.
Nvidia была последней компанией, которая успешно внедрила новую полупроводниковую технологию в серверы, машины, на которых работают центры обработки данных, которые Google, Facebook Inc. и другие используют для запуска интернет-сервисов. По словам главного исполнительного директора Дженсена Хуанга, Nvidia теперь получает почти 3 миллиарда долларов в год от своего бизнеса, на создание которого ушли годы и тысячи инженеров.
"Чтобы добиться успеха в центре обработки данных, требуется много времени", — сказал он в интервью на прошлой неделе.
Подпишитесь на HT Tech, чтобы быть в курсе последних технических новостей и обзоров, а также следите за нами в Twitter, Facebook и Instagram. Чтобы быть в курсе последних видео, подпишитесь на наш канал YouTube.
Начинающая компания Cerebras Systems, занимающаяся ускорением искусственного интеллекта, рассекретила то, что, по ее утверждению, является самым большим компьютерным чипом из когда-либо созданных: колоссальные 46 225 квадратных миллиметров и 1,2 триллиона транзисторов.
Закон Мура появился благодаря наблюдению соучредителя Intel Гордона Мура о том, что количество транзисторов в передовых чипах удваивается примерно каждые 18 месяцев. С момента публикации это наблюдение стало обязательным для отрасли, и отрасль отреагировала на это, сделав компоненты, входящие в состав чипа, еще меньше, чтобы избежать проблемы, связанной с тем, что в конечном итоге появятся процессоры размером с футбольное поле.
Однако компания Cerebras Systems пошла по другому пути: она представила самый большой в мире одиночный процессор на основе кремния, Cerebras Wafer-Scale Engine, размер которого составляет колоссальные 215 мм с каждой стороны, или 46 225 квадратных миллиметров, и содержит 1,2 триллиона транзисторов. более чем в 56 раз превышает размер и количество транзисторов мощных графических процессоров Nvidia Volta.
'Разработанный с нуля для работы с искусственным интеллектом, Cerebras WSE содержит фундаментальные инновации, которые продвигают современное состояние, решая технические проблемы десятилетиями, которые ограничивали размер чипа, такие как возможность подключения перекрестной сетки. , производительность, подача энергии и комплектация», — утверждает Эндрю Фельдман, основатель и исполнительный директор Cerebras Systems. 'Каждое архитектурное решение было принято для оптимизации производительности для работы ИИ.В результате Cerebras WSE обеспечивает, в зависимости от рабочей нагрузки, в сотни или тысячи раз большую производительность по сравнению с существующими решениями при незначительном энергопотреблении и занимаемой площади.'
Разработанный для обучения нейронных сетей, чип имеет в общей сложности 400 000 «разреженных ядер линейной алгебры», в которых отсутствует традиционный кэш; вместо этого они подключены к 18 гигабайтам высокоскоростной статической оперативной памяти (SRAM), распределенной по всему чипу, с заявленной общей пропускной способностью в девять петабайт в секунду. Ядра работают вместе через ячеистую коммуникационную сеть, получившую название Swarm, с заявленной пропускной способностью 100 петабит в секунду, а сам чип производится на узле 16-нанометрового техпроцесса в Taiwan Semiconductor (TSMC).
Дополнительная информация о Cerebras WSE доступна на официальном сайте.
Американская компания Cerebras Systems, специализирующаяся на искусственном интеллекте (ИИ), утверждает, что создала единственный процессор размером с iPad, который может достичь вычислительного эквивалента человеческого мозга или эквивалента 100 триллионов синапсов. Компания также утверждает, что этот Cerebras Wafer Scale Engine-2 (WSE-2) является самым большим чипом из когда-либо созданных. Вот все, что вы должны знать об этом.
Процессор Cerebras WSE-2
WSE-2 — это единый процессор, основанный на семинанометровом техпроцессе TSMC, который содержит 2,6 триллиона транзисторов для создания 850 000 оптимизированных для искусственного интеллекта ядер, установленных на колоссальной площади в 46 225 квадратных миллиметров. Сам чип имеет 40 ГБ встроенной памяти SRAM с пропускной способностью памяти 20 петабайт в секунду для взаимодействия с 2,4 петабайтами внешней памяти для вычислений.
Эта абсолютная единица процессора размещается внутри специального компьютера под названием Cerebras CS-2. Он легко занимает целую серверную стойку. Процессор может быстро справиться со сложными моделями ИИ с более чем 120 триллионами параметров. Для непосвященных параметры — это блоки алгоритмов машинного обучения, которые инкапсулируют то, что машина узнала из данных, использованных для ее обучения.
Генеральный директор Cerebras Эндрю Фельдман
Объясняя значение процессора для VentureBeat, генеральный директор и основатель Cerebras Эндрю Фельдман (Andrew Feldman) сказал: "Большие сети, такие как (Microsoft) GPT-3, уже изменили ландшафт обработки естественного языка (NLP), сделать возможным то, что раньше было невообразимо». «Отрасль уходит за пределы моделей с триллионами параметров, и мы расширяем эти границы на два порядка, создавая нейронные сети масштаба мозга со 120 триллионами параметров», — добавил он.
Сотни обычных процессоров для настольных компьютеров вырезаются из слитка кремния диаметром 12 дюймов на заводах по производству микросхем, таких как TSMC. Новый процессор WSE-2 представляет собой один процессор, сделанный из одного слитка. Это более эффективно, чем эффективное распределение вычислительной нагрузки между несколькими меньшими обычными процессорами рабочих станций. В этом помогают новые технологические инновации Cerebras в области программного обеспечения.
Weight Streaming, архитектура выполнения программного обеспечения, помогает исследователям передавать параметры модели ИИ на чип из подключенной внешней памяти без проблем с задержкой и пропускной способностью памяти. Это позволяет исследователям беспрепятственно использовать от одного до 192 компьютеров CS-2. Это связано с технологией Cerebras MemoryX, которая позволяет эффективно передавать 2,4 петабайта данных из внешнего хранилища в процессор.
КомпанияTom's Hardware отметила, что хотя исследователи могут одновременно запускать несколько компьютеров CS-2, расширение возможностей существующего компьютера CS-2 практически невозможно. Это связано с тем, что гигантский процессор потребляет 15 кВт мощности от специального блока питания. Кроме того, требуются специальные решения для охлаждения, что затрудняет установку еще одного чипа размером с пластину в один компьютер.
Cerebras была основана в 2016 году, в ней работает более 350 человек. По сравнению с чипом Cerebras, в январе Google обучил модель с 1,6 триллионами параметров. Система Feldman's Cerebras может обрабатывать в 1000 раз больше данных и в 1000 раз мощнее, чем система Google. В то время как WSE-2 может обрабатывать 100 триллионов синапсов, подобных человеческим, в 2020 году Intel втиснула 768 «мозговых чипов» Loihi, чтобы конкурировать с мозгом землекопа.
Добавить в мое хранилище:
Калифорнийский стартап Cerebras Systems продемонстрировал то, что, по его утверждению, является "самым большим в мире компьютерным чипом" на конференции Hot Chips в Стэнфордском университете в Пало-Альто, Калифорния. Этот ИИ-процессор, получивший название Wafer Scale Engine (WSE), содержит 1,2 триллиона транзисторов.Хотя большинство чипов представляют собой небольшие части 12-дюймовой кремниевой пластины, это один чип, соединенный между собой на одной пластине.
Команда, возглавляемая Эндрю Фельдманом, ранее работавшим в SeaMicro, которая была продана AMD в 2012 году. Фельдман работает вместе с соучредителем Шоном Ли, и они представили обзор своего чипа в Hot Chips. Говорят, что большие чипы с массой ядер особенно хорошо подходят для обработки ИИ. WSE может похвастаться 400 000 ядер на площади 21,5 см (8,5 дюймов). Таким образом, он в 56 раз больше самого большого графического процессора Nvidia. Кроме того, у WSE было в 3 000 раз больше встроенной памяти и в 10 000 раз больше пропускной способности, чем у самого мощного графического процессора Nvidia.
Другая интересная статистика заключается в том, что WSE не содержит кэша, имеет 18 ГБ локальной сверхбыстрой SRAM и пропускную способность памяти 9 петабайт в секунду. Ядра связаны мелкозернистой, полностью аппаратной, встроенной в кристалл ячеистой коммуникационной сетью, которая обеспечивает совокупную пропускную способность 100 петабит в секунду.
«Разработанный с нуля для работы с искусственным интеллектом, Cerebras WSE содержит фундаментальные инновации, которые продвигают современное состояние, решая технические проблемы десятилетиями, которые ограничивали размер чипа, такие как связь между перекрестными сетками. , производительность, подача энергии и упаковка», – сказал Фельдман. Он добавил, что архитектура оптимизирована для ИИ и может обеспечить, в зависимости от рабочей нагрузки, «в сотни или тысячи раз большую производительность по сравнению с существующими решениями при незначительном потреблении энергии и занимаемом месте».
Существует множество технических проблем, связанных с созданием процессоров в масштабе пластины. Компания Cerebras должна была внедрить высокоскоростную связь между кристаллами, она устранила производственные дефекты, упаковала такой большой чип и обеспечила его питанием и охлаждением с высокой плотностью.
Хотя это может быть самый большой компьютерный чип, Samsung ранее создавала чип флэш-памяти с 2 триллионами транзисторов. Компьютерный чип Cerebras WSE был изготовлен TSMC.
Читайте также: