Самый большой компьютерный чип
Обновлено: 04.07.2024
Самый большой в мире ИИ-чип только что удвоил свои характеристики, не прибавив ни дюйма.
Вафельный модуль Cerebras Systems размером с большую обеденную тарелку. Вся эта площадь поверхности позволяет использовать гораздо больше всего, от процессоров до памяти. Первый чип WSE, выпущенный в 2019 году, имел невероятные 1,2 триллиона транзисторов и 400 000 вычислительных ядер. Его преемник удваивает все, кроме физического размера.
WSE-2 вмещает 2,6 триллиона транзисторов и 850 000 ядер на одной тарелке. Его встроенная память увеличилась с 18 ГБ до 40 ГБ, а скорость передачи информации в указанную память и из нее увеличилась с 9 до 20 петабайт в секунду.
Это зверь, как ни крути.
WSE-2 производится Тайваньской компанией по производству полупроводников (TSMC), и это был переход от 16-нанометрового процесса производства чипов TSMC к 7-нанометровому техпроцессу (пропуская 10-нанометровый узел), который позволил большей части WSE прибыль -2.
Это потребовало изменений в физической конструкции чипа, но Cerebras заявляет, что они также усовершенствовали каждое ядро сверх того, что было необходимо для работы нового процесса. Обновленный мегачип должен работать намного быстрее и эффективнее.
Зачем делать гигантские компьютерные чипы?
Хотя графические процессоры (GPU) по-прежнему лидируют в области искусственного интеллекта, они не предназначены специально для ИИ. Скорее, графические процессоры были впервые разработаны и использовались для приложений с большим объемом графики, таких как игры.
Они сделали потрясающие вещи для ИИ и суперкомпьютеров, но в последние несколько лет специализированные чипы, созданные для ИИ, все больше и больше развиваются.
Cerebras является одним из претендентов, наряду с другими многообещающими компаниями, такими как Graphcore и SambaNova, и более известными именами, такими как Intel и NVIDIA.
Компания любит сравнивать WSE-2 с лучшим процессором искусственного интеллекта (NVIDIA A100), чтобы подчеркнуть, насколько он отличается от конкурентов. В A100 на два процента больше транзисторов (54,2 миллиарда), которые занимают немногим менее двух процентов площади поверхности. Он намного меньше, но возможности A100 лучше раскрываются, когда сотни или тысячи чипов объединяются в более крупную систему.
Напротив, WSE-2 снижает стоимость и сложность соединения всех этих чипов вместе, помещая как можно больше процессоров и памяти на одну кремниевую пластину. В то же время устранение необходимости перемещать данные между множеством микросхем, разбросанных по нескольким серверным стойкам, значительно увеличивает скорость и эффективность.
Конструкция чипа дает его небольшим, быстрым ядрам собственную выделенную память и обеспечивает быструю связь между ядрами. Программное обеспечение Cerebras для компиляции работает с моделями машинного обучения, используя стандартные платформы, такие как PyTorch и TensorFlow, чтобы сделать распределение задач между ядрами чипа довольно безболезненным.
Этот подход называется вычислениями в масштабе пластины, поскольку размер чипа соответствует стандартной кремниевой пластине, из которой обычно вырезается множество чипов. Вычисления в масштабе пластин уже много лет находятся в центре внимания, но компания Cerebras первой создала коммерчески жизнеспособный чип.
Чип упакован в компьютерную систему под названием CS-2. Система включает охлаждение и блок питания и занимает примерно треть стандартной серверной стойки.
После анонса чипа в 2019 году стартап начал работать с растущим числом клиентов. Cerebras считает GlaxoSmithKline, Lawrence Livermore National Lab и Argonne National (среди прочих) клиентами наряду с неназванными партнерами в области фармацевтики, биотехнологий, производства и вооруженных сил. Многие приложения были в ИИ, но не все. В прошлом году компания заявила, что Национальная лаборатория энергетических технологий (NETL) использовала этот чип, чтобы опередить суперкомпьютер в моделировании гидродинамики.
Сможет ли вафельный масштаб стать большим?
Пока неизвестно, приживутся ли вычисления на пластинах.
Cerebras заявляет, что их чип значительно ускоряет задачи машинного обучения, и отзывы первых клиентов, некоторые из которых заявляют о значительном выигрыше, подтверждают это. Но независимых прямых сравнений пока нет. Например, ни Cerebras, ни большинство других стартапов, занимающихся аппаратным обеспечением ИИ, не принимали участия в недавнем сравнительном тестировании систем ИИ MLperf. (Почти все ведущие системы использовали графические процессоры NVIDIA для ускорения своих алгоритмов.)
Согласно данным IEEE Spectrum, Cerebras говорит, что они скорее позволят заинтересованным покупателям протестировать систему на их собственных конкретных нейронных сетях, чем продавать их на более общем и потенциально менее применимом эталонном тесте. Аналитик искусственного интеллекта Карл Фройнд сказал: «Каждый использует свои собственные модели, которые он разработал для своего бизнеса. Это единственное, что имеет значение для покупателей».
Также стоит отметить, что WSE может обрабатывать только задачи, достаточно маленькие, чтобы поместиться на его чипе.Компания заявляет, что подходит для большинства подходящих проблем, с которыми она сталкивалась, а WSE-2 обеспечивает еще больше места. Тем не менее размер алгоритмов машинного обучения быстро растет. Возможно, именно поэтому компания Cerebras отмечает, что два или даже три CS-2 могут поместиться в серверный шкаф.
В конечном счете, WSE-2 не имеет смысла для небольших задач, в которых достаточно одного или нескольких графических процессоров. В настоящее время чип используется в крупных, ресурсоемких проектах в области науки и исследований. Текущие приложения включают исследования рака и открытие лекарств, обнаружение гравитационных волн и моделирование термоядерного синтеза. Генеральный директор и соучредитель Cerebras Эндрю Фельдман говорит, что он также может быть доступен для клиентов с краткосрочными и менее интенсивными потребностями в облаке.
Рынок этого чипа является нишевым, но Фельдман сказал HPC Wire, что он больше, чем он ожидал в 2015 году, и продолжает расти, поскольку постоянно появляются новые подходы к искусственному интеллекту. «Рынок движется невероятно быстро», — сказал он.
Следует обратить внимание на растущую конкуренцию между чипами ИИ. В конечном итоге может оказаться несколько подходов, соответствующих цели, или один, который поднимается на вершину.
По крайней мере, на данный момент есть некоторый аппетит к щедрой порции гигантских компьютерных чипов.
Джейсон — главный редактор Singularity Hub. Он исследовал и писал о финансах и экономике, прежде чем перейти к науке и технологиям. Ему любопытно почти все, но особенно ему нравится узнавать и делиться большими идеями и достижениями в области искусственного интеллекта, вычислительной техники, робототехники, биотехнологий, нейробиологии и космоса.
Он размером с iPad. И он готов раскрыть всю мощь ИИ.
- Cerebras Systems, стартап из Кремниевой долины, работающий в скрытом режиме с 2016 года, выпустил самый большой в мире функциональный компьютерный чип.
- Компания заявляет, что вычислительная мощность этого чипа в 56 раз превышает размер следующего по величине чипа, что позволит создавать решения искусственного интеллекта с экспоненциально быстрой скоростью.
- Чип имеет избыточную структуру, а это означает, что ожидаемые недостатки в производстве чипа будут незначительными.
Оптика проектирования и производства компьютерных чипов занимает центральное место в любом устройстве, на котором вы читаете эту статью, но чипы никогда не считались привлекательными. название Кремниевой долины, которое относится к кремнию, полупроводниковому материалу внутри чипов.
Опять же, компьютерный чип никогда не был функционально жизнеспособным и размером с новый iPad — до сих пор.
В смартфоне чип обычно размером с ноготь в смартфоне или, в большей части шкалы, размером с почтовую марку. Но Cerebas Systems, стартап из Лос-Альтоса, штат Калифорния, который с 2016 года находился в скрытом режиме, только что выпустил самый большой в мире компьютерный чип.
Насколько большой? Попробуйте 8,5 дюймов с каждой стороны и 1,2 триллиона транзисторов внутри, и все они усердно работают, чтобы ваш компьютер мог выполнять сложные задачи. Типичный компьютерный чип, напротив, содержит миллионы (иногда миллиарды) транзисторов, которые переключаются между двоичными состояниями 0 и 1 (язык компьютеров).
Что это значит для вас? Эндрю Фельдман, генеральный директор и соучредитель Cerebras Systems, сообщил Popular Mechanics, что темпы исследований и разработок в области искусственного интеллекта будут значительно ускорены. Хотя ИИ уже управляет многими аспектами нашей жизни — для бабушки Фельдмана, по его словам, это сводится к тому, чтобы попросить Alexa проигрывать песни Фрэнка Синатры, — весь потенциал был заблокирован слишком медленным оборудованием.
"Чип — такое же решение для искусственного интеллекта, как минивэн – это решение для троих детей, – – говорит Фельдман. – «То, что мы увидели, было характеристиками мира ИИ. И то, что программное обеспечение требовало от аппаратного обеспечения, было очень сложно».
Первые провалы и неудачи крупных компаний
Исторически сложилось так, что производство гигантских компьютерных чипов, подобных тому, который Фельдман и его команда из более чем 200 человек разрабатывают, производят и, да, продают, сталкивались с серьезными препятствиями.
Известные ученые-компьютерщики уже пытались это сделать еще в 1980-х годах. "Некоторые из самых известных инженеров пытались и потерпели неудачу", – говорит Фельдман.
Возьмем Trilogy Systems, компьютерную компанию, основанную в 1980 году. Под руководством Джина Амдала, его сына Карла Амдала и Клиффорда Мэддена команда хотела создать передовую технологию производства полупроводников.
В то время у Амдала-старшего были деньги от его успешной компании Amdahl Corporation. Фирма быстро привлекла 230 млн долларов для нового предприятия, что сделало его самым хорошо финансируемым стартапом в Силиконовой долине на тот момент.
План состоял в том, чтобы создать беспрецедентную технологию производства полупроводников, чтобы помочь создать IBM-совместимый мейнфрейм, который был бы дешевле и мощнее, чем существующие системы (соответственно, цель аналогична той, которую видит Фельдман).
Trilogy выступила с идеей, включающей интеграцию в масштабе пластины, редко используемую систему построения сетей интегральных схем, которая использует всю кремниевую пластину для производства только одного суперчипа. Команда хотела создать компьютерный чип размером 2,5 дюйма с каждой стороны (в то время в больших масштабах можно было надежно производить только чипы со стороной около 1/4 дюйма).
Увы, завод компании по производству полупроводников был поврежден во время строительства зимним штормом; конструкция чипа недостаточна для разумной производительности; а технология соединения чипа не могла быть надежно изготовлена, поскольку слои имели тенденцию расслаиваться, а в то время не существовало автоматизированного способа исправления ошибок пайки.
К 1984 году, когда Нью-Йорк Таймс сообщила о внутренних неурядицах и технических проблемах Trilogy, боевой дух резко упал. Младший Амдал покинул компанию в июне 1984 года. Ниже приводится его отчет о работе в Trilogy:
"Не то чтобы мы совершали ошибки, просто мы недостаточно знали о проблемах, с которыми столкнемся, — сказал он в недавнем телефонном интервью. — Все стало настолько сложно, что В проекте участвовали самые умные люди в мире, и они давали вам скорее интуицию, чем факты. Просто не было представления о том, насколько это будет тяжело, — добавил он. — Я просыпался посредине. всю ночь в холодном поту, думая о том, что мы делаем неправильно. Все, о чем я мечтал, — это компьютерный дизайн и то, как его части соединяются друг с другом. Я мечтал о схематических схемах машины».
К середине 1984 года фирма заявила, что слишком сложно производить ее компьютеры. Джин Амдал ушел с поста генерального директора. До пузыря доткомов, который лопнул в 2001 году, Trilogy была известна как один из крупнейших финансовых провалов в истории Силиконовой долины.
Фельдман, конечно же, ищет другой и, надеюсь, более успешный путь.
"Мы поняли, что у нас есть возможность решить проблему совершенно иначе, чем [они] пытались, и создали для нас реальную возможность", – сказал он.
Процесс разработки теста для печенья
Сотрудник Cerebras Systems создает один из гигантских компьютерных чипов компании в производственной лаборатории, также известной как "производственная лаборатория".
Дизайн любого чипа практически сводится к одному и тому же процессу, называемому фотолитографией. Вот как это работает: есть оборудование, которое производит чипы и печатает их из круглых пластин из чистого кремния. Как правило, это означает размещение сетки из максимально возможного количества чипов на пластине, а затем нарезку пластины на отдельные чипы.
Вот как транзисторы выгравированы на поверхности кремниевой пластины. Но Cerebras использует для своих чипов всю пластину, а не нарезает чипы из кремния.
"Мы решили, святая корова, что можем использовать весь кусок теста", – говорит он. Команда нашла способ использовать как можно больше вафли.
В целом на окончательное усовершенствование системы ушло около 3,5 лет. Так что хорошо, что у компании было как минимум 112 млн долларов венчурного капитала.
Безумный спрос на ИИ-вычисления
Cerebras Systems создала самый большой в мире чип, который на несколько порядков больше и мощнее, чем следующие по величине чипы от Nvidia.
Глубокое обучение, тип искусственного интеллекта, который учит компьютеры делать то, что люди могут делать естественным образом — учиться на примере — должен получать большой набор размеченных данных и архитектур нейронной сети для обучения системы.
Так что да, это чрезвычайно ресурсоемко.
Недавний отчет OpenAI, исследовательского центра искусственного интеллекта в Сан-Франциско, показал, что в период с 2012 по 2018 год вычислительная мощность, используемая для обучения самых больших моделей, увеличилась в 300 000 раз.
Короче говоря, спрос на вычислительные ресурсы ИИ удваивается каждые 3,5 месяца, согласно техническому документу Cerebras.
Пока что GPU (система обработки графики) стал основным чипом для работы ИИ.Это тот же чип, на котором работает ваша PlayStation или Xbox, не говоря уже об этих ресурсоемких нейронных сетях. Но его мощности уже недостаточно, говорит Фельдман.
Графические процессоры состоят из множества небольших взаимодействующих ядер, выполняющих небольшие вычисления, которые взаимодействуют друг с другом, — объясняет он. "Размещая их на отдельных чипах, связь в отрасли стала очень дорогой. Это отнимает много времени, работает медленно и потребляет много энергии".
Но что, если разместить все эти коммуникационные ядра на одном чипе, а не на сотнях или тысячах? Все на одной силиконовой полоске?
"Большое ограничение в области искусственного интеллекта заключается в том, что для проверки одной идеи требуются недели или месяцы, – – говорит Фельдман, – из-за аппаратного обеспечения, которое слишком медленно для программного обеспечения. 1000 идей?"
Cerebras утверждает, что их чип содержит 400 000 крошечных ядер, оптимизированных для ИИ, что позволяет чипу содержать всю нейронную сеть, а не распределять данные по нескольким графическим процессорам, используя кучу соединительных шнуров в гигантском клубке беспорядка.< /p>
В целом, эта система потребляет меньше энергии и занимает меньше места, если вы готовы платить за первоначальные инвестиции. Фельдман не раскрывает стоимость системы Cerebras, но говорит, что цель состоит в том, чтобы избавить клиентов от того, что они заплатили бы с их текущей настройкой.
Фельдман говорит, что целые системы центров обработки данных в государственных, финансовых учреждениях и других организациях — его идеальные клиенты — могут настроить эту новую систему примерно за час, не затрагивая ничего со стороны программного обеспечения. р>
"Сложность данных плюс характеристики этой сложности", – говорит он. «Иногда может быть трудно сдвинуть большой валун, а иногда может быть трудно сдвинуть огромное количество маленьких камешков. У них разные характеристики. Для перемещения ИИ требуется новый тип грузовика, а это новый тип вычислений».
Технические проблемы чипа
Cerebras Systems разработала систему, в которой практически ни одна кремниевая пластина, используемая для печати компьютерных микросхем, не уходит в отходы
Конечно, производство имеет свои недостатки. Когда кремниевые пластины разрезаются на крошечные кусочки для создания чипов, всегда остаются несколько несовершенных.
"Чем больше чип, тем больше вероятность того, что он будет стоить дороже", если вам придется его выбросить, – говорит Фельдман. – Мы изобрели метод, позволяющий противостоять дефектам, а не требовать безупречных пластин".
Представьте, что у вас есть доска для игры в крестики-нолики, но она не 3 на 3 квадрата, а 600 на 600. Это составляет около 360 000 полных квадратов. Теперь представьте, что вы взяли одну дополнительную строку сверху и одну дополнительную строку сбоку и добавили их на свою доску.
"Если в середине была ошибка, вы использовали запасную часть из этих дополнительных строк, которые вы только что добавили", чтобы гарантировать, что гигантский чип все еще можно использовать, – говорит Фельдман. Он называет это "схемой резервирования".
Конечная цель Фельдмана – повысить производительность в области искусственного интеллекта, чтобы мы могли кардинально изменить свою жизнь. У нас скоро появятся автономные автопарки, мы сможем с легкостью использовать приложения для беспроводной связи 5G, и умные города будут процветать.
Но для этого эта огромная вычислительная мощность, вырисовывающаяся на заднем плане и занятая своими делами, должна быть самым важным человеком в комнате.
"В новом мире, где все должно работать вместе... чем быстрее общение, тем быстрее внедряются инновации", – говорит Фельдман.
Кортни Линдер, старший редактор До прихода в Pop Mech Кортни работала репортером по технологиям в газете своего родного города Pittsburgh Post-Gazette.
В погоне за ускорением развития искусственного интеллекта компания Cerebras из Кремниевой долины выбрала необычную стратегию: добиться большего.
Эрик Вишриа, генеральный партнер Benchmark, венчурной компании из Сан-Франциско, впервые осознал эту проблему весной 2016 года, слушая презентацию новой компании по производству компьютерных чипов под названием Cerebras Systems. Компания Benchmark известна своими ранними инвестициями в такие компании, как Twitter, Uber и eBay, то есть в программное обеспечение, а не в оборудование. Фирма просматривает около двухсот стартапов в год и инвестирует, возможно, в один. «Мы играем в игру «поцелуй тысячи лягушек», — сказал мне Вишриа. Когда презентация началась, он уже решил бросить лягушку обратно. «Я такой: почему я согласился на это? Мы не собираемся инвестировать в оборудование», — подумал он. «Это так глупо».
Эндрю Фельдман, соучредитель Cerebras, начал свою презентацию с обложки, а затем с общего слайда, привлекая внимание Вишрии: талант был впечатляющим. Затем Фельдман сравнил два вида компьютерных чипов. Во-первых, он рассмотрел графические процессоры, или графические процессоры, — чипы, предназначенные для создания трехмерных изображений. По разным причинам современные системы машинного обучения зависят от этих графических чипов. Затем он рассмотрел центральные процессоры, или ЦП, — микросхемы общего назначения, которые выполняют большую часть работы на обычном компьютере. «Слайд 3 был примерно таким: «Графические процессоры на самом деле не годятся для глубокого обучения — они просто в сто раз лучше, чем ЦП», — вспоминает Вишриа. «И, как только он это сказал, я был типа фейспалм. Конечно! Конечно!" Компания Cerebras предлагала новый тип чипа — созданный не для графики, а для искусственного интеллекта. конкретно.
Вишрия привыкла слышать предложения от компаний, которые планировали использовать глубокое обучение для кибербезопасности, медицинских изображений, чат-ботов и других приложений. После презентации Cerebras он поговорил с инженерами некоторых компаний, которым Benchmark помог финансировать, включая Zillow, Uber и Stitch Fix; они сказали ему, что борются с А.И. потому что «обучение» нейронных сетей заняло слишком много времени. Google начал использовать сверхбыстрые «блоки тензорной обработки» или TPU — специальные чипы, разработанные для искусственного интеллекта. Вишрия знала, что началась золотая лихорадка и кто-то должен был изготовить кирки и лопаты.
В том же году Benchmark и Foundation Capital, еще одна компания венчурного капитала, вложили двадцать семь миллионов долларов в компанию Cerebras, которая с тех пор привлекла почти полмиллиарда долларов. Другие компании также производят так называемые ИИ. ускорители; Конкуренты Cerebras — Groq, Graphcore и SambaNova — в совокупности привлекли более двух миллиардов долларов капитала. Но подход Cerebras уникален. Вместо того, чтобы делать чипы обычным способом — печатая их десятки на большой кремниевой пластине, вырезая их из пластины, а затем соединяя их друг с другом — компания сделала один гигантский чип «в масштабе пластины». Типичный компьютерный чип размером с ноготь. Cerebras размером с обеденную тарелку. Это самый большой компьютерный чип в мире.
Даже конкуренты находят этот подвиг впечатляющим. «Это все новая наука, — говорит Найджел Тун, генеральный директор. и соучредитель Graphcore, сказал мне. «Это невероятный образец инженерной мысли — проявление силы». В то же время другой инженер, с которым я разговаривал, охарактеризовал его несколько оборонительно, как научный проект — масштаб ради масштаба. В прошлом компании пытались создать мегачипы, но потерпели неудачу; План Cerebras заключался в том, чтобы сделать ставку на то, что преодоление инженерных проблем возможно и того стоит. «Честно говоря, для меня невежество было преимуществом, — сказал Вишра. «Не знаю, если бы я понимал, насколько сложно будет делать то, что они сделали, у меня хватило бы смелости вложиться».
Компьютеры становятся все быстрее и быстрее — замечательный факт, который легко принять как должное. Это часто объясняется с помощью закона Мура: закономерности, установленной в 1965 году пионером полупроводников Гордоном Муром, согласно которой количество транзисторов на кристалле удваивается каждые год или два. Закон Мура, конечно, не совсем закон. Инженеры неустанно работают над уменьшением размеров транзисторов — двухпозиционных переключателей, через которые работают микросхемы, — а также совершенствуют «архитектуру» каждой микросхемы, создавая более эффективные и мощные конструкции.
Архитекторы микросхем давно задавались вопросом, может ли один крупный компьютерный чип быть более эффективным, чем набор более мелких, примерно так же, как город с его централизованными ресурсами и более плотными кварталами более эффективен, чем пригород. Идея была впервые опробована в 1960-х, когда Texas Instruments выпустила ограниченную серию микросхем диаметром в пару дюймов. Но инженеры компании столкнулись с проблемой урожайности. Производственные дефекты неизбежно подвергают опасности определенное количество схем на любой данной кремниевой пластине; если пластина содержит пятьдесят чипов, компания может выбросить плохие, а остальные продать.Но если каждый успешный чип зависит от количества рабочих схем на одной пластине, многие дорогие пластины будут выброшены на свалку. Компания Texas Instruments нашла обходные пути, но технологии и спроса еще не было.
Инженер по имени Джин Амдал еще раз решил эту проблему в 1980-х, основав компанию под названием Trilogy Systems. Он стал крупнейшим стартапом, который когда-либо видела Кремниевая долина, получив около четверти миллиарда долларов инвестиций. Чтобы решить проблему выхода, Trilogy напечатала на своих микросхемах избыточные компоненты. Этот подход повысил доходность, но снизил скорость чипа. Между тем, Трилогия боролась другими способами. Амдал убил мотоциклиста своим Rolls Royce, что привело к проблемам с законом; у президента компании развилась опухоль головного мозга, и он умер; проливные дожди задержали строительство фабрики, затем проржавела ее система кондиционирования воздуха, что привело к пыли на щепе. Трилогия прекратила свое существование в 1984 году. «Мы просто не понимали, насколько это будет тяжело», — сказал сын Амдала газете Times.
Если бы технология Trilogy оказалась успешной, теперь ее можно было бы использовать для глубокого обучения. Вместо этого графические процессоры — чипы для видеоигр — решают научные задачи в национальных лабораториях. Перепрофилирование G.P.U. для А.И. зависит от того факта, что нейронные сети, при всей их сложности, полагаются на множество операций умножения и сложения. Когда «нейроны» в сети активируют друг друга, они усиливают или ослабляют сигналы друг друга, умножая их на коэффициенты, называемые весами соединений. Эффективный ИИ процессор будет вычислять множество активаций параллельно; он сгруппирует их вместе в виде списков чисел, называемых векторами, или в виде сеток чисел, называемых матрицами, или в виде многомерных блоков, называемых тензорами. В идеале вы хотите умножить одну матрицу или тензор на другую одним махом. Графические процессоры предназначены для выполнения аналогичной работы: расчета набора форм, составляющих персонаж, скажем, когда он летит по воздуху.
«Трилогия отбрасывает такую длинную тень, — сказал мне недавно Фельдман. — Люди перестали думать и начали говорить: «Это невозможно». G.P.U. компании, в том числе Nvidia, воспользовались возможностью, настроив свои чипы для глубокого обучения. В 2015 году вместе с некоторыми компьютерными архитекторами, с которыми он основал свою предыдущую компанию — SeaMicro, производителя компьютерных серверов, которую он продал производителю микросхем A.M.D. за триста тридцать четыре миллиона долларов — Фельдман начал обдумывать идеи для крупного чипа. Они работали над проблемой четыре месяца в офисе, позаимствованном у одного из венчурных капиталистов. фирма. Когда у них появились очертания приемлемого решения, они обратились к восьми фирмам; получил инвестиции от Benchmark, Foundation Capital и Eclipse; и начал нанимать.
Первой задачей компании Cerebras было устранение производственных трудностей, с которыми сталкиваются более крупные чипы. Чип начинается как цилиндрический слиток кристаллизованного кремния, около фута в поперечнике; слиток нарезается на круглые пластины толщиной в долю миллиметра. Затем схемы «печатаются» на пластине с помощью процесса, называемого фотолитографией. Химические вещества, чувствительные к ультрафиолетовому излучению, осторожно наносятся на поверхность слоями; У.В. затем лучи проецируются через детализированные трафареты, называемые сетками, и химические вещества реагируют, образуя цепи.
Аарт де Геус, председатель и со-генеральный директор из компании Synopsys, спросил меня: «2,6 триллиона транзисторов — это поразительно, правда?» Synopsys предоставляет некоторое программное обеспечение, которое Cerebras и другие производители микросхем используют для создания и проверки своих конструкций микросхем. По словам де Геуса, при разработке чипа инженер начинает с двух центральных вопросов: «Откуда поступают данные? Где обрабатывается?» Когда чипы были проще, дизайнеры могли отвечать на эти вопросы за чертежными столами с карандашами в руках; работая над современными гораздо более сложными чипами, они набирают код, описывающий архитектуру, которую они хотят создать, а затем переходят к использованию визуальных инструментов и инструментов кодирования. «Подумайте о том, чтобы увидеть дом сверху», — сказал де Жеус. «Гараж рядом с кухней? Или это рядом со спальней? Вы хотите, чтобы она была рядом с кухней, иначе вам придется таскать продукты по всему дому». Он объяснил, что, разработав план этажа, «вы можете описать, что происходит внутри комнаты, используя уравнения».
Конструкции микросхем невероятно сложны. «Здесь несколько слоев, — сказал де Геус, — цепи перекрещиваются и идут друг над другом, как крупные развязки на скоростных автомагистралях. Для инженеров Cerebras, работающих в масштабе пластины, эта сложность была повышенной. Программное обеспечение Synopsys предлагало помощь в виде искусственного интеллекта: алгоритмы сопоставления с образцом распознавали частые проблемы и предлагали решения; Процедуры оптимизации подтолкнули комнаты к более быстрой и эффективной организации. Если слишком много полос движения пытаются протиснуться между двумя кварталами зданий, программное обеспечение позволяет инженерам играть в Роберта Мозеса, сдвигая блоки.
В конце концов, по словам Фельдмана, конструкция мегачипа дает несколько преимуществ. Ядра взаимодействуют быстрее, когда находятся на одном чипе: мозг компьютера теперь не разбросан по комнате, а находится в одном черепе. Большие чипы также лучше справляются с памятью. Как правило, небольшой чип, готовый обработать файл, должен сначала получить его из чипа общей памяти, расположенного в другом месте на его печатной плате; только наиболее часто используемые данные могут кэшироваться ближе к дому. Описывая эффективность чипа размером с пластину, Фельдман предложил аналогию: он попросил меня представить группы соседей по комнате (ядра) в общежитии (чип), которые хотят посмотреть футбольный матч (выполнить вычислительную работу). Чтобы посмотреть игру, сказал Фельдман, соседям по комнате нужно пиво, хранящееся в холодильнике (данные хранятся в памяти); Cerebras ставит холодильник в каждой комнате, чтобы соседям по комнате не приходилось идти на общую кухню общежития или в Safeway. Это дает дополнительное преимущество, позволяя каждому ядру быстрее работать с разными данными. «Так что в моей комнате в общежитии я могу иметь Бада», — сказал Фельдман. «А в своей комнате в общежитии вы можете съесть Schlitz».
Наконец, Cerebras пришлось решать проблему урожайности. Инженеры фирмы используют прием Trilogy: избыточность. Но и здесь у них есть преимущество перед своими предшественниками. Компания Trilogy пыталась создать микросхему общего назначения с множеством различных компонентов, поэтому проводка вокруг одного неисправного элемента могла потребовать подключения к отдаленной замене. На чипе Cerebras все ядра идентичны. Если один файл cookie окажется неверным, окружающие его файлы будут такими же хорошими.
В июне в статье, опубликованной в журнале Nature, разработчики Google сообщили, что впервые полностью автоматизировали процесс под названием "планирование чипов". Типичный чип может содержать тысячи блоков памяти, десятки миллионов логических элементов и десятки километров микроскопических проводов. Используя те же методы, которые их коллеги из DeepMind использовали для обучения нейронной сети побеждать в го, они обучили ИИ. спланировать блок тензорной обработки, упорядочив эти элементы, предотвратив перегрузку данных; когда они тестировали T.P.U. по сравнению с компьютером, на создание которого группа экспертов потратила несколько месяцев, они обнаружили, что конструкция компьютера, разработанная за считанные часы, не уступает человеческому или превосходит его по эффективному использованию площади, мощности и длины проводов. В настоящее время Google использует этот алгоритм для разработки своего следующего T.P.U.
Разработка и производство чипа оказались лишь половиной задачи. Мозг потребляет много энергии — на человеческий мозг приходится два процента веса нашего тела, но он потребляет двадцать процентов калорий, — и то же самое верно и для кремния. Типичный большой компьютерный чип может потреблять триста пятьдесят ватт энергии, но гигантский чип Cerebras потребляет пятнадцать киловатт — этого достаточно, чтобы содержать небольшой дом. «Никто никогда не снабжал чип такой большой мощностью, — сказал Фельдман. «Никому еще не приходилось так охлаждать чипсы».
В конце концов, три четверти компьютера CS-1, построенного Cerebras на основе чипа WSE-1, предназначены для предотвращения плавления материнской платы. Большинство компьютеров используют вентиляторы для обдува процессоров холодным воздухом, но в CS-1 используется вода, которая лучше проводит тепло; Подключенная к трубопроводу и расположенная поверх кремния пластина с водяным охлаждением изготовлена из специального медного сплава, который не будет слишком сильно расширяться при нагревании, и отполирована до совершенства, чтобы не поцарапать чип. В большинстве чипов данные и питание поступают по проводам по краям примерно так же, как они поступают в загородный дом; для более столичных двигателей вафельного масштаба они должны были входить перпендикулярно, снизу. Инженерам пришлось изобретать новый соединительный материал, который мог бы выдерживать тепло и стресс среды мегачипов. "На это у нас ушло больше года, – сказал Фельдман.
Через два года после того, как Cerebras Systems представила самый большой в мире компьютерный чип, компания выпустила чудовищного преемника.
Еще в 2019 году был запущен Wafer Scale Engine (WSE) — процессор нового типа, оптимизированный для рабочих нагрузок искусственного интеллекта и глубокого обучения. Он превосходил конкурентов благодаря ошеломляющим 1,2 триллионам транзисторов.
Перенесемся на пару лет вперед и увидим, что компания сняла прикрытие с WSE 2, который более чем вдвое превосходит все характеристики своего предшественника.
- Это лучшие бизнес-компьютеры, доступные в настоящее время.
- Вот наш список лучших ноутбуков для бизнеса
- Мы собрали лучшие мобильные рабочие станции.
Построенный на 7-нанометровом техпроцессе TSMC, WSE2 содержит ошеломляющие 2,6 триллиона транзисторов. Для сравнения: у Nvidia A100, крупнейшего в мире графического процессора (GPU), 54 миллиарда транзисторов.
Дублировать все
Благодаря миниатюризации, возможной благодаря 7-нанометровому техпроцессу, новый чип-гигант предлагает 850 000 ядер искусственного интеллекта, расположенных на 46 225 мм(2) кремния.
Продолжая список нелепых характеристик, WSE2 имеет 40 ГБ встроенной памяти SRAM, 20 петабайт пропускной способности памяти и 220 петабит совокупной пропускной способности структуры.
Cerebras также сообщила, что чип потребляет те же 15 кВт энергии, что и его предшественник, но обеспечивает вдвое большую производительность, опять же благодаря новому 7-нм техпроцессу.
WSE2 предназначен для замены кластеров серверных стоек, экономя место и затраты на электроэнергию. Фирма будет предлагать чип, как и его предшественник, в корпусе 15RU высотой 26 дюймов со встроенным жидкостным охлаждением.
В настоящее время нет информации о ценах на стойки WSE2 или стойки 15RU, но вы можете рассчитывать на цену, которая соответствует их сногсшибательным характеристикам.
- Мы составили список лучших рабочих станций на рынке
Поскольку Маянк Шарма пишет и пишет о Linux почти два десятилетия, он хотел бы, чтобы все считали его экспертом TechRadar Pro по этой теме. Конечно, его интересуют и другие компьютерные темы, в частности кибербезопасность, облачные технологии, контейнеры и программирование.
Читайте также: