Что такое кластеры в компьютере

Обновлено: 21.11.2024

Раздел 404 Закона Сарбейнса-Оксли (SOX) требует, чтобы все публичные компании установили внутренний контроль и процедуры.

Закон о защите конфиденциальности детей в Интернете от 1998 года (COPPA) – это федеральный закон, который налагает особые требования на операторов доменов .

План North American Electric Reliability Corporation по защите критически важной инфраструктуры (NERC CIP) представляет собой набор стандартов.

Взаимная аутентификация, также называемая двусторонней аутентификацией, представляет собой процесс или технологию, в которой оба объекта обмениваются данными .

Экранированная подсеть или брандмауэр с тройным подключением относится к сетевой архитектуре, в которой один брандмауэр используется с тремя сетями .

Метаморфное и полиморфное вредоносное ПО – это два типа вредоносных программ (вредоносных программ), код которых может изменяться по мере их распространения.

Медицинская транскрипция (МТ) – это ручная обработка голосовых сообщений, продиктованных врачами и другими медицинскими работниками.

Электронное отделение интенсивной терапии (eICU) — это форма или модель телемедицины, в которой используются самые современные технологии.

Защищенная медицинская информация (PHI), также называемая личной медицинской информацией, представляет собой демографическую информацию, медицинскую .

Снижение рисков – это стратегия подготовки к угрозам, с которыми сталкивается бизнес, и уменьшения их последствий.

Отказоустойчивая технология — это способность компьютерной системы, электронной системы или сети обеспечивать бесперебойное обслуживание.

Синхронная репликация — это процесс копирования данных по сети хранения, локальной или глобальной сети, поэтому .

API облачного хранилища — это интерфейс прикладного программирования, который соединяет локальное приложение с облачным хранилищем.

Интерфейс управления облачными данными (CDMI) – это международный стандарт, определяющий функциональный интерфейс, используемый приложениями.

Износ флэш-памяти NAND — это пробой оксидного слоя внутри транзисторов с плавающим затвором флэш-памяти NAND.

Введение.
Кластерные вычисления — это совокупность тесно или слабо связанных компьютеров, которые работают вместе и действуют как единое целое. Подключенные компьютеры выполняют операции все вместе, создавая идею единой системы. Кластеры обычно связаны через быстрые локальные сети (LAN)

Кластерные вычисления

  1. Кластерные вычисления дают относительно недорогие, нетрадиционные решения для больших серверов или мейнфреймов.
  2. Он быстрее удовлетворяет потребность в критичности контента и сервисах обработки.
  3. Многие организации и ИТ-компании внедряют кластерные вычисления, чтобы повысить масштабируемость, доступность, скорость обработки и управление ресурсами по экономичной цене.
  4. Это гарантирует постоянную доступность вычислительной мощности.
  5. Он обеспечивает единую общую стратегию внедрения и применения параллельных высокопроизводительных систем, независимую от определенных поставщиков оборудования и их продуктовых решений.

Простой макет кластерных вычислений

Типы кластерных вычислений:

<р>1. Кластеры высокой производительности (HP):
кластеры HP используют компьютерные кластеры и суперкомпьютеры для решения сложных вычислительных задач. Они привыкли выполнять функции, которым нужны узлы для связи при выполнении своей работы. Они предназначены для использования преимуществ параллельной вычислительной мощности нескольких узлов.

<р>2. Кластеры балансировки нагрузки:

Входящие запросы на ресурсы распределяются между несколькими узлами, на которых запущены похожие программы или контент. Это предотвращает получение каким-либо отдельным узлом непропорционально большого количества задач. Этот тип распространения обычно используется в среде веб-хостинга.

<р>3. Кластеры высокой доступности (HA):

Кластеры высокой доступности предназначены для обслуживания резервных узлов, которые могут выступать в качестве резервных систем в случае любого сбоя. Предоставляются согласованные вычислительные услуги, такие как бизнес-операции, сложные базы данных, обслуживание клиентов, такие как электронные веб-сайты и распространение сетевых файлов. Они предназначены для обеспечения непрерывного доступа к данным для клиентов.

Классификация кластера:

<р>1. Открытый кластер:

IP-адреса нужны каждому узлу, и доступ к ним возможен только через Интернет или Интернет. Этот тип кластера вызывает повышенные проблемы с безопасностью.

<р>2. Закрыть кластер:

Узлы скрыты за узлом шлюза и обеспечивают повышенную защиту. Им требуется меньше IP-адресов, и они подходят для вычислительных задач.

  • Он разработан с массивом взаимосвязанных отдельных компьютеров и компьютерных систем, работающих совместно как единая автономная система.
  • Это группа рабочих станций или компьютеров, работающих вместе как единый интегрированный вычислительный ресурс, соединенный с помощью высокоскоростных межсоединений.
  • Узел — однопроцессорная или многопроцессорная сеть с памятью, функциями ввода и вывода и операционной системой.
  • Два или более узла подключены к одной линии, или каждый узел может быть подключен индивидуально через подключение к локальной сети.

Архитектура кластерных вычислений

  1. Узлы кластера
  2. Операционная система кластера
  3. Коммутатор или межузловое соединение
  4. Оборудование для коммутации сети

Компоненты кластера

Преимущества кластерных вычислений:

<р>1. Высокая производительность:

Эти системы обеспечивают лучшую и повышенную производительность, чем компьютерные сети мейнфреймов.

<р>2. Легко управлять:

Кластерные вычисления просты в управлении и внедрении.

<р>3. Масштабируемость:

Ресурсы могут быть добавлены в кластеры соответствующим образом.

<р>4. Возможность расширения:

Компьютерные кластеры можно легко расширить, добавив в сеть дополнительные компьютеры. Кластерные вычисления способны объединять несколько дополнительных ресурсов или сетей в существующую компьютерную систему.

<р>5. Доступность:

Другие узлы будут активны, когда один узел выйдет из строя, и будут функционировать как прокси для отказавшего узла. Это обеспечивает повышенную доступность.

<р>6. Гибкость:

Его можно обновить до более высокой спецификации или добавить дополнительные узлы.

Недостатки кластерных вычислений:

<р>1. Высокая стоимость:

Это не так выгодно с точки зрения затрат из-за мощного оборудования и дизайна.

<р>2. Проблема в поиске неисправности:

Трудно определить неисправный компонент.

<р>3. Требуется больше места :

Инфраструктура может увеличиться, так как для управления и мониторинга потребуется больше серверов.

Раньше машины, используемые для высокопроизводительных вычислений, назывались "суперкомпьютерами" или большими автономными машинами со специализированным оборудованием, что сильно отличалось от того, что можно найти в домашних и офисных компьютерах.

Однако в настоящее время большинство суперкомпьютеров вместо этого представляют собой компьютерные кластеры (или просто «кластеры») — наборы относительно недорогих автономных компьютеров, объединенных в сеть. Эти взаимосвязанные компьютеры снабжены программным обеспечением для координации программ на этих компьютерах (или между ними), поэтому они могут работать вместе для выполнения ресурсоемких задач.

Стойки компьютеров в дата-центре. Фото сотрудников PICSciE.

Несколько компьютеров в стойке. Фото сотрудников PICSciE.

Базовая часть компьютерных стоек, объединенных в сеть. Фото Кевина Эбби.

Вычислительные системы, предоставляемые Princeton Research Computing, по большей части представляют собой кластеры. Каждый компьютер в кластере называется узлом (термин "узел" взят из теории графов), и мы обычно говорим о двух типах узлов: головном узле и вычислительных узлах.

Обобщенная архитектура типичного кластера Princeton Research Computing. Диаграмма Мукаррамахмада, измененная Джоном Халверсоном.

Терминология

  • Головной узел. Головной узел — это компьютер, на который мы попадаем при входе в кластер.Здесь мы редактируем скрипты, компилируем код и отправляем задания планировщику. Головные узлы используются совместно с другими пользователями, и задания не должны выполняться на самих головных узлах.
  • Вычислительный узел. Вычислительные узлы — это компьютеры, на которых должны выполняться задания. Чтобы запускать задания на вычислительных узлах, мы должны пройти через планировщик заданий. Отправляя задания планировщику заданий, задания будут автоматически выполняться на вычислительных узлах, как только запрошенные ресурсы будут доступны. Кластеры исследовательских вычислений Принстона используют SLURM в качестве программы планирования, и мы вернемся к этому в следующем разделе.
  • Ядра. Сокращенное обозначение количества процессорных ядер ЦП (обычно физических) ЦП-чипа в узле.

Как работают кластеры HPC в Принстоне?

Чтобы ваша программа работала в кластерах, вы можете запустить задание на головном узле. Задание состоит из следующих файлов:

  1. ваш код, который запускает вашу программу
  2. отдельный сценарий, известный как сценарий SLURM, который будет запрашивать ресурсы, требуемые вашей работе, с точки зрения объема памяти, количества ядер, количества узлов и т. д. Как упоминалось ранее, Princeton Research Computing использует планировщик называется SLURM, поэтому этот сценарий называется вашим сценарием SLURM.

После отправки ваших файлов планировщик (SLURM) позаботится о том, чтобы выяснить, доступны ли запрошенные вами ресурсы на вычислительных узлах, и, если нет, он начнет резервировать эти ресурсы для вас. Как только ресурсы становятся доступными, планировщик запускает вашу программу на вычислительных узлах.

Важные примечания по использованию кластеров высокопроизводительных вычислений Princeton

Правило 10-10.
Во-первых, важно знать, что вы можете запускать тестовые задания на головных узлах, которые выполняются до 10 минут и используют до 10 % ядер ЦП и памяти. Если вы превысите эти ограничения, вы, вероятно, нарушите работу других, и наши системные администраторы могут связаться с вами, если вы нарушите эти правила.

Нет доступа к Интернету на вычислительных узлах
Во-вторых, важно знать, что на вычислительных узлах нет доступа к Интернету. Это из соображений безопасности. Это означает, что когда вы отправляете свое задание (ваша программа + ваш скрипт slurm) для запуска в кластере, эти задания не могут включать какие-либо шаги, требующие подключения к Интернету для работы. Например, загрузка данных с сайта, просмотр веб-сайтов, загрузка пакетов и т. д. не будут работать на вычислительных узлах. Перед отправкой задания планировщику необходимо убедиться, что все необходимые файлы присутствуют в кластере.

Дополнительные сведения о кластерах Принстона

Каждый кластер исследовательских вычислений Принстона обычно имеет небольшое количество узлов входа (обычно один или два) и большое количество вычислительных узлов. Например, кластер Della в Принстоне состоит из нескольких сотен вычислительных узлов.

Каждый узел в кластере обычно содержит один или несколько (обычно два) процессора, которые мы будем называть процессорными чипами. Чип ЦП подключен к памяти (ОЗУ), а также к другим устройствам, таким как графические процессоры или сетевые карты. Самое главное, каждый процессорный чип имеет несколько процессорных ядер или мини-процессоров. Эти ядра выполняют фактические вычисления. Узел с 2 процессорными чипами и 16 процессорными ядрами на каждый процессорный чип может использоваться для одновременного выполнения 32 задач.

Задание может выполняться на одном ядре ЦП, но если ваш код изменен для поддержки параллельных операций, задание также может выполняться на нескольких ядрах ЦП на одном или нескольких чипах ЦП и даже на нескольких узлах с один раз. См. раздел Компиляция и запуск заданий MPI.

Узлы в каждом из кластеров Принстона связаны друг с другом высокоскоростной сетью с малой задержкой, InfiniBand или Omni-Path. Это позволяет выполнять параллельные операции между узлами.

Все кластеры исследовательских вычислений Принстона имеют узлы GPU, которые являются узлами как с чипами CPU, так и с GPU. См.: Что такое GPU?

Кластеры исследовательских вычислений Princeton работают под управлением операционной системы Linux. В частности, они работают под управлением Springdale Linux, специализированной версии Red Hat Enterprise Linux. Springdale — это дистрибутив Linux, поддерживаемый членами Принстонского университета и Института перспективных исследований.

Зачем использовать кластеры Princeton HPC?

Короче говоря, кластеры Принстона созданы для того момента, когда ваш персональный компьютер больше не может выполнять необходимые вам вычисления.

Компьютерный кластер – это набор подключенных компьютеров, работающих как единая система. Эти компьютеры являются базовыми элементами гораздо большей системы, которая называется узлом.

Кластер может состоять из двух персональных компьютеров, соединенных в простую двухузловую систему, но есть и суперкомпьютеры с более крупной и сложной вычислительной архитектурой.

Все устройства в системе относятся к одному типу машин. Эти компьютеры связаны между собой через быстрые и эффективные локальные сети (LAN) и обычно используют одно и то же оборудование. Их связь может быть жесткой или слабой, но у них общий домашний каталог.

Как работает кластер компьютеров?

Несомненно, существует широкий диапазон размеров кластеров, но все кластеры состоят из одной и той же базовой структуры.

Во-первых, кластер состоит из относительно небольшого количества головных узлов. В большинстве случаев есть один или два головных узла, за которыми следует гораздо большее количество вычислительных узлов.

Головная система — это компьютер, на котором вы входите в систему, компилируете код, назначаете задачи, требующие больших вычислительных ресурсов, координируете задания и проверяете трафик на всех системных устройствах.

Основной обязанностью подключенных узлов является вычисление производительности. Они выполняют заказы, следуют установленному набору инструкций и выполняют всю работу как единая, но гораздо более мощная машина.

Задачи автоматически передаются от головной системы к вычислительным узлам, и существуют отличные инструменты, которые могут помочь вам в планировании рабочей нагрузки. Одна из них называется SLURM (Простая утилита Linux для управления ресурсами).

SLURM – это программа планирования заданий, разработанная для удовлетворения высоких требований вычислительного процесса. Это диспетчер рабочей нагрузки, выполняющий три функции:

  1. Определить требования к ресурсам для данных задач.
  2. Создайте надлежащую рабочую среду.
  3. Укажите эти задачи и выполните их в виде команд оболочки.

Такие инструменты, как SLURM, полезны, но для успешного выполнения своей работы им нужно знать две вещи:

  1. Как долго вы планируете пользоваться системой?
  2. Какая часть вашего кластера вам действительно нужна?

Ответом на второй вопрос является количество узлов и количество заданных потоков.

Каждый узел кластера имеет один или несколько ЦП или процессоров, на которых происходит весь вычислительный процесс. Обычно таких процессоров два, и каждый содержит несколько так называемых ядер.

Например, если у вас есть один узел с двумя процессорами, каждый из которых содержит 16 ядер, общее количество ядер равно 32. Это означает, что один из ваших вычислительных узлов может выполнять 32 задачи одновременно, даже если одно ядро ​​может выполнять эту работу самостоятельно. Возможность выполнять больше задач с помощью кластера — это сила компьютерных кластеров».

Одним из важнейших элементов поддержки параллельных операций, выполняемых одновременно, является скорость сети. Компьютеры в кластерах должны быть связаны между собой быстрыми, надежными сетями с малой задержкой.

Другие инструменты планирования

Enduro/X — это сервер приложений и ПО промежуточного слоя, отвечающий за распределенную обработку транзакций. Это платформа с открытым исходным кодом, которая означает программное обеспечение, исходный код которого вы выпускаете по лицензии. Затем правообладатель предоставляет пользователям право изучать, изменять, использовать или распространять программное обеспечение среди других.

Ganglia — это масштабируемый инструмент мониторинга, который можно использовать для кластеров, высокопроизводительных вычислительных систем или сетей для проверки ценных показателей, таких как, например, использование сети для узлов или средняя загрузка ЦП.

OpenHPC – это набор инструментов сообщества, которые решают обычные задачи в средах высокопроизводительных вычислений, а также предоставляют документацию и строительные блоки, которые впоследствии можно комбинировать на сайтах высокопроизводительных вычислений по своему усмотрению.

Apache Mesos — еще одна платформа с открытым исходным кодом, созданная для управления компьютерными кластерами.

И последнее, но не менее важное: набор инструментов Globus. Это набор инструментов с открытым исходным кодом, предоставленный Globus Alliance и разработанный для распределенных вычислений.

Ключевой вывод. Компьютерный кластер — это набор из двух или более компьютеров, соединенных между собой и способных работать как единая объединенная система. Более крупная система называется узлом, а подключенные компьютеры — это более мелкие единицы, которые работают через локальные сети и запускают собственный экземпляр всей системы.

Боретесь с простоем вашего веб-сайта? Узнайте, почему важна высокая доступность и как ее достичь.

В чем разница между кластером компьютеров и грид-компьютерами?

Согласно Suse, грид-операционная система представляет собой сеть независимых компьютеров, распределенных по разным местам, но все же объединенных для достижения одной и той же цели и общих задач. Компьютерный кластер назначает одно и то же задание каждому узлу, а грид-операционная система дает разные задания каждому из своих узлов.

Грид-вычисления обычно включают множество параллельных вычислений, которые выполняются независимо друг от друга, поэтому между процессорами нет необходимости взаимодействовать. Кроме того, эти проекты в основном распределены по многим странам, но все еще связаны через относительно быстрые локальные сети.

Ключевой вывод. Грид-вычисления неоднородны, тогда как кластерные вычисления представляют собой однородную систему.Вот почему компьютерные кластеры и грид-вычисления предоставляют совершенно разные типы услуг.

Каковы преимущества компьютерного кластера?

Компании любого размера часто используют компьютерные кластеры. Итак, почему именно люди используют кластеризацию компьютеров? Вот три главных преимущества использования кластерных вычислений:

Высокопроизводительные вычисления

Компьютерные кластеры могут обеспечить более высокую производительность, чем традиционные модели хостинга. Во-первых, вы получаете высокоскоростные и высокопроизводительные вычисления (HPC) по гораздо более низкой цене.

Сложные действия, такие как инженерные и научные задачи или любые задачи с большим объемом данных, просто требуют гораздо большей производительности, чем может выполнить обычный компьютер, поэтому для этих задач необходимы высокопроизводительные вычисления.

Есть много случаев, когда ваше приложение или сайт могут испытывать проблемы с задержкой, простоем или другими проблемами, вызванными высоким трафиком и различными факторами. Когда вы используете более одного сервера и связываете его с балансировщиком нагрузки, ваш трафик распределяется между многими компьютерами, что помогает вашему сайту или приложению работать хорошо даже при пиковой нагрузке.

Таким образом, предстоящий трафик сначала попадает в балансировщик нагрузки, который интеллектуально распределяет трафик между компьютерами. С помощью настройки High Performance вы можете добавить больше серверов и масштабировать систему по горизонтали.

Система высокопроизводительных вычислений часто представляет собой кластер из 16–64 компьютеров, каждый из которых оснащен 1–4 процессорами. Каждый процессор имеет 2-4 ядра, то есть 64-256 ядер. Когда дело доходит до установки высокопроизводительных вычислений, можно выбрать как Windows, так и Linux, при этом Linux остается наиболее используемой операционной системой.

Высокая доступность

Еще одно ценное преимущество компьютерных кластеров — высокая доступность (HA). Хостинг с высокой доступностью — это система/сеть/кластер, предназначенная для предотвращения потенциальной потери обслуживания. Это достигается за счет сведения к минимуму запланированного времени простоя, а также управления и сокращения сбоев, о чем мы также поговорим ниже.

Высокая доступность также повышает доступность ресурсов. Если один компьютер выходит из строя, остальные продолжают процесс без каких-либо перерывов. Это помогает предотвратить возможную потерю ценной информации и времени в случае сбоя сервера.

Масштабируемость и расширяемость

Большая масштабируемость и расширяемость — еще одно преимущество использования компьютерного кластера. Ваша пользовательская база со временем будет расти, что приведет к более сложным задачам и позволит вам легко добавлять дополнительные ресурсы в ваш кластер.

При этом вы можете распределять текущие проекты между компьютерами любым удобным для вас способом. Это означает, что не все узлы должны работать для всех проектов. Вы можете максимально эффективно использовать свой кластер, гибко используя ресурсы.

В целом несколько компьютеров всегда обеспечивают более значительную вычислительную мощность и повышенную производительность системы, чем один компьютер.

5 примеров компьютерных кластеров

Компьютерные кластеры используются во множестве отраслей для сложных вычислительных сценариев. Вот пять примеров использования кластера компьютеров:

1. Поддержка ядерных симуляций

Обращение с термомеханическими свойствами ядерных и конструкционных материалов имеет большое значение для более безопасной эксплуатации ядерной установки. Инструменты, которые люди используют здесь, должны иметь дело с широким диапазоном масштабов длины и времени. Высокоскоростные системы памяти, HPC, конструкция процессора и аппаратное обеспечение, специально предназначенное для параллельных вычислений, помогают сократить время вычислений.

2. Система прогноза погоды

Системы прогнозирования погоды создаются с использованием специальной модели, в которой изменения рассчитываются на основе физики, химии и потока жидкости. Точность модели, алгоритмы и количество представленных точек данных говорят о том, насколько точным и точным будет прогноз.

3. Серверы баз данных

Один сервер не всегда может быть подходящим решением для управления всеми вашими данными или запросами. Вот почему вам может понадобиться кластеризация базы данных. Это процесс, при котором вы подключаете одну базу данных, объединяя два или более серверов или экземпляров.

4. Аэродинамика

Взлет самолета происходит довольно шумно, потому что аэродинамическое сопротивление и мощность двигателя приближаются к максимуму, когда самолет взлетает. HPC помогает инженерам оптимизировать аэродинамику и смоделировать ее примерно за два часа. Таким образом, инженерам удается достичь экологических и финансовых целей своей отрасли.

5. Интеллектуальный анализ данных

При кластеризации мы группируем различные объекты данных, которые классифицируем как похожие. После разделения данных и классификации групп вы маркируете их в соответствии с их функциями. Кластеризация здесь помогает упростить все дальнейшие шаги в процессе интеллектуального анализа данных.

Возможное время простоя

Как упоминалось ранее, высокая доступность (HA) особенно важна, поскольку снижает вероятность простоя.

Время простоя — это время, когда ваш компьютер или даже вся система становятся недоступными, неработоспособными или отключенными. Есть много вещей, которые потенциально могут вызвать это, например:

  • Запланированный простой
  • Человеческие ошибки
  • Сбои в работе оборудования или программного обеспечения
  • Экологические катастрофы (пожары, наводнения, перепады температуры или отключение электроэнергии)

Время простоя может привести к потере данных, потере репутации, взлому или потере прибыли, поэтому высокая доступность имеет решающее значение для непрерывности бизнеса.

Обработка интенсивных вычислений данных и требований к времени безотказной работы с кластерами серверов в Liquid Web

Собираетесь ли вы создавать приложения для социальных сетей или просто хотите масштабировать свой бизнес электронной коммерции, у Liquid Web есть варианты кластера серверов, которые помогут вам в этом. Наши кластеры масштабируются от 2 до 200 серверов и точно соответствуют вашим потребностям.

Одним из наших предложений являются управляемые услуги для критически важных приложений, таких как высокопроизводительный хостинг и хостинг высокой доступности. Наши архитекторы хостинга помогут вам выбрать или разработать вариант, который подходит вам лучше всего.

Читайте также: