Программы, позволяющие обслуживать диски и выполнять операции с файлами.

Обновлено: 01.07.2024

Начните строить в Google Cloud с бесплатными кредитами на 300 долл. США и более чем 20 бесплатными продуктами.

Кратко о Колоссе

Но сначала немного предыстории Колосса:

Но как все это работает? И как одна файловая система может поддерживать такой широкий спектр рабочих нагрузок? Ниже представлена схема основных компонентов панели управления Colossus:

Вы доверяете Google Cloud свои важные данные, но знаете ли вы, что Google также использует ту же базовую инфраструктуру хранения для других своих предприятий? Верно, та же система хранения, на которой работает Google Cloud, также лежит в основе самых популярных продуктов Google, поддерживая глобально доступные сервисы, такие как YouTube, Диск и Gmail.

Основной системой хранения данных является Colossus, которая поддерживает обширную экосистему сервисов хранения Google, таких как Cloud Storage и Firestore, и поддерживает широкий спектр рабочих нагрузок, включая обработку транзакций, обслуживание данных, аналитику и архивирование, загрузочные диски и домашние каталоги. .

В этом посте мы подробно рассмотрим инфраструктуру хранения ваших виртуальных машин, в частности файловую систему Colossus, и то, как она помогает обеспечить высокую масштабируемость и надежность данных для служб Google и ваших приложений.

Google Cloud масштабируется, потому что масштабируется Google

Прежде чем мы углубимся в работу служб хранения, важно понять единую инфраструктуру, которая поддерживает как облачные сервисы, так и продукты Google. Как и любая хорошо спроектированная программная система, вся система Google состоит из общего набора масштабируемых сервисов. Каждый из наших сервисов хранения состоит из трех основных строительных блоков:

Colossus — это наша файловая система на уровне кластера, преемница файловой системы Google (GFS).

Spanner — это наша глобально согласованная масштабируемая реляционная база данных.

Borg — это масштабируемый планировщик заданий, который запускает все, от вычислений до служб хранения. Он оказал и продолжает оказывать большое влияние на дизайн и разработку Kubernetes.

Эти три основных строительных блока используются для обеспечения базовой инфраструктуры для всех сервисов Google Cloud Storage, от Firestore до Cloud SQL, Filestore и Cloud Storage. Всякий раз, когда вы получаете доступ к своим любимым службам хранения, одни и те же три строительных блока работают вместе, чтобы предоставить все, что вам нужно. Borg выделяет необходимые ресурсы, Spanner сохраняет все метаданные о правах доступа и расположении данных, а затем Colossus управляет, хранит и предоставляет доступ ко всем вашим данным.

Google Cloud использует те же строительные блоки, а затем накладывает друг на друга все необходимое, чтобы обеспечить необходимый уровень доступности, производительности и надежности от ваших служб хранения. Другими словами, ваши собственные приложения будут масштабироваться так же, как и продукты Google, поскольку они опираются на ту же базовую инфраструктуру, основанную на масштабировании этих трех сервисов в соответствии с вашими потребностями.

Кратко о Колоссе

Теперь давайте подробнее рассмотрим, как работает Colossus.

Но сначала немного предыстории Колосса:

Это следующее поколение GFS.

Его дизайн повышает масштабируемость хранилища и повышает доступность, чтобы справиться с огромным ростом потребностей в данных для постоянно растущего числа приложений.

Colossus представил модель распределенных метаданных, которая предоставила более масштабируемую и высокодоступную подсистему метаданных.

Как Colossus обеспечивает надежное масштабируемое хранилище

Клиентская библиотека
Клиентская библиотека — это способ взаимодействия приложения или службы с Colossus. Клиент, вероятно, самая сложная часть всей файловой системы. Существует множество функций, таких как программный RAID, которые подключаются к клиенту в зависимости от требований приложения. Приложения, созданные на основе Colossus, используют различные кодировки для точной настройки производительности и снижения затрат для различных рабочих нагрузок.

Плоскость управления Colossus
Основой Colossus является масштабируемая служба метаданных, состоящая из множества кураторов. Клиенты обращаются напрямую к кураторам для управления операциями, такими как создание файлов, и могут масштабироваться по горизонтали.

База данных метаданных
Кураторы хранят метаданные файловой системы в высокопроизводительной базе данных Google NoSQL BigTable. Первоначальной мотивацией для создания Colossus было устранение ограничений масштабирования, с которыми мы столкнулись в файловой системе Google (GFS) при попытке разместить метаданные, связанные с поиском. Хранение метаданных файлов в BigTable позволило масштабировать Colossus более чем в 100 раз по сравнению с крупнейшими кластерами GFS.

D File Servers
Colossus также сводит к минимуму количество переходов для данных в сети. Данные передаются напрямую между клиентами и файловыми серверами «D» (наши сетевые диски).

Custodians
Colossus также включает фоновые менеджеры хранилища, называемые Custodians. Они играют ключевую роль в поддержании надежности и доступности данных, а также в общей эффективности, выполняя такие задачи, как балансировка дискового пространства и реконструкция RAID.

Как Colossus обеспечивает надежное масштабируемое хранилище

Чтобы увидеть, как все это работает в действии, давайте рассмотрим, как Cloud Storage использует Colossus. Вы, наверное, слышали, как мы много говорим о том, как облачное хранилище может поддерживать широкий спектр вариантов использования, от архивного хранения до высокопроизводительной аналитики, но мы не часто говорим о системе, которая лежит в основе.

С Colossus один кластер можно масштабировать до эксабайтов хранилища и десятков тысяч машин. Например, в приведенном выше примере у нас есть экземпляры, получающие доступ к облачному хранилищу с виртуальных машин Compute Engine, узлов обслуживания YouTube и узлов Ads MapReduce — все они могут совместно использовать одну и ту же базовую файловую систему для выполнения запросов. Ключевым компонентом является наличие общего пула хранения, которым управляет плоскость управления Colossus, создавая иллюзию того, что у каждого есть собственная изолированная файловая система.

Разукрупнение ресурсов способствует более эффективному использованию ценных ресурсов и снижению затрат на все рабочие нагрузки. Например, можно предусмотреть пиковый спрос рабочих нагрузок с малой задержкой, таких как видео на YouTube, а затем запускать пакетные аналитические рабочие нагрузки с меньшими затратами, заставляя их заполнять промежутки времени простоя.

Давайте рассмотрим еще несколько преимуществ Colossus.

Упрощение аппаратного обеспечения

Как вы можете себе представить, любая файловая система, поддерживающая сервисы Google, предъявляет довольно высокие требования к пропускной способности и масштабированию, которые должны обрабатывать файлы размером несколько ТБ и массивные наборы данных. Colossus абстрагируется от многих сложностей физического оборудования, которые в противном случае мешали бы приложениям, интенсивно использующим хранилище.

В центрах обработки данных Google используется огромное разнообразие базового оборудования для хранения данных, в том числе дисковые и флэш-накопители разных размеров и типов. Кроме того, к приложениям предъявляются чрезвычайно разнообразные требования в отношении надежности, доступности и задержки. Чтобы у каждого приложения было необходимое хранилище, Colossus предлагает ряд уровней обслуживания. Приложения используют эти разные уровни, указывая требования к вводу-выводу, доступности и надежности, а затем выделяя ресурсы (байты и ввод-вывод) в виде абстрактных недифференцированных единиц.

Кроме того, в масштабах Google аппаратное обеспечение выходит из строя практически постоянно — не потому, что оно ненадежно, а потому, что его много. Сбои — естественная часть работы в таком огромном масштабе, и крайне важно, чтобы его файловая система обеспечивала отказоустойчивость и прозрачное восстановление. Colossus направляет операции ввода-вывода в обход этих сбоев и выполняет быстрое восстановление в фоновом режиме, чтобы обеспечить надежное и доступное хранилище.

Конечным результатом является то, что связанная со сложностью работа с аппаратными ресурсами головная боль значительно снижается, что позволяет любому приложению легко получать и использовать требуемое хранилище.

Максимальная эффективность хранения

Теперь, как вы можете себе представить, требуется некоторая магия управления, чтобы обеспечить доступность ресурсов хранения, когда они нужны приложениям, без избыточного выделения. Colossus использует тот факт, что данные имеют самые разные шаблоны доступа и частоты доступа (т. е. горячие данные, к которым обращаются часто), и использует сочетание флэш-памяти и дискового хранилища для удовлетворения любых потребностей.

Самые актуальные данные помещаются во флэш-память для более эффективного обслуживания и сокращения задержек. Мы покупаем ровно столько флэш-памяти, чтобы увеличить плотность ввода-вывода на гигабайт до уровня, который обычно могут обеспечить диски, и покупаем ровно столько дисков, чтобы обеспечить достаточную емкость. При правильном сочетании мы можем максимально повысить эффективность хранения и избежать расточительного избыточного выделения ресурсов.

Для дискового хранилища мы хотим, чтобы диски были заполнены и загружены, чтобы избежать избыточного инвентаря и ненужных дисковых операций ввода-вывода. Для этого Colossus использует интеллектуальное управление дисками, чтобы получить максимальную отдачу от доступных дисковых операций ввода-вывода. Недавно записанные данные (т. е. более горячие данные) равномерно распределяются по всем дискам в кластере. Затем данные перебалансируются и перемещаются на диски большей емкости по мере их старения и охлаждения. Это отлично работает, например, для аналитических рабочих нагрузок, когда данные обычно остывают по мере устаревания.

Проверено в боевых условиях, чтобы обеспечить масштабность

Итак, вот оно: Colossus — это секретная суперсила масштабирования, стоящая за инфраструктурой хранения данных Google.Colossus не только удовлетворяет потребности в хранении для облачных сервисов Google, но также предоставляет возможности хранения для внутреннего хранилища Google, помогая доставлять контент миллиардам людей, использующих Поиск, Карты, YouTube и многое другое каждый день. Когда вы строите свой бизнес в Google Cloud, вы получаете доступ к той же сверхмощной инфраструктуре, которая поддерживает работу Google. Мы продолжим улучшать нашу инфраструктуру, чтобы вам не пришлось этого делать.

Чтобы узнать больше об архитектуре хранилища Google Cloud, ознакомьтесь с сеансом Next ‘20, на основе которого был написан этот пост, «Взгляд на инфраструктуру хранилища Google за виртуальной машиной ». И посетите веб-сайт облачного хранилища, чтобы узнать больше обо всех наших предложениях по хранению.

Преимущества хранилища Azure

Службы Azure Storage предлагают следующие преимущества для разработчиков приложений и ИТ-специалистов:

Службы данных хранилища Azure

Платформа хранилища Azure включает следующие службы данных:

: Массивно масштабируемое хранилище объектов для текстовых и двоичных данных. Также включает поддержку аналитики больших данных с помощью Data Lake Storage Gen2. : управляемые файловые ресурсы для облачных или локальных развертываний. : хранилище сообщений для надежного обмена сообщениями между компонентами приложения. : хранилище NoSQL для бессхемного хранения структурированных данных. : тома хранилища на уровне блоков для виртуальных машин Azure.

Доступ к каждой службе осуществляется через учетную запись хранения. Чтобы начать работу, ознакомьтесь со статьей Создание учетной записи хранения.

Рассмотреть варианты хранения данных в Azure

Azure предоставляет различные инструменты и службы для хранения, включая службу хранилища Azure. Чтобы определить, какая технология Azure лучше всего подходит для вашего сценария, см. раздел Просмотр вариантов хранения в Azure Cloud Adoption Framework.

Примеры сценариев для служб хранилища Azure

В следующей таблице сравниваются файлы, большие двоичные объекты, диски, очереди и таблицы и показаны примеры сценариев для каждого из них.

Вы хотите заменить или дополнить локальные файловые серверы или устройства NAS.

Вы хотите иметь доступ к данным приложения из любого места.

Хранилище BLOB-объектов

Хранилище BLOB-объектов Azure — это решение Microsoft для хранения объектов в облаке. Хранилище BLOB-объектов оптимизировано для хранения больших объемов неструктурированных данных, таких как текст или двоичные данные.

Хранилище BLOB-объектов идеально подходит для:

Отправка изображений или документов непосредственно в браузер.
Хранение файлов для распределенного доступа.
Потоковое видео и аудио.
Хранение данных для резервного копирования и восстановления, аварийного восстановления и архивирования.
Сохранение данных для анализа локальной службой или службой, размещенной в Azure.

Дополнительные сведения о хранилище BLOB-объектов см. в разделе Введение в хранилище BLOB-объектов.

Файлы Azure

Azure Files позволяет настроить высокодоступные общие сетевые файловые ресурсы, к которым можно получить доступ с помощью стандартного протокола SMB. Это означает, что несколько виртуальных машин могут совместно использовать одни и те же файлы с доступом как для чтения, так и для записи. Вы также можете читать файлы с помощью интерфейса REST или клиентских библиотек хранилища.

Одна вещь, которая отличает Файлы Azure от файлов в корпоративной общей папке, заключается в том, что вы можете получить доступ к файлам из любой точки мира, используя URL-адрес, который указывает на файл и включает маркер подписи общего доступа (SAS). Вы можете генерировать токены SAS; они разрешают определенный доступ к частному объекту в течение определенного периода времени.

Общие файлы можно использовать во многих распространенных сценариях:

Многие локальные приложения используют общие папки. Эта функция упрощает перенос тех приложений, которые совместно используют данные, в Azure. Если вы подключаете общий файловый ресурс к той же букве диска, которую использует локальное приложение, часть вашего приложения, которая обращается к общему файловому ресурсу, должна работать с минимальными изменениями, если таковые имеются.

Файлы конфигурации можно хранить в общей папке, и к ним можно получить доступ с нескольких виртуальных машин. Инструменты и утилиты, используемые несколькими разработчиками в группе, можно хранить в общей папке, чтобы каждый мог их найти и использовать одну и ту же версию.

Журналы ресурсов, метрики и аварийные дампы – это всего лишь три примера данных, которые можно записать в общую папку, а затем обработать или проанализировать.

Дополнительные сведения о службе "Файлы Azure" см. в разделе Введение в службу "Файлы Azure".

Некоторые функции SMB не применимы к облаку. Дополнительные сведения см. в разделе Функции, не поддерживаемые файловой службой Azure.

Хранилище очереди

Служба очередей Azure используется для хранения и извлечения сообщений. Сообщения в очереди могут иметь размер до 64 КБ, а очередь может содержать миллионы сообщений. Очереди обычно используются для хранения списков сообщений, подлежащих асинхронной обработке.

Например, вы хотите, чтобы ваши клиенты могли загружать изображения, и вы хотите создать миниатюры для каждого изображения. Вы можете попросить своего клиента подождать, пока вы создадите миниатюры, пока загружаете изображения. Альтернативой может быть использование очереди.Когда клиент завершит загрузку, напишите сообщение в очередь. Затем попросите функцию Azure извлечь сообщение из очереди и создать эскизы. Каждую из частей этой обработки можно масштабировать отдельно, что дает вам больше контроля при настройке ее для вашего использования.

Дополнительные сведения об очередях Azure см. в разделе Введение в очереди.

Хранилище таблицы

Хранилище таблиц Azure теперь является частью Azure Cosmos DB. Документацию по хранилищу таблиц Azure см. в разделе Обзор хранилища таблиц Azure. В дополнение к существующей службе хранилища таблиц Azure предлагается новый API таблиц Azure Cosmos DB, который предоставляет таблицы с оптимизированной пропускной способностью, глобальное распределение и автоматические вторичные индексы. Чтобы узнать больше и попробовать новый расширенный интерфейс, см. API таблиц Azure Cosmos DB.

Дополнительные сведения о хранилище таблиц см. в разделе Обзор хранилища таблиц Azure.

Дисковое хранилище

Управляемый диск Azure — это виртуальный жесткий диск (VHD). Вы можете думать об этом как о физическом диске на локальном сервере, но виртуализированном. Диски, управляемые Azure, хранятся в виде страничных BLOB-объектов, которые представляют собой случайный объект хранилища операций ввода-вывода в Azure. Мы называем управляемый диск «управляемым», поскольку он представляет собой абстракцию над страничными BLOB-объектами, контейнерами BLOB-объектов и учетными записями хранения Azure. При использовании управляемых дисков все, что вам нужно сделать, — это подготовить диск, а Azure позаботится обо всем остальном.

Дополнительные сведения об управляемых дисках см. в разделе Введение в управляемые диски Azure.

Типы учетных записей хранения

Хранилище Azure предлагает несколько типов учетных записей хранения. Каждый тип поддерживает различные функции и имеет собственную модель ценообразования. Дополнительные сведения о типах учетных записей хранения см. в разделе Обзор учетных записей хранения Azure.

Защищенный доступ к учетным записям хранения

Каждый запрос к хранилищу Azure должен быть авторизован. Служба хранилища Azure поддерживает следующие методы авторизации:

Интеграция с Azure Active Directory (Azure AD) для больших двоичных объектов, очередей и данных таблиц. Служба хранилища Azure поддерживает проверку подлинности и авторизацию с помощью Azure AD для служб BLOB-объектов и очередей с помощью управления доступом на основе ролей Azure (Azure RBAC). Авторизация с помощью Azure AD также поддерживается для службы таблиц в предварительной версии. Авторизация запросов с помощью Azure AD рекомендуется для обеспечения максимальной безопасности и простоты использования. Дополнительные сведения см. в статье Авторизация доступа к данным в службе хранилища Azure.
Авторизация Azure AD через SMB для файлов Azure. Файлы Azure поддерживают авторизацию на основе удостоверений через SMB (блок сообщений сервера) через доменные службы Azure Active Directory (Azure AD DS) или локальные доменные службы Active Directory (предварительная версия). Ваши виртуальные машины Windows, присоединенные к домену, могут получить доступ к файловым ресурсам Azure с помощью учетных данных Azure AD. Дополнительные сведения см. в статьях Обзор поддержки проверки подлинности на основе удостоверений в Azure Files для доступа к SMB и Планирование развертывания Azure Files.
Авторизация с помощью общего ключа. Службы BLOB-объектов, файлов, очередей и таблиц Azure Storage поддерживают авторизацию с помощью общего ключа. Клиент, использующий авторизацию с общим ключом, передает заголовок с каждым запросом, подписанным с помощью ключа доступа к учетной записи хранения. Дополнительные сведения см. в разделе Авторизация с помощью общего ключа.
Авторизация с использованием подписей общего доступа (SAS). Подпись общего доступа (SAS) — это строка, содержащая маркер безопасности, который можно добавить к URI ресурса хранилища. Маркер безопасности инкапсулирует ограничения, такие как разрешения и интервал доступа. Дополнительные сведения см. в разделе Использование подписей общего доступа (SAS).
Анонимный доступ к контейнерам и большим двоичным объектам. Контейнер и его большие двоичные объекты могут быть общедоступными. Когда вы указываете, что контейнер или большой двоичный объект является общедоступным, любой может прочитать его анонимно; аутентификация не требуется. Дополнительные сведения см. в разделе Управление анонимным доступом на чтение к контейнерам и большим двоичным объектам.

Шифрование

Для службы хранилища Azure доступны два основных типа шифрования. Дополнительные сведения о безопасности и шифровании см. в руководстве по безопасности хранилища Azure.

Шифрование при хранении

Шифрование Azure Storage защищает и защищает ваши данные в соответствии с вашими корпоративными обязательствами по безопасности и соответствию требованиям. Служба хранилища Azure автоматически шифрует все данные перед сохранением в учетной записи хранения и расшифровывает их перед извлечением. Процессы шифрования, дешифрования и управления ключами прозрачны для пользователей. Клиенты также могут управлять своими ключами с помощью Azure Key Vault. Дополнительные сведения см. в разделе Шифрование в хранилище Azure для данных в состоянии покоя.

Шифрование на стороне клиента

Избыточность

Чтобы обеспечить надежность ваших данных, служба хранилища Azure хранит несколько копий ваших данных. При настройке учетной записи хранения вы выбираете параметр избыточности. Дополнительные сведения см. в статье Избыточность хранилища Azure.

Перенос данных в хранилище Azure и обратно

У вас есть несколько вариантов перемещения данных в хранилище Azure или из него.Какой вариант вы выберете, зависит от размера вашего набора данных и пропускной способности вашей сети. Дополнительные сведения см. в разделе Выбор решения Azure для передачи данных.

Цены

Принимая решения о том, как ваши данные хранятся и доступны, вы также должны учитывать связанные с этим затраты. Дополнительные сведения см. в разделе Цены на хранилище Azure.

API, библиотеки и инструменты хранилища

Steadfast предоставляет выделенные серверы с конфигурациями RAID уже не менее десяти лет, и, хотя RAID является широко используемой технологией, ее реализация сильно изменилась с появлением твердотельных накопителей (SSD). Многие клиенты спрашивали нас о RAID, о том, что это такое, как он влияет на них и как они могут добиться максимальной надежности и производительности, не забывая при этом о своих финансовых результатах. Итак, я решил взглянуть на сообщения в блогах, которые мы делали в прошлом, и выпустить обновленную версию, включающую современные достижения. Если у вас остались вопросы, свяжитесь с нами.

Что такое RAID?

RAID означает избыточный массив недорогих дисков. Это означает, что RAID — это способ логического объединения нескольких дисков в один массив. Идея состоит в том, что эти диски, работающие вместе, будут иметь скорость и/или надежность более дорогого диска. Теперь конкретная скорость и надежность, которые вы получите от RAID, зависят от типа используемого RAID.

Краткий обзор вращающихся дисков и твердотельных накопителей

Вращающиеся диски, механические жесткие диски или жесткие диски (HDD) обычно выбираются в ситуациях, когда такие потребности, как скорость и производительность, отстают от стоимости. Из-за физических ограничений и механической природы многих быстро движущихся частей, содержащихся в них, жесткие диски также имеют относительно высокую частоту отказов по сравнению с твердотельными накопителями. RAID предназначен для решения обеих этих проблем, в зависимости от используемого типа RAID. Как правило, у механического жесткого диска вероятность выхода из строя составляет 2,5% каждый год его эксплуатации. Это было доказано многочисленными отчетами, и ни один конкретный производитель или модель не имеет резкого отклонения от этого показателя в 2,5%. Короче говоря, если вы цените свои данные, вам потребуется внедрить некоторую методологию, чтобы защитить их от сбоя диска.

Из-за существенной разницы между технологиями жестких дисков и твердотельных накопителей важно отметить, что некоторые реализации RAID, которые отлично подходят для жестких дисков, не подходят для твердотельных накопителей, и наоборот.

Какие существуют типы RAID?

RAID 0 (чередование)

RAID 0 берет любое количество дисков и объединяет их в один большой том. Это значительно повысит скорость, так как вы читаете и пишете с нескольких дисков одновременно. Затем отдельный файл может использовать скорость и емкость всех дисков массива. Недостатком RAID 0 является то, что он НЕ избыточен. Потеря любого отдельного диска приведет к полной потере данных. Этот тип RAID гораздо менее надежен, чем один диск.

Редко возникает ситуация, когда вам следует использовать RAID 0 в серверной среде. Вы можете использовать его для кеша или других целей, где важна скорость, а надежность/потеря данных вообще не имеют значения. Но он не должен использоваться ни для чего другого, кроме этого. Например, при годовой частоте отказов дисков 2,5 %, если у вас есть массив RAID 0 из 6 дисков, вы увеличиваете ежегодный риск потери данных почти до 13,5 %.

RAID 1 (зеркалирование)

Хотя RAID 1 допускает гораздо более сложную конфигурацию, почти в каждом случае использования RAID 1 у вас есть пара идентичных дисков, которые одинаково зеркалируют/копируют данные на всех дисках в массиве. Смысл RAID 1 прежде всего в избыточности. Если вы полностью потеряете диск, вы все равно сможете работать с дополнительным диском.

В случае отказа одного из дисков вы можете заменить неисправный диск практически без простоя. RAID 1 также дает дополнительное преимущество в виде повышенной производительности чтения, поскольку данные можно считывать с любого диска в массиве. Недостатком является то, что у вас будет немного более высокая задержка записи. Поскольку данные необходимо записывать на оба диска в массиве, у вас будет доступная емкость только одного диска, а вам понадобятся два диска.

RAID 5/6 (чередование + распределенная четность)

RAID 5 требует использования не менее 3 дисков (RAID 6 требует не менее 4 дисков). Он использует идею RAID 0 и распределяет данные по нескольким дискам для повышения производительности. Но это также добавляет аспект избыточности, распределяя информацию о четности по дискам. В Интернете есть много технических ресурсов, которые могут подробно рассказать о том, как это происходит на самом деле. Короче говоря, с RAID 5 вы можете потерять один диск, а с RAID 6 вы можете потерять два диска и при этом сохранить свои операции и данные.

RAID 5 и 6 значительно улучшат производительность чтения. Но производительность записи во многом зависит от используемого RAID-контроллера.Для RAID 5 или 6 вам наверняка понадобится выделенный аппаратный контроллер. Это связано с необходимостью вычислять данные четности и записывать их на все диски. RAID 5 и RAID 6 часто являются хорошими вариантами для стандартных веб-серверов, файловых серверов и других систем общего назначения, где большинство транзакций читаются, и обеспечивают хорошее соотношение цены и качества. Это связано с тем, что вам нужно приобрести только один дополнительный диск для RAID 5 (или два дополнительных диска для RAID 6), чтобы повысить скорость и избыточность.

RAID 5 или RAID 6 — не лучший выбор для среды с интенсивными операциями записи, такой как сервер базы данных, так как это, скорее всего, снизит общую производительность.

Стоит отметить, что в ситуации с RAID 5 или RAID 6, если вы потеряете диск, вы серьезно пожертвуете производительностью, чтобы сохранить работоспособность вашей среды. После замены вышедшего из строя диска данные необходимо будет восстановить на основе информации о четности. Это займет значительную часть общей производительности массива. Время восстановления увеличивается с каждым годом по мере того, как диски становятся все больше и больше.

RAID 10 (зеркалирование + чередование)

RAID 10 требует как минимум 4 диска и представляет собой комбинацию RAID 1 (зеркалирование) и RAID 0 (чередование). Это даст вам как повышенную скорость, так и избыточность. Часто это рекомендуемый уровень RAID, если вы ищете скорость, но все еще нуждаетесь в избыточности. В конфигурации с четырьмя дисками два зеркальных диска содержат половину чередующихся данных, а еще два зеркально отражают другую половину данных. Это означает, что вы можете потерять любой отдельный диск, а затем, возможно, даже второй диск без потери данных. Как и в случае с RAID 1, у вас будет емкость только половины дисков, но вы увидите улучшенную производительность чтения и записи. У вас также будет быстрое время перестроения RAID 1.

Когда следует использовать RAID?

RAID чрезвычайно полезен, если время безотказной работы и доступность важны для вас или вашего бизнеса. Резервные копии помогут застраховать вас от катастрофической потери данных. Но восстановление больших объемов данных, например, при сбое диска, может занять много часов. Этим резервным копиям может быть несколько часов или дней, что может стоить вам всех данных, сохраненных или измененных с момента последнего резервного копирования. RAID позволяет пережить отказ одного или нескольких дисков без потери данных и, во многих случаях, без простоев.

RAID также полезен, если у вас есть проблемы с дисковым вводом-выводом, когда приложения ждут на диске выполнения задач. Использование RAID обеспечит вам дополнительную пропускную способность, позволяя читать и записывать данные с нескольких дисков вместо одного диска. Кроме того, если вы используете аппаратный RAID, карта аппаратного RAID будет включать дополнительную память, которая будет использоваться в качестве кэша, что снизит нагрузку на физическое оборудование и повысит общую производительность.

Примечание. Как правило, мы не рекомендуем использовать аппаратную RAID-карту для томов SSD, так как дополнительный кэш не нужен из-за скорости самих SSD.

Какой тип RAID следует использовать?

Без RAID — хорошо, если вы можете выдержать несколько часов простоя и/или потери данных из-за восстановления сайта из резервных копий.
RAID 0 – хорошо, если данные не важны и могут быть потеряны, но критична производительность (например, с кешем).
RAID 1. Подходит, если вы хотите недорого получить дополнительную избыточность данных и/или скорость чтения. (Это хороший базовый уровень для тех, кто хочет увеличить время безотказной работы и повысить производительность резервного копирования.)
RAID 5/6. Подходит, если у вас есть веб-серверы, среды с высокой скоростью чтения или чрезвычайно большие массивы хранения в виде единого объекта. Это будет хуже, чем RAID 1 при записи. Если ваша среда интенсивно записывает или вам не нужно больше места, чем разрешено на диске с RAID 1, RAID 1, вероятно, будет более эффективным вариантом.
RAID 10 – хорошее универсальное решение, обеспечивающее дополнительную скорость чтения и записи, а также дополнительную избыточность.

Программное обеспечение или аппаратное обеспечение?

Программный RAID

Программный RAID входит в состав всех выделенных серверов Steadfast. Это означает, что программное обеспечение RAID 1 БЕСПЛАТНО, и настоятельно рекомендуется, если вы используете локальное хранилище в системе. Настоятельно рекомендуется, чтобы диски в массиве RAID были одного типа и размера.

Программный RAID будет использовать часть вычислительной мощности системы для управления конфигурацией RAID. Если вы хотите максимизировать производительность системы, например, с конфигурацией RAID 5 или 6, лучше всего использовать аппаратную карту RAID при использовании стандартных жестких дисков.

Аппаратный RAID

Для аппаратного RAID требуется выделенный контроллер, установленный на сервере. Инженеры Steadfast будут рады предоставить вам рекомендации относительно того, какой аппаратный RAID лучше всего подходит для вас, исходя из того, какую конфигурацию RAID вы хотите иметь.Аппаратная RAID-карта выполняет все функции управления массивами RAID, предоставляя системе логические диски без вмешательства со стороны самой системы. Кроме того, аппаратный RAID может одновременно предоставлять системе множество различных типов конфигураций RAID. Это включает в себя предоставление массива RAID 1 для загрузочного диска и диска приложений и массива RAID-5 для большого массива хранения.

Чего не делает RAID?

RAID не обеспечивает 100% безотказной работы. Ничто не может. RAID — это еще один инструмент в наборе инструментов, предназначенный для минимизации простоев и проблем с доступностью. Риск отказа карты RAID по-прежнему существует, хотя он значительно ниже, чем механический отказ жесткого диска.
RAID не заменяет резервные копии. Ничто не заменит хорошо спланированное и часто тестируемое резервное копирование!
RAID не защитит вас от повреждения данных, человеческих ошибок или проблем с безопасностью. Хотя это может защитить вас от сбоя диска, существует бесчисленное множество причин для хранения резервных копий. Так что не воспринимайте RAID как замену резервным копиям. Если у вас нет резервных копий, вы не готовы рассматривать RAID как вариант.
RAID не обязательно позволяет динамически увеличивать размер массива. Если вам нужно больше места на диске, вы не можете просто добавить еще один диск в массив. Скорее всего, вам придется начинать с нуля, перестраивая/переформатируя массив. К счастью, инженеры Steadfast готовы помочь вам спроектировать и внедрить любые системы, необходимые для поддержания работы вашего бизнеса.
RAID не всегда лучший вариант для виртуализации и отказоустойчивости с высокой доступностью. В таких случаях вам следует обратить внимание на решения SAN, которые также предоставляет компания Steadfast.

Примечание редактора. Этот пост был первоначально опубликован в марте 2010 г. и был полностью переработан и обновлен для обеспечения точности и полноты.

Бывает. Вы находитесь в середине вычислительной задачи, и ваш экран мигает. Синий экран (Stop Error) отображается с сообщением о том, что ваш компьютер столкнулся с ошибкой и нуждается в перезагрузке. Эти сбои возникают, когда программное обеспечение, микропрограмма или драйверы вашего компьютера выходят из строя из-за неисправного или несовместимого оборудования или программного обеспечения.

Если вы похожи на большинство людей, вам нужен достаточно быстрый компьютер, чтобы не отставать от вашей жизни. Когда ваш компьютер завален устаревшими файлами, вы не можете работать в эффективном темпе.

Несмотря на то, что новый компьютер или внешний накопитель может дать вам больше места для хранения файлов, есть более быстрый способ получить доступное пространство для хранения, не напрягая свой бюджет. Этот параметр называется очисткой диска, и все компьютеры с Windows поставляются с его версией, которую можно использовать для бесплатного освобождения места на жестком диске. Вот некоторые вещи, которые вам нужно знать об инструменте очистки диска Microsoft.

Что такое очистка диска?

Очистка диска — это утилита обслуживания, разработанная Microsoft для своей операционной системы Windows. Утилита сканирует жесткий диск вашего компьютера на наличие файлов, которые вам больше не нужны, таких как временные файлы, кэшированные веб-страницы и отклоненные элементы, которые попадают в корзину вашей системы. Если вы не удалите эти файлы, они со временем накапливаются и начинают занимать много места на вашем компьютере.

Утилита отображает идентифицированные файлы и объем дискового пространства, которое занимает каждый из них на вашем жестком диске. Вы решаете, какие элементы удалить, исходя из важности, которую вы придаете файлам, и объема места на жестком диске, которое вы сможете восстановить. В Windows 10 вы можете получить доступ к этой утилите, перейдя в меню «Пуск» и прокрутив до «Инструменты администрирования Windows», чтобы нажать кнопку очистки диска.

В Windows также есть функция "Быстрая очистка", которая позволяет быстро и безопасно удалять ненужные временные файлы с рабочего стола Windows. Кроме того, она очищает дополнительные ненужные файлы, чего не делает утилита очистки диска.

Что такое системные обновления?

Системные обновления, такие как основные выпуски ОС, ежемесячные исправления и экстренные обновления, стали стандартом для современных компьютеров. Большинство операционных систем настроены на автоматическую загрузку последних обновлений. Однако на устройствах Windows предыдущая версия операционной системы не всегда удаляется, когда ее заменяет последняя версия. После нескольких лет обновлений на вашем компьютере часто будет несколько версий ОС.

Утилита очистки диска позволяет удалять резервные теневые копии с компьютера. Программы, которые вы загружаете для открытия или редактирования документа, занимают место на жестком диске вашего компьютера еще долго после того, как вы завершили свой проект. Очистка диска позволяет найти эти программы, посмотреть, сколько места они занимают, и удалить их, чтобы освободить место на жестком диске. Вы найдете эти функции, выбрав вкладку «Дополнительные параметры» в меню очистки диска.

Что такое контроль памяти?

Microsoft Windows 10 поставляется с обновленной функцией очистки диска, которая называется Storage Sense.С помощью Storage Sense вы можете настроить систему на автоматическую очистку ненужных файлов, установив вкладку в положение «включено». Вы разрешаете Контролю памяти удалять временные файлы, которые больше не используются вашими программами, файлы в папке «Загрузки», которые не менялись в течение 30 дней, и файлы, которые находились в корзине более 30 дней. Вы можете получить доступ к Storage Sense, перейдя в меню «Настройки», нажав кнопку «Системы» и выбрав параметр «Хранилище».

Каковы преимущества очистки диска?

Хотя вы можете самостоятельно искать временные файлы и удалять их вручную, вы экономите время, используя инструмент очистки диска Windows. Вы можете искать определенные файлы на всем жестком диске за считанные секунды с помощью утилиты очистки диска. Инструмент также дает вам больший контроль над тем, какие файлы удалять, а какие сохранять. Когда устаревшие файлы приложений удаляются из вашей системы, она работает более плавно и с меньшим количеством сбоев.

Удаляет ли программа очистки диска вирусы?

Один из наиболее распространенных способов проникновения вирусов в компьютерные системы – загрузка. Пользователь попадает на ненадежный веб-сайт и нажимает кнопку, чтобы получить бесплатную загрузку. Загрузка содержит вирус, который остается незамеченным. Если приложение остается нетронутым более 30 дней, вы можете запустить утилиту очистки диска, чтобы найти подозрительную загрузку и быстро удалить ее. Хотя вы не должны использовать очистку диска в качестве замены надежного антивирусного продукта, этот инструмент может работать в сочетании с надежным антивирусным решением, чтобы лучше защитить систему, файлы и данные вашего компьютера.

Подведение итогов

Независимо от того, используете ли вы компьютер для работы из дома или для ведения домашнего хозяйства, вам нужно, чтобы он функционировал должным образом. Это включает в себя возможность загрузки программы для краткосрочного проекта или быстрой обработки электронных таблиц для обмена с коллегами на онлайн-портале. Эти операции сильно затруднены, когда ваш жесткий диск заполнен ненужными файлами и вредоносными программами. Инструмент очистки диска Windows позволяет удалить эти файлы, которые могут содержать вредоносное ПО, и повысить производительность и безопасность вашей вычислительной среды.

Подпишитесь на нас, чтобы быть в курсе всех событий, связанных с McAfee, а также последних угроз безопасности для потребителей и мобильных устройств.

Читайте также: