Настройка дедупликации Windows Server 2019

Обновлено: 03.07.2024

Технологии хранения, безусловно, за последние несколько лет развились и предоставляют множество мощных инструментов, позволяющих наиболее эффективно использовать выделенное пространство. Одной из технологий, доступных в Windows Server, является дедупликация. Microsoft продолжает добавлять новые возможности в функцию дедупликации с каждым выпуском Windows.

Использование удаленной помощи в Microsoft Intune – среда, 16 марта 2022 г.
Синхронизация паролей с KeePass в OneDrive, Google Диск и Dropbox – четверг, 10 марта 2022 г.
SophiApp: настройка параметров Windows 10 с помощью графического интерфейса – вторник, 8 марта 2022 г.

Какие преимущества дает дедупликация Windows Server? Как добавляется функция? Как включить дедупликацию, проверить ее статус и приостановить или остановить процесс дедупликации? Давайте рассмотрим дедупликацию Windows Server.

Что такое дедупликация данных в Windows Server? ^

Когда вы храните данные, состоящие из различных файлов и других данных, на любом сервере Windows Server, среди нескольких файлов будут дублироваться блоки данных. Это особенно верно, если разные файлы, хранящиеся на томе Windows Server, схожи по содержанию или структуре. Файловый сервер отдела является хорошим примером, который помогает визуализировать, как могут быть огромные объемы дублированных данных. В большом файловом ресурсе конечные пользователи могут хранить множество копий одних и тех же или похожих файлов. Это приводит к избыточным копиям данных, что влияет на эффективность хранения.

Вместо хранения нескольких копий данных, как в традиционных средах хранения, дедупликация предоставляет средства для однократного сохранения данных и создания интеллектуальных указателей на фактическое расположение данных. Таким образом, среда хранения не содержит дублирующуюся информацию. Microsoft также продолжает улучшать функции дедупликации. В Windows Server 2019 функция дедупликации данных теперь может выполнять дедупликацию как томов NTFS, так и томов ReFS. До Windows Server 2019 дедупликация ReFS была невозможна.

Как работает дедупликация данных Windows Server? ^

Microsoft использует два принципа для реализации дедупликации данных в Windows Server:

Процесс дедупликации выполняется для данных с использованием модели постобработки. Это означает, что процесс дедупликации не влияет на производительность процесса записи. Когда данные записываются в хранилище, они не оптимизируются. После этого запускается процесс оптимизации дедупликации, чтобы обеспечить дедупликацию данных.
Конечные пользователи не знают о процессе дедупликации — дедупликация в Windows Server полностью прозрачна. Конечные пользователи не подозревают, что могут работать с дедуплицированными данными.

Для успешной дедупликации данных в соответствии с перечисленными выше принципами Windows Server использует следующий процесс:

Файловая система сканирует хранилище, чтобы найти файлы, соответствующие политике оптимизации дедупликации.
Система разбивает файлы на части.
Идентифицируются уникальные фрагменты данных файла.
Эти фрагменты файлов помещаются в хранилище фрагментов.
Указатели на хранилище фрагментов создаются, чтобы разрешить перенаправление операций чтения файлов на соответствующие фрагменты файлов.

Надежные примеры использования дедупликации данных

Для дедупликации данных подходят определенные варианты использования. Какие рабочие нагрузки обычно демонстрируют огромные преимущества использования дедупликации данных? Давайте перечислим их в порядке наиболее значительных преимуществ.

Экономия места на 80–95 % — среды виртуализации, особенно рабочие нагрузки VDI и ISO-образы для развертывания.
Экономия места на 70–80 %: общие ресурсы развертывания содержат большое количество дублированных хранилищ данных двоичных файлов программного обеспечения, CAB-файлов и других файлов, связанных с работой.
Экономия места на 50–60 % — общие файловые ресурсы могут содержать монолитные репозитории файлов, которые могут содержать огромное количество дублированных данных.
Экономия места на 30–50 %: пользовательские документы могут содержать стандартные пользовательские файлы, в том числе фотографии, музыку и видео.

Установка дедупликации Windows Server ^

Процесс установки функции дедупликации Windows Server прост. Администраторы могут установить Dedup с помощью GUI Server Manager, Windows Admin Center или PowerShell. Дедупликация данных является частью роли Файловые службы и службы хранения в Windows Server. Ниже приведен снимок экрана с Windows Server 2019.

Установка роли файловых служб дедупликации данных и служб хранилища в Windows Server 2019

С помощью PowerShell вы можете включить дедупликацию данных с помощью следующего командлета:

Установка дедупликации данных в Центре администрирования Windows выполняется путем посещения меню Роли и функции и установки флажка рядом с пунктом Дедупликация данных, который находится в разделе Файловые службы и службы хранения.

Использование Центра администрирования Windows для установки дедупликации данных в Windows Server 2019

Включение дедупликации данных на томе Windows Server ^

После того как вы установили дедупликацию данных, включить ее на томе несложно. С помощью диспетчера серверов перейдите в раздел «Файловые службы и службы хранения» > «Тома» > «Диски». Нажмите на диск. Затем щелкните том, который находится на диске, который вы хотите дедуплицировать.

Включение дедупликации данных для тома Windows Server 2019

Выберите тип файлов, хранящихся на томе для дедупликации

В разделе Настройки дедупликации можно настроить несколько параметров. К ним относятся:

Возраст файлов, подлежащих дедупликации.
Пользовательские расширения файлов для исключения
Пользовательские исключенные папки
Настройка расписания дедупликации

Настройка параметров дедупликации Windows Server

Конфигурация Расписание дедупликации предоставляет интересные параметры для настройки фонового процесса, используемого для запуска дедупликации данных. Вы можете дополнительно настроить расписание дедупликации и использование ресурсов, используя параметры оптимизации пропускной способности. Это также позволяет использовать несколько расписаний.

Настройка расписания дедупликации в Windows Server 2019

Выполнение запланированных задач дедупликации данных ^

Вы можете задаться вопросом, как выполняются фоновые задачи. Когда вы устанавливаете дедупликацию данных, Windows создает запланированные задачи, чтобы позаботиться о фоновом процессе, сборе мусора и очистке данных. Если вы хотите запустить их вручную, вы можете. Фоновый процесс дедупликации запускается по умолчанию каждый час в течение неограниченного времени.

Запланированные задачи дедупликации Windows в Windows Server 2019

Использование PowerShell для статуса и управления ^

PowerShell предоставляет множество удобных элементов управления и параметров для взаимодействия с дедупликацией данных Windows Server. Обратите внимание на некоторые из этих командлетов. Командлет Get-DedupStatus отображает состояние операций дедупликации и процент дедупликации.

Как видите, поначалу после установки и включения дедупликации данных у нас нет экономии места. Однако после запуска процесса мы начинаем видеть экономию места на томе.

Получение состояния дедупликации данных для тома хранилища в Windows Server

Если вы хотите отключить и избавиться от дедупликации данных, вы можете легко сделать это с помощью нескольких командлетов PowerShell:

Какие другие типы заданий DedupJob можно запускать из PowerShell?

Изучение параметров типа командлета start dedupjob в Windows Server 2019

Подведение итогов ^

Дедупликация данных Windows Server — это отличный способ эффективно освободить пространство для хранения в среде Windows Server. С каждым выпуском Windows возможности дедупликации продолжают улучшаться. Он обеспечивает огромную экономию места при определенных рабочих нагрузках, особенно для общих файловых серверов и сред виртуализации VDI. Для сред виртуализации экономия места может достигать 80–95%.

Подпишитесь на рассылку новостей 4sysops!

Подкомпонент дедупликации данных файловых служб и служб хранилища легко добавить и включить на определенном томе хранилища. Вы можете воспользоваться многими параметрами для управления расписанием дедупликации, типами файлов и исключениями. PowerShell предоставляет несколько командлетов, которые позволяют взаимодействовать с дедупликацией данных Windows Server, управлять ею и контролировать ее.

Дедупликация данных в Windows Server оптимизирована для обеспечения высокой производительности, гибкости и управляемости в масштабе частного облака. Дополнительные сведения о стеке программно-определяемого хранилища в Windows Server см. в статье Что нового в хранилище в Windows Server.

Windows Server 2022

Дедупликация данных не имеет дополнительных улучшений в Windows Server 2022.

Windows Server 2019

Дедупликация данных имеет следующие улучшения в Windows Server 2019:

< td>Поддержка ReFS

Функции	Новые или обновленные	Описание
Новое	Храните до 10 раз больше данных на том же томе с дедупликацией и сжатием для файловой системы ReFS. (Для включения достаточно одного щелчка мыши в Windows Admin Center.) Хранилище фрагментов переменного размера с дополнительным сжатием обеспечивает максимальную экономию, а многопоточная архитектура постобработки сводит влияние на производительность к минимуму. Поддерживает тома до 64 ТБ и дедуплицирует первые 4 ТБ каждого файла.

Windows Server 2016

Дедупликация данных имеет следующие улучшения, начиная с Windows Server 2016:

< td>Поддержка больших томов

Функции	Новые или обновленные	Описание
Обновлено	До Windows Server 2016 тома должны были быть специально рассчитаны на ожидаемый отток, а объемы более 10 ТБ не подходили для дедупликации. . В Windows Server 2016 дедупликация данных поддерживает размеры томов до 64 ТБ.
Поддержка больших файлов)	Обновлено	Предыдущая версия до Windows Server 2016 файлы размером около 1 ТБ не подходили для дедупликации. В Windows Server 2016 полностью поддерживаются файлы размером до 1 ТБ.
Поддержка Nano Server	Новое	Дедупликация данных доступна и полностью поддерживается в новом варианте развертывания Nano Server для Windows Server 2016.
Упрощенная поддержка резервного копирования	Новинка	Windows Server 2012 R2 поддерживает виртуализированные приложения для резервного копирования, такие как Microsoft Data Protection Manager, с помощью ряда шагов ручной настройки. В Windows Server 2016 добавлен новый тип использования по умолчанию (Резервное копирование) для простого развертывания дедупликации данных для виртуализированных приложений резервного копирования.
Поддержка последовательного обновления ОС кластера	Новое	Дедупликация данных полностью поддерживает новую функцию непрерывного обновления ОС кластера Windows Server 2016.

Поддержка больших объемов

Какую ценность добавляет это изменение?
Чтобы получить максимальную производительность от дедупликации данных в Windows Server 2012 R2, тома должны иметь правильный размер, чтобы задание оптимизации могло соответствовать скорости изменения данных или изменению. Как правило, это означает, что дедупликация данных эффективна только на томах размером 10 ТБ или меньше, в зависимости от шаблонов записи рабочей нагрузки.

Начиная с Windows Server 2016, дедупликация данных обеспечивает высокую производительность на томах размером до 64 ТБ.

Что работает иначе?
В Windows Server 2012 R2 конвейер заданий дедупликации данных использует один поток и очередь ввода-вывода для каждого тома. Чтобы гарантировать, что задания оптимизации не будут отставать, что приведет к снижению общей нормы экономии для тома, большие наборы данных должны быть разбиты на более мелкие тома. Соответствующий размер тома зависит от ожидаемого оттока для этого тома. В среднем максимальное значение составляет примерно 6–7 ТБ для больших объемов и примерно 9–10 ТБ для небольших объемов.

Начиная с Windows Server 2016 конвейер заданий дедупликации данных был переработан для параллельного запуска нескольких потоков с использованием нескольких очередей ввода-вывода для каждого тома. Это приводит к производительности, которая ранее была возможна только при разделении данных на несколько меньших томов. Это изменение представлено на следующем изображении:

Эти оптимизации применяются ко всем заданиям дедупликации данных, а не только к заданию оптимизации.

Поддержка больших файлов

Какую ценность добавляет это изменение?
В Windows Server 2012 R2 очень большие файлы не подходят для дедупликации данных из-за снижения производительности конвейера обработки дедупликации. В Windows Server 2016 дедупликация файлов размером до 1 ТБ очень эффективна, что позволяет администраторам применять экономию дедупликации к более широкому диапазону рабочих нагрузок. Например, вы можете выполнять дедупликацию очень больших файлов, обычно связанных с рабочими нагрузками резервного копирования.

Что работает иначе?
Начиная с Windows Server 2016, дедупликация данных использует новые структуры карт потоков и другие «внутренние» усовершенствования для повышения производительности оптимизации и доступа. Кроме того, конвейер обработки дедупликации теперь может возобновлять оптимизацию после отработки отказа, а не перезапускаться. Эти изменения повышают эффективность дедупликации файлов размером до 1 ТБ.

Поддержка сервера Nano

Какую ценность добавляет это изменение?
Nano Server — это новый вариант автономного развертывания в Windows Server 2016, для которого требуется гораздо меньше системных ресурсов, который запускается значительно быстрее и требует меньше обновлений и перезапусков, чем вариант развертывания Windows Server Core. Дедупликация данных полностью поддерживается на сервере Nano. Дополнительные сведения о Nano Server см. в разделе Начало работы с Nano Server.

Упрощенная настройка для виртуализированных приложений резервного копирования

Какую ценность добавляет это изменение?
Дедупликация данных для виртуализированных приложений резервного копирования поддерживается в Windows Server 2012 R2, но требует ручной настройки параметров дедупликации. Начиная с Windows Server 2016, конфигурация дедупликации для виртуализированных приложений резервного копирования значительно упрощается. Он использует предопределенный параметр «Тип использования» при включении дедупликации для тома, точно так же, как наши параметры для файлового сервера общего назначения и VDI.

Поддержка непрерывного обновления ОС кластера

Какую ценность добавляет это изменение?
Отказоустойчивые кластеры Windows Server, на которых работает дедупликация данных, могут иметь несколько узлов, на которых работают версии дедупликации данных для Windows Server 2012 R2, наряду с узлами, на которых работают версии дедупликации данных для Windows Server 2016. Это усовершенствование обеспечивает полный доступ к данным ко всем дедуплицированным томам во время последовательного обновления кластера, что позволяет постепенно развертывать новую версию дедупликации данных в существующем кластере Windows Server 2012 R2 без простоев для одновременного обновления всех узлов.

Что работает иначе?
В предыдущих версиях Windows Server отказоустойчивый кластер Windows Server требовал, чтобы все узлы в кластере имели одинаковую версию Windows Server. Начиная с Windows Server 2016, функция непрерывного обновления кластера позволяет кластеру работать в смешанном режиме. Дедупликация данных поддерживает эту новую конфигурацию кластера смешанного режима, чтобы обеспечить полный доступ к данным во время последовательного обновления кластера.

Недавно меня попросили помочь нашим друзьям на Channel 9 решить проблему с хранилищем. Они захватывают большие видеофайлы как часть своих записей и должны иметь их локально для быстрого доступа, чтобы редактировать их. В настоящее время они используют проприетарную коробку Linux для хранения NFS, которая почти заполнена. Я указал Больше.

" target="_blank" >Прямая установка Storage Spaces в Windows 2019 из каталога гиперконвергентной инфраструктуры Azure Stack, но ее не будет в ближайшее время. Это первая система без операционной системы, которую мне пришлось устанавливать в стойку и складывать через какое-то время, и это часть более длительного проекта, поэтому я подумал, что было бы хорошо написать небольшой набор тематических сообщений в блоге, чтобы сопровождать процесс.

Поиск подходящего физического сервера из локального инвентаря

Во-первых, я избалован запуском простой команды Azure, которая за считанные минуты выделяет ящик любого размера, который мне нужен. Для меня это возвращение в прошлое. К счастью, у меня есть старая система DataOn Cluster-in-a-box из лаборатории, в которой есть приличное хранилище (70 ТБ), чтобы временно хранить их до прибытия новой системы.

Словно свежий слой краски – выравнивание и перестроение серверов с USB-накопителя было чем-то освежающим. В кратчайшие сроки у меня есть два узла Windows Server 2019, которые работают.

Установка дедупликации данных
Файлы, которые они хранят, включают большие видеофайлы, скопированные в систему различными операторами камер в полевых условиях. Не существует сложной системы регистрации того, какой файл куда попал или файлы уже были выгружены на общий ресурс. В результате – у нас есть дубликаты. Я решил, что одним из простых способов решения этой проблемы с пространством является включение дедупликации.Дедупликация данных в Windows Server 2019 более эффективна, чем в предыдущих выпусках — она может работать в фоновом режиме на нескольких томах с минимальным влиянием на другие рабочие нагрузки. Если вам нужны дополнительные сведения о дедупликации — у нас есть хорошая статья в Microsoft Docs, которую вы должны прочитать.
На рассматриваемом временном сервере установлена новая версия Windows Server 2019 со всеми доступными дисками, настроенными в файле More.

" target="_blank" >пул хранения с одним томом. Мне просто нужно было установить эту штуку, включить дедупликацию и скопировать данные из Linux-системы, пока не появится новая конфигурация AzureStack HCI.
Самый быстрый способ установить функцию дедупликации данных — открыть окно PowerShell и ввести Add-WindowsFeature -name FS-Data-Deduplication

Включение и настройка дедупликации данных на диске данных
Чтобы включить параметры по умолчанию для дедупликации данных для моего диска E:, достаточно просто ввести Enable-DedupVolume E:

Поскольку это временный сервер, я хочу установить для минимального возраста файлов значение «0», чтобы сервер мог начать дедупликацию файлов в следующем расписании задания или вручную. Чтобы изменить этот параметр, введите Set-DedupVolume -Volume «E:» -MinimumFileAgeDays 0

Пора закончить монтаж в стойку и стек/установку

На данный момент мы все готовы к работе. Это вопрос транспортировки и установки этой коробки в ее временное жилище и передачи на нее файлов из коробки Linux NAS. Но для этого вам придется дождаться следующего поста из этой короткой серии.

От начала до конца. На подготовку «голого железа» с 70 ТБ хранилища в качестве временного сервера ушла большая часть дня. Это немного дольше, чем 5 минут, которые кажутся очень долгими для подготовки системы в Azure, но близость и быстрый доступ к этим исходным файлам — вот что важно для команды Channel 9.

С учетом всего сказанного, когда я проходил через это, я думал обо всех дополнительных услугах Azure, которые я мог бы внедрить в эту локальную пустую железную коробку. Как только будет готово более постоянное решение, я пройду процесс добавления нескольких из этих служб Azure, чтобы помочь мне: Azure File Sync, Azure Backup и набор надстроек управления для мониторинга работоспособности система и т. д.

А вы? Рассматривали ли вы или начали изучать какие-либо гибридные службы Azure-to-prem?

Статьи по теме

Последние десять недель придали нашей команде сил, поскольку у нас была возможность поделиться сетевыми инвестициями и инновациями в Windows Server 2019 и…

Познакомьтесь с обновлениями Windows Server 2019 вместе с Джеффом Вулси, главным менеджером группы Windows Server. Что нового в предварительных сборках Windows Server 2019 Insider Preview: см.…

Всех с четвергом! Брэндон Уилсон здесь, чтобы сообщить всем нашим выдающимся читателям о новом посте в серии блогов от Windows Core…

Счастливой среды всем нашим замечательным читателям! Брэндон Уилсон снова здесь, чтобы дать вам последний указатель серии от команды Windows Core Networking…

Что такое дедупликация данных от Microsoft?

Дедупликация данных – это процесс поиска и удаления повторяющихся данных на любом диске без нарушения целостности данных. Дедупликация преследует несколько целей:

Дедупликация

Хранить информацию небольшими блоками (32–128 КБ).

Определить одинаковые блоки и сохранить только одну копию для каждого блока (дубликаты обычно заменяются ссылками на единственную копию и/или сжимаются до подходящих размеров)

Таким образом, эта технология направлена на оптимизацию емкости хранилища.

Однако эта функция работает только на серверах с NTFS (начиная с Windows Server 2012 R2) или ReFS (начиная с 2019 г., Windows Server версии 1709 и выше).

Как это работает?

1. Дедупликация основана на двух важных принципах.

Сначала любая информация записывается на диск в исходном виде, и только потом происходит процесс дедупликации. То есть устранение дубликатов и сохранение данных происходят независимо друг от друга.

Во-вторых, ни пользователь, ни программы при работе с оптимизированными томами не подозревают об их оптимизации. То есть доступ к файлам остается неизменным.

2. Если дедупликация на компьютере активирована, она запускается при каждом включении компьютера в зависимости от настроек.

В процессе оптимизации файлы разбиваются на блоки, затем вычисляются совпадающие блоки и удаляются лишние копии блока (они заменяются ссылками). Из блоков формируются контейнеры, которые в зависимости от настроек дополнительно сжимаются и помещаются в хранилище блоков.

3. После оптимизации и чтения файлы перенаправляются на фильтры.

Фильтр перенаправляет операцию чтения на соответствующие блоки, а они, в свою очередь, составляют поток для этого файла в блочном хранилище. Изменения диапазонов файлов, подлежащих дедупликации, не оптимизируются для диска. Они делают это при следующем запуске.

Файлы размером более 32 КБ дедуплицируются; все, что меньше, не затрагивается процессом дедупликации.

При дедупликации файл разбивается на части размером не более 128 КБ; это называется чанком.

Основные результаты дедупликации (хранилище чанков) целиком находятся в папке «Информация о системном томе» в корне диска.

Суть в том, что данные на диске индексируются и дубликаты не записываются на диск. Таким образом, данные на диске хранятся нестандартным образом, напоминая архив, и недоступны для обычного считывателя NTFS/ReFS.

Где я могу использовать дедупликацию данных?

Дедупликацию можно использовать для:

Файловые серверы общего назначения. Для него включена фоновая оптимизация.

Виртуальные серверы резервного копирования. Это может быть, например, Microsoft Data Protection Manager. Для этого типа фоновая и приоритетная оптимизация также включены по умолчанию.

Виртуальные машины Hyper-V. Он также включает фоновую и приоритетную оптимизацию.

Как установить дедупликацию данных?

Обычно это делается либо в PowerShell, либо в диспетчере серверов.

1. Если вы предпочитаете использовать PowerShell: откройте оснастку PowerShell и введите:

"Install-WindowsFeature -Name FS-Data-Deduplication"

Как установить дедупликацию через PowerShell.

Вы увидите ползунок с процессом установки, и через минуту ваш компонент будет присутствовать в вашей ОС.

2. Вы также можете установить роль файловых служб и служб хранилища и настроить несколько параметров.

Откройте оснастку диспетчера серверов. В правом верхнем углу выберите «Управление». Далее выберите «Мастер добавления ролей и функций». Выберите Роли сервера -> Дедупликация данных.

Как включить дедупликацию с помощью диспетчера серверов.

Проверьте подтверждение и нажмите кнопку "Установить".

После установки вы можете проверить эффективность дедупликации.

Как включить дедупликацию данных?

Это также делается с помощью вышеупомянутых утилит.

В командной строке (от имени администратора) введите команду:

Как включить дедупликацию с помощью PowerShell.

И нажмите Enter.

Операция завершена.

Откройте Диспетчер серверов и нажмите «Файловые службы и службы хранения». Затем выберите «Тома» и щелкните правой кнопкой мыши том, на котором вы хотите включить дедупликацию данных.

Читайте также: