Какие операции можно выполнять с файлами в облаке

Обновлено: 22.11.2024

Что такое хранилище файлов и когда оно наиболее полезно? В этом руководстве мы дадим определение файловому хранилищу, объясним его преимущества и рассмотрим некоторые типичные варианты использования.

Что такое хранилище файлов?

Файловое хранилище, также называемое файловым или файловым хранилищем, представляет собой метод иерархического хранения, используемый для организации и хранения данных на жестком диске компьютера или в сетевом хранилище (NAS). В файловом хранилище данные хранятся в файлах, файлы организованы в папки, а папки организованы в виде иерархии каталогов и подкаталогов. Чтобы найти файл, вам или вашей компьютерной системе нужен только путь — от каталога к подкаталогу, от папки к файлу.

Иерархическое хранилище файлов хорошо работает с легко организованными объемами структурированных данных. Но по мере роста количества файлов процесс извлечения файлов может стать громоздким и трудоемким. Масштабирование требует добавления большего количества аппаратных устройств или постоянной замены их устройствами большей емкости, что может быть дорогостоящим.

В некоторой степени эти проблемы с масштабированием и производительностью можно смягчить с помощью облачных служб хранения файлов. Эти сервисы позволяют нескольким пользователям получать доступ и совместно использовать одни и те же файловые данные, расположенные в удаленных центрах обработки данных (облаке). Вы просто платите ежемесячную абонентскую плату за хранение своих файловых данных в облаке, и вы можете легко увеличить емкость и указать критерии производительности и защиты данных. Кроме того, вы избавляетесь от расходов на обслуживание собственного оборудования на месте, поскольку эта инфраструктура управляется и обслуживается поставщиком облачных услуг (CSP) в его центре обработки данных. Это также называется инфраструктурой как услугой (IaaS).

Файловое хранилище, блочное хранилище и объектное хранилище

Хранение файлов было популярным методом хранения на протяжении десятилетий — оно знакомо практически каждому пользователю компьютера и хорошо подходит для хранения и организации транзакционных данных или управляемых томов структурированных данных, которые можно аккуратно хранить в базе данных на диске. на сервере.

Однако многие организации в настоящее время испытывают трудности с управлением растущими объемами цифрового веб-контента или неструктурированных данных. Если вам нужно хранить очень большие или неструктурированные объемы данных, вам следует рассмотреть блочное или объектное хранилище, которое по-разному организует данные и обеспечивает доступ к ним. В зависимости от различных требований к скорости и производительности ваших ИТ-операций и различных приложений вам может потребоваться комбинация этих подходов.

Блокировать хранилище

Блочное хранилище обеспечивает большую эффективность хранения (более эффективное использование доступного оборудования для хранения) и более высокую производительность, чем файловое хранилище. Блочное хранилище разбивает файл на фрагменты (или блоки) данных одинакового размера и сохраняет каждый блок отдельно по уникальному адресу.

Вместо жесткой структуры каталогов/подкаталогов/папок блоки можно хранить в любом месте системы. Чтобы получить доступ к любому файлу, операционная система сервера использует уникальный адрес, чтобы объединить блоки в файл, что занимает меньше времени, чем навигация по каталогам и файловым иерархиям для доступа к файлу. Блочное хранилище хорошо подходит для критически важных бизнес-приложений, транзакционных баз данных и виртуальных машин, которым требуется низкая задержка (минимальная задержка). Это также обеспечивает более детальный доступ к данным и стабильную производительность.

В следующем видео Эми Блеа рассказывает о различиях между блочным и файловым хранилищем:

Блочное хранилище и файловое хранилище (04:03)

Хранилище объектов

Хранилище на основе объектов стало предпочтительным методом архивирования данных и резервного копирования современных цифровых коммуникаций — неструктурированного медиа и веб-контента, такого как электронная почта, видео, файлы изображений, веб-страницы и данные датчиков, созданные Интернетом вещей ( Интернет вещей). Он также идеально подходит для архивирования данных, которые не часто меняются (статические файлы), например больших объемов фармацевтических данных или файлов музыки, изображений и видео.

Объекты – это отдельные блоки данных, хранящиеся в структурно плоской среде данных. Опять же, здесь нет папок, каталогов или сложных иерархий; вместо этого каждый объект представляет собой простой автономный репозиторий, включающий данные, метаданные (описательная информация, связанная с объектом) и уникальный идентификационный номер. Эта информация позволяет приложению найти объект и получить к нему доступ.

Вы можете объединять устройства хранения объектов в более крупные пулы хранения и распределять эти пулы хранения по местоположениям. Это обеспечивает неограниченное масштабирование и улучшенную отказоустойчивость данных и аварийное восстановление. Объекты могут храниться локально, но чаще всего размещаются на облачных серверах с доступом из любой точки мира.

IBM Cloud Object Storage: создано для бизнеса (04:10)

Преимущества

Если вашей организации требуется централизованный, легкодоступный и недорогой способ хранения файлов и папок, хорошим решением будет хранилище на уровне файлов. К преимуществам файлового хранилища относятся следующие:

Простота. Хранение файлов — это самый простой, привычный и понятный подход к организации файлов и папок на жестком диске компьютера или устройстве NAS. Вы просто называете файлы, помечаете их метаданными и сохраняете их в папках в иерархии каталогов и подкаталогов. Нет необходимости писать приложения или код для доступа к вашим данным.
Общий доступ к файлам. Хранилище файлов идеально подходит для централизованного хранения и обмена файлами в локальной сети (LAN). Файлы, хранящиеся на устройстве NAS, легко доступны любому компьютеру в сети, имеющему соответствующие права доступа.
Общие протоколы. В файловом хранилище используются общие протоколы файлового уровня, такие как блок сообщений сервера (SMB), общая файловая система Интернета (CIFS) или сетевая файловая система (NFS). Если вы используете операционную систему Windows или Linux (или обе), стандартные протоколы, такие как SMB/CIFS и NFS, позволят вам читать и записывать файлы на сервер под управлением Windows или Linux через вашу локальную сеть (LAN).< /li>
Защита данных. Хранение файлов на отдельном устройстве хранения данных, подключенном к локальной сети, обеспечивает определенный уровень защиты данных в случае сбоя сетевого компьютера. Облачные службы хранения файлов обеспечивают дополнительную защиту данных и аварийное восстановление за счет репликации файлов данных в нескольких географически разнесенных центрах обработки данных.
Экономичность. Хранение файлов с помощью устройства NAS позволяет перемещать файлы с дорогостоящего компьютерного оборудования на более доступное устройство хранения данных, подключенное к локальной сети. Кроме того, если вы решите подписаться на облачное хранилище файлов, вы избавитесь от расходов на обновление оборудования на месте и связанных с этим текущих расходов на техническое обслуживание и эксплуатацию.

Случаи использования

Хранилище файлов — это хорошее решение для самых разных потребностей в данных, включая следующие:

Локальный общий доступ к файлам. Если ваши потребности в хранении данных в целом непротиворечивы и просты, например, для хранения файлов и обмена ими с членами рабочей группы в офисе, подумайте о простоте хранения на уровне файлов.
Централизованная совместная работа с файлами. Если вы загружаете, храните и делитесь файлами в централизованной библиотеке, расположенной на сайте, за его пределами или в облаке, вы можете легко совместно работать над файлами с внутренними и внешними пользователями или с приглашенными гостями. вне вашей сети.
Архивирование/хранение. Вы можете экономично архивировать файлы на устройствах NAS в среде небольшого центра обработки данных или подписаться на облачное хранилище файлов для хранения и архивирования своих данных.
Резервное копирование/аварийное восстановление. Вы можете безопасно хранить резервные копии на отдельных устройствах хранения, подключенных к локальной сети. Или вы можете подписаться на облачное хранилище файлов, чтобы реплицировать файлы данных в нескольких географически разнесенных центрах обработки данных и получить дополнительную защиту данных за счет удаленности и избыточности.

Облачное хранилище файлов (или хостинг для хранения файлов)

Сегодня средства связи быстро перемещаются в облако, чтобы получить преимущества подхода к общему хранилищу, который по своей сути оптимизирует масштаб и затраты. Вы можете сократить локальную ИТ-инфраструктуру своей организации, используя недорогое облачное хранилище, сохраняя при этом доступ к своим данным, когда они вам нужны.

Подобно локальной системе хранения файлов, облачное хранилище файлов, также называемое хостингом хранилища файлов, позволяет нескольким пользователям совместно использовать одни и те же данные файлов. Но вместо того, чтобы хранить файлы данных локально на устройстве NAS, вы можете хранить эти файлы вне офиса в центрах обработки данных (в облаке) и получать к ним доступ через Интернет.

Благодаря облачному хранилищу файлов вам больше не нужно обновлять оборудование для хранения каждые три-пять лет или планировать расходы на установку, обслуживание и персонал, необходимый для управления им. Вместо этого вы просто подписываетесь на услугу облачного хранилища за предсказуемую ежемесячную или годовую плату. Вы можете сократить штат ИТ-специалистов или перенаправить эти технические ресурсы в более прибыльные области вашего бизнеса.

Хранение файловых данных в облаке также позволяет увеличивать емкость по мере необходимости и по запросу. Облачные службы хранения файлов обычно предлагают простые, предварительно определенные уровни с различными уровнями емкости хранилища и требованиями к производительности рабочей нагрузки (общее количество операций ввода-вывода в секунду или IOPS), а также защиту данных и репликацию в другие центры обработки данных. для обеспечения непрерывности бизнеса — и все это за предсказуемую ежемесячную плату. Или вы можете увеличивать или уменьшать количество операций ввода-вывода в секунду и динамически расширять объемы данных, платя только за то, что вы используете.

Существуют стратегические преимущества облачных хранилищ на основе подписки, особенно для организаций с несколькими площадками и крупных организаций.К ним относятся простота совместного использования в сети местоположений, аварийное восстановление и простота добавления инноваций и технологий, которые появятся в будущем.

Файловое хранилище и IBM Cloud

Решения IBM Cloud File Storage надежны, быстры и гибки. Вы получите защиту от потери данных во время обслуживания или сбоев благодаря шифрованию данных в состоянии покоя, а также дублированию томов, моментальным снимкам и репликации. Благодаря центрам обработки данных IBM, расположенным по всему миру, вы можете быть уверены в высоком уровне защиты данных, репликации и аварийного восстановления.

IBM Cloud предлагает четыре предварительно определенных уровня Endurance с ценами за гигабайт (ГБ), которые фиксируют ваши расходы, обеспечивая предсказуемую почасовую или ежемесячную оплату для ваших краткосрочных или долгосрочных потребностей в хранении данных. Уровни File Storage Endurance поддерживают производительность до 10 000 (10 000) операций ввода-вывода в секунду на ГБ и могут удовлетворить потребности большинства рабочих нагрузок, независимо от того, требуется ли вам производительность с низкой, универсальной или высокой интенсивностью.

Благодаря IBM File Storage вы сможете увеличивать или уменьшать количество операций ввода-вывода в секунду и расширять существующие тома на лету. Кроме того, вы можете дополнительно защитить свои данные, подписавшись на функцию IBM Snapshot, которая создает доступные только для чтения образы вашего тома хранилища файлов в определенных точках, из которых вы можете легко восстановить свои данные в случае случайной потери или повреждения.

Подпишитесь на бесплатную двухмесячную пробную версию и бесплатно начните разработку в IBM Cloud.

Доступ к данным и работа с ними — один из наиболее трудоемких аспектов вычислений. Разработчики могут повысить эффективность, ища способы избежать накладных расходов, необходимых для стандартных операций с файлами. Чтобы проиллюстрировать возможности, я расскажу о нескольких интересных случаях, когда я разрабатывал облачные службы, динамически создающие файлы для использования пользователями.

Первое приложение было приложением для добавочного резервного копирования и восстановления, а второе было частью новой службы установки OpenShift, которая создает персонализированные файлы ISO для Red Hat Enterprise Linux CoreOS (RHEL CoreOS). Оба приложения прошли аналогичные итерации, начиная с наивных реализаций и постепенно улучшая их эффективность. Сначала я сосредоточусь на дизайне ISO, а в конце кратко расскажу о приложении резервного копирования и восстановления.

Первая оптимизация: серверная копия Amazon S3

В простой реализации ISO мы начали с копии RHEL CoreOS ISO в корзине Amazon Simple Storage Service (S3). Когда пользователь запросил настроенный ISO-образ через REST API «сгенерировать», серверная служба извлекла базовый ISO-образ из S3, выполнила логику для вставки наших настроек в ISO-образ (данные зажигания) и загрузила полученный ISO обратно в S3. После этого пользователь мог загрузить ISO-образ напрямую с S3.

Эта наивная реализация требовала, чтобы серверная служба загружала примерно 900 МБ в файловую систему, читала ее, выполняла несколько изменений, записывала новый образ ISO в файловую систему и загружала новый образ ISO размером 900 МБ. Весь процесс занял примерно 30 секунд и потребовал значительных затрат Amazon Web Service (AWS) — как из-за передачи данных, так и из-за хранения 900 МБ на каждый ISO. Однако важным преимуществом было то, что пользователи загружали свои файлы непосредственно из S3, поэтому нашему сервису не приходилось нести накладные расходы на трафик загрузки.

Первой вехой в оптимизации этого дизайна стал API S3 UploadPartCopy. Amazon S3 рекомендует делить загрузку больших файлов на части для параллельной загрузки и устойчивости к сетевым проблемам. API UploadPartCopy сообщает S3, что он должен получить данные части из смещения в существующем объекте, а не ожидать загрузки данных для конкретной части. Для этой оптимизации мы воспользовались интеллектуальным способом хранения данных Ignition в RHEL CoreOS ISO, как показано на рис. 1.

Как правило, ISO-образ создается путем создания дерева каталогов с необходимыми файлами и его упаковки с помощью заданного инструмента. Процесс генерации RHEL CoreOS добавляет пустой файл, в котором будут храниться данные Ignition, в это дерево каталогов, упаковывает ISO, находит смещение пустого файла в ISO и записывает смещение и размер в известное смещение в заголовке ISO. . Наша оптимизация поручила S3 создать новый объект ISO, создав на стороне сервера копии данных, предшествующих и следующих за областью Ignition, и заполнив область Ignition нашей загруженной конфигурацией Ignition, как показано на рис. 2.

Amazon S3 требует, чтобы размер каждой части файла составлял от 5 МБ до 5 ГБ, что немного усложняло нашу реализацию, но в остальном все было просто. Время генерации сократилось с 30 секунд до примерно 12, и мы также сэкономили деньги на затратах на передачу. Однако мы по-прежнему платили за хранение всех пользовательских ISO-образов.

Вторая оптимизация: внедрение потока загрузки

Вторая оптимизация связана с компромиссом: мы будем обслуживать файлы из нашей службы установки, а не из S3. Это позволило оптимизировать работу и устранить почти все затраты на S3, но повлекло за собой затраты на трафик загрузки.

Мы снова начали с базового ISO в S3, но кэшировали его локально. Когда пользователь просил загрузить свой ISO-образ, мы начинали обслуживать данные из кешированного базового ISO-образа. Но как только поток загрузки достиг области Ignition, мы начали обслуживать наши данные Ignition. После того как мы добавили данные Ignition в поток загрузки, мы продолжили предоставлять данные из базового ISO.

Преимущество заключалось в том, что наша служба больше не несла расходов на передачу или хранение S3. Эта оптимизация также улучшила наш пользовательский интерфейс (UX); вместо того, чтобы заставлять пользователя создавать ISO-образ, ждать 12 или 30 секунд, а затем загружать файл, пользователь может начать загрузку немедленно. Недостаток заключался в том, что нашему сервису нужно было обрабатывать пользовательский трафик загрузки. Чтобы решить эту проблему, мы разделили службу ISO на отдельный микросервис, который можно масштабировать независимо друг от друга.

Резервное копирование и восстановление приложения

Приложение для резервного копирования и восстановления, которое я разработал, было похоже. Мы реализовали инкрементное резервное копирование дисков, то есть самая старая резервная копия содержала полный образ диска в определенный момент времени, а каждая дополнительная резервная копия содержала только фрагменты данных, которые изменились по сравнению с предыдущей резервной копией. Мы реализовали каждую резервную копию как один объект S3, содержащий данные, и другой объект, содержащий растровое изображение, описывающее фрагменты, содержащиеся в объекте данных.

Три основные операции в этом приложении: резервное копирование, восстановление и сжатие. Мы непрерывно отслеживали изменения на диске локально, используя растровое изображение. Мы сделали согласованный снимок данных и растрового изображения и загрузили их на S3 в ранее описанном формате для создания новой резервной копии.

Чтобы восстановить резервную копию диска, мы загрузили все соответствующие растровые изображения, чтобы понять, какие фрагменты следует считывать из каких резервных копий. Затем мы создали поток загрузки, который считывал только релевантные данные из соответствующих объектов добавочного резервного копирования.

Сжатие — важная операция инкрементного резервного копирования. Если оставить флажок неустановленным, цепочки инкрементных резервных копий будут расти бесконечно. Рост повлечет за собой высокие затраты на хранение, длительное время восстановления и, что хуже всего, повышенный риск сбоя операции восстановления из-за поврежденного звена в цепочке. Поэтому при сжатии самая старая (полная) резервная копия объединяется со следующей самой старой (добавочной) резервной копией. Мы выполнили это слияние с помощью S3 UploadCopyPart API, который я описал ранее, создав новую полную резервную копию из двух исходных резервных копий.

Заключение

Эти примеры иллюстрируют влияние форматов файлов на последующие операции с файлами. Если вы имеете дело с существующими форматами файлов, познакомьтесь с ними и подумайте, как лучше с ними работать. Если перед вами стоит задача и роскошь определить новый формат файла, эффективность операций должна быть в числе ваших главных соображений.

В любом случае важно ознакомиться с API и поведением вашей платформы хранения. Какие операции вы можете разгрузить на него? Он работает лучше со многими маленькими файлами или с несколькими большими? Есть ли существенная разница между произвольным и последовательным доступом? Операции с файлами, как правило, выполняются медленнее по сравнению с другими задачами приложений, но также есть много возможностей для оптимизации и инноваций.

Типичная архитектура облачной системы хранения данных включает главный управляющий сервер и несколько серверов хранения.

У комика Джорджа Карлина есть рутина, в которой он рассказывает о том, как люди тратят свою жизнь на накопление "вещей". Как только они соберут достаточно вещей, им нужно будет найти места для их хранения. Если бы Карлин обновил эту процедуру сегодня, он мог бы сделать то же наблюдение о компьютерной информации. Кажется, что каждый, у кого есть компьютер, тратит много времени на сбор данных, а затем пытается найти способ их сохранить.

Некоторым владельцам компьютеров сложно найти достаточно места для хранения всех полученных данных. Некоторые люди инвестируют в большие жесткие диски. Другие предпочитают внешние устройства хранения, такие как флэш-накопители или компакт-диски. Отчаявшиеся владельцы компьютеров могут удалить целые папки со старыми файлами, чтобы освободить место для новой информации. Но некоторые предпочитают полагаться на растущую тенденцию: облачное хранилище.

Хотя кажется, что облачное хранилище имеет какое-то отношение к погодным фронтам и штормовым системам, на самом деле оно означает сохранение данных в удаленной системе хранения, поддерживаемой третьей стороной. Вместо того, чтобы хранить информацию на жестком диске вашего компьютера или другом локальном устройстве хранения, вы сохраняете ее в удаленной базе данных. Интернет обеспечивает связь между вашим компьютером и базой данных.

На первый взгляд, облачное хранилище имеет ряд преимуществ по сравнению с традиционным хранилищем данных. Например, если вы храните свои данные в облачной системе хранения, вы сможете получить доступ к этим данным из любого места, где есть доступ в Интернет. Вам не нужно носить с собой физическое запоминающее устройство или использовать один и тот же компьютер для сохранения и извлечения информации. При наличии подходящей системы хранения вы даже можете предоставить другим людям доступ к данным, превратив личный проект в совместную работу.

Таким образом, облачное хранилище удобно и обеспечивает большую гибкость, но как оно работает? Узнайте в следующем разделе.

Одним из вопросов, который обсуждают специалисты по информационным технологиям, компьютерщики и предприниматели, является концепция владения данными. Кому принадлежат данные, хранящиеся в облачной системе? Принадлежит ли он клиенту, который первоначально сохранил данные на аппаратном обеспечении? Принадлежит ли он компании, которой принадлежит физическое оборудование, на котором хранятся данные? Что произойдет, если клиент уйдет из бизнеса? Может ли хост облачного хранилища удалить данные бывшего клиента? Мнения по этим вопросам расходятся.

Основы облачного хранилища

Существуют сотни различных облачных систем хранения. Некоторые из них имеют очень специфическую направленность, например, для хранения сообщений электронной почты из Интернета или цифровых изображений. Другие доступны для хранения всех форм цифровых данных. Некоторые системы облачного хранения представляют собой небольшие операции, в то время как другие настолько велики, что физическое оборудование может заполнить весь склад. Помещения, в которых размещаются облачные системы хранения, называются центрами обработки данных.

На самом базовом уровне для облачной системы хранения требуется всего один сервер данных, подключенный к Интернету. Клиент (например, пользователь компьютера, подписавшийся на службу облачного хранилища) отправляет копии файлов через Интернет на сервер данных, который затем записывает информацию. Когда клиент хочет получить информацию, он или она обращается к серверу данных через веб-интерфейс. Затем сервер либо отправляет файлы обратно клиенту, либо позволяет клиенту получить доступ и управлять файлами на самом сервере.

Облачные системы хранения обычно используют сотни серверов данных. Поскольку компьютеры иногда требуют обслуживания или ремонта, важно хранить одну и ту же информацию на нескольких компьютерах. Это называется избыточностью. Без избыточности облачная система хранения не могла гарантировать клиентам доступ к своей информации в любой момент времени. Большинство систем хранят одни и те же данные на серверах, использующих разные источники питания. Таким образом, клиенты могут получить доступ к своим данным даже в случае отказа одного источника питания.

Не всех клиентов облачных хранилищ беспокоит нехватка места. Они используют облачное хранилище как способ создания резервных копий данных. Если что-то случится с компьютерной системой клиента, данные останутся за пределами сайта. Это вариант цифровой эпохи "не класть все яйца в одну корзину".

Приведите несколько примеров облачных систем хранения? Продолжайте читать, чтобы узнать.

Облачное хранилище — это подкатегория облачных вычислений. Системы облачных вычислений предлагают пользователям доступ не только к хранилищу, но и к вычислительной мощности и компьютерным приложениям, установленным в удаленной сети.

Примеры облачного хранилища

Эти серверы хранят электронные медицинские карты (EHR) для военной системы здравоохранения, что позволяет врачам мгновенно получать доступ к медицинским картам пациентов.

В Интернете существуют сотни поставщиков облачных хранилищ, и их число растет с каждым днем. Мало того, что многие компании конкурируют за предоставление хранилища, так еще и объем хранилища, который каждая компания предлагает клиентам, регулярно растет.

Возможно, вы знакомы с несколькими поставщиками услуг облачного хранения, хотя вы можете не думать о них в таком ключе. Вот несколько известных компаний, предлагающих облачное хранилище в той или иной форме:

Документы Google позволяют пользователям загружать документы, электронные таблицы и презентации на серверы данных Google. Пользователи могут редактировать файлы с помощью приложения Google. Пользователи также могут публиковать документы, чтобы другие люди могли их читать или даже вносить изменения, что означает, что Документы Google также являются примером облачных вычислений.
Поставщики электронной почты в Интернете, такие как Gmail, Hotmail и Yahoo! Mail хранит сообщения электронной почты на своих собственных серверах. Пользователи могут получать доступ к своей электронной почте с компьютеров и других устройств, подключенных к Интернету.
На таких сайтах, как Flickr и Picasa, размещены миллионы цифровых фотографий. Их пользователи создают онлайн-фотоальбомы, загружая изображения непосредственно на серверы сервисов.
На YouTube размещены миллионы видеофайлов, загруженных пользователями.
Компании, предоставляющие хостинг веб-сайтов, такие как StartLogic, Hostmonster и GoDaddy, хранят файлы и данные для клиентских веб-сайтов.
Социальные сети, такие как Facebook и MySpace, позволяют участникам публиковать изображения и другой контент. Весь этот контент хранится на серверах соответствующего сайта.
Такие сервисы, как Xdrive, MediaMax и Strongspace, предлагают место для хранения любых цифровых данных.

Некоторые из перечисленных выше услуг бесплатны. Другие взимают фиксированную плату за определенный объем хранилища, а третьи имеют скользящую шкалу в зависимости от того, что нужно клиенту. В целом цена на онлайн-хранилище упала по мере того, как в отрасль вошло все больше компаний. Даже многие компании, которые взимают плату за цифровое хранилище, предлагают как минимум определенный объем бесплатно.

Достаточен ли спрос на системы хранения для всех компаний, выходящих на рынок? Некоторые люди думают, что если есть место, которое нужно заполнить, кто-то его заполнит. Другие считают, что отрасли суждено пережить крах, подобный лопнувшему в 2000 году пузырю доткомов. Подождем и посмотрим.

Каковы потенциальные проблемы с облачным хранилищем? Узнайте в следующем разделе.

Некоторые люди предвидят будущее, в котором весь Интернет станет огромным облачным хранилищем. Люди будут постоянно загружать и скачивать данные в облако и из него. Концепция владения данными потеряет свое значение. Все будут иметь доступ ко всему, и секретность перестанет существовать. Другие люди отвергают эти идеи и говорят, что облачное хранилище — это такой же инструмент, как и любой другой, и хотя некоторые могут использовать его с большой пользой, оно не приведет к концу цивилизации, какой мы ее знаем. Кто прав? Нам просто нужно подождать и посмотреть.

Опасения по поводу облачного хранилища

Двумя основными проблемами облачного хранилища являются надежность и безопасность. Клиенты вряд ли доверят свои данные другой компании без гарантии того, что они смогут получить доступ к своей информации, когда захотят, и никто другой не сможет получить к ней доступ.

Для защиты данных в большинстве систем используется комбинация методов, в том числе:

Шифрование. Это означает, что они используют сложный алгоритм для кодирования информации. Чтобы расшифровать зашифрованные файлы, пользователю нужен ключ шифрования. Хотя взломать зашифрованную информацию можно, у большинства хакеров нет доступа к компьютерной вычислительной мощности, необходимой им для расшифровки информации.
Процессы аутентификации, требующие создания имени пользователя и пароля.
Практики авторизации — клиент перечисляет людей, которым разрешен доступ к информации, хранящейся в облачной системе. Многие корпорации имеют несколько уровней авторизации. Например, рядовой сотрудник может иметь очень ограниченный доступ к данным, хранящимся в облачной системе, а руководитель отдела кадров может иметь расширенный доступ к файлам.

Даже при наличии этих защитных мер многие опасаются, что данные, сохраненные в удаленной системе хранения, уязвимы. Всегда есть вероятность, что хакер найдет электронный черный ход и получит доступ к данным. Хакеры также могут попытаться украсть физические машины, на которых хранятся данные. Недовольный сотрудник может изменить или уничтожить данные, используя свое аутентифицированное имя пользователя и пароль. Компании, занимающиеся облачными хранилищами, вкладывают большие средства в меры безопасности, чтобы ограничить возможность кражи или повреждения данных.

Еще одна важная проблема – надежность – не менее важна, чем безопасность. Нестабильная облачная система хранения — это ответственность. Никто не хочет сохранять данные в системе, подверженной сбоям, и при этом они не хотят доверять компании, которая не является финансово стабильной. Хотя большинство систем облачного хранения пытаются решить эту проблему с помощью методов избыточности, все же существует вероятность того, что вся система может выйти из строя, и клиенты не смогут получить доступ к своим сохраненным данным.

Компании, занимающиеся облачными хранилищами, живут и умирают благодаря своей репутации. В интересах каждой компании предоставлять максимально безопасные и надежные услуги. Если компания не может удовлетворить эти основные ожидания клиентов, у нее мало шансов — на рынке доступно слишком много других вариантов.

Чтобы узнать больше об облачных системах хранения и связанных темах, перейдите по ссылкам на следующей странице.

Служба хранилища файлов Oracle Cloud Infrastructure предоставляет надежную, масштабируемую, безопасную сетевую файловую систему корпоративного уровня. Вы можете подключиться к файловой системе службы хранилища файлов с любого физического устройства, виртуальной машины или экземпляра контейнера в вашей виртуальной облачной сети (VCN). Вы также можете получить доступ к файловой системе из-за пределов VCN, используя пиринг VCN, Oracle Cloud Infrastructure FastConnect и виртуальную частную сеть (VPN) с защитой интернет-протокола (IPSec).

Большие вычислительные кластеры, состоящие из тысяч экземпляров, могут использовать службу хранилища файлов для высокопроизводительного общего хранилища.Предоставление хранилища полностью управляемо и автоматизировано, так как объем использования увеличивается от одного байта до эксабайтов без предварительной подготовки.

Служба хранилища файлов поддерживает протокол сетевой файловой системы версии 3.0 (NFSv3). Служба поддерживает протокол Network Lock Manager (NLM) для блокировки файлов.

Oracle Cloud Infrastructure File Storage использует 5-стороннее реплицированное хранилище, расположенное в разных доменах сбоя, чтобы обеспечить избыточность для надежной защиты данных. Данные защищены защитным кодированием.

Служба хранилища файлов использует для удаления данных метод "возможная перезапись". Файлы создаются в файловой системе с уникальным ключом шифрования. Когда вы удаляете один файл, связанный с ним ключ шифрования уничтожается, что делает файл недоступным. При удалении всей файловой системы она помечается как недоступная. Служба систематически просматривает удаленные файлы и файловые системы, освобождает все используемое пространство и уничтожает все остаточные файлы.

Используйте службу хранилища файлов, если ваше приложение или рабочая нагрузка включает в себя большие данные и аналитику, обработку мультимедиа или управление контентом, и вам требуется семантика доступа к файловой системе, совместимая с интерфейсом переносимой операционной системы (POSIX), и одновременно доступное хранилище. Служба хранилища файлов предназначена для удовлетворения потребностей приложений и пользователей, которым требуется корпоративная файловая система в широком диапазоне вариантов использования, включая следующие:

Файловое хранилище общего назначения: доступ к неограниченному пулу файловых систем для управления ростом структурированных и неструктурированных данных.
Большие данные и аналитика. Запускайте аналитические рабочие нагрузки и используйте общие файловые системы для хранения постоянных данных.
Подъем и перенос корпоративных приложений: перенос существующих приложений Oracle, которым требуется хранилище NFS, таких как Oracle E-Business Suite и PeopleSoft.
Базы данных и транзакционные приложения. Выполнение рабочих нагрузок тестирования и разработки с помощью Oracle, MySQL или других баз данных.
Резервное копирование, непрерывность бизнеса и аварийное восстановление. Разместите вторичную копию соответствующих файловых систем из локальной среды в облако для целей резервного копирования и аварийного восстановления.
MicroServices и Docker: сохранение состояния контейнеров. Простое масштабирование по мере роста вашей среды на основе контейнеров.

Примечание

Хранилище файлов предназначено для использования с 64-разрядными приложениями. Дополнительные сведения см. в разделе 32-разрядное приложение прекращает чтение или запись в файловую систему.

Совет

Посмотрите видеообзор службы и ее возможностей.

Концепции хранения файлов

Использование службы хранилища файлов требует понимания следующих понятий, в том числе тех, которые относятся к Oracle Cloud Infrastructure Networking:

Каждая цель подключения может принимать до 100 000 клиентских подключений NFS.
Если вы используете шифрование при передаче, каждая цель подключения может принимать до 64 клиентских подключений NFS/SSL. Дополнительную информацию см. в разделе Использование шифрования при передаче.
По умолчанию можно создать две цели подключения для каждой учетной записи в каждом домене доступности. Список применимых лимитов и инструкции по запросу на увеличение лимита см. в разделе Лимиты службы.

Вы можете создать столько экспортов в целевом объекте монтирования для разных файловых систем, сколько пожелаете.
Вы можете создать столько экспортов в целевом объекте монтирования для одной файловой системы, сколько пожелаете.
Вы можете удалять и создавать заново экспорты в целевом объекте столько раз, сколько вам нужно.
Вы можете добавить к экспорту параметры экспорта, чтобы управлять доступом к файловой системе.

Шифрование

Служба хранилища файлов шифрует все данные файловой системы и моментальных снимков в состоянии покоя. По умолчанию все файловые системы шифруются с помощью ключей шифрования, управляемых Oracle. У вас есть возможность зашифровать все свои файловые системы с помощью ключей, которыми вы владеете и которыми управляете с помощью службы Vault.

Примечание

В настоящее время для шифрования файловой системы поддерживаются только симметричные ключи Advanced Encryption Standard (AES).

Информацию о том, как использовать собственный ключ для новых файловых систем, см. в разделе Создание файловых систем. См. раздел Обновление ключа для файловой системы, чтобы узнать, как назначить или изменить ключ для существующей файловой системы.

Передача данных

FastConnect предлагает вам возможность ускорить передачу данных. Вы можете использовать интеграцию между FastConnect и службой хранилища файлов для выполнения первоначальной миграции данных, переноса данных рабочих процессов для больших файлов и сценариев аварийного восстановления между двумя регионами, среди прочего.

Распределение места для хранения файлов

Служба хранилища файлов распределяет пространство в блоках переменного размера таким образом, чтобы минимизировать общие затраты клиента и оптимизировать производительность для современных рабочих нагрузок. Минимальный размер используемого блока составляет 8192 байта. Например, если вы создаете файл размером 1 байт, мы выделяем 8192 байта. Мы используем большие блоки для хранения больших файлов.Дополнительные сведения об использовании файловой системы и моментальных снимков см. в разделе Использование и учет файловой системы.

Как работают разрешения на хранение файлов

Ресурсы службы хранилища файлов включают файловые системы, объекты подключения и наборы экспорта. Стиль проверки подлинности и разрешений AUTH_UNIX поддерживается для удаленных клиентских запросов NFS. Вы используете язык политики Oracle Cloud Infrastructure Identity and Access Management (IAM) для определения доступа к ресурсам Oracle Cloud Infrastructure. Вы можете считать экспорт и моментальные снимки вспомогательными ресурсами наборов экспорта и файловых систем соответственно. Таким образом, им не нужны собственные разрешения. Связанные ресурсы включают экземпляры Oracle Cloud Infrastructure Compute и виртуальные облачные сети (VCN) Oracle Cloud Infrastructure Networking.

Пользователям Oracle Cloud Infrastructure требуются разрешения на создание, удаление и управление ресурсами. Без соответствующих разрешений IAM вы не можете экспортировать файловую систему через цель монтирования. Пока файловая система не экспортирована, вычислительные экземпляры не могут ее подключить. Дополнительные сведения о создании IAM-политики см. в статье Разрешение пользователям создавать файловые системы, управлять ими и удалять их.

Если вы успешно экспортировали файловую систему в подсеть, вы используете списки безопасности сети для управления входящим и исходящим трафиком подсети и, следовательно, целью подключения. Списки безопасности действуют как виртуальный брандмауэр, пропуская только тот сетевой трафик, который вы указываете, в и из IP-адресов и диапазонов портов, настроенных в ваших правилах входа и выхода. Список безопасности, который вы создаете для подсети, позволяет узлам отправлять и получать пакеты и монтировать файловую систему. Если у вас есть брандмауэры на отдельных экземплярах, вы используете FastConnect или используете виртуальную частную сеть (VPN), их настройки также могут повлиять на безопасность на сетевом уровне. Дополнительные сведения о создании списка безопасности для службы хранилища файлов см. в разделе Создание файловых систем. Дополнительную информацию о том, как различные типы безопасности работают вместе в вашей файловой системе, см. в разделе О безопасности.

Регионы и домены доступности

Вы можете использовать службу хранилища файлов во всех регионах. Список поддерживаемых регионов см. в разделе «Регионы и домены доступности».

При создании файловых систем и целей монтирования вы указываете домен доступности, в котором они созданы. Затем все данные файловой системы полностью хранятся в домене доступности, в котором находится файловая система. В домене доступности служба хранилища файлов использует синхронная репликация и аварийное переключение с высокой доступностью для обеспечения безопасности и доступности ваших данных.

Вы не можете переместить файловую систему в другой домен или регион доступности. Однако вы можете сделать снимок своих данных и использовать такой инструмент, как rsync, для копирования данных в другой домен или регион доступности. Чтобы максимизировать производительность операций по защите данных, вы можете использовать набор инструментов File Storage Parallel Tools. Пакет Parallel File Tools предоставляет параллельные версии tar, rm и cp. Дополнительную информацию об использовании снимков для защиты данных см. в разделе Управление снимками.

Хотя доступ к целям подключения возможен из любого домена доступности в регионе, для оптимальной производительности размещайте ресурсы хранилища файлов в том же домене доступности, что и вычислительные экземпляры, которые к ним обращаются.

Подсети могут быть специфичными для AD или региональными. Вы можете создавать ресурсы хранилища файлов в любом типе подсети. Региональные подсети позволяют вычислительным экземплярам подключаться к любой цели подключения в подсети независимо от AD без дополнительной настройки маршрутизации. Однако, чтобы свести к минимуму задержку, поместите цели подключения в ту же AD, что и вычислительные экземпляры, точно так же, как в подсети, специфичной для AD. Дополнительные сведения см. в разделе Обзор сетей VCN и подсетей.

Создание автоматизации с помощью событий

Вы можете создать автоматизацию на основе изменений состояния ресурсов Oracle Cloud Infrastructure, используя типы событий, правила и действия. Дополнительные сведения см. в разделе Обзор событий.

Следующие ресурсы хранилища файлов генерируют события:

Файловые системы
Снимки
Монтировать цели
Экспорт
Экспорт наборов

Идентификаторы ресурсов

Большинство типов ресурсов Oracle Cloud Infrastructure имеют уникальный идентификатор, назначаемый Oracle, который называется идентификатором Oracle Cloud ID (OCID). Сведения о формате OCID и других способах идентификации ресурсов см. в разделе Идентификаторы ресурсов.

Способы доступа к Oracle Cloud Infrastructure

Вы можете получить доступ к Oracle Cloud Infrastructure с помощью консоли (браузерный интерфейс) или REST API. Инструкции для консоли и API включены в разделы этого руководства. Список доступных SDK см. в разделе Комплекты для разработки программного обеспечения и интерфейс командной строки.

Для доступа к консоли необходимо использовать поддерживаемый браузер. Чтобы перейти на страницу входа в консоль, откройте меню навигации в верхней части этой страницы и щелкните Консоль инфраструктуры.Вам будет предложено ввести своего облачного клиента, имя пользователя и пароль.

Аутентификация и авторизация

Каждая служба в Oracle Cloud Infrastructure интегрируется с IAM для аутентификации и авторизации для всех интерфейсов (консоль, SDK или CLI и REST API).

Администратору вашей организации необходимо настроить группы , разделы и политики, которые контролируют, какие пользователи могут получать доступ к тем или иным службам, ресурсам и типу доступа. Например, политики контролируют, кто может создавать новых пользователей, создавать облачную сеть и управлять ею, запускать экземпляры, создавать корзины, загружать объекты и т. д. Дополнительные сведения см. в разделе Начало работы с политиками. Дополнительные сведения о написании политик для каждой из различных служб см. в Справочнике по политикам.

Если вы являетесь обычным пользователем (не администратором), которому необходимо использовать ресурсы Oracle Cloud Infrastructure, принадлежащие вашей компании, обратитесь к своему администратору, чтобы настроить для вас идентификатор пользователя. Администратор может подтвердить, какое отделение или отделения вы должны использовать.

Ограничения на компоненты хранилища файлов

Чтобы установить ограничения для файловых систем или целей монтирования для конкретных разделов, администраторы могут использовать квоты на разделы.

Дополнительные ресурсы документации

Изучите рекомендации по использованию общей файловой системы уровня приложений службы File Storage для Oracle E-Business Suite.

Узнайте, как хранилище файлов является частью многоузловой, безопасной и высокодоступной топологии для Oracle E-Business Suite.

Читайте также: