Стоимость кэша, что это такое

Обновлено: 21.11.2024

В ситуациях, когда источник данных является удаленным, дорогим и/или медленным, хранение часто используемых данных в центральном хранилище рядом с потребителями данных может сократить затраты и время доступа к данным. Принцип кэширования широко распространен, и концепции используются в разных отраслях, приложениях и проектах.

На первый взгляд, кэширование — это простая концепция: потребитель сначала извлекает данные из кеша, если данные недоступны, потребитель или кеш извлекает их из источника и заполняет кеш в интересах других потребителей. Однако на практике кеширование включает сложные механизмы для хранения данных, масштабирования репозиториев, управления жизненным циклом данных и т. д. Все это выходит за рамки этой статьи.

Для наших приложений в мире рыночных данных этот принцип кэширования можно использовать для хранения эталонных/статических данных. Это, по крайней мере теоретически, будет иметь два преимущества:

  1. Это снижает стоимость данных, получаемых от поставщиков.
  2. Он централизует хранение данных и, следовательно, улучшает задачи по работе с данными и качество данных.
  • В централизованной архитектуре данных, кто владеет данными и кто определяет наилучшее «качество» данных?
  • Кто платит за кэш данных/платформу EDM?
  • Кто платит за данные?

Использование XMon для понимания рентабельности инвестиций в кэширование

Кажется интуитивно понятным, что сокращение количества запросов данных поставщикам сократит связанные с этим расходы. Насколько эти расходы будут сокращены, зависит от ценообразования поставщика данных, категорий данных и запрошенных классов активов. Однако количественная оценка экономии может оказаться непростой задачей.

XMon предоставляет отчет об анализе данных, который может быть создан по запросу, и отвечает только на это.

XMon анализирует все запросы данных, сделанные за заданный период, и создает отчет, который помогает понять, какую экономию средств и решение для кэширования обеспечит, и предоставляет рекомендации по оптимизации, чтобы сократить расходы на данные, даже без решения для кэширования данных.< /p>

Понять, какую экономию средств может обеспечить решение для кэширования данных

  • XMon определяет повторяющиеся запросы данных, связанные с ними затраты и источник.
  • Снимок экрана ниже иллюстрирует это в действии и предполагает, что в этом конкретном месяце можно было бы сэкономить до 8 % на счетах за передачу данных за счет использования кэша данных исключительно на основе повторяющихся запросов.

Затраты, связанные с повторяющимися запросами

Оптимизируйте запросы данных, чтобы сократить расходы

  • XMon будет давать рекомендации относительно того, как можно сэкономить, предлагая оптимизацию запросов данных, отправляемых поставщикам. Эти рекомендации можно обсудить с компанией для проверки с целью снижения затрат.
  • На приведенном ниже снимке экрана показано, как XMon определяет запросы с малым объемом и высокой стоимостью, что может привести к оптимизации затрат на передачу данных. На приведенном ниже снимке экрана 31,4% месячной стоимости данных приходится на два поля данных. Обязательны ли эти поля или их просто желательно иметь, можно обсудить с потребителями данных.

XMon идентифицирует запросы небольшого объема/высокой стоимости

XMon предоставляет данные, необходимые для надлежащей оценки инфраструктуры кэширования, особенно в отношении сокращения и оптимизации затрат. Отчет об анализе данных XMon доступен всем клиентам XMon.

Свяжитесь с нами, если вы хотите обсудить свои требования к прозрачности и оптимизации расходов на данные или получить демонстрацию продукта в реальном времени.

Мы предлагаем адаптивную схему замены когерентности кэша для систем кэширования веб-прокси, основанную на нескольких критериях, касающихся системы и приложений, с целью оптимизации производительности распределенной системы кэширования. Наша схема согласованной замены присваивает значение приоритета замены каждому блоку кеша в соответствии с набором критериев.

Контекст в исходной публикации

Похожие публикации

+3

Кэширование — это механизм хранения объектов с веб-страницы, к которой был осуществлен доступ. Благодаря кэшированию использование пропускной способности станет более эффективным, а время доступа к веб-странице уменьшится. В кэшировании используются 2 метода, а именно централизованный кеш и распределенный кеш. Целью этого исследования является создание системы распределенного кэширования, которая поддерживает.

В сфере вычислительной обработки данных кэш-памяти – это высокоскоростной уровень хранения, который требует набора данных, как правило, временного характера. Доступ к значительному уровню произошел быстрее, чем к основному ущербу для их хранения. С помощью кэширования становится возможным повторное использование ранее полученных или вычисленных данных.

Как работает кэширование?

Данные в кэше, как правило, встречаются с быстрым доступом, например, как ОЗУ (оперативное запоминающее устройство), и объединяются совместно с программными компонентами. Основная функция кэша – ускорение процесса извлечения данных. Он избавляет от необходимости обращаться к менее скоростному базовому обеспечению хранения.

Небольшой объем кэш-памяти компенсируется высокой скоростью доступа. В кэше обычно обнаруживается только требуемый набор данных, причем временно, в отличие от баз данных, где данные обычно обнаруживаются полностью и постоянно.

Обзор кэширования

ОЗУ и работающие в сервисы памяти. Выявление ОЗУ и работающие в памяти сервисы повышают показатели скорости обработки доходов или операций ввода-вывода в секунду (количество операций ввода-вывода в секунду), Для аналогичного масштаба работы с использованием различных баз данных и оборудования на базе жестких дисков требуются дополнительные ресурсы. Использование ресурсов, требующих увеличения расхода, но все равно не позволяющих получить такую ​​задержку, которая требует кэширования в памяти.

Шаблоны проектирования. В среде распределенных вычислений выделенный уровень кэширования позволяет системе и приложениям работать независимо от кэширования. При этом их жизненные циклы не имеют свойств кэша. Кэш служителей центрального уровня, к которым обращаются различные несвязанные между собой системы. Он имеет собственный жизненный цикл и архитектурную топологию. Это особенно важно для систем, в окружении приложений можно масштабировать обе стороны. Если кэш находится на том же узле, что и приложение или система, которые могут быть обнаружены, масштабирование может привести к разрушению кэша. Кроме того, если использовать локальные кэши, это дает преимущества только локальным приложениям, которые получают данные. В распределенной среде кэширования данные охватывают множество серверов кэширования и размещаются в центральном расположении, удобном для всех потребителей данных.

Рекомендации по кэшированию. При реализации уровня кэширования необходимо обратить особое внимание на кэшируемость данных. Эффективный кэширование частоты запросов, наличие в кэше запрашиваемых данных. Промах кэша происходит, когда запрашиваемых данных в кэше нет. Для удаления из кэша неактуальных данных применяются такие механизмы, как TTL (время жизни). Также следует понимать, что для кэширования среды требуется высокая доступность. Если необходимо, можно использовать сервисы в памяти, такие как Redis. В случае обнаружения уровня в памяти можно использовать как отдельный уровень хранения данных, в отличие от кэширования из хранилища. Чтобы решить, подходит ли такой вариант, необходимо определить для данных в сервисе значения времени RTO (требуемое время восстановления, то есть количество времени требуется система на восстановление после страха) и RPO (требуемая восстановление, то есть последняя точка восстанавливаемая точка или транзакция) .Для соответствия большинству безопасности RTO и RPO можно применять характеристики и проектные стратегии различных служб в памяти.

Ускорение получения веб-контента от веб-сайтов (браузеры или устройства)

Кэширование с помощью Amazon ElastiCache

Веб-сервис Amazon ElastiCache развертывание, запуск и масштабирование в облаке хранилища или кэша в памяти. Сервис повышает производительность интернет-приложений, позволяет получать данные из быстро управляемых хранилищ данных, размещенных только в памяти, а не из баз данных, размещенных на дисках и не так быстро. Информацию о том, как реализовать эффективную часть кэширования, см. в этом техническом описании по кэшированию в памяти.

Преимущества кэширования

Повышение производительности приложений

Поскольку память работает в разы быстрее диска (магнитного или SSD), чтение данных из кэша в памяти производится очень быстро (за долю миллисекунды). Это значительно увеличивает доступ к данным и повышает производительность приложений.

Сокращение затрат на базы данных

Один инстанс кэша может привести к уменьшению объемов поступающих средств, что в результате приводит к значительным расходам. Это особенно важно, если плата требует пропускной способности данных. В таких случаях можно сократить расходы на десятки процентов.

Снижение нагрузки на серверную часть

Увеличение выделения серверной базы данных от части нагрузки на потребление, которая направлена ​​на уровень памяти, кэширование может увеличить использование ресурсов и ее данных от производительности под производительность и даже от сбоев при пиковых нагрузках.

Прогнозируемая производительность

Общая проблема современных приложений — это обработка пиков в игре. Веб-сайты электронной коммерции в Черную почту и т.д. д. Повышенная нагрузка на получение данных к увеличению потребления данных при получении данных, и общая производительность приложения становится непредсказуемой. Эту проблему можно решить благодаря использованию кэш-памяти с высокой пропускной способностью.

Устранение проблемных мест в базах данных

Во многих приложениях небольшое количество подмножества данных, например профиль знаменитости или популярный продукт, может обнаруживаться значительно более востребованным, чем остальные данные. Это обеспечивает спрос на проблемные места в базе данных и требует избыточного выделения ее ресурсов, что является достаточным для выявления наиболее часто встречающихся данных. За счет накопления важных ключей в кэше в памяти можно избавиться от необходимости избыточного выделения ресурсов и требуемой и предсказуемой работы системы, при возникновении к наиболее востребованным.

Повышение пропускной способности операций чтения (количество операций ввода-вывода в секунду)

Помимо сокращения запросов, система в памяти очень высокая скорость передачи данных (количество операций ввода-вывода в секунду) по сравнению с базами данных на диске. Один инстанс, который используется как распределенный дополнительный кэш, может обслуживать сотни тысяч возвратов в секунду.

Кэширование — это стратегия, при которой копия данных хранится перед основным хранилищем данных. Хранилище кэша обычно располагается ближе к клиенту-потребителю, чем основное хранилище. К преимуществам кэширования относятся более быстрое время отклика и возможность быстрого обслуживания данных. При этом можно сэкономить на общей стоимости. Обязательно оцените встроенные функции кэширования служб Azure, используемые в вашей архитектуре. Azure также предлагает службы кэширования, такие как Azure Cache для Redis или Azure CDN.

Информацию о том, какие типы данных подходят для кэширования, см. в разделе Кэширование.

Снижение затрат, связанных с надежностью и задержкой

Кэширование может быть более дешевым способом хранения данных, обеспечивающим надежность и снижающим задержку в сети.

  • В зависимости от типа данных определите, нужны ли вам сложные возможности внутреннего хранилища данных, такие как согласованность данных. Если данные полностью статичны, вы можете хранить их только в кэширующем хранилище. Если данные меняются нечасто, рассмотрите возможность размещения копии данных в кэширующем хранилище и время от времени обновляйте ее. Например, приложение хранит изображения в хранилище BLOB-объектов. Каждый раз, когда он запрашивает изображение, бизнес-логика создает миниатюру из основного изображения и возвращает ее вызывающей стороне.Если основное изображение не меняется слишком часто, верните ранее сгенерированные эскизы, хранящиеся в кеше. Так вы сэкономите ресурсы, необходимые для обработки изображения, и снизите скорость ответа на запрос.
  • Если серверная часть недоступна, кеш продолжает обрабатывать запросы, используя копию, пока серверная часть не переключится на резервное хранилище данных.
  • Кэширование также может быть эффективным способом уменьшения задержки в сети. Вместо достижения центрального сервера ответ отправляется с использованием кэша. Таким образом, клиент может получить ответ почти мгновенно. Если вам нужна более высокая производительность сети и возможность поддерживать больше клиентских подключений, выберите более высокий уровень службы кэширования. Однако более высокие уровни потребуют больше затрат.

Кэширование может быть дорогостоящим

Неправильное использование кэширования может привести к серьезным последствиям для бизнеса и увеличению затрат.

Добавление кэша приведет к появлению нескольких источников данных в вашей архитектуре. Их синхронизация требует дополнительных затрат. Возможно, вам придется заполнить кеш, прежде чем запускать его в производство. Заполнение кеша при первом доступе приложения может привести к задержке, а заполнение кеша может повлиять на время запуска приложения. Если вы не обновите кеш, ваши клиенты могут получить устаревшие данные.

Деактивировать кеш в нужное время, когда в исходной системе есть последняя информация. При необходимости используйте стратегии для устаревания кеша.

Чтобы обеспечить оптимальную работу уровня кэширования, добавьте инструменты. Эта функция добавит сложности и стоимости реализации.

Услуги кэширования, такие как кэш Azure для Redis, оплачиваются на выбранном вами уровне. Цены в первую очередь определяются размером кэша и производительностью сети, и они зависят от них. Кэш меньшего размера увеличит задержку. Прежде чем выбрать уровень, оцените базовый уровень. Подход может заключаться в нагрузочном тестировании количества пользователей и размера кэша.

Ускорьте работу приложений с помощью высокопроизводительного кэширования данных с малой задержкой

Azure Cache для Redis дает вам возможность использовать безопасный кэш Redis с открытым исходным кодом. Это специальное предложение, управляемое корпорацией Майкрософт, для создания масштабируемых и быстро реагирующих приложений, обеспечивающее сверхбыстрый доступ к вашим данным. Вы можете использовать богатый набор функций и экосистему Redis, а также надежный хостинг и мониторинг от Microsoft.

Изучите варианты цен

Применяйте фильтры, чтобы настроить параметры ценообразования в соответствии с вашими потребностями.

Цены являются ориентировочными и не являются фактическими котировками. Фактические цены могут различаться в зависимости от типа соглашения, заключенного с Microsoft, даты покупки и курса обмена валюты. Цены рассчитываются в долларах США и конвертируются с использованием эталонных курсов Thomson Reuters, обновляемых в первый день каждого календарного месяца. Войдите в калькулятор цен Azure, чтобы увидеть цены на основе вашей текущей программы/предложения от Microsoft. Свяжитесь со специалистом по продажам Azure, чтобы получить дополнительные сведения о ценах или запросить ценовое предложение. Ознакомьтесь с часто задаваемыми вопросами о ценах на Azure.

Правительственные организации США имеют право приобретать службы Azure для государственных организаций у поставщика лицензионных решений без каких-либо предварительных финансовых обязательств или напрямую через онлайн-подписку с оплатой по мере использования.

Важно! Цена в реалах является ориентировочной; это международная сделка, и окончательная цена зависит от обменного курса и включает налоги IOF. eNF выдаваться не будет.

Azure Germany доступна для клиентов и партнеров, которые уже приобрели это решение и ведут бизнес в Европейском союзе (ЕС), Европейской ассоциации свободной торговли (ЕАСТ) и в Соединенном Королевстве (Великобритания). Он обеспечивает резидентность данных в Германии с дополнительными уровнями контроля и защиты данных. Вы также можете подписаться на бесплатную пробную версию Azure.

Правительственные организации США имеют право приобретать службы Azure для государственных организаций у поставщика лицензионных решений без каких-либо предварительных финансовых обязательств или напрямую через онлайн-подписку с оплатой по мере использования.

Важно! Цена в реалах является ориентировочной; это международная сделка, и окончательная цена зависит от обменного курса и включает налоги IOF. eNF выдаваться не будет.

Azure Germany доступна для клиентов и партнеров, которые уже приобрели это решение и ведут бизнес в Европейском союзе (ЕС), Европейской ассоциации свободной торговли (ЕАСТ) и в Соединенном Королевстве (Великобритания). Он обеспечивает резидентность данных в Германии с дополнительными уровнями контроля и защиты данных. Вы также можете подписаться на бесплатную пробную версию Azure.

< th data-multiselect-override="Premium">Премиум td> td> < td>Репликация и аварийное переключение < /tr> < td>-
Недоступно Базовый Стандартный Enterprise Enterprise Flash
Недоступно Упрощенный кеш идеально подходит для разработки/тестирования. Готовый кеш с первичной/репликой дублирование. Расширенные функции, такие как кластеризация и сохранение данных, которые важны для многих предприятий. Все функции уровня Premium, а также мощные корпоративные функции, такие как модули Redis и активные гео- репликация. Та же мощная надежность, что и на уровне Enterprise, но работающая на быстром энергонезависимом хранилище для массивных, но экономичных реализаций кэша.
Объем памяти 250 МБ-53 ГБ 250 МБ-53 ГБ 6 ГБ-120 ГБ 12 ГБ-100 ГБ 384 ГБ-1,5 ТБ
Доступность - 99,9%До 99,9% До 99,999% До 99,999%
Частная ссылка AzureДа Да Да Да Да
- Да Да Да Да
Резервирование зоны - - Да Да Да
Сохранение данных Redis - - Да Да Да
Кластер Redis - - Да Да Да
Виртуальная сеть - - Да - -
Георепликация - - Пассивный Активный Активный
RediSearch -< /td> - - Да -
RedisBloom - - - Да -
RedisTimeSeries - - Да -
Redis на Flash - - - - Да
Производительность сети От низкого до высокого От низкого до высокого Умеренный до самого высокого Умеренный до самого высокого Умеренный до самого высокого
Максимальное количество клиентских подключений 256–20 000 256–20 000 7 500–40 000< /td> 50 000–200 000 50 000–120 000

Базовый

Кэш с одним узлом – это кеш с одним узлом, который идеально подходит для разработки/тестирования и некритических рабочих нагрузок. На базовом уровне нет соглашения об уровне обслуживания. Сетевая изоляция доступна благодаря интеграции Azure Private Link.

< td >$-
Имя кэша Размер кэша Производительность сети Количество клиентских подключений Цена
C0 250 МБ Низкий 256
C1 1 ГБ Низкий 1000 $-
C2 2,5 ГБ Низкий 2000 $-
C3 6 ГБ Умеренный 5000 $ -
C4 13 ГБ Низкий 10 000 $-
C5 26 ГБ Умеренный 15 000 $-< /td>
C6 53 ГБ Высокий 20 000 $-

Подробнее о том, как правильно выбрать кэш-память.

Стандарт

По умолчанию реплицированный кэш представляет собой двухузловую первичную/дополнительную конфигурацию. Мы управляем автоматической репликацией между узлами, чтобы предложить соглашение об уровне обслуживания с высокой доступностью. Сетевая изоляция доступна благодаря интеграции Azure Private Link.

< td >$-
Имя кэша Размер кэша Производительность сети Количество клиентских подключений Цена (два -node)
C0 250 МБ Низкий 256 $-
C1 1 ГБ Низкий 1,000< /td> $-
C2 2,5 ГБ Низкий 2000 $-
C3 6 ГБ Умеренный 5000 $-
C4 13 ГБ Низкий 10 000 $-
C5 26 ГБ Умеренный 15 000
C6 53 ГБ Высокий 20 000 $-

Подробнее о том, как правильно выбрать кэш-память.

Премиум

Премиум-уровень включает в себя все функции стандартного уровня и многое другое, например более высокую производительность по сравнению с базовым или стандартным кэшем, большие рабочие нагрузки, аварийное восстановление и повышенную безопасность. Дополнительные функции включают в себя:

    позволяет сохранять данные, хранящиеся в кеше Redis. Вы также можете делать снимки и создавать резервные копии данных, которые можно загрузить в случае сбоя. автоматически распределяет данные по десяти узлам Redis, что позволяет создавать более крупные рабочие нагрузки (до 1,2 ТБ) и повышать производительность. Развертывание обеспечивает повышенную безопасность и изоляцию вашего кэша Azure для Redis, а также подсетей, политик контроля доступа и других функций для дальнейшего ограничения доступа. позволяет создавать до трех узлов-реплик на кеш или сегмент, повышая надежность кеша. Реплики можно создавать в одном центре обработки данных или в разных зонах доступности. Для дополнительных узлов-реплик доступна резервная цена, хотя за передачу данных между зонами доступности взимается соответствующая сетевая плата.

Подробнее о том, как правильно выбрать кэш-память.

Корпоративный

Уровень Enterprise объединяет мощные возможности программного обеспечения Redis Enterprise от Redis Labs, чтобы предоставить высокопроизводительный вариант, который удовлетворит потребности самого требовательного предприятия. Независимо от того, создаете ли вы новое приложение или переносите существующий экземпляр Redis Enterprise, этот уровень предлагает важные функции, такие как:

  • Поддержка модуля Redis для RediSearch, RedisBloom и RedisTimeSeries. Эти модули добавляют типы данных, которые открывают новые возможности анализа данных, машинного обучения, потоковой аналитики и вариантов использования IoT. который включает глобально распределенные кэши с локальной задержкой. Использование бесконфликтных типов данных позволяет выполнять запись с несколькими мастерами с строгой окончательной согласованностью.
  • Более высокая доступность (до 99,999 %) для надежности и спокойствия корпоративного уровня.
Имя кэша Размер кэша Производительность сети Количество клиентских подключений Pay As You Переход (на сегмент, два узла) Зарезервировано на 1 год (% экономии) Зарезервировано на 3 года (% экономии) Плата по мере использования Цена за дополнительный узел
P1 6 ГБ Умеренный 7500 $- $- $- $-
P2< /td> 13 ГБ Высокий 15 000 $- $- $ - $-
P3 26 ГБ Высокий 30 000 $- $- $- $-
P4 53 ГБ Самая высокая 40 000 $- $- $- $-
P5 120 ГБ Самая высокая 40 000 $- $- $- $-
< tbody> < td>Самый высокий
Имя кэша Размер кэша Производительность сети Стоимость инфраструктуры (оплата по мере использования, два узла данных) Стоимость IP программного обеспечения (оплата по мере использования, два узла данных) Общая стоимость (оплата по мере использования, два узла данных)
E10 12 ГБ Высокий $- $- $-
E20 25 ГБ Высокий $- $- $-
E50 50 ГБ Самая высокая $- $- $-
E100 100 ГБ $- $- $-

Подробнее о том, как правильно выбрать кэш-память.

Корпоративный Flash

Уровень корпоративных флэш-памяти работает на сочетании ОЗУ и энергонезависимой флэш-памяти. Несмотря на небольшой, но часто незначительный удар по производительности, эта конфигурация обеспечивает огромные размеры кэш-памяти — до 13 ТБ с кластеризацией. Использование флэш-памяти также предлагает более низкую цену за гигабайт, что позволяет экономить средства при масштабировании. Этот уровень также включает активную георепликацию и более высокую доступность — до 99,999 %.

< tbody>
Имя кэша Размер кэша Производительность сети Стоимость инфраструктуры (оплата по мере использования, три узла) Стоимость IP программного обеспечения (оплата по мере использования, три узла) Общая стоимость (оплата по мере использования, три узла)
F300 384 ГБ Высокий $- $- $-
F700 715 ГБ Самая высокая $- $- $-
F1500 1455 ГБ Наивысший $- $- $-

Подробнее о том, как правильно выбрать кэш-память.

Избыточность зоны

Кэши на уровнях флэш-памяти "Премиум", "Корпоративный" и "Корпоративный" позволяют размещать узлы-реплики в разных зонах доступности (AZ), повышая доступность и устойчивость к единой точке отказа. Если основной центр обработки данных выйдет из строя, кэш автоматически переключится на кэш парной реплики в соответствующей зоне доступности. Благодаря резервированию в нескольких зонах доступности и использованию как минимум 3 реплик доступность увеличивается до 99,99 % для уровней Enterprise.

Количество необходимых дополнительных узлов реплики зависит от кластеризации и конфигурации реплики. Узнайте больше в нашем руководстве по документации. Помимо оплаты стандартных сборов за первичный кэш и узлы кэша реплик, вы также будете платить некоторые сборы за передачу данных между зонами доступности. Георепликация доступна только в сочетании с избыточностью зоны на уровнях Enterprise и Enterprise Flash.

Георепликация

Георепликация, если она включена, позволяет связать два отдельных экземпляра кэша Azure для Redis в регионах Azure с помощью отношения "основной/реплика". Служба поддерживает синхронизацию связанных основных экземпляров кэша и реплики. На уровне "Премиум" вы можете читать или записывать в основной экземпляр кэша, но вы можете читать только из экземпляра кэша реплики. На уровнях Enterprise и Enterprise Flash вы можете читать и записывать как в первичный кэш, так и в кэш-реплику. Включение активной георепликации на уровнях Enterprise и Enterprise Flash повышает доступность до 99,999 %. Помимо оплаты стандартных сборов за первичный экземпляр кэша и экземпляр кэша реплики, вы также будете оплачивать некоторые сборы за передачу данных между регионами. Георепликация недоступна на уровнях "Стандартный" и "Базовый".

Цены на Azure и варианты приобретения

Свяжитесь с нами напрямую

Познакомьтесь с ценами на Azure. Узнайте о ценах на свое облачное решение, узнайте об оптимизации затрат и запросите индивидуальное предложение.

Способы покупки

Приобретайте службы Azure через веб-сайт Azure, у представителя Microsoft или у партнера Azure.

Читайте также: