Файл Ifl чем открыть
Обновлено: 21.11.2024
Db2 Analytics Accelerator on Z — это приложение-контейнер для IBM Secure Service Container (SSC). SSC — это специальный логический раздел (LPAR), который может находиться в том же центральном вычислительном комплексе (CPC), что и подсистема Db2 for z/OS, или в другом CPC. Одним из основных преимуществ IBM Db2 Analytics Accelerator on Z по сравнению с IIAS является IFL, память и хранилище можно масштабировать независимо. Это преимущество конфигурации обеспечивает лучшую масштабируемость и динамическое выделение ресурсов по мере необходимости.
Db2 Analytics Accelerator на Z основан на Db2 Warehouse, новом механизме ускорения для Db2 Analytics Accelerator Версии 7. Несколько преимуществ этой новой технологии — это хранилище столбцов в памяти, которое использует динамическое перемещение данных с диска в память, чтобы даже рабочие нагрузки, объем которых превышает реальный объем памяти, могут быть полезны благодаря функциям сжатия данных, предоставляемым механизмом Db2 Warehouse.
В этой технической заметке основное внимание уделяется мониторингу IFL, памяти и хранилища в Db2 Analytics Accelerator on Z, и если есть необходимость изменить конфигурацию, для этого предоставляются баллы
Контент
Загрузка ЦП в Db2 Analytics Accelerator часто противоречит здравому смыслу для "стандартных пользователей Z". Приоритетом разработки Db2 Warehouse является максимально быстрая обработка запроса и использование всех доступных ресурсов. Одиночный (сложный) запрос может использовать почти 100% пользовательского ЦП, если все в порядке. Это отличается, например, от Db2 for z/OS и других рабочих нагрузок z/OS, которые оптимизированы для высокопараллельных рабочих нагрузок и где загрузка ЦП является индикатором загрузки системы.
Вот пример такой рабочей нагрузки. Как видно, есть периоды с (почти) полной загрузкой ЦП, периоды только с «фоновой активностью» и некоторые «всплески», которые, вероятно, являются кратковременными запросами. Уровень использования 50% является средним из-за периода захвата 30 секунд. Таким образом, загрузка ЦП в целом не может быть хорошим индикатором загрузки системы.
Предполагается, что мощность ЦП должна основываться на том, как ускоритель Db2 Analytics выполняет соглашения об уровне обслуживания. Например, если запросы обычно завершаются за 10 секунд, а SLA требует 20 секунд, вы можете уменьшить количество IFL. Но реальность сложнее — вам также придется учитывать операции загрузки и добавочного обновления. Часто задания загрузки должны умещаться в пакетном окне, а добавочное обновление должно выполняться с меньшей задержкой.
Другими словами: рекомендуется не отслеживать физические ресурсы, а отслеживать «единицы работы» и сравнивать их с соглашениями об уровне обслуживания.
Analytics Accelerator Studio может отображать последние запросы, которые были ускорены, в разделе «Мониторинг запросов» представления Accelerator: в столбце «Время ЦП» показано количество секунд, затраченных ресурсом IFL для SQL-запроса.
Та же информация доступна с помощью хранимой процедуры SYSPROC.ACCEL_GET_QUERIES, поставляемой с продуктом. Для получения дополнительной информации см.:
Другой областью для мониторинга загрузки ЦП является раздел "Мониторинг" в Студии данных.
Q8STCCPU: Текущая средняя загрузка ЦП на узлах-координаторах акселератора
Q8STWCPU: Текущая средняя загрузка ЦП на рабочих узлах ускорителя
Для одноузловой или многоузловой реализации Db2 Analytics Accelerator на Z счетчики Q8STCCPU и Q8STWCPU показывают одно и то же значение, которое представляет собой использование ЦП в процентах.
В целом можно использовать общие IFL, но даже если вы определите 2x IFL, Db2 Warehouse все равно попытается использовать все. Но из-за совместного использования будет наблюдаться «украденное время», то есть ресурсы ЦП, назначенные другим LPAR, в то время как Db2 Analytics Accelerator будет находиться в рабочем состоянии. Однако это не указывает на фактическую потребность ЦП в Db2 Analytics Accelerator
Db2 Analytics Accelerator работает в SSC LPAR, использующих IFL. Таким образом, если в Z LPAR имеется несколько Db2 Analytics Accelerator или Linux, ресурсы IFL могут совместно использоваться этими LPAR.
Большинство пользователей z/OS отслеживают LPAR на предмет использования ЦП и памяти. Как правило, они делают это для управления мощностями и планирования. Те же физические измерения для Db2 Analytics Accelerator не подходят для этой цели. Есть случаи, в которых возможны некоторые суждения о емкости.
Если количество IFL или объем памяти необходимо изменить (добавить или удалить), рекомендуется всегда изменять количество IFL в профиле активации из консоли аппаратного обеспечения (HMC) и выполнять повторная активация. Причина в том, что работающее хранилище Db2 не узнает об изменении IFL без перезапуска. Таким образом, добавление IFL в онлайн-режиме может привести к снижению производительности без перезапуска.
Мониторинг памяти
Способ работы Db2 Warehouse заключается в том, что он увеличивает свои области памяти до заданных пределов. В большинстве случаев память операционной системе не возвращается, то есть максимальная отметка остается на месте.
Фактическое использование памяти также не является хорошим показателем. По замыслу использование большинства областей памяти Db2 Warehouse при необходимости увеличивается до разрешенного максимума, но неиспользуемые области не освобождаются снова. После некоторого времени работы использование памяти будет на уровне 80-90% и останется на этом уровне с небольшими колебаниями (синяя линия). Linux будет использовать оставшуюся память для своего буферного кеша. Таким образом, объем используемой памяти всегда равен 100 % (светло-зеленая линия).
Например, если 60 % использования памяти никогда не превышались, то, скорее всего, память выделена с избытком (ожидается использование 80–100 %). Но это не работает наоборот, то есть вывод о том, что 90%+ использование памяти большую часть времени не обязательно указывает на нехватку памяти.
Коэффициент попаданий в буферный пул и переполнение сортировки используются в качестве индикаторов требований к памяти. Команда -DISPLAY ACCEL отображает информацию о серверах-ускорителях. Кроме того, есть два счетчика памяти
Суммарная память, доступная для пользовательских данных (Q8STTMUD) показывает один буферный пул хранилища Db2 для всех подключенных подсистем Db2. Это не физическая память ускорителя, а память, сконфигурированная для пулов буферов на всех рабочих узлах. Размер буферного пула определяется при первом запуске кластера. Таким образом, после увеличения объема памяти на HMC необходимо перезапустить и повторно выделить буферный пул. Если память в LPAR увеличена, память экземпляра и размеры буферного пула корректируются при перезапуске контейнера Docker.
Суммарная память, доступная для обработки SQL ( Q8STTMPS ) показывает доступную память для обработки операторов SQL в ускорителе.
Есть также два других счетчика, которые можно найти в трассировке статистики SMF.
Коэффициент попаданий в буферный пул %‘(Q8STABHR) дает важную общую меру того, насколько эффективно система использует память, чтобы избежать сбоя дискового ввода-вывода. Хорошими считаются значения более 95%. Более низкие значения в течение более длительного периода для данной рабочей нагрузки могут указывать на то, что объем памяти ускорителя слишком мал для выполнения рабочей нагрузки с оптимальной производительностью и его необходимо увеличить. В общем, лучший способ узнать, достаточно ли памяти для рабочей нагрузки, — это отслеживать коэффициент попаданий в буфер. При «нормальной работе» это соотношение должно быть больше 95 % — ведь хорошо иметь обработку в памяти. Время от времени он может сбрасываться, например, при изменении рабочей нагрузки, требующем нового рабочего набора. Например, если есть интерактивное использование в дневное время и пакетная отчетность в ночное время.
Переполнение сортировки (Q8STOFLW) — это количество переполнений сортировки в ускорителе. Переполнение сортировки означает, что операторы SQL не могут быть полностью обработаны в памяти. Результаты «переливаются» во временную системную таблицу, и для этого может потребоваться доступ к диску. Многие переполнения при сортировке, происходящие в течение более длительного периода времени, могут указывать на то, что памяти ускорителя слишком мало для выполнения рабочей нагрузки с оптимальной производительностью. Если системное временное табличное пространство часто используется, это не обязательно указывает на проблему. Однако для повышения производительности аналитических рабочих нагрузок с очень высоким спросом на память крайне важно использовать быстрое хранилище. С этой целью убедитесь, что устройства-псевдонимы определены для устройств хранения FICON и что быстрые флэш-накопители используются для пула данных ускорителя, когда это возможно.
Мониторинг хранилища
Для Db2 Analytics Accelerator на Z должно быть предоставлено внешнее хранилище. Хранилище требуется для хранения образа устройства акселератора и базы данных акселератора, включая пользовательские данные, которые состоят из таблиц, загруженных или заархивированных в акселератор или создаются как таблицы только для ускорителей.Кроме того, требуется хранилище для временных данных среды выполнения ускорителя. Ускоритель может использовать хранилище FICON или хранилище, подключенное к FCP. Особых требований к системам хранения нет. Ускорителю требуется несколько «пулов» хранения для среды выполнения (>80 ГБ), для работы (>40 ГБ) и для данных (размер зависит от пользовательских данных). Кроме того, можно использовать другую систему хранения или тип хранилища.
Для Db2 Anayltics Accelerator на Z есть 3 области для мониторинга пространства
<р>1. Раздел «Используемое пространство» в Студии данных. Это страницы на уровне табличного пространства, используемые Db2 Warehouse.<р>3. Используемое дисковое пространство. В Linux это определяется командой 'df' на уровне файловой системы для тома /data, который включает свободные страницы в табличном пространстве, которые в данный момент не используются.
Q8STDSKA : общая емкость диска (для пользовательских данных) в МБ
Q8STDSKB : Дисковое пространство (в МБ) для данных, связанных с этой подсистемой Db2. Это значение можно связать с Q8STDSKA, чтобы определить, сколько места на диске было использовано.
Вы можете добавить хранилище без простоя ускорителя. После того, как вы подготовите тома, необходимо изменить файл конфигурации JSON, и по следующей ссылке приведены подробные сведения о том, как его изменить. Ускоритель продолжает работать. Если вы добавили хранилище в свой файл конфигурации, соответствующий диск будет отформатирован.
В этой главе описывается, как использовать IL для чтения и записи данных изображения. IL использует библиотеку форматов изображений (IFL) для выполнения всего ввода и вывода изображений (I/O). IFL обеспечивает абстракцию низкоуровневого ввода-вывода изображений, которая позволяет пользователям писать приложения, не обращаясь к IL или деталям используемых форматов файлов изображений. Даже не обязательно знать, какой формат файла изображения используется (хотя IFL предоставляет средства для определения формата изображения и доступа к специальным функциям, которые не являются частью абстракции ввода-вывода изображений IFL).
IL обеспечивает доступ к изображениям с помощью класса ilFileImg. Его объекты могут быть частью цепочек изображений. Этот класс кэширует данные изображения, чтобы уменьшить количество операций ввода-вывода изображения. IL часто обеспечивает более гибкий доступ к данным изображения, чем IFL, поскольку IFL фокусируется на простой абстракции ввода-вывода. Например, некоторые форматы изображений не поддерживают разбиение по страницам. При использовании IFL для доступа к изображению, хранящемуся в таком формате, приложение вынуждено считывать изображение целиком, а затем извлекать интересующие его части. IL может обеспечить эту функциональность намного проще, используя свои обширные средства доступа к изображениям.
В оставшейся части этой главы описывается, как использовать IL для доступа к данным изображения. Хотя часто упоминается IFL, основное внимание уделяется использованию класса ilFileImg для чтения и записи данных изображения. Чтобы узнать больше об использовании IFL для прямого доступа к данным изображения, см. страницу руководства IFL (3).
Эта глава состоит из следующих основных разделов:
В разделе «Поддерживаемые форматы файлов изображений IFL» описаны форматы файлов изображений, поддерживаемые IFL.
В разделе «Использование IL для доступа к изображению» рассказывается, как получить доступ к данным в файловых форматах.
В разделе «Импорт и экспорт данных изображений» обсуждается, как импортировать и экспортировать данные изображений между IL и другими библиотеками или устройствами.
Поддерживаемые форматы файлов изображений IFL
IL обеспечивает доступ к изображениям, хранящимся в различных форматах, с помощью IFL. В Таблице 1-1 показаны все форматы файлов изображений, поддерживаемые IFL, и их обычные суффиксы. Исходные коды многих модулей форматов файлов, поддерживаемых IFL, находятся в /usr/share/src/ifl/.
Любой формат файла изображения, доступный с помощью IFL, также доступен с помощью IL.
IFL можно расширить для поддержки новых форматов файлов изображений. Дополнительные сведения о добавлении нового формата файла изображения см. в Приложении E, «Реализация собственного формата файла изображения».
В следующих разделах описываются форматы файлов, которые в настоящее время поддерживаются библиотекой форматов изображений и, соответственно, библиотекой ImageVision.
Формат файла FIT — это простой мозаичный формат, разработанный вместе с IFL. Вы можете использовать FIT в качестве отправной точки для определения собственного формата файла.
FIT поддерживает полную гибкость модели IFL: все типы данных, заказы и размеры страниц. Он использует размер страницы по умолчанию 128 x 128. FIT позволяет зарезервировать место для хранения пользовательских расширений формата файла. FIT — единственный формат, который поддерживает пейджинг в измерении канала. Эта функция полезна для мультиспектральных изображений.
Формат файла GIF используется для чтения файлов изображений, хранящихся в формате файла графических изображений CompuServe (GIF). GIF не поддерживает пейджинг. Он хранит изображения в цветовой палитре, сжатой с использованием алгоритма Лемпеля-Зива и Уэлча [1]. Изображения GIF ограничены использованием данных без знака и системы координат в верхнем левом углу. Чтобы получить дополнительную информацию о спецификациях GIF, свяжитесь с CompuServe, Incorporated, Колумбус, Огайо.
JFIF (JPEG)
JFIF реализует формат файла JPEG с помощью библиотеки JPEG, libjpeg, предоставленной Independent JPEG Group. В дополнение к предоставлению абстракции ввода-вывода изображений IFL вся библиотека JPEG предоставляется как есть для использования программным обеспечением, которое было разработано для использования с libjpeg.
Версия 6, 2 августа 1995 г., библиотеки сжатия Independent JPEG Group, libjpeg, и ее стандартные заголовки, jconfig.h, jpeglib.h, jmorecfg.h и jerror.h устанавливаются как часть IFL.
ILTCL
Формат файла ilTCL позволяет сохранять цепочку операторов в файле с использованием языка сценариев на основе TCL. Затем этот файл можно рассматривать как любой другой файл изображения.
Пакет изображений Kodak Photo CD
Формат файла PCD поддерживает файлы изображений, созданные системой Kodak Photo CD™. Photo CD представляет собой систему хранения цифровых фотографических изображений высокого разрешения на компакт-дисках. Система Kodak Photo CD
сканирует фотопленку
обрабатывает отсканированные изображения (цветокоррекция, кодирование цвета, иерархическая декомпозиция и сжатие)
записывает эти изображения в виде серии изображений с цифровым кодированием на диск Kodak Photo CD
В дополнение к цифровым изображениям Kodak Photo CD может создавать цифровые аудиоданные и данные управления воспроизведением. Однако IFL обрабатывает только файлы данных изображения с диска Photo CD.
Образы компакт-дисков с фотографиями
индекс изображения
Файл Image Pac всегда содержит первые четыре разрешения, перечисленные выше. Разрешения 4Base и выше можно не указывать при создании диска Photo CD. Разрешения от Base/64 до Base сохраняются напрямую и могут быть быстро доступны. Разрешения 4Base и выше, если они есть в файле изображения, сохраняются в сжатом виде.
Вы можете использовать функцию-член ilFileImg, getNumImgs(), чтобы определить количество изображений в вашем файле Photo CD. Вы можете использовать функции setCurrentImg() и getCurrentImg() для выбора и запроса текущего разрешения. Если вы используете setCurrentImg() для выбора разрешения изображения, которого нет в пакете изображений, функция возвращает значение ilStatus iflBADPARAMS, но не устанавливает состояние изображения. Разрешение изображения по умолчанию — Base/4.
Размер страницы изображения Photo CD равен полному размеру изображения по x и 16 по y (16 строк на жаргоне Kodak Photo CD).
Цветовая модель Photo CDЦветовая модель изображения Kodak Photo CD — YCC. Photo YCC — это метрика данных яркости/цветности, основанная на основных цветах видео. Он предназначен для простого отображения видео без ущерба для цветов, доступных на фотоматериалах. Вы можете преобразовать цветовую модель YCC в другую цветовую модель с помощью IL. Однако вы не можете использовать IFL для обратного: преобразования из другой цветовой модели в YCC. Обзор компакт-диска Kodak PhotoКаждый компакт-диск Kodak Photo CD содержит файл в формате Kodak Photo CD Overview Pac. Этот формат содержит изображение с низким разрешением для каждого изображения на компакт-диске Photo. Класс ilPCDOImg позволяет получить каждое из обзорных изображений с разрешением Base/16 или Base/64 (по умолчанию — Base/16). Вы можете использовать функцию-член ilFileImg, getNumImgs() , чтобы определить количество изображений в файле обзора Photo CD. Вы можете использовать функции setCurrentImg() и getCurrentImg() для выбора и запроса текущего разрешения. Если вы используете setCurrentImg() для выбора разрешения изображения, которого нет в обзорном пакете, функция возвращает значение ilStatus iflBADPARAMS, но не устанавливает статус изображения.
|