Что такое студия интеграции данных sas

Обновлено: 22.11.2024

По мере роста числа случаев Covid-19 по всему миру и в США; В настоящее время реализуются программы эпиднадзора за Covid-19, чтобы отслеживать количество случаев заболевания. Сообщалось, что с 26 января 2021 года CDC будет требовать от путешественников, въезжающих в США, отрицательный результат теста на Covid-19.

Возможность управлять метаданными в централизованном репозитории, возможность решать потенциальные проблемы интеграции данных из нескольких разрозненных источников и возможность решать потенциальные проблемы загрузки данных в несколько целевых баз данных делают SAS Data Integration Studio 4.9 отличный выбор для загрузки данных эпиднадзора за случаями Covid-19.

SAS Data Integration Studio упрощает извлечение, преобразование и загрузку данных эпиднадзора за случаями Covid-19 в общие целевые базы данных.

Несколько вещей, о которых следует помнить

Давайте обсудим несколько вещей, которые следует учитывать при проектировании и разработке задания SAS DI для загрузки данных эпиднадзора за случаями Covid-19.

Определение целевых типов данных

Целевые типы данных будут определены на этапе 1. Одним из факторов при определении целевых типов данных является понимание того, как будет использоваться поле. Будет ли это поле использоваться в статическом отчете? Будет ли это поле использоваться в специальном запросе? Будет ли это поле использоваться для формирования статистики?

  • Значения даты и времени определяются как числовые значения в целевой таблице.
  • Флаги и индикаторы, представляющие логические значения, определяются в таблице назначения как числовые.
  • Поля категории/группы обычно определяются как символы в целевой таблице.

Анализ влияния изменений

Во время тестирования задания внедрения зависимостей пользователь может обнаружить, что поля названы или определены не так, как задумано или желательно. В рамках шага 3 или шага 6 может потребоваться использование инструментов "Анализ воздействия" и "Анализ обратного воздействия", которые находятся в разделе "Анализ".

Инструменты Impact Analysis и Reverse Impact Analysis могут ускорить процесс обновления метаданных для полей, которые не названы или не определены так, как задумано или желательно.

Инструмент Impact Analysis предоставляет список нижестоящих объектов метаданных таблиц, столбцов и заданий, которые ссылаются на выбранное поле. На последующие объекты метаданных будут влиять изменения выбранного объекта метаданных. Нижестоящие объекты — это объекты после выбранного объекта метаданных таблицы.

Инструмент анализа обратного воздействия предоставляет список вышестоящих объектов метаданных таблиц, столбцов и заданий, которые ссылаются на выбранное поле. Объекты метаданных восходящего потока будут вносить вклад в выбранный объект метаданных. Вышестоящие объекты — это объекты перед выбранным объектом метаданных таблицы.

Чтобы использовать анализ влияния, щелкните правой кнопкой мыши объект метаданных таблицы в потоке задания внедрения зависимостей. Выберите Анализ.

Выберите вкладку "Анализ воздействия". Щелкните правой кнопкой мыши имя таблицы и выберите "Анализ столбцов".

Переместите доступные столбцы, для которых должен выполняться анализ воздействия, в список «Выбранные столбцы», затем нажмите «ОК». Отобразится список всех объектов метаданных ниже преобразования сортировки, содержащих cdc_report_dt.

Чтобы использовать анализ обратного воздействия, щелкните правой кнопкой мыши объект метаданных таблицы в потоке задания внедрения зависимостей. Выберите Анализ.

Выберите вкладку "Анализ обратного воздействия". Щелкните правой кнопкой мыши имя таблицы и выберите "Анализ столбцов".

Переместите доступные столбцы, для которых необходимо выполнить анализ обратного воздействия, в список «Выбранные столбцы», затем нажмите «ОК». Отобразится список всех объектов метаданных выше по течению от преобразования сортировки, вносящих вклад в cdc_report_dt.

Инструмент анализа влияния и анализ обратного воздействия чрезвычайно полезен при применении исправлений к большим заданиям внедрения зависимостей с большим количеством объектов метаданных. Использование инструментов анализа влияния и обратного анализа последствий сократит количество времени, которое пользователь тратит на поиск объектов метаданных, которые он хочет изменить.

Соображения об автоматическом сопоставлении полей

Если установлен флажок «Включить сопоставления», DI Studio попытается автоматически сопоставить поля между исходным и целевым объектами.

Об автоматическом сопоставлении полей между исходным и целевым объектами следует помнить две вещи.

  • Если размер исходного поля больше размера целевого поля, поля не сопоставляются автоматически, даже если установлен флажок "Включить сопоставления".
  • Если размер исходного поля больше размера целевого поля, исходный столбец будет автоматически сопоставлен с целевым столбцом, но будет сгенерировано предупреждение.

На приведенном ниже снимке экрана столбец пола был автоматически сопоставлен со столбцом пола в цели, но было сгенерировано предупреждение. Кроме того, race_and_ethnicity должно быть сопоставлено с race_and_ethnicity_combined, но не сопоставлено, поскольку имена столбцов отличаются.

Общие шаги для загрузки данных эпиднадзора за случаями Covid-19

На изображении ниже показана завершенная работа DI по загрузке данных эпиднадзора за случаями Covid-19 из CSV-файла, загруженного от поставщика данных, в набор данных SAS.

В целях обсуждения мы рассмотрим загрузку данных эпиднадзора за случаями Covid-19 в набор данных SAS. Следующие шаги помогут читателям пройти через процесс загрузки данных Covid-19.

Шаг 1. Определите исходные и целевые данные

Определить и определить исходные данные для извлечения. Сюда входят наборы данных, плоские файлы и поля в каждом наборе данных/плоском файле, а также формат каждого поля перед перемещением. Также отмечается частота доступности данных.

Определить и определить целевые данные для загрузки. Сюда входят наборы данных, поля в каждом наборе данных/таблице и формат каждого поля после перемещения. Частота передачи данных также определяется.

Шаг 2. Извлеките исходные данные

Общедоступный CSV-файл службы наблюдения за случаями Covid-19 был загружен и сохранен локально. CSV-файл был зарегистрирован в метаданных SAS, после чего для извлечения данных из CSV-файла и загрузки их во временный набор данных SAS использовалось преобразование File Reader.

Шаг 3. Сопоставьте исходные данные

Сопоставления, определенные во время проектирования, применяются на вкладке "Сопоставление" в свойствах преобразования загрузчика таблиц.

Сопоставьте исходные поля с целевыми полями назначения.

Преобразование "Загрузчик таблиц" (4) сопоставляет исходные поля из выходной таблицы преобразования "Сортировка" (3) с целевыми полями в промежуточной таблице наблюдения за случаями Covid-19.

Шаг 4. Преобразование исходных данных

Применяйте сопоставления, преобразования/преобразования, формулы или правила 1-к-1, отраженные в требовании и дизайне.

Шаг 5. Загрузите целевые данные

Загрузчик таблиц загружает данные эпиднадзора за случаями Covid-19 в целевую таблицу.

Существует несколько стилей загрузки: заменить, добавить к существующему и обновить/вставить. Этот загрузчик таблиц настроен на (удаление) и замену таблицы данных эпиднадзора за случаями Covid-19 при каждом запуске задания DI.

Шаг 6. Тестирование задания внедрения зависимостей

Протестируйте, чтобы убедиться, что задание выполняется успешно. Убедитесь, что сквозной поток данных работает правильно. Затем внесите необходимые изменения и повторите тестирование.

Нажмите кнопку "Выполнить", чтобы протестировать задание внедрения зависимостей.

Откройте и просмотрите выходную таблицу, загруженную преобразованием Table Loader.

Шаг 7. Разверните задание внедрения зависимостей

После завершения тестирования и проверки правильности преобразования данных; разверните задание внедрения зависимостей и запланируйте начало миграции или интеграции.

При развертывании задания внедрения зависимостей создается программа SAS из объектов метаданных в потоке данных развернутого задания внедрения зависимостей.

Чтобы развернуть задание внедрения зависимостей для запуска в пакетном режиме; выберите задание DI. Щелкните правой кнопкой мыши, выберите «Планирование», затем выберите «Развернуть…».

Выберите каталог развертывания для хранения развернутой программы SAS, созданной в результате задания DI. Можно выбрать каталог по умолчанию во время установки и настройки SAS или создать новый каталог развертывания.

Шаг 8. Поддерживайте и обновляйте развертывание

Дальше задачи интеграции данных, развертывания и/или сопоставления данных потребуются обновления и изменения по мере добавления новых источников данных, изменения источников данных или изменения целей.

Заключение

Мы коснулись нескольких моментов, о которых следует помнить при проектировании и разработке заданий по внедрению зависимостей. Затем мы рассмотрели общие шаги по извлечению данных о Covid-19 из файла CSV и загрузке данных в набор данных SAS. Я призываю читателей попробовать шаги в вашей среде разработки. Если у вас есть вопросы или вам нужна помощь, свяжитесь с Zencos. Мы будем рады помочь.

SAS Data Integration Studio позволяет пользователям быстро создавать и редактировать интеграцию данных, автоматически собирать стандартизированные метаданные из любого источника и управлять ими, а также легко отображать, визуализировать и понимать корпоративные метаданные и ваши процессы интеграции данных.

Вероятность рекомендации

15/19 в области интеграции данных и iPaaS

Ответ
Распространение
21 отзыв

Это содержимое в настоящее время заблокировано.

Ваша текущая подписка Info-Tech Research Group не включает доступ к этому контенту. Обратитесь к представителю своего аккаунта, чтобы получить доступ к обзорам Premium SoftwareReviews.

Поговорите со своим представителем

Запросить доступ к обзорам Premium Software

Функции категорий
  • Административные функции
  • |
  • Управление API и оркестрация
  • |
  • Пакетная интеграция
  • |
  • Профилирование и очистка данных
  • |
  • Безопасность данных
  • |
  • Виртуализация данных
  • |
  • Обработка исключений и уведомления
  • |
  • iPaaS
  • |
  • Управление метаданными
  • |
  • Поддержка нескольких каналов
  • |
  • Интеграция в реальном времени
  • |
  • Синхронизация и репликация

Просмотр
Образец
отчета

Отчет

Оценочная карта продукта

Подробный отчет о конкретном программном продукте, в котором собраны отзывы реальных ИТ-специалистов и бизнес-лидеров.

  • Показатель Net Promoter Score и плановые показатели продления
  • Разбивка функций и возможностей поставщиков
  • Уровни соответствия версии и модуля
  • Сравнения по размеру организации, использованию и роли

Облако слов

По мере того, как организации становятся все более и более зависимыми от программного обеспечения для автоматизации и оптимизации операций, у пользователей развиваются прочные эмоциональные связи со своими приложениями и поставщиками. Облако слов SoftwareReviews объединяет наиболее часто встречающиеся болевые точки и преобладающие мнения, которых придерживаются его пользователи. Используйте этот краткий обзор, чтобы оценить отношения поставщика и клиента и эффективность продукта.

Читайте также: