Как объединить CSV-файлы в один

Обновлено: 21.11.2024

Итак, теперь вы являетесь "профессионалом" в области CSV, а это значит, что вы работаете с данными во многих CSV-файлах. Возможно, слишком много? Теперь мы рассмотрим, как объединить файлы CSV вместе (иногда это называется объединением или добавлением), чтобы вы могли работать более эффективно.

Объединение файлов может быть полезным во многих случаях. И есть много типов слияния, которые вы можете сделать!

Независимо от того, объединяете ли вы кучу рабочих листов, разбросанных по разным книгам, в один рабочий лист, или даже просто объединяете рабочие листы из одной и той же книги вместе, существует МНОГО вариантов того, как это сделать. Лучший вариант для вас будет зависеть только от а) вашего уровня комфорта и б) сложности слияния, которое вам нужно сделать. Давайте посмотрим!

В большинстве случаев слияния вы должны быть уверены, что работаете с наборами данных, имеющими одинаковую структуру. Это означает, что у вас одинаковое количество столбцов и один и тот же заголовок. Это гарантирует, что при объединении данных вы не получите хаотический беспорядок уровня 10. Однако, если вы чувствуете себя рискованно и хотите попробовать, вы можете объединить данные, которые не содержат одинаковую структуру заголовков/столбцов. В этом руководстве подробно рассказывается о том, как аккуратно завершить этот процесс.

Для большинства из вас самые простые и не вызывающие головной боли методы будут заключаться в объединении наборов данных с одинаковой структурой. Прежде чем мы углубимся в ваши варианты, давайте сделаем небольшое напоминание:

Объединение данных из различных CSV-файлов неизбежно (в большинстве случаев) потребует просмотра/обработки данных в программе для работы с электронными таблицами (например, в Excel). Это означает, что вы не должны забывать о важном шаге в работе с CSV в таких программах — импортировать данные! Не пропускайте этот важный шаг и сразу переходите к открытию файла CSV и началу объединения данных. Импорт данных гарантирует, что ваши данные останутся неповрежденными и точными, а также не будут искажены при переводе при открытии файла.

Основы

Хорошая копипаста.

Вы же не думали, что у нас будет руководство по объединению данных, не отбрасывая сначала самый проверенный вариант, верно? Если вы хотите просто добавить строки данных из одного файла в другой, естественно, вы можете открыть файл(ы) CSV в программе для работы с электронными таблицами (например, Excel) или даже в текстовом редакторе и скопировать и вставить строки, которые вы хотите добавить из одного файла в другой. Просто.

Скопировать и вставить следующий уровень.

Если вы всего лишь объединяете листы в одну книгу, вы можете положиться на встроенную функцию "Переместить/копировать", которая есть в большинстве программ для работы с электронными таблицами. Откройте лист, из которого вы хотите извлечь данные, и щелкните правой кнопкой мыши "Переместить/копировать", чтобы выбрать, куда отправить данные.

Формулы

Иногда элементарных вещей недостаточно. Если вам нужно немного больше контроля и/или автоматизации процесса слияния, вы всегда можете положиться на формулы в своем программном обеспечении для работы с электронными таблицами. Это может быть особенно удобно, если вы не хотите просто копировать все подряд, а хотите копировать только те данные, которые соответствуют определенным условиям. Некоторые примеры формул Excel, которые будут работать для объединения данных, включают:

  • ВПР (подробнее об этом можно узнать здесь)
  • ИНДЕКС СОВПАДЕНИЯ (подробнее здесь)
  • IMPORTRANGE (для Google Таблиц смотрите здесь)

Инструменты данных Excel

В арсенале Excel есть два основных инструмента, предназначенных для объединения данных, и они решают совершенно разные задачи.

Объединить

На вкладке "Данные" в Excel вы увидите параметр "Консолидировать".

Целью этого инструмента является применение функции к числовым данным, хранящимся на различных листах. Например, если вы записали продажи из разных филиалов магазина, хранящихся в разных книгах, но хотите объединить данные, чтобы получить общий объем продаж во всех филиалах. Это был бы идеальный вариант использования инструмента «Консолидация». Вот отличное руководство о том, как его использовать, и вы даже можете связать свои исходные данные, чтобы убедиться, что ваш новый объединенный лист обновляется каждый раз, когда происходят изменения в исходных данных!

Power Query (или получение и преобразование данных)

Звучит устрашающе, но на самом деле это один из самых полезных инструментов для объединения данных из разных файлов. Используя Power Query, вы можете следовать пошаговому мастеру, чтобы объединить данные из разных рабочих листов в один и даже объединить целую папку рабочих книг в одну всего несколькими щелчками мыши. Этот метод чрезвычайно полезен, когда дело доходит до объединения большого количества данных, когда использование некоторых других методов, упомянутых здесь, было бы слишком трудоемким. На самом деле слияние из 2 или 20 листов требует примерно столько же усилий с помощью Power Query — как же это приятно! Чтобы увидеть его в действии, ознакомьтесь с этим руководством или с подробными инструкциями для различных вариантов использования.

Дополнения/программное обеспечение сторонних производителей

Иногда вы просто не хотите заниматься задачей слияния, мы ее понимаем.Есть несколько очень эффективных решений, которые снимут с вас большую часть бремени. Вы можете проверить веб-сайты, такие как Merge Spreadsheets, или надстройки для Google Sheets, такие как Merge Sheets.


Как видите, существует множество способов объединения данных из CSV-файлов. Найдите тот, который лучше всего подходит для вас, и не бойтесь пробовать разные методы для разных задач! Чем больше вы освоите, тем проще будет в следующий раз, когда вы поставите перед собой задачу объединить данные, чтобы выбрать именно то, что нужно для работы.

В Power Query можно объединять несколько файлов из заданного источника данных. В этой статье описывается, как работает интерфейс, когда файлы, которые вы хотите объединить, являются файлами CSV. Дополнительная информация: Обзор объединения файлов

Вы можете следовать этому примеру, загрузив образцы файлов, использованные в этой статье, по этой ссылке для скачивания. Вы можете поместить эти файлы в источник данных по вашему выбору, например в локальную папку, папку SharePoint, хранилище BLOB-объектов Azure, Azure Data Lake Storage или другой источник данных, предоставляющий представление файловой системы.

Для простоты в примере в этой статье используется коннектор папки. Дополнительная информация: Папка

Об используемых файлах примеров

Чтобы объединить файлы, необходимо, чтобы все они имели одинаковую структуру и одинаковое расширение. Все файлы, используемые в этом примере, имеют одинаковую структуру и расширение (.csv).

Существует 12 файлов CSV, по одному на каждый месяц 2019 календарного года. На следующем изображении показаны первые 15 строк файла для января.

Количество строк варьируется от файла к файлу, но все файлы имеют раздел заголовка в первых четырех строках. У них есть заголовки столбцов в пятой строке, а данные для таблицы начинаются в шестой строке и продолжаются во всех последующих строках.

Цель состоит в том, чтобы объединить все 12 файлов в одну таблицу. Эта комбинированная таблица содержит строку заголовка в верхней части таблицы, а также название источника, дату, страну, единицы измерения и данные о доходах за весь год в отдельных столбцах после строки заголовка.

Предварительный просмотр таблицы

При подключении к папке, содержащей файлы, которые вы хотите объединить (в этом примере имя этой папки — CSV-файлы), отображается диалоговое окно предварительного просмотра таблицы, в котором вверху отображается путь к папке. левый угол. Предварительный просмотр данных показывает представление файловой системы.

Для этого примера выберите Объединить.

В другой ситуации вы можете выбрать Преобразовать данные для дальнейшей фильтрации и преобразования данных перед объединением файлов. Выбор «Объединить» рекомендуется только в том случае, если вы уверены, что папка содержит только те файлы, которые вы хотите объединить.

Диалоговое окно «Объединить файлы»

После того, как вы выберете «Объединить» в предварительном просмотре таблицы, появится диалоговое окно «Объединить файлы».

Power Query автоматически определяет, какой соединитель использовать, основываясь на первом найденном файле в списке. Дополнительные сведения о коннекторе CSV см. в разделе Text/CSV.

Для этого примера оставьте все настройки по умолчанию (для файла примера установлено значение «Первый файл», а значения по умолчанию для «Происхождение файла», «Разделитель» и «Обнаружение типа данных»).

Теперь выберите Преобразовать данные в правом нижнем углу, чтобы перейти к выходному запросу.

Выходной запрос

После выбора параметра «Преобразовать данные» в диалоговом окне «Объединение файлов» вы вернетесь в редактор Power Query в запросе, который вы изначально создали из подключения к локальной папке. Выходной запрос теперь содержит имя исходного файла в крайнем левом столбце, а также данные из каждого исходного файла в остальных столбцах.

Однако данные имеют неправильную форму. Вам нужно удалить четыре верхние строки из каждого файла перед их объединением. Чтобы внести это изменение в каждый файл перед их объединением, выберите запрос «Преобразовать образец файла» на панели «Запросы» в левой части экрана.

Изменить запрос файла примера преобразования

В этом запросе файла примера преобразования значения в столбце «Дата» указывают на то, что данные относятся к апрелю в формате «год-месяц-день» (ГГГГ-ММ-ДД). April 2019.csv — это первый файл, отображаемый в предварительном просмотре таблицы.

Теперь вам нужно применить новый набор преобразований для очистки данных. Каждое преобразование будет автоматически преобразовано в функцию внутри группы запросов помощника, которая будет применяться к каждому файлу в папке перед объединением данных из каждого файла.

Удалить верхние строки. Чтобы выполнить эту операцию, выберите меню со значком таблицы в верхнем левом углу таблицы, а затем выберите Удалить верхние строки.

В диалоговом окне "Удалить верхние строки" введите 4 и нажмите кнопку "ОК".

После нажатия кнопки "ОК" в вашей таблице больше не будет четырех верхних строк.

Использовать первую строку в качестве заголовков. Снова нажмите значок таблицы, а затем выберите Использовать первую строку в качестве заголовков.

Результат этой операции переместит первую строку таблицы в новые заголовки столбцов.

После завершения этой операции Power Query по умолчанию попытается автоматически определить типы данных столбцов и добавить новый шаг измененного типа столбца.

Редактирование выходного запроса

Когда вы вернетесь к запросу CSV-файлов, вы заметите, что последний шаг выдает ошибку, которая гласит: "Столбец 'Столбец1' таблицы не найден". Причина этой ошибки заключается в том, что в предыдущем состоянии запроса выполнялась операция со столбцом с именем Column1. Но из-за изменений, внесенных в запрос файла примера преобразования, этот столбец больше не существует. Дополнительная информация: Работа с ошибками в Power Query

Вы можете удалить этот последний шаг запроса из области Примененные шаги, щелкнув значок удаления X слева от названия шага. После удаления этого шага ваш запрос покажет правильные результаты.

Однако обратите внимание, что ни один из столбцов, полученных из файлов (Дата, Страна, Единицы измерения, Доход), не имеет назначенного им определенного типа данных. Назначьте правильный тип данных для каждого столбца, используя следующую таблицу.

< td>Дата
Имя столбца Тип данных
Дата
Страна Текст
Единицы Целое число
Доход Валюта

После определения типов данных для каждого столбца вы будете готовы загрузить таблицу.

Чтобы узнать, как определить или изменить типы данных столбцов, см. раздел Типы данных.

Подтверждение

Чтобы убедиться, что все файлы объединены, можно выбрать значок фильтра в заголовке столбца Source.Name, в котором будут отображаться имена всех объединенных файлов. Если вы получили предупреждение "Список может быть неполным", выберите "Загрузить еще" в нижней части меню, чтобы отобразить больше доступных значений в столбце.

После того, как вы нажмете Загрузить еще, отобразятся все доступные имена файлов.

Если вы часто экспортируете файлы в формате CSV из разных приложений, у вас может получиться множество отдельных файлов, относящихся к одному и тому же предмету. Конечно, Excel может открывать сразу несколько файлов, но как отдельные книги. Вопрос в том, есть ли простой способ преобразовать несколько файлов .csv в одну книгу? Конечно вещь. Таких способов даже три :)

Объединить несколько файлов CSV в один файл Excel с помощью командной строки

Чтобы быстро объединить несколько CSV-файлов в один, вы можете использовать инструмент командной строки Windows. Вот как:

  1. Переместите все целевые файлы в одну папку и убедитесь, что в ней нет других файлов .csv.
  2. В Проводнике Windows перейдите к папке, содержащей ваши CSV-файлы, и скопируйте ее путь. Для этого, удерживая нажатой клавишу Shift на клавиатуре, щелкните папку правой кнопкой мыши и выберите в контекстном меню пункт Копировать как путь.

В Windows 10 и более поздних версиях кнопка Копировать путь также доступна на вкладке Главная Проводника.

Кроме того, вы можете перетащить папку прямо из Проводника в окно Командная строка.

После этого в командной строке появится путь к папке, отражающий изменение активного каталога.

В приведенной выше команде merged-csv-files.csv — это имя результирующего файла, вы можете изменить его на любое другое имя.

Если все пойдет хорошо, под выполняемой командой появятся имена скопированных файлов:

Теперь вы можете закрыть окно командной строки и вернуться в папку, содержащую исходные файлы. Там вы найдете новый файл с именем merged-csv-files.csv или любым другим именем, которое вы указали на шаге 6.

  • Объединение всех данных в один файл большего размера отлично подходит для однородных файлов одинаковой структуры. Для файлов с разными столбцами это может быть не лучшим решением.
  • Если все файлы, которые вы собираетесь объединить, имеют одинаковые заголовки столбцов, имеет смысл удалить строки чтения во всех файлах, кроме первого, чтобы они копировались в больший файл только один раз.
  • Команда copy объединяет файлы как есть. Если вам нужен больший контроль над тем, как файлы CVS импортируются в Excel, Power Query может оказаться более подходящим решением.

Объедините несколько CSV-файлов в один с помощью Power Query

Power Query — это один из самых мощных инструментов в Excel 365 – Excel 2016. Среди прочего, он может объединять и преобразовывать данные из разных источников — интересная функция, которую мы собираемся использовать в этом примере.

Чтобы объединить несколько CSV-файлов в одну книгу Excel, выполните следующие действия:

  1. Поместите все файлы CSV в одну папку. Убедитесь, что в этой папке нет других файлов, так как позже они могут привести к дополнительным перемещениям.
  2. На вкладке Данные в группе Получить и преобразовать данные нажмите Получить данные >Из файла. >Из папки.

  • Объединение и преобразование данных — наиболее гибкий и многофункциональный инструмент. Данные из всех CSV-файлов будут загружены в редактор Power Query, где вы сможете внести различные корректировки: выбрать типы данных для столбцов, отфильтровать ненужные строки, удалить дубликаты и т. д.
  • Объединить и загрузить — самый простой и быстрый способ. Загружает объединенные данные прямо на новый лист.
  • Объединить и загрузить в… — позволяет выбрать, куда загружать данные (в существующий или новый лист) и в какой форме (таблица, отчет сводной таблицы или диаграмма, только соединение).

Теперь давайте кратко обсудим ключевые моменты в каждом сценарии.

Объединить и загрузить данные

В простейшем случае, когда в исходных CSV-файлах нет необходимости вносить коррективы, выберите либо Объединить и загрузить, либо Объединить и загрузить в… .

По сути, эти два параметра делают одно и то же — импортируют данные из отдельных файлов на один рабочий лист. Первый загружает результаты на новый лист, а второй позволяет вам решить, куда их загрузить.

В диалоговом окне предварительного просмотра вы можете выбрать только:

  • Файл образца — какой из импортированных файлов следует рассматривать как образец.
  • Разделитель — в файлах CSV обычно используется запятая.
  • Обнаружение типа данных. Вы можете разрешить Excel автоматически выбирать тип данных для каждого столбца на основе первых 200 строк (по умолчанию) или всего набора данных. Или вы можете выбрать не определять типы данных и импортировать все данные в исходном формате Текст.

После того как вы сделали свой выбор (в большинстве случаев значения по умолчанию работают нормально), нажмите ОК.

Если вы выбрали Объединить и загрузить, данные будут импортированы на новый лист в виде таблицы.

В случае Объединить и загрузить в… появится следующее диалоговое окно с просьбой указать, куда и данные должны быть импортированы:

С настройками по умолчанию, показанными на изображении выше, данные из нескольких CSV-файлов будут импортированы в табличном формате, подобном этому:

Объединение и преобразование данных

Функция Объединить и преобразовать данные загрузит ваши данные в редактор Power Query. Здесь много функций, поэтому давайте сосредоточим внимание на тех, которые особенно полезны для обработки информации из разных источников.

Отфильтруйте файлы для объединения

Если исходная папка содержит больше файлов, чем вы действительно хотите объединить, или некоторые файлы не имеют формата .csv, откройте фильтр столбца Source.Name и отмените выбор ненужных файлов.

Указать типы данных

Обычно Excel автоматически определяет типы данных для всех столбцов. Однако в некоторых случаях значения по умолчанию могут вам не подойти. Чтобы изменить формат данных для определенного столбца, выберите этот столбец, щелкнув его заголовок, а затем нажмите "Тип данных" в группе Преобразование.

  • Чтобы оставить нули перед цифрами, выберите Текст.
  • Чтобы отобразить символ $ перед суммами, выберите Валюта.
  • Чтобы правильно отображать значения даты и времени, выберите Дата, Время или Дата/время.

Удалить дубликаты

Чтобы избавиться от повторяющихся записей, выберите ключевой столбец (уникальный идентификатор), который должен содержать только уникальные значения, а затем нажмите Удалить строки > Удалить дубликаты.

Чтобы узнать о других полезных функциях, изучите ленту!

Загрузить данные на лист Excel

Когда вы закончите редактирование, загрузите данные в Excel. Для этого на вкладке Главная в группе Закрыть нажмите Закрыть и загрузить, а затем нажмите либо:

  • Закрыть и загрузить: данные импортируются на новый лист в виде таблицы.
  • Закрыть и загрузить в… — может передавать данные на новый или существующий лист в виде таблицы, сводной таблицы или диаграммы сводной таблицы.

  • Данные, импортированные с помощью Power Query, остаются связанными с исходными CSV-файлами.
  • Если вам нужно объединить другие CSV-файлы, просто поместите их в исходную папку, а затем обновите запрос, нажав кнопку Обновить в Конструкторе таблиц или < вкладка em>Запрос.
  • Чтобы отсоединить объединенный файл от исходных файлов, нажмите Отключить на вкладке Конструктор таблиц.

Импорт нескольких CSV-файлов в Excel с помощью инструмента «Копировать листы»

В двух предыдущих примерах мы объединяли отдельные CSV-файлы в один. Теперь давайте посмотрим, как вы можете импортировать каждый CSV как отдельный лист одной книги. Для этого мы будем использовать инструмент «Копировать листы», входящий в состав Ultimate Suite for Excel.

Импорт займет у вас максимум 3 минуты, по минуте на шаг :)

  1. На вкладке Данные Ablebits щелкните Копировать листы и укажите, как вы хотите импортировать файлы:
    • Чтобы поместить каждый файл на отдельный лист, выберите Выбранные листы в одну книгу.
    • Чтобы скопировать данные из всех CSV-файлов на один лист, выберите Данные из выбранных листов на один лист.

Через пару секунд вы обнаружите, что выбранные CSV-файлы преобразованы в отдельные листы одной книги Excel. Быстро и безболезненно!

Вот как преобразовать несколько CSV в Excel. Спасибо за внимание и увидимся на следующей неделе!

Это уловка, которая может сэкономить вам много времени при работе с набором данных, разбросанным по нескольким файлам CSV. Используя простую команду CMD, можно объединить все CSV-файлы в единый объект, готовый для всех ваших мастеров сводки и таблиц.

Шаг 1

Сохраните все файлы CSV в одну папку. Убедитесь, что в папке нет CSV-файлов, которые вы не хотите включать в сжатие.

Шаг 2

Перейдите к пункту «Выполнить» в меню «Пуск» Windows

  • В XP это находится в самом меню "Пуск".
  • В Vista/Win 7 вам, возможно, придется сначала перейти в раздел «Стандартные», чтобы найти исполняемый файл «Выполнить».

Введите «cmd» в поле исполняемого файла и нажмите Enter.

Шаг 3

Когда откроется окно CMD; вам будет представлена ​​папка документов по умолчанию, содержащая все ваши личные файлы. Отсюда вам нужно выполнить команду «cd», которая перейдет в нужную папку. Введите «cd» после шеврона, затем пробел, затем желаемое местоположение папки, включая архитектуру диска. Например, если окно командной строки открывается с предварительно заполненным «C:\Users\Ваше имя>», полная командная строка будет выглядеть так: «C:\Users\Ваше имя>cd C:Желаемая папка».

Важнейший совет. Если вы перейдете к нужной папке в проводнике Windows (например, щелкнув Мои документы на рабочем столе), вы увидите путь к папке в верхней части окна. Однако не закрывайте его — вы не можете копировать и вставлять в CMD, поэтому вам нужно будет ввести путь к папке!

Шаг 4

После того, как вы войдете в командную строку и нажмете Enter, нужное расположение папки появится в следующей строке. Теперь вам нужно использовать функцию «копировать», чтобы объединить все файлы CSV вместе. Подобно команде «cd», введите «копировать» после шеврона, затем пробел, а затем «combine.csv». Это копирует данные из всех CSV-файлов в этом месте в один файл с именем «combine.csv».

Важнейший совет. Поскольку формат файла CSV не поддерживает несколько вкладок, все ваши данные будут скопированы на один лист в рабочей книге CSV. По этой причине, возможно, стоит собрать все ваши данные в одинаковую структуру, чтобы избежать большого объема работы по форматированию в конце.

Читайте также: