Как открыть большой CSV-файл

Обновлено: 28.06.2024

В частности, мне нужны только строки для больниц; тем не менее, могут потребоваться строки для информационных центров здравоохранения, агентств по оказанию медицинской помощи на дому и т. д.

Разархивированный файл NPI весит 4,8 ГБ, что слишком много для моих настольных приложений. Это интересное препятствие для открытых данных.

Вы пытались открыть файл предложенными программами по ссылке (TextPad и UltraEdit). За несколько недель до этого я открыл в Excel CSV-файл размером 3,5 ГБ.

Такие данные кричат о «базе данных». Вставьте его в любую доступную вам СУБД (все они имеют инструменты), 4 ГБ для них не проблема. Удалите ненужные столбцы или создайте представления только для необходимых столбцов.

Мы часто используем bash или другие оболочки в unix/os x для основных операций с файлами. Если вам нужно только подмножество, такие команды, как «grep», «cut» и «sed», могут вам помочь. Если вы хотите работать с ней широко и часто, база данных SQL может быть лучшим вариантом. Я не знаю, удовлетворит ли SQLite ваши требования, но есть также мощные инструменты с открытым исходным кодом, такие как mysql и postgresql.

21 Ответ 21

Это то, для чего был создан csvkit:

csvkit – это набор утилит для конвертации и работы с CSV — главным табличным форматом файлов.

Вы могли бы сделать немного эффективнее:

Однако этот инструмент csvcut предназначен для удаления столбцов. Похоже, у него нет четкого способа извлечения строк.

Есть ли версия csvkit для cygwin или двоичные файлы для Windows, которые я могу использовать? Я предпочитаю не устанавливать Python, если это необходимо.

В Windows SweetScape 010 Editor является лучшим известным мне приложением для открытия/редактирования больших файлов (легко до 25 ГБ). На моем компьютере потребовалось около 10 секунд, чтобы открыть ваш файл размером 4 ГБ (SSD):

PSPad абсолютно бесплатен, а не является вредоносным программным обеспечением, поддерживает поиск и замену регулярных выражений, показывает скрытые символы (потому что я получаю неверные данные от клиентов), открывает большие файлы и многое другое. Я думаю, что он также может запускать Javascript на текущей открытой вкладке, но для этого требуется программирование.

Поскольку вы берете только часть файла, вы можете использовать простые инструменты для его подмножества перед обработкой. Это может уменьшить его размер до приемлемого для работы размера.

Если вы работаете в posix (т.е. Unix-подобной) системе, вы можете использовать команды оболочки для уменьшения размера файла:

zcat -c имя файла | grep (шаблон только для больниц) > outputFile

Это позволяет извлекать строки, не распаковывая файл большего размера на диске. (в современных системах скорость диска часто является ограничивающим фактором, поэтому работа со сжатыми данными может быть более эффективной, если у вас достаточно ресурсов ЦП).

Если бы они были разделены табуляцией, вертикальной чертой или фиксированной шириной, вы также можете уменьшить количество столбцов с помощью команды unix cut . но с CSV это случайность, так как он ужасно сломается, если в строках есть запятые:

zcat -c (имя файла) | grep (шаблон только для больниц) | cut -d, -f (список полей) > выходной файл

@DRead: совершенно верно. Лично я бы сказал, что если у вас есть новые строки в ячейках, CSV может быть не лучшим форматом для хранения ваших данных. К сожалению, мы немного зависим от того, в каких других форматах люди публикуют свои данные.

Я думаю, что это небольшой недостаток CSV. Однако я не думаю, что наличие новых строк должно удерживать вас от CSV, поскольку обычно есть более важные причины для его использования. Не могли бы вы сказать то же самое для данных с запятыми в кавычках в ячейках? Это затрудняет работу таких инструментов, как sed и awk, аналогичным образом. Я думаю, нам просто нужно признать, что, хотя CSV имеет много преимуществ из-за своей простоты, его не так просто анализировать, как многие думают, и вам нужно использовать инструменты и библиотеки.

вы можете подключиться к файлу с помощью sql и оттуда запустить анализ.

надеюсь, это поможет :)

Другие упомянули способ постепенного разделения этого файла. Мне кажется, что вы также комментируете использование ресурсов для большого файла. Для некоторых решений вы можете постепенно читать сжатый файл, распаковывая его по мере продвижения, и передавать его через модуль csv. Например, в python с вводом gzip вы бы сделали это следующим образом:

То же самое можно сделать для zip-архивов с помощью zipfile.

Если эти данные поступают из сети, вы можете заплатить очень мало или иногда повысить производительность, не копируя, а затем распаковывая их. Вам может стоить меньше затрат на передачу по сети сжатых (меньших) фрагментов и работу с ними, чем на передачу их в большом количестве, распаковку и последующее чтение. Он также не использует ресурсы локального хранилища.

Существуют потоковые синтаксические анализаторы CSV, которые одновременно просматривают только небольшое окно файла.

Node – это особенно удобный для потоковой передачи язык и экология, поэтому вот несколько парсеров Node для потоковой передачи CSV:

Для потоков Node.JS не имеет значения, насколько велик файл! Потоки продолжают читать и писать из/в буферы. Это похоже на буферизацию видео на YouTube.

Загрузите файл в таблицу базы данных PostgreSQL с помощью оператора копирования. Это даст вам все возможности синтаксиса SQL, а также возможность индексировать столбцы для более быстрого доступа.

Для сложных запросов у вас есть оптимизатор, который может определить самый быстрый способ доступа к данным. PostgreSQL имеет более интеллектуальный ввод-вывод, чем большинство приложений, он обнаруживает доступ к последовательному чтению и упреждающее чтение для предварительной загрузки данных в память.

Результаты можно просмотреть в Excel или других электронных таблицах, получив доступ к данным через драйвер ODBC.

Вы можете получить доступ к PostgreSQL через несколько облачных сервисов, таких как Heroku или AWS. Было бы хорошим облачным проектом создать новый экземпляр машины, установить PostgreSQL и скопировать данные в экземпляр. Затем используйте команду Postgres COPY для загрузки данных, а затем получите доступ к данным с помощью клиентского приложения PostgreSQL со своего рабочего стола.

Этот ответ не очень полезен для непрограммистов, но если бы вы могли программировать на Perl, модуль Parse::CSV был специально разработан для этой задачи.

Он предоставляет гибкий и легкий потоковый синтаксический анализатор для больших, чрезвычайно больших или произвольно больших файлов CSV.

Perl обычно очень хорош для задач интеллектуального анализа данных.

Раньше я использовал Perl для чтения текстовых файлов размером 2 ГБ. Обычно я использую данные с разделителями табуляции, так как мне не нужен модуль для их обработки. На самом деле, Perl настолько быстро читает текстовые файлы, что я преобразовываю большие файлы XLS в текстовые файлы с разделителями табуляцией перед их чтением. Perl также может читать построчно огромные файлы. Но я сразу прочитал весь 2-гигабайтный файл в массив.

Я использовал такие утилиты, как (g)awk, для чтения больших файлов, таких как этот, запись за записью. Я извлекаю необходимую информацию из каждой строки и записываю ее в выходной файл. Для пользователей Windows (g)awk доступен в cygwin. Я также использовал python для достижения того же результата. Вы можете реализовать этот процесс на большинстве языков программирования.

Это несколько неудобно, когда в CSV присутствует странная кодировка символов, запятые в кавычках или новые строки. Лучше всего придерживаться инструмента, ориентированного на CSV.

Его можно использовать во многих случаях, включая миграцию данных, обработку файлов и т. д. Вы можете легко создавать задания с помощью визуального редактора для объединения специализированных коннекторов (чтение CSV-файлов, выбор строк, соответствующих вашим критериям, запись результата в один или несколько файлов или непосредственно в базу данных и многое другое). Возможности безграничны, потому что существует более 800 соединителей.

В конце TOS создает Java-приложение, которое можно запустить из дизайнера или из командной строки (Windows или Unix).

Надеюсь, это поможет.

Если вы работаете в Windows, я не могу восхвалять LogParser достаточно высоко. Он позволяет вам запрашивать файлы в самых разных форматах (в основном форматы журналов, поскольку это то, для чего он предназначен, но допустимы XML и CSV). Вы запрашиваете файл с удивительно полным синтаксисом SQL, и вы даже можете использовать его для очень легкого импорта всего файла непосредственно в базу данных SQL.

Кроме того, это очень быстро. Я использовал его для обработки 5 ГБ файлов журнала IIS, и такой сложный запрос, как SELECT DISTINCT cs-username, cs(User-Agent) FROM .\*.log, где cs-username не является нулевым, занял около 2 минут. работает на моем ноутбуке.

Если вы работаете с Python, есть несколько вариантов:

Что-то простое, например

подойдет, так как он считывает файл итеративно, а не весь сразу.

Кроме того, в стандартной библиотеке Python есть модуль csv, который работает аналогично:

Недавно мне пришлось разобрать файл NPPES размером 6 ГБ, и вот как я это сделал:

Код скрипта parse.py, используемый для извлечения некоторых столбцов:

Я большой поклонник tad, который легко обрабатывает такие файлы.

Предполагая, что вы можете распаковать онлайн-архив, лучше всего сделать следующее:

разбить несжатый CSV-файл размером 4 ГБ на файлы меньшего размера, а затем
извлечь интересующую информацию,
поместить эти строки в файлы output-csv и, наконец,
объединить эти выходные файлы CSV обратно в один файл CSV для дальнейшей обработки. Затем вы можете использовать этот файл, например. с базами данных SQL, Open-/Libre-/MS-Office, статистическими инструментами и т. д.

В зависимости от используемой ОС существует ряд инструментов с открытым исходным кодом для разделения/объединения больших файлов или уже установленных инструментов.

MS Windows: вам нужно будет установить инструмент или использовать скрипт (например, Python) для разделения. Если вы введете в Google запрос «разделение CSV-файлов», вы найдете множество вариантов.

В качестве альтернативы вы также можете использовать live CD/USB-накопитель, например.Ubuntu на нем (о том, как его создать, см. на веб-сайте Ubuntu), а затем используйте описанный ниже подход.

Linux / Unix: используйте команду разделения: например. split -d -l 10000 source.csv tempfile.part.

это приведет к разделению файла source.csv на файлы, содержащие по 10 000 строк в каждом и названные tempfile.part.00 , tempfile.part.01 .

Вы можете использовать команду соединения, чтобы объединить несколько выходных файлов из выбранных вами файлов в один CSV-файл (либо путем присвоения файлам имен и объединения их в один файл, либо путем объединения всех файлов в папке в один выходной файл — пожалуйста, проверьте на страницах руководства по присоединению или в Интернете, как это сделать подробно).

< /p>

Джейсон Штраус, инженер по обработке данных, CSV Explorer

Файлы CSV представляют собой фрагменты текста, используемые для перемещения данных между электронными таблицами, базами данных и языками программирования. Программы для работы с электронными таблицами, такие как Excel, могут с трудом открывать очень большие файлы CSV. Я объясню, почему работать с большими CSV-файлами сложно, и расскажу о некоторых инструментах для открытия больших CSV-файлов.

Если вы хотите открыть большой CSV-файл, CSV Explorer — это самый простой и быстрый способ открыть большие CSV-файлы.

Сложности открытия больших CSV-файлов в Excel

В документации приведены примеры поиска, агрегирования, построения графиков и экспорта в Excel. Вы можете попробовать CSV Explorer для своих данных здесь.

Инструменты для работы с большими файлами CSV являются мощными, но неудобными для новичков. Использование командной консоли — отличный способ получить образец большого CSV-файла и приступить к работе. Для более сложного анализа Python или база данных SQL дадут вам гораздо больше возможностей. CSV Explorer находится где-то посередине и часто является хорошим первым шагом для просмотра больших CSV-файлов.

В течение многих лет аналитики использовали электронные таблицы для работы со всеми видами данных и анализа больших CSV-файлов.

Конечно, есть и другие инструменты. Базы данных, решения BI и другие инструменты (связанные с безопасностью и другие) обещают помочь аналитикам обрабатывать свои данные. Но какими бы ценными ни были эти инструменты, трудно превзойти по простоте и гибкости старую добрую электронную таблицу.

К сожалению, есть проблема. Аналитики и бизнес-пользователи во многом полагаются на электронные таблицы. но сам объем данных вырос до такой степени, что стандартное офисное программное обеспечение больше не может с ним справляться, превращая аналитиков, которые больше не могут полагаться на электронные таблицы, в гражданских специалистов по данным.

Что делает аналитик, когда предпочитаемый им метод больше не работает? Они ищут обходной путь. (Спойлер: вы можете создать бесплатную учетную запись Gigasheet, чтобы попробовать свой собственный файл!)

Самый простой способ открыть большой CSV-файл

Мы создали Gigasheet, чтобы работать с большими файлами было так же просто, как с электронной таблицей. Вот как просмотреть большой файл CSV за 3 простых шага:

После входа в систему нажмите «Загрузить» и найдите файл CSV, чтобы выбрать его.

После завершения загрузки файла щелкните имя файла, чтобы открыть его в новой вкладке

Вот оно! Теперь вы можете открыть любой допустимый CSV-файл размером до 10 ГБ (достаточно для десятков миллионов строк) с помощью бесплатной версии Gigasheet для сообщества. Вы даже можете заархивировать файлы перед загрузкой, чтобы сэкономить время. Вы также можете загружать файлы CSV с общедоступных URL-адресов, используя параметр «Ссылка» во всплывающем окне загрузки. Премиум-версия Gigasheet поддерживает файлы CSV, содержащие более 1 миллиарда строк или 50 ГБ. И самое главное, ваши данные остаются конфиденциальными — мы не передаем и не продаем данные.

Альтернатива: открывать большие CSV-файлы в Excel

15 лет назад электронные таблицы Excel были ограничены 65 536 строками. Затем, с выпуском MS Office 2007, количество поддерживаемых строк увеличилось до 1 048 576.

А потом... ничего.

Поскольку за последние 12 лет объем данных, с которыми работают аналитики данных, вырос в геометрической прогрессии, количество строк, поддерживаемых Excel, не уменьшилось ни на дюйм. Таким образом, практически для каждого аналитика данных на планете открытие больших CSV-файлов данных в Excel стало огромной головной болью.

Итак, как открыть большие CSV-файлы в Excel? По сути, есть два варианта:

Разделите файл CSV на несколько файлов меньшего размера, которые соответствуют ограничению в 1 048 576 строк; или,

Найдите надстройку Excel, которая поддерживает файлы CSV с большим количеством строк.

Не лучший выбор, не так ли?

Несколько лет назад Microsoft выпустила продукт под названием Power Query, который позволял открывать файлы CSV или XLS, содержащие до 50 миллионов строк. К сожалению, у надстройки были свои ограничения:

Это потребовало много времени на настройку и вынудило аналитиков изучить собственный язык формул M.

Он был доступен только для аналитиков, работающих с операционными системами Windows. Если вам нужно было открыть большие CSV-файлы на Mac, вам не повезло.

Он был доступен только для MS Excel 2010 и 2013 и больше не поддерживается и не обновляется Microsoft.

Наконец, и, пожалуй, самое ужасное, он по-прежнему позволял пользователям открывать только CSV-файлы, содержащие до 50 миллионов строк. В современном обществе больших данных этого недостаточно.

Старый метод: преобразование CSV в MS Access

Если ваш файл CSV слишком велик для Excel и вы не хотите использовать Gigasheet, что делать дальше? Естественно, использовать программу базы данных CSV — скорее всего, MS Access — для открытия больших файлов CSV.

Чтобы открыть большие CSV-файлы в MS Access, нужно выполнить несколько шагов. Во-первых, вам нужно создать новый файл базы данных. Затем назовите базу данных и сохраните ее в подходящем месте. В меню «Файл» выберите «Файл» → «Получить внешние данные» → «Импорт». Затем выберите файл CSV и нажмите «Импорт».

И, наконец, ваш файл CSV открыт; хотя и в устаревшей базе данных.

Но вот настоящая проблема. Открытие CSV-файла в MS Access не позволяет аналитику свободно работать с данными, как в Excel.Гораздо сложнее «на глазок» анализировать данные для понимания и тенденций, и у вас нет доступа к простым функциям электронных таблиц, таким как фильтры и поиск. Вместо этого вам приходится использовать более сложный набор функций и синтаксис формул для создания запросов.

Мало того, что эти навыки требуют времени для изучения, они также подвержены ошибкам. И, в отличие от электронной таблицы, при работе с базой данных часто трудно сказать, допустили ли вы ошибку в запросе. В худшем случае неправильно написанный запрос может дать вам «неправильный» ответ, и вы даже не поймете, что допустили ошибку.

И снова мы сталкиваемся с ограничением по размеру. MS Access может открывать файлы CSV гораздо большего размера, чем электронные таблицы, но его возможности не безграничны. Максимальный размер отдельного файла ACCDB – 2 ГБ.

Для аналитиков данных, работающих с наборами данных, содержащими от десятков до сотен миллионов строк, этого может быть недостаточно.

Импорт файлов CSV Программное обеспечение базы данных CSV

Если вам не нравится использовать офисные базы данных или у вас нет к ним доступа, другой вариант — импортировать большие CSV-файлы в реляционную базу данных SQL.

SQL расшифровывается как Structured Query Language, стандартный язык программирования, используемый для запроса данных в одной или нескольких базах данных. Базы данных SQL чрезвычайно мощны и могут похвастаться впечатляющей производительностью даже в очень больших масштабах. Однако они сопряжены со своими проблемами.

Создание собственной базы данных SQL требует определенного набора навыков, развить которые непросто. Если вы не являетесь программистом на стороне, выполнение такого типа проектов часто недоступно занятому аналитику. Вы можете подождать, пока команда специалистов по обработке и анализу данных или другая команда инженеров помогут с проектом, но это тоже не лучший вариант, особенно если вы реагируете на инцидент с безопасностью. Вы также можете нанять фирму-разработчика для создания базы данных SQL для вас, но это, скорее всего, будет дорогостоящим проектом.

И еще кое-что, о чем стоит подумать. Даже если вы собрали идеальную базу данных SQL, вы все равно столкнетесь с проблемами производительности, как только начнете работать с очень большими CSV-файлами. Вы можете решить эту проблему, разместив базу данных в облачной службе для бизнеса, но тогда этот проект станет еще более дорогостоящим.

И на самом деле ничто из этого не решает исходную проблему. Аналитики используют электронные таблицы для открытия больших CSV-файлов, потому что это дает им большую гибкость. В конечном счете, независимо от того, насколько мощную базу данных SQL вы создадите, с ней никогда не будет так же легко работать, как с электронной таблицей.

А как насчет инструментов бизнес-аналитики?

Часто базы данных SQL используются в сочетании с инструментом бизнес-аналитики (BI). Эти инструменты могут значительно упростить процесс запроса и визуализации больших наборов данных, а некоторые из них могут даже конкурировать с электронными таблицами по своей гибкости.

Сочетание хорошо построенной базы данных с инструментом бизнес-аналитики, безусловно, является приемлемым вариантом для аналитика, у которого есть необходимые ресурсы поддержки и которому необходимо просматривать большие файлы CSV. Однако есть еще два соображения:

Стоимость создания и обслуживания базы данных SQL и оплаты инструмента BI значительна.

Какими бы мощными они ни были, инструменты BI по-прежнему сталкиваются с проблемами производительности при работе с очень большими базами данных.

Некоторые инструменты бизнес-аналитики позволяют аналитикам напрямую импортировать файлы CSV. Но опять же, при работе с очень большими CSV-файлами возникают проблемы с производительностью и ограничениями по размеру.

Как открыть файлы CSV в Python

На данный момент, вероятно, стало ясно, что для нашего многострадального аналитика обходные пути не работают. Если вы хотите открывать большие CSV-файлы (которые могут содержать сотни миллионов строк), вам нужно использовать совершенно другой подход.

Одним из таких вариантов является использование Python или другого столь же мощного языка программирования или сценариев.

Python – это язык программирования общего назначения, который, помимо прочего, исторически получил широкое распространение в научных и математических сообществах. Его высокая производительность и встроенная библиотека полезных модулей делают Python чрезвычайно мощным инструментом для анализа и визуализации огромных наборов данных.

И Python — далеко не единственный вариант. Как видно из обсуждений, подобных этому, существует множество способов использования языков программирования и пользовательских скриптов для опроса даже самых больших CSV-файлов. Однако все они сталкиваются с одними и теми же проблемами: временем и сложностью.

Как аналитик, есть ли у вас возможность (или склонность) изучать один или несколько сложных языков программирования только для анализа больших CSV-файлов? Даже если вы это сделаете, будете ли вы когда-нибудь полностью уверены в том, что ваши скрипты и инструменты, написанные специально для вас, надежны?

В конечном счете, хотя Python и другие языки сценариев, несомненно, можно использовать, они не соответствуют нашим критериям.

Большинству аналитиков не нужно быть полноценными исследователями данных или экспертами по программированию — им нужно быть экспертами в своем деле! Им нужны простые и мощные решения, позволяющие работать с большими CSV-файлами так же легко, как и с файлами меньшего размера, с помощью универсального приложения, похожего на электронные таблицы.

Gigasheet: открывайте очень большие файлы CSV

Итак, теперь, когда мы рассмотрели всю гамму вариантов, надеюсь, вы согласитесь, что Gigasheet — лучший вариант! Это аналитическое рабочее место без кода, которое позволяет любому эффективно работать даже с самыми большими файлами CSV и другими наборами данных.

Вы больше не будете вынуждены быть «аналитиком-единорогом», который может программировать, управлять базами данных и выполнять задачи по анализу данных. С помощью Gigasheet вы можете открывать CSV-файлы, содержащие до МИЛЛИАРДА строк, и работать с ними так же легко, как с файлами гораздо меньшего размера в Excel или Google Sheets.

Более того, Gigasheet специально разработан для бизнес-данных. Он понимает IP-адреса, поля времени и даты и другие распространенные данные, поэтому вам не придется пытаться переформатировать, разделить или объединить столбцы только для того, чтобы ответить на основные вопросы.

На первый взгляд, Gigasheet – это веб-таблица с миллиардами строк. За кулисами он представляет собой высокопроизводительную платформу для анализа больших данных, созданную специально для бизнес-аналитиков.

Сейчас мы ищем бета-тестеров, которые помогут нам сделать Gigasheet как можно лучше. Мы хотим знать, точно с какими проблемами вы сталкиваетесь как аналитик, чтобы быть уверенными, что Gigasheet сможет решить как можно больше из них.

Если вы хотите помочь нам сделать Gigasheet идеальным решением ваших проблем, создайте бесплатную учетную запись

Читайте также: