Один или несколько файлов превышают размер файловой системы, что делать

Обновлено: 21.11.2024

Всем владельцам учетных записей CARC назначаются четыре каталога в четырех файловых системах, где они могут хранить файлы и запускать программы: home1, project,cratic1 иcratch2. Эти файловые системы являются глобальными в том смысле, что к ним можно получить доступ с любого узла Discovery, Endeavour или узла передачи. Вы можете перечислить доступные вам каталоги и использование хранилища для каждого из них, введя команду myquota .

В следующей таблице представлен обзор рекомендаций по использованию файловой системы:

Файловая система	Рекомендуемое хранилище	Рекомендуемые действия
/home1	личные файлы, файлы конфигурации	создание и редактирование скриптов/программ
/project	общие файлы, установка программного обеспечения, рабочие сценарии и файлы, файлы ввода-вывода	создание и редактирование сценариев/программ, компиляция, ввод-вывод, передача данных
/scratch1 и /scratch2	временные файлы и файлы ввода/вывода	Ввод/вывод, тестирование

Конфиденциальные данные

В настоящее время системы CARC не поддерживают использование или хранение конфиденциальных данных. Если ваша исследовательская работа включает конфиденциальные данные, включая, помимо прочего, данные, регулируемые HIPAA, FERPA или CUI, ознакомьтесь с нашими руководствами пользователя по безопасным вычислениям или свяжитесь с нами по адресу carc-support@usc.edu, прежде чем использовать наши системы.

Домашняя файловая система (/home1)

Файловая система /home1 NFS/ZFS состоит из личных каталогов пользователей CARC. Ваш домашний каталог имеет квоту в 100 ГБ дискового пространства и 1,91 миллиона файлов. Он предназначен для хранения личных и конфигурационных файлов. Он не предназначен для запуска заданий — задания следует запускать из вашего проекта или временных каталогов.

Когда вы входите в систему, вы всегда начинаете с вашего домашнего каталога, расположенного по адресу:

Используйте команду cd, чтобы быстро перейти в свой домашний каталог из другого каталога.

Мы храним снимки файлов в вашем домашнем каталоге в течение двух недель. Вы можете думать об этих моментальных снимках как о полурезервных копиях. Если вы случайно удалите какие-то данные, то мы сможем их восстановить, если они были захвачены снимком за последние две недели. Если данные были созданы и удалены в течение суток, между моментальными снимками, то мы не сможем их восстановить. По этой причине вам следует всегда сохранять дополнительные резервные копии важных данных и других файлов.

Если вам нужно восстановить удаленный файл, свяжитесь с командой CARC, отправив запрос, и мы определим, существует ли снимок файла.

Файловая система проекта (/project)

Файловая система /project имеет общую емкость 8,4 ПБ полезного пространства и состоит из каталогов для различных групп исследовательских проектов. Он предлагает высокопроизводительный параллельный ввод-вывод, работающий с ZFS/BeeGFS на выделенных машинах хранения. Квота по умолчанию для каждого каталога проекта составляет 5 ТБ дискового пространства и 30 миллионов файлов.

Каждый PI может бесплатно запросить до 10 ТБ хранилища для своих проектов на пользовательском портале CARC. Если требуется более 10 ТБ, PI может запросить дополнительное пространство для хранения с шагом 5 ТБ по цене 40 долларов США за ТБ в год. Дополнительную информацию о квотах на хранение и ценах см. на странице "Учетные записи и выделения".

Каждый участник проекта имеет доступ к каталогу проекта своей группы, где он может хранить данные, сценарии и связанные файлы. Каталог проекта должен использоваться для большей части вашей работы в рамках CARC, а также там, где вы можете сотрудничать со своей исследовательской проектной группой. Пользователи, связанные с несколькими проектами CARC, будут иметь доступ к нескольким каталогам проектов, чтобы они могли легко делиться своими файлами с соответствующими группами.

Каталоги проектов находятся по адресу:

где — имя пользователя владельца проекта и двух- или трехзначный идентификатор проекта (например, ttrojan_123).

Вы можете просмотреть каталоги проектов и использование хранилища, введя команду myquota . Вы также можете найти идентификатор проекта и путь к каталогу на странице проекта на пользовательском портале.

Совет: вы можете создать псевдоним команды, чтобы быстро перейти в каталог вашего проекта. Например, для пользователя ttrojan добавление строки alias cdp="cd /project/ttrojan_123" в его файл ~/.bashrc будет создавать псевдоним команды cdp каждый раз, когда он входит в систему, что можно использовать в качестве ярлыка для быстрого переключения в каталог своего проекта.

Чтобы создать собственный подкаталог в каталоге вашего проекта, введите следующую команду:

При необходимости вы можете изменить права доступа к этому подкаталогу с помощью команды chmod.

Мы храним снимки файлов в каталогах вашего проекта в течение двух недель. Вы можете думать об этих моментальных снимках как о полурезервных копиях. Если вы случайно удалите какие-то данные, то мы сможем их восстановить, если они были захвачены снимком за последние две недели. Если данные были созданы и удалены в течение суток, между моментальными снимками, то мы не сможем их восстановить.По этой причине вам следует всегда сохранять дополнительные резервные копии важных данных и других файлов.

Скретч-файловые системы (/scratch1 и /scratch2)

Файловые системы /scratch1 и /scratch2 обеспечивают высокопроизводительный параллельный ввод-вывод с использованием ZFS/BeeGFS \ на выделенных машинах хранения. /scratch1 имеет общую емкость 1,6 ПБ, а /scratch2 — 709 ТБ. Каталог размером 10 ТБ в /scratch1 и каталог 10 ТБ в /scratch2 автоматически создаются для каждого пользователя CARC.

Временные файловые системы предназначены для временных и промежуточных файлов, поэтому их резервные копии не создаются. Файлы в /scratch2 сохраняются и не удаляются между заданиями, однако файлы, хранящиеся в /scratch1, подвергаются очистке данных каждые 90 дней. При необходимости следует периодически создавать резервные копии файлов, хранящихся здесь, чтобы снизить риск потери данных.

Ваш каталог /scratch1 находится по адресу:

Используйте команду cds, чтобы быстро перейти в каталог /scratch1 из другого каталога.

Ваш каталог /scratch2 находится по адресу:

Используйте команду cds2, чтобы быстро перейти в каталог /scratch2 из другого каталога.

Использование пространства /tmp

Для временных файлов каждый вычислительный узел имеет локальный каталог /tmp, реализованный в виде файловой системы на основе оперативной памяти (tmpfs). Однако они ограничены 1 ГБ пространства, которое совместно используется заданиями, работающими на одном узле. В качестве альтернативы вы можете использовать локальный каталог /dev/shm, также файловую систему на основе оперативной памяти (tmpfs), но она ограничена в зависимости от объема памяти, который вы запрашиваете для своей работы. Вместо этого вы также можете использовать свои рабочие каталоги или каталоги проектов.

В своих сценариях и программах вы можете явно определять временные каталоги. Чтобы автоматически перенаправить временные файлы в другое место, установите переменную среды TMPDIR. Например:

Включите эту строку в сценарии заданий, чтобы установить TMPDIR для пакетных заданий.

Ограничения на дисковое пространство и количество файлов

Кластеры CARC — это общие ресурсы. В результате существуют квоты на использование, чтобы помочь обеспечить справедливый доступ ко всем исследователям Университета Южной Калифорнии. Существуют квоты как на объем используемого дискового пространства, так и на количество хранимых файлов.

Чтобы проверить свою квоту, введите команду myquota. По размеру сравните результаты б/у и жесткого. Если значение used близко к значению hard , вам потребуется удалить, сжать, объединить или заархивировать файлы. Для каталогов проектов PI также могут запросить увеличение дискового пространства с пользовательского портала. Дополнительные сведения о квотах на хранение и ценах см. на странице «Учетные записи и выделения». Обратите внимание, что квота для вашего домашнего каталога фиксирована и не может быть изменена.

Примечание. В разделе файлов фрагментов указано, как ваши файлы и каталоги разделены параллельной файловой системой, а не абсолютное количество файлов. Тем не менее, если вы превысите ограничение, вам придется уменьшить количество файлов или запросить больше места.

Если вы превысите ограничения, вы получите сообщение об ошибке "дисковая квота превышена" или аналогичную ошибку.

Центр перспективных
исследовательских вычислений
3434 South Grand Avenue
3-й этаж (здание CAL)
Лос-Анджелес, Калифорния 90089
carc-support@usc. образование

Подпишитесь, чтобы получать информацию о предстоящих
обновлениях системы, событиях и объявлениях.

В Windows есть ограничение на размер файлов, которые можно передавать внутри системы, а также туда и обратно из системы на внешний диск. Эти ограничения также таковы, что вы не можете передать один файл, размер которого превышает разрешенный, однако можно передать несколько файлов меньшего размера. Следует отметить, что данные ограничения действуют в том случае, когда на диске, на который передается файл, больше места, чем размер самого файла.

В зависимости от ситуации мы можем попробовать следующие решения:

Оглавление

Решение 1] Измените настройки реестра

1] Нажмите Win + R, чтобы открыть окно «Выполнить». Введите команду regedit и нажмите Enter, чтобы открыть редактор реестра.

2] Перейдите к следующему ключу:

3] Найдите ключ FileSizeLimitInBytes на правой панели. Щелкните его правой кнопкой мыши и выберите "Изменить".

4] Выберите «Шестнадцатеричный формат» и убедитесь, что значение данных равно 2faf080.

Теперь выберите десятичный переключатель и измените значение данных на 4294967295 .

5] Нажмите OK, чтобы сохранить настройки и перезагрузить систему.

Решение 2. Перезапустите службу WebClient

1 – одновременно нажмите клавишу Windows + R, чтобы открыть RUN.

2. Теперь напишите services.msc в поле и нажмите клавишу ввода.

3- В диспетчере служб просто перезапустите службу WebClient.

Примечание. Если он остановлен, просто перезапустите службу.

Решение 2] Изменить файловую систему

Если у вас возникла эта проблема, при попытке скопировать файл на внешний USB-накопитель или жесткий диск используйте следующее решение, приведенное ниже.

Примечание. Эта процедура приведет к форматированию внешнего диска и удалению всех данных на нем.

В случае внешних дисков мы также можем изменить файловую систему, так как эта файловая система FAT32 имеет ограничения по размеру. Вот процедура для того же:

1] Щелкните правой кнопкой мыши внешний диск и выберите «Форматировать».

2] Измените файловую систему на NTFS в раскрывающемся меню.

3] Нажмите «Пуск», чтобы отформатировать его в системе NTFS.

Вы также можете загрузить этот инструмент восстановления ПК, чтобы найти и устранить любую проблему с ПК:
Шаг 1. Загрузите инструмент восстановления ПК Restoro отсюда
Шаг 2. Нажмите «Начать сканирование», чтобы найти и устранить любую проблему. ПК выдает автоматически.

Надеемся, что описанные выше методы решили вашу проблему на ПК с Windows 11.

Переработчики JD

Уважаемый

Я пытаюсь загрузить файл размером 23 гигабайта, но он продолжает выдавать сообщение "Файл превышает предельный размер файловой системы (запись на диск)" . Я использую 64-разрядную версию Windows 7, и мой формат уже NTFS, и я все еще сталкиваюсь с этой ошибкой.

Я уже использовал флешку, отформатированную в NTFS, для файлов меньшего размера, и она отлично работает.

азот

Выдающийся

Похоже, вы используете не NTFS, а FAT32. Вы на 100% уверены? В проводнике щелкните правой кнопкой мыши букву диска, на который вы сохраняете (например, C:\), и выберите «Свойства», чтобы увидеть файловую систему для этого диска. Еще раз проверьте, действительно ли вы сохраняете данные на правильный (NTFS) диск.

Гость

Если вы не сохраняете в корневой каталог, все должно быть в порядке. NTFS имеет ограничение на размер файла в 16 терабайт, но не в корневой папке. Если вы сохраняете на флешку, то может флешка виновата. Попробуйте сохранить на жесткий диск.

Переработчики JD

Уважаемый

Я сохраняю этот файл на жесткий диск из-за его размера. Я попытался сохранить его на своем рабочем столе, в своих документах и т. Д., И все равно получаю ту же проблему.

Переработчики JD

Уважаемый

Я на 110 % уверен, что использую NTFS, я использую программное обеспечение uTorrent для загрузки своих файлов. и я использую Google Chrome

Гость

Щелкните правой кнопкой мыши на жестком диске, выберите свойства и убедитесь, что на диске, на который вы сохраняете файл, указано "Файловая система: NTFS".

Переработчики JD

Уважаемый

Да, там написано NTFS. Вот фото моего жесткого диска

ex_bubblehead

Чемпион

У меня были очень похожие проблемы с копированием огромных файлов в Проводнике Windows. Я начал использовать бесплатное приложение под названием Teracopy для больших файлов.

Переработчики JD

Уважаемый

Я скачиваю файлы через торренты с помощью uTorrent и использую Google Chrome.

Стив0111

Уважаемый

Я уже использовал флешку, отформатированную в NTFS, для файлов меньшего размера, и она отлично работает.

У меня такая же проблема с копированием файла размером 29 Гб с одного диска NTFS на другой. По-видимому, эта ошибка может быть вызвана включенным сжатием файлов или сильно фрагментированным диском.

Вчера я купил еще один внешний жесткий диск емкостью 1 ТБ. Теперь из 930 ГБ свободно 900 ГБ.

Я изменил свои настройки в utorrent, чтобы загружать файлы на мой жесткий диск объемом 1 ТБ (F:\)

Сейчас я загружаю файл размером 17 ГБ, а также пытаюсь загрузить второй файл размером 6,5 ГБ,

Файл размером 6,5 ГБ выдает следующее сообщение: ОШИБКА: размер файла превышает предельный размер файловой системы

Со вчерашнего дня я загрузил несколько вещей и поместил около 25 ГБ на новый жесткий диск, но этот фильм не загружается. И у меня закончились идеи.

Чтобы проверить свойства правой кнопкой мыши -> файловая система: XXXXXXXXXXXXX

24 июля 2011 г., 08:58 Amui написал:
Проверьте, отформатирован ли ваш жесткий диск в NTFS. Если это FAT32, он не поддерживает ни одного файла размером более 4 ГБ..

Чтобы проверить свойства правой кнопкой мыши -> файловая система: XXXXXXXXXXXXX

технические рекомендации синхронизированы.

24 июля 2011 г., 09:00, TadH написал:
Это действительно FAT32. ОДНАКО 17-гигабайтный файл загружается на него, пока мы говорим. Это потому, что это 30 отдельных файлов по 300~500 МБ?

Я не совсем понимаю, что вы имеете в виду. Все дело в одном файле или нет? Если 17 ГБ данных состоят из отдельных файлов, размер каждого из которых не превышает 4 ГБ, то это ожидаемое поведение. Проблема заключается в любом отдельном файле размером более 4 ГБ.

В любом случае вы можете просто переформатировать внешний диск в NTFS (очевидно, перед этим сохраните данные в другом месте), если вам не понадобится использовать его позже в системе без поддержки NTFS.

Спасибо за помощь.

Прямые трансляции

РоттердаМ 728

Море 12479
Штиль 5390
Чэдон 4248
ЭффОрт 1434
Мини 1347
Хоранг2 1185
Зевс 1049
Аист 883
>BeSt 849
Ирис 565
[ Показать больше ]

Тайсон 462
герой 367
Сома 330
Sea.KH 301
Хюк 282
Раш 187
Монг 179
Муви 123 < br />Острый 117
Эгонг 113
извините 93
Острый(Twitch) 71
Рок 69
ХийА 50
герой(twitch) 33
>Sacsri 31
Bale 28
yabsab 21
scan(afreeca) 15
[sc1f]eonzerg 15
GoRush 14
BeSt(Twitch) 12
/>zelot 7
Deathfate

• Gussbus
• LaughNgamez Trovo
• Alpha X_
• aXEnki
• Poblha
• intothetv
• Migwel
• Laughngamez YouTube
• Козан
• IndyKCrew

• 80smullet 10
• FirePhoenix 3
• sscaitournament 2
• AfreecaTV YouTube
• BSLYoutube
• STPLYoutube

Зашифруйте и защитите файлы паролем с помощью программного обеспечения шифрования Encryptability для Windows 11,10,8.

Емкость вашего внешнего флэш-накопителя или SD-карты велика: 8 ГБ, 16 ГБ или больше. На диске достаточно свободного места. Вы можете просто скопировать файлы меньшего размера на внешний диск. Тем не менее, когда вы пытаетесь скопировать большой файл (4 ГБ или больше) на внешний диск, Windows выдает ошибку (например: Недостаточно свободного места на диске или подобное). Звучит знакомо?

Если у вас возникла такая проблема, скорее всего, она вызвана тем, что ваш внешний диск или карта отформатированы в файловой системе FAT32. Этот тип файловой системы имеет встроенное ограничение на размер файлов, которые она может содержать. Хотя общий размер файлов, которые можно скопировать на диск FAT32, может достигать 2 ТБ (или физической емкости диска, в зависимости от того, что меньше), размер каждого отдельного файла не может превышать 4 ГБ.

Это ограничение может показаться глупым: зачем кому-то разрабатывать систему, которая не поддерживает файлы большего размера?Проблема в том, что когда была разработана файловая система FAT32 (это было еще во времена Windows 95), никто не ожидал, что мы будем использовать такие большие файлы сегодня. Или, возможно, разработчики надеялись, что к тому времени, когда такие большие файлы станут обычным явлением, использование системы FAT32 будет заменено более современными системами.

В любом случае, как решить проблему с копированием файлов размером 4 ГБ? Легко: нужно заменить файловую систему FAT32 на диске на более современную, например NTFS или exFAT. Эти новые файловые системы не имеют ограничения на размер файла в 4 ГБ! Прокрутите эту страницу вниз, чтобы узнать, как изменить файловую систему.

Какая файловая система лучше, NTFS или exFAT?

Они оба довольно хороши, но какой из них выбрать, зависит от того, как еще вы собираетесь использовать внешний накопитель или SD-карту.

Файловая система NTFS поддерживается всеми современными версиями Windows (включая таких динозавров, как Windows XP, Windows 2000 и Windows NT), а также поддерживает многие другие функции, не поддерживаемые FAT32: безопасность файлов, шифрование, сжатие, и т. д. Однако, если вы планируете использовать внешний накопитель с устройствами, отличными от Windows (такими как планшет Android или компьютер Mac), он не будет распознаваться такими устройствами из коробки, и вам потребуется установить дополнительное программное обеспечение. или немного изменить их настройки, чтобы заставить их работать с дисками NTFS.

Система exFAT не такая продвинутая, как NTFS (например, она не поддерживает права доступа к файлам и контроль доступа), но она лучше поддерживается на платформах, отличных от Windows. Например, многие телефоны и планшеты Android, а также последние версии macOS довольно хорошо поддерживают устройства exFAT.

Как изменить формат диска с FAT32 на NTFS или exFAT?

Давайте сначала покажем, как это сделать для NTFS:

Управляйте своими файлами и папками с помощью файлового менеджера AB Commander для Windows 11, 10, 8.

<р>1. Подключите внешнюю флешку к компьютеру, подождите, пока Windows распознает ее и присвоит ей новую букву диска.

<р>2. Откройте папку «Компьютер» и найдите букву диска, присвоенную флешке, которую вы хотите отформатировать в NTFS (в приведенном ниже примере это диск F:)

<р>3. Прежде чем продолжить, откройте накопитель в окне и убедитесь, что он пуст или не содержит важных файлов, ведь после того, как вы отформатируете накопитель, вся информация, которая была на нем, будет стерта! Если на диске есть файлы, которые вы хотите сохранить, воспользуйтесь этой возможностью, чтобы скопировать их на жесткий диск или другой диск.

<р>4. Если вы уверены, что на внешнем диске нет ваших важных файлов, вернитесь в папку «Компьютер» и щелкните правой кнопкой мыши значок внешнего диска:

<р>5. Выберите Формат в меню, а затем выберите параметры форматирования:

<р>6. Обязательно выберите NTFS в раскрывающемся списке «Файловая система». Это то, что определяет тип файловой системы, которая должна быть на диске. Кроме того, вы можете выбрать параметр Быстрое форматирование, который значительно ускорит процесс форматирования.

<р>7. Нажмите Пуск, и Windows снова предупредит вас об удалении любой существующей информации на диске (см. шаг 3 выше). Опять же, если вы уверены, что на диске нет незаменимых документов, подтвердите, что хотите продолжить форматирование:

<р>8. Если вы выбрали вариант Быстрое форматирование, форматирование займет не больше минуты или двух.

В результате у вас должен быть тот же диск, но теперь на нем должна быть файловая система NTFS. Теперь вы сможете без проблем копировать на диск файлы размером более 4 ГБ.

Помимо форматирования диска с файловой системой NTFS, Windows также предлагает способ преобразования диска FAT32 в NTFS. Разница в том, что процесс преобразования сохранит существующие файлы на диске. Инструкции по преобразованию см. в Справке и поддержке Windows на вашем компьютере.

Что делать, если я хочу использовать exFAT вместо NTFS?

Действия для перехода на exFAT такие же, как и для NTFS, вам нужно только выбрать exFAT в раскрывающемся списке вместо NTFS.

Защитите паролем и скройте личные файлы и папки с помощью Folder Guard для Windows 11,10,8.

P.S. Наше программное обеспечение для шифрования USBCrypt может создать виртуальный зашифрованный диск в формате NTFS или exFAT, даже если главный диск отформатирован в FAT32.Это предлагает еще одно решение: вместо форматирования хост-диска в NTFS вы можете вместо этого использовать USBCrypt для создания виртуального зашифрованного диска в формате NTFS. Если вы сделаете это, то в дополнение к преодолению барьера размера файла в 4 ГБ вы также получите надежную защиту и защиту паролем для файлов, которые вы помещаете на виртуальный зашифрованный диск. Посетите веб-страницу USBCrypt, чтобы получить дополнительную информацию или загрузить бесплатную 30-дневную пробную версию.

П.П.С. Если вам нужно всего лишь перенести большой файл с одного компьютера на другой, вы можете обойтись форматом FAT, если воспользуетесь утилитой для разделения файлов, например той, которая входит в состав нашего файлового менеджера AB Commander. Используя его команду «Разделить», вы можете разделить большой файл на более мелкие фрагменты (скажем, по 2 ГБ каждый). Такие фрагменты можно без проблем поместить на диск с файловой системой FAT. Затем на целевом компьютере используйте команду «Объединить», чтобы объединить фрагменты вместе в исходный файл. Конечно, если вы хотите открыть файл прямо с внешнего FAT-диска, это вам не поможет, но просто передать файл между компьютерами Windows должно работать нормально.

Читайте также: