Файлы могут быть записаны на диск несколько раз, каждая запись называется сеансом

Обновлено: 21.11.2024

Компакт-диски и DVD-диски позволяют выполнять резервное копирование данных с вашего компьютера. Старые компьютеры могут записывать компакт-диски, а большинство новых компьютеров позволяют записывать и DVD-диски.

Можете ли вы записывать DVD?

Как узнать, может ли ваш компьютер записывать DVD? Это зависит от того, какой у вас Mac или ПК.

  1. В меню Apple выберите «Об этом Mac».
  2. Нажмите "Подробнее"
  3. В списке "Оборудование" слева выберите "Запись дисков".
  4. В разделе «Запись DVD» вы найдете форматы, которые вы можете записывать. Если он отсутствует или пуст, запись на DVD невозможна.
  1. Дважды щелкните "Мой компьютер"
  2. Посмотрите на раздел окна "Устройства со съемным хранилищем".
  3. Если там есть устройство с надписью "DVD", щелкните его правой кнопкой мыши и выберите "Свойства".
  4. На вкладке "Оборудование" должно быть указано, может ли привод DVD записывать или нет (его можно назвать DVD-ROM, что означает, что он доступен только для чтения, но не для записи).

Общие советы по записи CD и DVD

CD и DVD бывают двух типов: R и RW. Хотя для любого резервного копирования можно использовать любой тип компакт-диска или DVD-диска, каждый тип предназначен для определенных целей. Проще говоря:

  • Диски CD-R и DVD-R в основном используются для однократного резервного копирования данных или музыки. Для наиболее надежных дисков резервного копирования данных используйте CD-R или DVD-R.
  • Диски CD-RW и DVD-RW в основном используются, когда вы хотите записать данные или музыку, а затем стереть CD или DVD и записать на него обновленные или новые файлы. Диски CD-RW можно стирать и записывать тысячу раз, а диски DVD-RW — сто.

Емкость

Большинство компакт-дисков имеют емкость 700 МБ. Чтобы получить представление о том, сколько данных он будет содержать, типичный 5-страничный документ Word весит всего около 60 КБ. При таком размере вы можете хранить более 10 000 файлов на компакт-диске. Несжатые файлы изображений могут занимать в среднем около 1 МБ каждый, поэтому на одном компакт-диске можно сохранить около 700 изображений.

DVD имеют емкость 4,7 ГБ, что почти в 7 раз больше, чем у CD.

Варианты, доступные с программным обеспечением для записи компакт-дисков

Граница между дисками R и RW стирается, поскольку некоторые программы для записи CD/DVD позволяют гибко использовать каждый тип.

Например, если вы используете Roxio Easy CD Creator на ПК или Toast на Mac, вам будет предложено завершить сеанс на CD-R, но не на компакт-диске. Это позволяет вам записать некоторые файлы сегодня и вернуться и записать больше файлов в другой день. Таким образом, диск CD-R может работать так же, как CD-RW. Это полезная функция, если вы хотите заполнить компакт-диск. С емкостью 700 МБ, если вы записываете один файл или папку, вы можете использовать лишь небольшую часть доступного пространства. Однако важно отметить, что компакт-диск может быть несовместим с другими дисководами компакт-дисков, поэтому вы сможете надежно читать файлы только со своего компьютера.

После финализации диска CD-RW или DVD-RW его можно использовать в качестве архивного CD/DVD для резервного копирования данных. Если вы сделаете это, вы не сможете стереть диск и записать на него новые файлы позже. Вы также должны знать, что диски CD-RW и DVD-RW менее надежны для этой цели и не должны использоваться таким образом, за исключением случаев, когда необходимо сделать резервную копию, а диск CD-R или DVD-R недоступен.

Основы записи CD/DVD шаг за шагом

Приведенные ниже пошаговые инструкции представляют собой простейший способ записи файлов на компакт-диск или DVD-диск на компьютерах Mac или Windows. На вашем собственном компьютере также может быть установлено другое программное обеспечение для записи CD/DVD, которое предоставит вам больше возможностей.

  • Вставьте чистый компакт-диск или DVD-диск в записываемый дисковод компакт-дисков или DVD-дисков. Откроется окно с просьбой указать имя для компакт-диска или DVD. Введите общее имя, например «резервная копия Oct08», и нажмите «ОК». Если у вас нет возможности назвать CD/DVD здесь, нажмите OK, чтобы открыть его.
  • Перетащите файлы для резервного копирования на значок компакт-диска или DVD-диска на рабочем столе. Когда вы перетащите все файлы на CD/DVD, которые вы нашли,
  • Перетащите значок компакт-диска или DVD-диска в корзину на панели Dock. Значок изменится на символ записи. Если вы еще не назвали CD/DVD, в этом окне есть место для этого. Нажмите OK, чтобы записать. Когда запись будет завершена, снова перетащите CD/DVD на значок корзины, и на этот раз он станет значком извлечения.
  • После записи первого компакт-диска или DVD-диска вставьте его в другой компьютер и откройте один или два файла, чтобы убедиться, что процесс выполнен правильно. Нет ничего хуже, чем потерять ваши файлы, только чтобы узнать, что у вас тоже нет хорошей резервной копии.

Windows XP

Этот процесс позволяет позже добавить дополнительные файлы на тот же компакт-диск или DVD-диск. Вот шаги:

Технологии CD-R и CD-RW используют комбинацию металла и красителя, чтобы обмануть CD-ROM, заставив их думать, что они читают коммерчески подготовленные компакт-диски.В этом ежедневном обзоре Фейт Вемпен покажет вам, как устранить неполадки при записи компакт-дисков.

Этот ежедневный обзор является частью продолжающейся серии, освещающей различные подсистемы компьютерного оборудования. Я уже занимался интерфейсом IDE («Все об IDE») и форматами CD-ROM («Все о стандартах CD-ROM»); В этом ежедневном обзоре вы узнаете, как работают записываемые и перезаписываемые приводы CD-ROM, как они развивались и как добиться максимальной производительности при создании собственных дисков CD-R и CD-RW.

В чем разница между CD-R и CD-RW?
CD-R означает записываемый компакт-диск. Диски CD-R можно записывать только один раз (за исключением случая многосессионной записи, о котором я объясню позже). Они дешевы (менее 1 доллара за штуку) и лучше всего работают при записи данных, которые не изменятся. CD-RW означает перезаписываемый компакт-диск. Диски CD-RW можно записывать много раз, и они функционируют как жесткий диск или дискета. CD-RW — хороший выбор, когда вам нужно хранить небольшие объемы данных в течение долгого времени, например, для ежедневного резервного копирования нескольких важных файлов. Ранние записываемые приводы CD-ROM были только CD-R, но большинство продаваемых сегодня приводов поддерживают запись как CD-R, так и CD-RW.

Все ли приводы CD-ROM могут читать диски CD-R и CD-RW?
Некоторые очень старые приводы CD-ROM не поддерживают CD-R и CD-RW или не могут работать с ними последовательно. (Привод может, например, читать один диск CD-R, но не читать другой, казалось бы, идентичный). Диск RW точно так же, как и любой другой компакт-диск. Почти все проигрыватели компакт-дисков, предназначенные только для аудио (например, в вашей домашней стереосистеме), могут без проблем работать с дисками CD-R, поэтому вы можете создавать свои собственные музыкальные компакт-диски и воспроизводить их практически везде, где можно воспроизводить обычные компакт-диски.

Как привод CD-ROM читает диски?
Чтобы понять, как дисководы CD-R/CD-RW записывают данные на диск и как обычные дисководы CD-ROM могут читать эти диски, вам необходимо понять основы того, как дисковод CD-ROM считывает данные с компакт-диска. CD-ROM хранит данные в двоичной форме, как и все компьютерные носители. Поверхность компакт-диска (под гладким прозрачным защитным покрытием) покрыта алюминиевой пленкой, отражающей свет. Данные хранятся на компакт-диске с набором ямок на алюминии и областей без ямок, называемых land. Привод CD-ROM считывает данные, освещая диск лазером и измеряя количество отраженного от него света. Участки с ямками отражают свет менее сильно, чем участки без ямок. Когда лазер обнаруживает переход от области с ямками к области без ямок, он отправляет информацию об этом переходе на ПК в виде двоичных данных. Как вы понимаете, такая система далека от совершенства на 100 процентов, поэтому стандарт CD-ROM имеет встроенную функцию исправления ошибок в процессе чтения.

Как привод CD-R записывает чистый компакт-диск?
Когда вы делаете свои собственные компакт-диски, у вас нет производственного оборудования для создания алюминиевого слоя с ямками, который существует на компакт-дисках массового производства. Поэтому процесс записи должен быть другим. Процесс записи на CD-R возможен благодаря тому факту, что устройства чтения CD-ROM фактически не касаются поверхности диска, а только смотрят на нее. Компакт-диск, записанный в домашних условиях, на самом деле не должен иметь ям и площадок, как на обычном компакт-диске, если он кажется таковым.

Записываемые компакт-диски физически отличаются от серийно выпускаемых. Они покрыты металлом, а затем покрыты светочувствительным органическим красителем. Слой красителя отражается обратно на дисковод CD-ROM так же, как чистый компакт-диск (то есть все приземляется). Во время записи лазер нагревает металл и слои красителя в определенных местах, так что они меняют свою отражательную способность, напоминая ямку на компакт-диске с алюминиевой ямкой. Когда дисковод считывает компакт-диск, на компакт-диске появляются обычные области ямок и площадок коммерческих компакт-дисков, хотя на самом деле ямок нет.

Что такое многосессионная запись?
Когда вы записываете данные на CD-R, вы постоянно меняете области, на которые они записаны. Однако на заре CD-R многие люди обнаруживали, что у них было намного меньше предела в 650 МБ для хранения на компакт-диске, поэтому большая часть места на компакт-диске в конечном итоге была потрачена впустую. Поскольку диски CD-R были очень дорогими, была разработана многосессионная запись, позволяющая использовать неиспользуемое пространство.

С программным обеспечением для многосессионной записи вы можете повторно использовать частично использованный CD-R, создав новый сеанс на оставшемся пустом месте диска. Однако при этом предыдущие сеансы становятся недоступными. Только последняя сессия на диске может быть прочитана. Это может быть полезно, если вы создаете резервные копии небольшого количества файлов каждый день и вам не нужны резервные копии предыдущего дня после того, как вы сделали сегодняшнюю копию. Вы можете использовать один и тот же компакт-диск несколько раз и всегда иметь доступ к самым последним копиям.

Поскольку в последние годы диски CD-R подешевели, популярность многосессионной записи пошла на убыль. Хотя большинство записывающих программ поддерживают эту функцию, мало кто из пользователей больше беспокоится об этом.

Что означают разные цвета дисков CD-R?
Разные производители CD-R разработали различные комбинации металлов и красителей. Любой из них подойдет практически для любой задачи, но определенные цвета и сочетания особенно выгодны для определенных приложений.

Следующая информация взята из моего самого любимого справочного руководства по оборудованию Скотта Мюллера Обновление и ремонт ПК:

  • Зеленый краситель, золотой металл: это стандартный тип CD-R, который был разработан первым. Он имеет номинальный срок службы 10 лет и использует цианиновый краситель, который может быть более терпимым к изменениям при записи и чтении диска, чем некоторые другие красители. В результате получается компакт-диск, который, вероятно, будет хорошо воспроизводиться на любом проигрывателе компакт-дисков. В число производителей входят Imation, 3M, Memorex, Kodak, BASF и TDK.
  • Золотой краситель, металлическое золото. В качестве золотого красителя используется фталоцианин. Это более чувствительный компакт-диск с меньшей устойчивостью к колебаниям мощности и, возможно, с меньшей вероятностью будет работать с самыми разными приводами. К производителям относятся Mitsui, Kodak, Maxell и Ricoh.
  • Синий краситель, серебристый металл: синий краситель представляет собой азо. Эта комбинация имеет те же свойства, что и комбинация зеленого и золотого, но рассчитана на гораздо более длительный срок службы: 100 лет. Эти диски отлично подходят для долговременного хранения данных.

Какие диски CD-R мне следует купить?
Все зависит от того, какой тип данных вы планируете записывать, сколько денег вы должны потратить, насколько важны данные, насколько вы терпимы к случайным повреждениям компакт-диска из-за ошибок в процессе записи и насколько долго вы планируете хранить компакт-диски.

По моему опыту, более дешевые диски CD-R, такие как обычные или магазинные, обычно приводят к большему количеству ошибок во время записи. Я мог бы потратить 20 долларов на огромный шпиндель обычных компакт-дисков и отказаться от 10 процентов из-за проблем с записью. После подсчета моего потерянного времени в ожидании записей, это не так уж и выгодно. Эти ошибки обычно вызваны производственным браком компакт-дисков, плохим покрытием, устойчивым к царапинам, или царапинами от хранения рядом с другими дисками на шпинделе.

Если у вас есть высокоскоростной записывающий накопитель, убедитесь, что приобретаемые вами диски поддерживают скорость, на которой вы хотите производить запись. Почти любой диск будет надежно записывать со скоростью до 4X, но если вы хотите записывать на более высоких скоростях, таких как 6X или 8X, вам понадобятся диски, на упаковке которых четко указано, что они совместимы с этой скоростью. Недавно я купил несколько дисков Memorex CD-R с рейтингом 16X в обычном магазине канцелярских товаров, поэтому найти нужную скорость не составит труда. Если на упаковке дисков конкретно не указано ограничение скорости, я обычно предполагаю, что они могут поддерживать не более 4X.

Выбор дисков также будет зависеть от того, как вы планируете их маркировать. Если у вас есть принтер для компакт-дисков, который принимает диски CD-R и печатает прямо на них, убедитесь, что вы получаете диски с пустой лицевой стороной или с минимальным количеством текста на них. Если вы планируете наклеить на них наклейку, например, созданную с помощью набора для маркировки компакт-дисков, надпись на лицевой стороне не должна иметь большого значения.

Если вам не нужны футляры для каждого компакт-диска, вы можете сэкономить, купив компакт-диски на шпинделе. В прошлом у меня было несколько проблем с пылью, попадавшей между хранящимися дисками и царапавшей их, поэтому, если вы используете шпиндель, всегда держите на шпинделе пылезащитный чехол, особенно если вы работаете. в пыльной среде.

Еще одним фактором является емкость диска. Стандартные диски CD-R имеют емкость 650 МБ (74 минуты звука), но также доступны диски емкостью 700 МБ (80 минут звука). Эти диски большой емкости стоят дороже, и очень старые приводы CD-R могут не поддерживать их или не использовать избыточную емкость. Однако, если вы копируете очень длинный аудио компакт-диск (конечно, в рамках своих законных прав на это) или пытаетесь уместить на компакт-диск немного больше данных, они могут стать настоящим спасением.

В чем разница между носителями CD-R и CD-RW?
Носитель CD-RW физически отличается от диска CD-R. Это сложнее и дороже в производстве, поэтому диски CD-RW стоят намного дороже. Ранее вы узнали, как данные записываются на CD-R путем нагревания красителя и металла, чтобы изменить их отражение в определенных местах на диске. Это изменение является постоянным.

Диск CD-RW, напротив, не имеет традиционного металлического покрытия. Вместо этого он покрыт металлическим сплавом (содержащим серебро, индий, сурьму и теллур, если вам интересно) с отражающими свойствами, которые меняются в зависимости от температуры, до которой вы его нагреваете.

Привод CD-RW оснащен лазером с тремя различными настройками мощности. Высокая настройка нагревает сплав примерно до 600 градусов по Цельсию, при которой он сжижается. Когда он снова затвердевает, он теряет свои отражающие свойства. Это имитация ямы.То же самое место можно повторно нагреть до более низкой температуры (около 200 градусов по Цельсию), в результате чего оно вернется к своей первоначальной отражательной способности, имитируя участок земли. Вот как он переписывает область. Наименьшее значение мощности используется для чтения данных без их изменения.

Все ли приводы читают диски CD-RW?
Диски CD-RW имеют меньшую контрастность отражательной способности, чем обычные диски, поэтому старые приводы CD-ROM могут не считывать их надежно. Тем не менее, почти все обычные приводы CD-ROM, выпускаемые сегодня, включая все приводы multiread, не будут иметь с ними проблем.

Что такое пакетная запись?
Пакетная запись — это функция программного обеспечения, позволяющая записывать файлы по отдельности или по нескольку за раз на диск CD-R или CD-RW, а не записывать весь диск сразу. Большинство дисководов CD-RW поставляются с программным обеспечением для записи пакетов. Например, в программном обеспечении Adaptec EasyCD есть программа DirectCD. Программное обеспечение для пакетной записи позволяет диску CD-RW функционировать примерно так же, как дискета или жесткий диск, с выборочной записью и стиранием.

При записи пакетов создается виртуальная таблица размещения (VAT) каждый раз, когда данные записываются на компакт-диск. Он содержит информацию о только что записанных файлах, а также всю информацию из предыдущего НДС на диске, образуя полное оглавление.

Однако у технологии пакетной записи есть некоторые ограничения. Аудио компакт-диски нельзя записывать в пакетном режиме, и ваш дисковод CD-RW или CD-R должен поддерживать пакетную запись. Полученные компакт-диски с пакетной записью требуют, чтобы компьютер, на котором они считываются, имел программное обеспечение для чтения универсального формата дисков (UDF) и совместимую операционную систему (например, 32-разрядную версию Windows). Запись пакетов и UDF — гораздо более обширные темы, чем здесь можно осветить; см. список ресурсов в конце этого ежедневного обзора для получения дополнительной информации.

Как избежать порчи дисков при записи?
Это вопрос на миллион долларов для большинства пользователей CD-R. Почти каждый, кто когда-либо экспериментировал с записью на CD-R, сталкивался со страшной ошибкой «опустошение буфера», означающей, что ваша запись не удалась, а диск испорчен.

Поскольку на диск CD-R можно записать только один раз за один проход (за исключением особых случаев, таких как многосессионная и пакетная запись), успех записи зависит от подачи на дисковод CD-R стабильного, непрерывного потока данных. точно в нужном темпе. Диск содержит небольшой буфер (обычно 512 КБ и более), в котором данные с ПК ожидают записи. Если этот буфер опустошается, а данные с ПК не поступают, то записывающий лазер простаивает и возникает ошибка опустошения буфера, что приводит к порче диска.

Иногда могут возникать и другие проблемы, приводящие к порче диска, но ошибка опустошения буфера является наиболее распространенной. Вот несколько способов предотвратить возникновение ошибки опустошения буфера:

  • Не используйте компьютер ни для чего другого во время записи. Не проверяйте свою электронную почту. Не играйте в пасьянс. Даже не двигайте мышью.
  • Выключите заставку перед записью, чтобы она не сработала и не конкурировала с рекордером за системные ресурсы.
  • Перед записью отключите все программы, работающие в фоновом режиме, например антивирусную программу, по той же причине, что и выше.
  • Если возможно, включите поддержку прямого доступа к памяти для дисковода CD-RW. Это позволяет ему работать с меньшим взаимодействием с процессором.
  • Купите дисковод CD-RW с большим буфером (1 МБ или больше).
  • Если у вас есть IDE-накопитель, поместите его в собственную подсистему IDE (то есть на отдельный ленточный кабель).
  • Если вы копируете компакт-диск с CD-ROM на CD-R, и оба они являются IDE, убедитесь, что каждый дисковод находится в своей собственной подсистеме IDE.
  • Если ваше программное обеспечение для письма поддерживает это, сначала выполните тестовую запись.
  • Используйте более низкую скорость записи, чем максимальная, на которую способен ваш накопитель.
  • Проведите дефрагментацию жесткого диска и запустите ScanDisk (или другое программное обеспечение для проверки диска) перед созданием компакт-диска.
  • Если вы создаете компакт-диск из данных на жестком диске, отключите функцию управления питанием жесткого диска перед записью.
  • Если ваше программное обеспечение для записи поддерживает это, сначала создайте образ диска, а затем создайте компакт-диск из образа.

Заключение
CD-R и CD-RW — удивительные, хотя и деликатные технологии хранения данных. Благодаря большой емкости и длительному сроку хранения данных использование этих технологий может решить большую часть ваших потребностей в хранении данных, если вы понимаете технологии и способы их устранения.
Для получения дополнительной информации об оптических хранилищах данных и технологиях я предлагаю следующие ресурсы. :
ТехПроГильдия

При запуске Spark NLP в кластерном режиме (YARN) с одним исполнителем, работающим на всех ядрах ЦП (96 виртуальных ядер) с использованием набора данных CoNLL 2003, требуется гораздо больше времени, чем при работе в локальном режиме, работающем на всех ЦП. ядра. кластерный режим занимает более 590 секунд, а локальный режим занимает около 350 секунд. Мы использовали тестовый код из BertEmbeddingsTestSpec.scala и измените модель на bert_large_cased_en.

Ожидаемое поведение

Кластерный режим с одним исполнителем со всеми ядрами имеет те же ресурсы, что и локальный режим со всеми ядрами. Время для обоих случаев должно быть очень похожим (режим кластера немного дольше).

Текущее поведение

Но в настоящее время кластерный режим занимает около 590 секунд, а локальный режим (выполнение модульного теста) — всего 350 секунд. Мы обнаружили, что при запуске задания система зависала более 160 секунд с низкой загрузкой ЦП, даже когда выполнялись все задачи Spark.

Возможное решение

Мы отладили код и обнаружили, что проблема заключается в методе TensorflowWrapper getTFHubSession. с одним исполнителем с 96 задачами в моем случае метод getTFHubSession вызывается 96 раз (каждая задача вызывается один раз) почти в одно и то же время. getTFHubSession не синхронизируется между текущими задачами, что означает, что каждый вызов getTFHubSession будет входить в следующий блок для записи файлов и создания сеанса.

if (m_session == null) // запись файлов и создание сеанса
// запись файла переменных размером 1,25 ГБ и других файлов
>

В тестовом примере переменные модели имеют размер 1,25 ГБ, а 96-параллельная запись данных размером 1,25 ГБ на диск блокирует систему в течение длительного времени. Журнал, который мы напечатали в getTHHubSession:

com.johnsnowlabs.ml.tensorflow.TensorflowWrapper@3a5c4361 getTFHubSession: получить сеанс по адресу: 451452.971864174 сек. размер графика: 3686564 размер переменных: 1338639632 размер индекса: 16616
. (96 вызовов getTFHubSession)

<р>. (создано 96 сеансов)
org.tensorflow.Session@2ba30fba создано по адресу: 451626.641503942 сек

Возможное решение — синхронизировать getTFHubSession с объектом TensorflowWrapper. Мы проверили, что это решает проблему.

Этапы воспроизведения

Настройте кластер Spark с одним узлом, работающий на YARN. Убедитесь, что узел имеет много ядер, например 48 или 96 ядер, меньшее количество ядер может снизить влияние проблемы на производительность.)

Измените конфигурацию Spark по умолчанию, чтобы использовать один исполнитель со всеми ядрами.

Выполняется в блокноте со следующим кодом:
val conll = CoNLL()
val training_data = conll.readDataset(ResourceHelper.spark, "file:///root/test/spark-nlp- debug/src/test/resources/conll2003/eng.train")
val embeddings = BertEmbeddings.load("file:///home/bert_large_cased_en")
.setInputCols("предложение", "токен ")
.setOutputCol("embeddings")
.setCaseSensitive(false)
.setMaxSentenceLength(512)
.setBatchSize(16)
val pipe = new Pipeline( )
.setStages(Array(
встраивания
))
val pipeDF = pipe.fit(training_data).transform(training_data)
Benchmark.time("Время до сохранить результаты BertEmbeddings") pipeDF.write.mode("overwrite").parquet("file:///tmp_bert_embeddings2")
>

Выполнение того же кода в локальном режиме (можно изменить BertEmbeddingsTestSpec и запустить тестовый пример)

Мы видим, что кластерный режим занимает гораздо больше времени, чем локальный.

Контекст

Мы анализировали производительность bert_large_cased_en в кластерном режиме и обнаружили, что она намного медленнее, чем та же конфигурация и ресурсы в локальном режиме (запустите модульный тест).

Ваша среда

Spark NLP 3.2.1
TensorFlow для Java 0.3.1
TensorFlow 2.4.0
Модель рабочей нагрузки: bert_large_cased_en
Данные рабочей нагрузки: CoNLL 2003

Текст был успешно обновлен, но возникли следующие ошибки:

maziyarpanahi прокомментировал 30 ноября 2021 г.

Локально, когда модель загружается (.pretrained() или .load()), модель TF также загружается. Поэтому функция getTFHubSession всегда будет встречать if (m_session == null) и повторно использовать ту же сессию из уже загруженной модели. (как вы правильно заметили)

Однако в кластере у каждого исполнителя должна быть загружена живая модель, и если она у них есть, то они удовлетворяют условию if (m_session == null). Но если это их первый раз (поскольку модель загружается в драйвер первой), они должны загрузить модель TF хотя бы один раз, чтобы получить доступ к сеансу. (это не то, что вы наблюдали в своей настройке с 1 драйвером + 1 исполнителем внутри YARN)

При этом мы всегда тестируем все в кластере ЦП и ГП (10–20 исполнителей на больших наборах данных). Мы никогда не тестировали это на кластере с 1 исполнителем. Часть, которая должна загружать модель для исполнителя, должна выполняться только один раз для каждой машины (если она не загружена или если она была убита по какой-то причине), поэтому наличие нескольких (96 в вашем случае) раз, очевидно, вызывает задержку, особенно для больших файлов например, большой BERT или большой RoBERTa (все зависит от скорости локальных дисков).

Я попрошу своего коллегу (@danilojsl) разобраться в этом, но не могли бы вы рассказать подробнее о том, как вы это проверяли? Мы проверили, что это решает проблему.Мы хотели бы сделать то же самое и запустить собственные тесты локально и в разных кластерах (Databricks, AWS, Azure, Cloudera и т. д.)

jerrychenhf прокомментировал 30 ноября 2021 г.

Спасибо @maziyarpanahi за проверку.

Мы заметили, что в Executor объект TensorflowWrapper является одним и тем же объектом (поскольку это широковещательное значение той же модели). Поэтому мы просто добавляем this.synchronized в метод getTFHubSession, как показано ниже:

def getTFHubSession(configProtoBytes: Option[Array[Byte]] = None,
initAllTables: Boolean = true,
loadSP: Boolean = false,
savedSignatures: Option[Map[String, Строка]] = Нет): Сеанс =

->
def getTFHubSession(configProtoBytes: Option[Array[Byte]] = None,
initAllTables: Boolean = true,
loadSP: Boolean = false,
savedSignatures: Option[Map[String, String]] = None): Session = this.synchronized

Это решит упомянутую проблему с производительностью. Но таким образом все вызовы getTFHubSession синхронизируются между всеми задачами внутри исполнителей (хотя мы пока не заметили большого влияния на производительность).

В идеале желательно найти место в инициализации исполнителя для создания сеанса, а все остальные вызовы getTFHubSession просто возвращают сеанс, не беспокоясь о создании сеанса, и поэтому синхронизированная логика не требуется.

В зависимости от программного обеспечения, используемого для добавления файлов на диск CD-R, вы можете добавить дополнительные файлы позже.

Windows XP и любая более поздняя версия предоставляют встроенную возможность добавления или записи файлов на диск CD-R. В некоторых случаях (Windows 8 и более ранние версии) этот процесс спрашивает, хотите ли вы закрыть компакт-диск после записи файлов. Закрытие завершает работу над диском, исключая возможность добавления дополнительных файлов в более позднее время. Тем не менее, это делает возможным почти любое мультимедийное устройство.

Записать дополнительные файлы на CD-R

Если диск не закрыт, можно добавить дополнительные файлы. Когда будете готовы, поместите CD-R в дисковод для оптических дисков, откройте папку CD-R, добавьте дополнительные файлы и выберите параметр «Записать на диск».

В Windows 10 после добавления файлов в папку CD-R они автоматически записываются на диск. Опция Записать на диск отсутствует. Если вы закроете папку CD-R и извлечете диск, записывающее устройство завершит процесс записи перед извлечением диска.

Выбор способа использования диска

При вставке чистого CD-R в дисковод в версиях Windows до Windows 10 в окне автозапуска появляется вопрос, хотите ли вы записать аудио компакт-диск или записать файлы на диск.

При выборе аудио компакт-диска создается закрытый диск, который можно читать и воспроизводить на домашней или автомобильной стереосистеме.

Выбор варианта диска с файлами приводит к появлению другого всплывающего окна с вопросом о том, как вы хотите использовать диск.

В Windows 10 окно Как вы хотите использовать этот диск — это первое окно, которое открывается при вставке диска CD-R. Вы не увидите окно с вопросом, хотите ли вы записать аудио компакт-диск или записать файлы на диск.

Как флешка

Функция «Как USB-накопитель» позволяет добавлять новые файлы, сохранять поверх существующих и удалять их, как на USB-накопителе. Этот параметр работает для дисков CD-R и CD-RW, использующих формат Live File System.

При использовании диска CD-R с параметром «Как на USB-накопителе» файлы не перезаписываются и не удаляются. Если файл уже был записан на диск CD-R, предыдущая версия все еще находится на диске, но скрыта от просмотра. Когда вы удаляете файл, этот файл остается на диске, но помечается как удаленный и скрытый.

С CD/DVD-плеером

При выборе варианта «С проигрывателем компакт-дисков/DVD» диск CD-R остается открытым, что позволяет добавить дополнительные файлы позднее. Добавление файлов позже аналогично другим версиям Windows, где вы открываете папку для просмотра содержимого диска CD-R, добавляете файлы и нажимаете «Записать на диск». Вы не можете сохранять существующие файлы или удалять файлы с помощью этой опции.

Использование стороннего программного обеспечения для записи компакт-дисков

Если вы используете стороннее программное обеспечение для записи файлов на компакт-диск, обязательно проверьте параметры перед записью компакт-диска, чтобы убедиться, что программное обеспечение не закрывает компакт-диск. Некоторое программное обеспечение спрашивает, хотите ли вы, чтобы CD-R закрывался после записи файлов.Другое программное обеспечение не задает этот вопрос, а вместо этого использует параметры или предпочтения, обычно в меню программы file menu или edit. Перед записью файлов на CD-R обязательно проверьте программное обеспечение, которое вы используете, чтобы убедиться, что опция закрытия компакт-диска не отмечена или не выбрана.

Читайте также: