Ошибка при создании файла oat для исправленных классов dex

Обновлено: 21.11.2024

В этом руководстве представлены форматы Android, а также API для их использования. Речь идет о DEX, OAT, VDEX и ART.

Файлы, используемые в этом руководстве, доступны в репозитории учебных пособий

Ромен Томас - @rh0main

Введение¶

Начнем с краткого напоминания об компиляции, установке и выполнении приложений Android.

При разработке приложений основная часть кода обычно пишется на Java. Разработчики также могут писать собственный код ( C/C++ ) через интерфейс Java Native Interface (JNI).

В процессе сборки APK код Java в конечном итоге преобразуется в байт-код Dalvik, который интерпретируется виртуальной машиной Android Java. JVM для Android отличается от реализации Oracle, и среди отличий она основана на регистрах, тогда как виртуальная машина Oracle основана на стеке.

Для создания байт-кода Dalvik исходные коды Java сначала компилируются с помощью javac в байт-код Java, а затем Android преобразует этот байт-код в байт-код Dalvik с помощью компилятора dx (или нового: D8). Этот байт-код, наконец, завернут в файл(ы) DEX, такой как class.dex . Формат DEX специфичен для Android, и документация доступна здесь.

Во время установки APK система применяет оптимизацию к этому файлу DEX, чтобы ускорить выполнение. Действительно, интерпретация байт-кода не так эффективна, как выполнение собственного кода, а виртуальная машина Dalvik основана на регистрах с шириной 32 бита, тогда как большинство современных ЦП имеют ширину 64 бита.

Чтобы решить эту проблему, до Android 4.4 (KitKat) среда выполнения использовала JIT-компиляцию для преобразования байт-кода Dalvik в сборку. JIT происходил во время выполнения и выполнялся каждый раз при выполнении приложения. Начиная с Android 4.4 они перешли на новую среду выполнения, которая, помимо других функций, выполняет оптимизацию во время установки. Следовательно, установка занимает больше времени, но преобразование в собственный код выполняется один раз.

Это формат по умолчанию, используемый Linux и Android для упаковки ассемблерного кода.

Это позволяет использовать тот же загрузчик: /system/bin/linker

Файлы OAT на самом деле являются файлами ELF, поэтому мы решили добавить этот новый формат в LIEF. Этот формат ELF на самом деле используется в качестве оболочки поверх другого формата, специфичного для Android: формата OAT.

В основном связанный с ELF экспортирует несколько символов:

Эти разные форматы могут немного сбивать с толку, и если подытожить:

DEX преобразуются в файлы .odex, которые в основном представляют собой файлы ELF, заключенные в пользовательский формат OAT.

Структура OAT плохо документирована, а ее внутренние структуры меняются для каждой версии Android без обратной совместимости. Это означает, что файлы OAT, созданные на Android 6.0.1, можно использовать только в этой версии.

В платформе Android исполняемый файл dex2oat отвечает за преобразование и оптимизацию файлов APK DEX в OAT. Этот исполняемый файл находится в каталоге /system/bin/, и мы можем получить его вывод через logcat:

Вышеприведенный результат представляет собой преобразование файлов SaftyNet DEX, расположенных в /data/user/0/com.google.android.gms/snet/installed/snet.jar , в OAT, сохраненный в /data/user/0. /com.google.android.gms/snet/dalvik-cache/snet.dex .

Можно заметить, что расширение .dex, поэтому это должен быть файл DEX, а не OAT. На самом деле, если мы проверим тип:

Мы видим эльфа.

Не доверяйте расширениям: .dex может быть DEX или OAT, .odex – OAT, .oat – OAT, …

Процесс преобразования исходного кода Java в OAT можно упростить с помощью следующей схемы:

Недостающий DEX¶

Если мы анализируем приложения из Google PlayStore, у нас обычно есть файлы class.dex в APK. Поскольку этот файл содержит байт-код Dalvik, большинство инструментов используют этот файл для выполнения анализа (декомпиляции, статического анализа и т. д.)

Просматривая файлы в SecSettings2.apk, мы не можем найти файлы .dex:

Рядом с SecSettings2.apk мы находим SecSettings2.odex, который представляет собой файл OAT, полученный в результате оптимизации отсутствующего файла DEX. Поскольку разработчики ПЗУ контролируют версию Android и целевую архитектуру, им достаточно предоставить файл OAT.

Они также могут использовать эту "функцию", чтобы избежать анализа и обратного проектирования приложения. Поскольку байт-код Dalvik находится в файле DEX, без этого файла анализ весьма ограничен.

К счастью, в OAT есть копия оригинального DEX! На самом деле это не точная копия, так как dex2oat заменяет некоторые инструкции Dalvik (например, invoke-virtual) на оптимизированные 1, но, начиная с Android N, мы также можем восстановить исходные инструкции.

classes.odex: OAT, содержащий собственный код

Файлы DEX, изначально находившиеся в OAT, были экспортированы в новый файл с новым форматом: формат VDEX. Этот новый формат полностью отличается от OAT, особенно это не ELF.

Подобно формату OAT, внутренние структуры VDEX меняются для каждой версии Android без обратной совместимости.

Также существуют инструменты 4, 5, 6 для извлечения DEX из файлов OAT/VDEX, но извлечение 3 ограничено либо OAT 4, либо VDEX 5. С помощью LIEF мы стремимся предоставить единую структуру для работы с этими форматами.

ОАТ и VDEX¶

Как объяснялось в предыдущей части, внутренняя структура форматов меняется для каждой версии Android. LIEF обеспечивает абстракцию этих модификаций, и пользователь может работать с OAT или VDEX без использования базовой версии OAT.

В настоящее время он поддерживает файлы OAT от Android 6.0 Marshmallow (OAT v64) до Android 8.0.1 Oreo (OAT v131).

Версия OAT доступна с помощью функции lief.OAT.version():

Можно также получить доступ к соответствующей версии Android с помощью функции lief.OAT.android_version() :

Чтобы выразить тот факт, что файлы OAT являются первыми файлами ELF, класс Lief.OAT.Binary расширяет класс Lief.ELF.Binary

Таким образом, доступен тот же ELF API: добавление разделов, изменение динамических записей и т. д., а объект lief.OAT.Binary добавляет следующие методы: класс lief.OAT. Бинарный

Двоичное представление OAT

Вернуть итератор по классу

свойство dex2dex_json_info свойство dex_files

Вернуть итератор для файла

get_class ( * args , ** kwargs )

Вернуть класс по его имени

Вернуть класс из его индекса

Проверить, присутствует ли класс с заданным именем в текущем двоичном файле OAT

класс it_classes класс it_dex_files класс it_methods класс it_oat_dex_files свойство методы

Вернуть итератор по методу

Возвращает итератор по DexFile

Если данный OAT нацелен на Android Marshmallow или Nougat (6 или 7), то файлы DEX можно получить с помощью атрибута lief.OAT.Binary.dex_files:

Из приведенного выше кода файл lief.DEX.File извлечен в /tmp/classes.dex (с деоптимизацией).

Если данный OAT предназначен для Android Oreo или выше, извлечение выполняется с использованием файла VDEX. Функция lief.OAT.parse() принимает файл OAT или файл OAT и файл VDEX. При предоставлении файла VDEX во втором параметре объект lief.OAT.Binary будет иметь те же функции, что и объект OAT до Oreo.

Если файл VDEX не предоставлен, то в файле lief.OAT.Binary будет ограниченная информация:

Мы также можем напрямую использовать модуль VDEX LIEF:

Поскольку формат VDEX полностью отличается от форматов OAT, ELF, PE и Mach-O, синтаксический анализатор VDEX создает объект lief.VDEX.File, а не двоичный файл . Мы также можем извлекать файлы DEX с атрибутом lief.VDEX.File.dex_files:

Предыдущая часть была посвящена форматам OAT/VDEX и доступу к базовому DEX. В этой части представлен основной API для объекта lief.DEX.File.

Модуль LIEF DEX позволяет получить информацию о коде Java, такую как String, имя класса, байт-коды dalvik и т. д.

Поскольку проект LIEF ориентирован только на форматы, в модуле DEX не будет дизассемблера Dalvik.

Основной API для файла DEX находится в объекте lief.DEX.File. Этот объект можно создать с помощью:

lief.OAT.Binary.dex_files
lief.VDEX.File.dex_files
lief.DEX.parse()

После создания мы можем получить доступ к строкам с помощью атрибута lief.DEX.File.strings:

Аналогичным образом методы и классы доступны с атрибутами lief.DEX.File.classes/lief.DEX.File.methods:

В формате файла DEX есть специальный атрибут для классов, которые регистрируют исходное имя исходного файла: source_file_idx. Некоторые обфускаторы искажают классы, но сохраняют этот атрибут! Поскольку имена исходных файлов Java связаны с именами классов, мы можем легко восстановить деобфускированное имя, используя:

lief.DEX.Class.source_filename
lief.DEX.Class.pretty_name

ART — это название среды выполнения Android, но это еще и формат! Этот формат используется в целях оптимизации платформой Android.

При создании экземпляра нового класса Java создается зеркальный объект C++ (выделение памяти, вызов конструкторов и т. д.), а JVM обрабатывает ссылку на этот объект C++. Чтобы ускорить процесс загрузки и избежать создания экземпляров хорошо известных классов 2 при каждой загрузке, Android использует формат ART для хранения экземпляров объектов C++. Для упрощения его можно рассматривать как дамп кучи объектов C++.

Так же, как OAT и VDEX, внутренняя структура этого формата меняется для каждой версии Android.

LIEF 0.9 имеет очень базовую поддержку этого формата и предоставляет только ART LIEF.ART.Header .Основной API доступен в объекте lief.ART.File.

последнее слово¶

LIEF 0.9 только для чтения в этих форматах, но последующие версии должны позволять изменять их (добавлять методы, изменять имена, исправлять контрольную сумму и т. д.)

Обычно из Android Framework

У них есть и другие полезные функции, такие как дизассемблер, псевдокод и т. д., которых нет в LIEF

2.) Я использую гарнитуру Plantronics BT. Я не пользуюсь автомобильным.

Кроме того, у меня не установлен xposed. Только с использованием root, полученного из rom.

грот84

Старший участник

Привет, ребята,
У меня возникла странная проблема с новейшей версией (12 июня), когда я использовал Lucky Patcher (пожалуйста, не комментируйте, я использую это), я получил:
"Ошибка создания файла . oat для пропатченных классов.dex. Ваша прошивка может иметь ошибку в библиотеках ART (Android RunTime)"
Я вернулся к апрельской версии, и там она работает нормально.
Есть идеи, что могло измениться. Можно ли это исправить?

Робан

Старший участник

В этом месяце Google внедрил новый код, возможно, это связано с этим.

Возможно, это исправит обновление приложения.
Кроме того, я бы не стал ходить по форуму с просьбой о помощи, я не думаю, что моддеры любят обсуждения вареза.

ненавистный бутерброд

Старший участник

Последней версией этого ПЗУ, которую я использовал, была Beta 5, и я откладывал обновление из-за проблем, упоминавшихся в каждом выпуске. Я подумал, что Stable 2 может быть «единственной», и скачал ее вскоре после ее выпуска. Я установил его после форматирования в ext4 из f2fs (у меня никогда не было проблем с f2fs в бета-версии 5, но я подумал, что безопаснее вернуться к ext4), поэтому полностью чистая установка. Я использую Banks Gapps.

На данный момент я не сталкивался со случайными перезагрузками, но приложения продолжают закрываться без предупреждения или объяснения причин, особенно UC Mini Browser. Разрядка батареи намного хуже по сравнению с Beta 5, хотя в целом телефон работает холоднее. Мой GPS в порядке, а BT, кажется, улучшился, хотя я не особо им пользуюсь. Я еще не пытался звонить по телефону, но я получаю их без проблем.

Заряжать телефон несколько раз в день — это немного неудобно. Надеемся, что в следующем выпуске приложения будут постоянно закрываться, а батарея разряжаться.

Отправлено с моего GT-I9505 с помощью мобильного приложения XDA Free

ОграниченияX

Старший участник

Отправлено с моего GT-I9505 с помощью мобильного приложения XDA Free

Я играл в игру под названием Traffic Riders, и она случайным образом закрылась на мне — это случилось только один раз. Это единственная проблема. Все остальные приложения до сих пор работали нормально. :\ почему бы не сделать полный вайп, отформатировать данные и потом попробовать?

Лекс008

Член

Я пытался использовать выпуск от 12 июня в течение нескольких дней (чистая установка, установлено только несколько приложений), и мне пришлось вернуться к выпуску за февраль: проблемы с "общим доступом по Bluetooth остановлены", случайные перезагрузки, камера по-прежнему не работает. в 16/9. Очень жаль. Но все равно спасибо за работу, я знаю, что это непросто.

ненавистный бутерброд

Старший участник

Как я уже сказал, я перешел с f2fs на ext4. Это включало полную очистку и форматирование данных. Я видел, как другие упоминали, что приложения часто закрывались — в частности, кто-то еще упомянул браузер Opera, поэтому я не думаю, что я единственный, кто испытывает проблемы с этим. Я также испытал это с Metal и Brain it On.Это не то, с чем я не могу справиться или что-то в этом роде, и я слишком ленив, чтобы тратить время на очистку, перепрошивку и настройку приложений снова и снова. Просто добавлю свой 2c опыт работы с последней версией

Отправлено с моего GT-I9505 с помощью мобильного приложения XDA Free

век

Старший участник

Я также чистил февральскую версию, когда у меня никогда не было проблем с Bluetooth, но появляется сообщение «К сожалению, Bluetooth перестал работать».
Опять чистая установка CM12.1 (Снимок от 17.11.2015) и опять то же самое "К сожалению, Bluetooth перестал работать".
Теперь я вернулся со стандартным ПЗУ (5.0.1), где все работает, и жду следующего выпуска, когда бы он ни был.

Признанный разработчик/участник

Я также очищаю Install the February edition, когда у меня никогда не было проблем с Bluetooth, но появилось сообщение "К сожалению, Bluetooth перестал работать".
Опять чистая установка CM12.1 (Снимок от 17.11.2015) и опять то же самое "К сожалению, Bluetooth перестал работать".
Теперь я вернулся со стандартным ПЗУ (5.0.1), где все работает, и жду следующего выпуска, когда бы он ни был.

Солнечный чеснок

Старший участник

Поздравляем с хорошей работой над обеими версиями!
Будет ли обновление BT, сделанное вами в optcm13, также применяться к AOSP?
(не смею спросить когда )

фридрик

Старший участник

Установил open gapps pico и теперь вроде бы зависания прекратились. Очевидно, виноват a-gapps.?

Enviado de meu GT-I9505 usando Tapatalk

Джейми

Старший участник

Установил open gapps pico и теперь вроде бы зависания прекратились. Очевидно, виноват a-gapps.?

Enviado de meu GT-I9505 usando Tapatalk

Что касается OptCM13, мы также определили пакет opengapps pico как наименее проблематичный пакет gapps по сравнению со всеми остальными. :хайпять:

Признанный разработчик/участник

Да, это уже есть. Просто нужно построить дружище. Верю до конца новых выходных

Отправлено с моего SM-G930F через Tapatalk

грот84

Старший участник

В этом месяце Google внедрил новый код, возможно, это связано с этим.

Да, я понимаю, мне просто интересно, что изменилось. Это может произойти и в других местах. Я бы хотел, чтобы вы избегали новых ошибок.