dlib.core.ownership и хазард с порядком вызова деструкторов

На эту проблему я обратил внимание, когда писал расширение Dagon для работы с Newton. Она неочевидная и довольно трудная для понимания, но, к сожалению, при использовании dlib.core.ownership для серьезных задач знать о ней необходимо.

В dlib деструктор класса вызывается, когда объект удаляется функцией Delete. В цепочке наследования деструкторы вызываются снизу вверх, от производного класса к базовому. Это означает, что если объект участвует в системе владения (то есть, наследует от Owner), то по умолчанию все объекты, которыми он владеет, будут удалены после вызова его собственного деструктора.

Чаще всего это имеет значение, когда объекты управляют внешним состоянием — например, библиотечным. Объект-контейнер уничтожит свое внешнее состояние до того, как будут удалены объекты-итемы, зависящие от этого состояния. Например:

import dlib.core.memory;
import dlib.core.ownership;

class Container: Owner
{
    bool externalContextValid;
    
    this(Owner owner)
    {
        super(owner);
        externalContextValid = true;
    }
    
    ~this()
    {
        // Pretend that the library invalidates the context:
        externalContextValid = false;
    }
}

class Item: Owner
{
    Container container;
    
    this(Container con)
    {
        super(con);
        this.container = con;
    }
    
    ~this()
    {
        if (!container.externalContextValid)
            writeln("Problem: external context is invalid! Destruction order is broken!");
    }
}

void main()
{
    Container con = New!Container(null);
    Item item = New!Item(con);
    Delete(con);
}

Проблема тут в том, что по умолчанию Owner.clearOwnedObjects в деструкторе родительского Owner вызывается после деструктора Container, когда контест уже не валиден! Чтобы это правильно разрулить, нужно в Container вручную удалить объекты-собственность до инвалидации контекста:

~this()
{
    clearOwnedObjects();
    externalContextValid = false;
}

Dagon 1.9.0

Продолжается работа над редактором: реализовано выделение объектов мышью во вьюпорте, мультивыделение через Shift, групповая трансформация объектов, изменение родителя у объекта, создание источников света и изменение их свойств, создание камер и и изменение их свойств, создание пустых объектов, отображение маркеров для источников света и камер во вьюпорте. Исправлен рендеринг ограничивающих боксов у объектов. Добавлена (де)сериализация настроен вьюпорта. Обновлена документация к редактору.

В ядро движка добвален загрузчик сцен, сделанных в редакторе — SceneAsset, а также соответствующий метод сцены Scene.addSceneAsset.

Обновлен интерфейс TriangleSet, который в функции-итераторе для opApply теперь принимает структуру Triangle по указателю, а не по значению. Добавлен интерфейсный метод numTriangles.

Добавлены новый метод World.getEntity, новое свойство Material.index. Исправлена генерация ограничивающих боксов у мешей.

В компоненте FirstPersonViewComponent реализована поддержка инерционного вращения.

https://github.com/gecko0307/dagon/releases/tag/v1.9.0

Upd: вдогонку небольшое обновление Dagon 1.9.1 с новыми методами  SceneAsset.getEntity, SceneAsset.getMaterial. Сборка редактора под Windows включена в релиз 1.9.1 на GitHub:

https://github.com/gecko0307/dagon/releases/tag/v1.9.1

Редактор — новые фичи

За последнюю неделю сильно продвинулся в разработке редактора: добавил выделение объектов кликом во вьюпорте, мультивыделение через Shift и групповую трансформацию, создание и настройку источников света всех типов. Также в следующей версии Dagon будет наконец-то загрузчик сцен, сделанных в редакторе.

Dagon 1.8.0

Продолжается работа над редактором: реализован импорт текстур, создание и сохранение материалов, оптимизирован браузер ресурсов (в частности, генератор миниатюр изображений теперь работает в отдельном потоке). Добавлен новый сериализатор JSON-файлов. Исправлены баги совместимости редактора с Linux. Добавлен экран-заставка, отображающийся во время инициализации перед появлением основного окна приложения.

В ядре движка реализована встроенная поддержка архивов ZIP. В частности, движок теперь может опционально загружать рантайм-данные (data/__internal) из архива data.zip в папке с приложением. Код игры может монтировать в виртуальную файловую систему архивы для чтения своих данных.

Добавлены свойства класса Application, связанные с системным оконным менеджером: hdc и hInstance под Windows, x11WindowID, x11Display, waylandSurface и waylandDisplay под Linux. Добавлены методы hideWindow, showWindow, minimizeWindow. Также появилась возможность стартовать со скрытым окном, если прописать startHidden: false в settings.conf.

Исправлены баги загрузчика текстур. В частности, исправлена поддержка файлов TGA и обеспечена корректная загрузка некоторых нечасто встречающихся старых файлов DDS. Исправлен баг с неправильными путями к текстурам в загрузчике материалов (MaterialAsset).

Добавлено новое расширение dagon:openxr, которое добавляет в движок интеграцию OpenXR, открытого API виртуальной реальности, который пришел на смену SteamVR/OpenVR. Расширение экспериментальное и тестировалось ограниченно. Оно реализует базовый минимум функций, необходимых для создания VR-приложения и синхронизации виртуальной камеры с гарнитурой. Стереорендеринг в Dagon пока на ранней стадии развития — полноценной реализации deferred-рендера под VR пока нет, реализован только базовый рендеринг без сложных эффектов.

К движку теперь прилагается PDF-руководство (которое компилируется из Markdown-файлов в репозитории командой pandoc -d pandoc.yaml). В нем содержится важная информация для начинающих, подробные сведения об архитектуре Dagon и работе отдельных его компонентов. Руководство можно скачать на странице релиза.

https://github.com/gecko0307/dagon/releases/tag/v1.8.0

Осторожно: киберсквоттинг xtreme3d.ru!

Многие, наверное, знают, что я много лет являюсь администратором русскоязычного сообщества движка Xtreme3D. Его сайт в данный момент размещен на https://xtreme3d.org. Ранее это был xtreme3d.ru, но по ряду причин от *.ru пришлось отказаться. Домен xtreme3d.ru был, однако, почти сразу выкуплен киберсквоттерами — то есть, людьми, которые регистрируют домены, выглядящие как сайты крупных компаний, либо просто имеющие историю. На этом домене был создан фишинговый сайт-клон, который представляет собой сгенерированную нейросетью рерайт-копию xtreme3d.org. Сайт полон ошибок и неточностей, на нем нет ровным счетом ничего полезного и, кроме того, замечены потенциально вредоносные ссылки. Я не рекомендую его посещать и что-либо оттуда скачивать, особенно софт. Я уже подал жалобу в Google по поводу введения посетителей в заблуждение.

Dagon 1.7.0

1.7.0 — первая версия движка, к которой прилагается редактор. Он пока на ранней стадии разработки, присутствуют только базовые возможности, и в самом Dagon пока нет встроенных инструментов для работы с файлами сцен, которые он создает (впрочем, это JSON с очень простой, интуитивно понятной структурой, которые легко адаптировать к любому проекту).

Что уже реализовано:

  • Загрузка/сохранение сцен
  • Браузер ресурсов с поддержкой миниатюр для изображений. Редактор видит папку, в которой находится файл сцены, и может импортировать ресурсы из нее. Ресурсы всегда вставляются как локальные ссылки, редактор их не конвертирует и не перемещает, так что при обновлении файлов другими программами все изменения будут подхвачены. Пока, правда, нет отслеживания и перезагрузки файлов в случае внешних изменений
  • Импорт моделей OBJ. Другие форматы пока не поддерживаются, но в перспективе редактор, скорее всего, будет понимать все популярные форматы благодаря Assimp
  • Импорт материалов
  • Базовые инструменты редактирования объектов: трансформация, изменение основных свойств. Для трансформаций поддерживаются отмена и возврат
  • Инспектор с деревом объектов сцены
  • Настройки материала
  • Настройки пост-процессинга.

В самом движке изменения косметические. Обновлен синтаксис языка конфигураций — я решил портировать улучшения, сделанные в рамках Dagon 2, а именно поддержку переменных (свойства могут ссылаться на другие свойства), интерполяции строк ("${propName}") и платформоспецифичных постфиксов (something.windows or something.linux). Добавлены новые свойства приложения Application.wintabLibraryPath, Application.loadedWintabSupport, свойство менеджера событий EventManager.autoExit для отключения автоматического выхода при закрытии окна. Исправлено падение при вызове Entity.setParent с параметром null. Исправлен забагованный колбэк отладочных сообщений OpenGL.

https://github.com/gecko0307/dagon/releases/tag/v1.7.0

Редактор для Dagon 1.0

Попыток написать редактор сцен у меня было уже две — когда-то на Gtk, потом на Nuklear. Третья итерация использует ImGui. В данный момент уже готовы базовые фичи — инспектор, гизмо для трансформации объектов сцены, панель свойств, а также встроенный браузер ресурсов с отображением миниатюр для картинок.

Формат сцен находится в разработке, он скорее всего будет на основе JSON. Пока под вопросом совместимость с Dagon 2 и его форматом DAF — не исключено, что она тоже будет реализована.

Проблемы с доступом

Все мои сайты перестали открываться из России. Проясняю ситуацию, но предварительный вывод такой — IP, на котором они размещаются, заблокирован ТСПУ. Очередная волна закручивания гаек.

Upd: по состоянию на 05.11.26 все снова работает.

Атрибуты, макросы и статический аллокатор в Retrolang

Retrolang похож на C, но сходство лишь базовое. В действительности я не собираюсь копировать C — не только потому что это фактически мне не нужно, но и потому что программирование под PSX требует весьма специфических возможностей языка, почти на уровне DSL (при этом я не стал их прибивать гвоздями к MIPS, они теоретически могут быть реализованы на системном уровне для любой архитектуры).

Во-первых, это, конечно, атрибуты размещения и инициализации статических данных. Я почти сразу сделал поддержку вшивания в бинарник файлов — это очень полезно, чтобы писать мини-игры, которым не требуется читать файлы с диска, а также чтобы встроить в программу bitmap-шрифт или какие-то другие данные.

uchar data[] @("file.bin");

На PSX слишком мало памяти, чтобы использовать динамический аллокатор, как в современных ОС. Программа должна заранее распланировать память, которую она потребляет. Если доверить эту задачу компилятору, то он может все проверять и не допускать коллизий (в то время как ручная работа с диапазонами адресов чревата ошибками). Для этого в Retrolang используются все те же атрибуты:

macro Region = (0x80050000, 2048);
int someData[512] @Region;

Это статически выделит 512*4 байт в регионе MyRegion. Для этого в кодогенераторе предусмотрена специальная таблица регионов и аллокаций.

Преимущество такого подхода перед выделением статической памяти в секции данных в том, что бинарник остается маленьким, а это иногда критично. Кроме того, регионы поддерживают Scratchpad:

int someData[64] @SCRATCHPAD;

Выделенную память можно затем использовать в качестве арены для создания в рантайме более мелких объектов.

Во-вторых, AST-макросы. Это киллер-фича, которая делает ненужным препроцессор C. Препроцессор в Retrolang все равно есть, но возможности его ограничены, и я не планирую их развивать. Другое дело — макросы. Они позволяют переиспользовать практически любые выражения и утверждения языка, параметризуя их. Это похоже не шаблоны, но шаблон обычно параметризуется типами, а макрос — константами, идентификаторами, выражениями и другими макросами. Как и шаблоны, макросы — тоже разновидность метапрограммирования, но их главное назначение — явный инлайнинг кода. C инлайнит непредсказуемо, а Retrolang — язык с предсказуемой семантикой, в котором каждая операция транслируется в машинный код буквально. Поэтому в условиях, когда вызов лишней процедуры — дорогое удовольствие, очень важно переиспользовать код статически. Например, вместо того, чтобы создавать функцию с командами GTE, можно сделать соответствующий макрос, и команды будут вставлены непосредственно в вызывающий код без оверхеда на движение по стеку:

macro gte_upload_transform(tr)
{
    ctc2(GTE_TRX, tr->tx);
    ctc2(GTE_TRY, tr->ty);
    ctc2(GTE_TRZ, tr->tz);
    
    gte_set_matrix(tr->r);
    
    ctc2(GTE_H,   tr->h);
    ctc2(GTE_OFX, tr->ofx);
    ctc2(GTE_OFY, tr->ofy);
    ctc2(GTE_DQA, tr->dqa);
    ctc2(GTE_DQB, tr->dqb);
}

Макросы также удобны для создания удобочитаемых оберток над функциями BIOS.

Dagon 10 лет!

Проект стартовал 9 октября 2016 года, ровно 10 лет назад. Конечно, это не первая моя разработка в сфере геймдева, и я начал писать движок далеко не с полного нуля — к тому моменту у меня был DGL, набор классов, упрощающий работу с OpenGL в D (а до этого я работал с OpenGL и писал разнообразные сопутствующие библиотеки на C++). Однако именно Dagon стал наиболее успешным.

Создание игрового движка — наверное, одна из самых интересных и нетривиальных задач в программировании. Есть устойчивое убеждение, что свой движок писать вообще не нужно, и я как-то раз написал статью о том, почему это скорее миф. Существуют примеры успешных проектов как на лицензированных движках, так и на эксклюзивных, оба варианта имеют свои плюсы и минусы. На мой взгляд, главное преимущество собственной технологии — независимость от чужих лицензионных условий и архитектурных решений. В современном мире большинство проектов делается на Unity и UE, в результате чего игры слишком похожи друг на друга. Собственный движок — это ваш уникальный почерк. Понятно, конечно, что с UE конкурировать практически невозможно — продукты, в которые вложены миллионы долларов, будут всегда впереди. Но UE — это движок-монстр, все возможности которого нужны далеко не каждому. Если речь об инди, то нелепо, когда рантайм игры весит, как все ее ресурсы (если не больше), а системные требования — как у AAA. Должны же быть и маленькие движки! Ну и, наконец, психологический фактор: игра на чужом движке воспринимается как не совсем твоя.

Я начал интересоваться геймдевом еще в далеком 2005 году, когда открыл для себя Game Maker, Blitz3D и другие популярные любительские технологии того времени. Затем я пробовал работать с Irrlicht, OGRE, Blender Game Engine, но с точки зрения архитектуры меня очень впечатлила GLScene, графическая библиотека для Delphi. Мои собственные разработки во многом вдохновлены классами GLScene, хотя напрямую я оттуда ничего не копировал. Я вообще почти не заглядываю в исходники чужих движков — не знаю, хорошо это или плохо, но у меня свое понимание того, что удобно, а что нет. Боже упаси создавать клон Unity или что-то подобное. Не мыслите шаблонами индустрии, изобретайте свои технологии!

Я никогда не писал на DirectX, как-то почти сразу освоил OpenGL и всю жизнь сидел на нем. В нулевых это были версии 1.x-2.x, еще с фиксированным конвейером, где шейдеры были необязательной частью. Потом — короткий период 3.x, и, наконец, к концу десятых — 4.x. Я проследил практически всю эволюцию OpenGL и использовал его до последнего, когда стало уже очевидно, что пора двигаться дальше и осваивать эксплицитные API. Я, однако, не фанат чистого Vulkan. На нем не надо писать приложения напрямую по той же причине, по которой не пишут напрямую на ассемблере. Vulkan — это машинно-ориентированный бэкенд, поверх которого нужна абстракция, удобная для человека. Я терпеливо ждал появления таких абстракций, они появились, и вот теперь можно со спокойной душой уходить с OpenGL.

Что еще могу сказать на основе десятилетнего опыта? Разрабатывая большую систему, такую, как игровой движок, рано или поздно приходишь к идее неизбежности компромисса между двумя силами, тянущими проект в две разные стороны — абстракцией и специализацией. Абстракция — это сокрытие деталей под высокоуровневым интерфейсом. Абстракция повышает удобство на стороне пользователя, но снижает гибкость и возможности оптимизации. Специализация, напротив, подразумевает, что пользователь сам должен предоставить реализацию некоего интерфейса — то есть, углубиться в детали и интегрировать в движок свое решение специфической задачи. Это дает гибкость и возможности оптимизации, но снижает удобство. Хорошая система включает в себя и то, и другое. Дзен в балансе: нужно постоянно решать, в какой степени система должна быть абстрактной, и в какой — специализированной. Например, один из первых 3D-движков, с которыми я работал — Xtreme3D для Game Maker 6 — имел очевидный приоритет абстракции над специализацией: в нем были готовые декодеры разных форматов 3D-моделей, но полное отсутствие возможности создать свой собственный (то есть, собрать модель вручную из вершин и индексов). А вот встроенный 3D-рендер Game Maker, наоборот, не включал практически никаких абстракций и вынуждал программировать графику на низком уровне, составляя списки отрисовки из отдельных полигонов. В первом случае удобно, но не гибко, во втором — гибко, но неудобно. Учтя эти особенности, я решил делать движок, который охватывает оба сценария использования. Если вам нужно просто загрузить glTF, то это легко. А если вы хотите создать свой формат сцен, то это, пусть и с оговорками и требованиями, но реализуемо. Я всегда подчеркиваю, что Dagon — это фреймворк, то есть, каркас игрового приложения. Его ядро включает только создание окна и контекста OpenGL, управление таймером главного цикла и очередью событий. Рендер — это уже надстройка; в Dagon можно не использовать встроенный рендер и написать свой. То же касается абсолютного большинства всех подсистем — они не прибиты гвоздями. Принципиальной основой работы в Dagon является инверсия контроля, как и во всех фреймворках, но ядро минималистично — оно не отвечает за все процессы, и вы можете заменить почти все, что угодно, на самописные компоненты.

Разработка не стоит на месте, я постоянно что-то улучшаю и переписываю, чему, главным образом, и посвящен этот блог. Не хочется загадывать, но надеюсь, что в следующем году доделаю Dagon 2.0 — начинается новая большая страница в истории движка.