Руководство по LTX-2 ComfyUI: Полное руководство по локальному развертыванию

Локальный запуск LTX-2 предлагает несколько убедительных преимуществ перед облачными решениями. Вы получаете полную конфиденциальность — ваши промпты и сгенерированные видео никогда не покидают вашу машину. Вы устраняете расходы на каждую генерацию после первоначальных инвестиций в оборудование. Вы можете настраивать рабочие процессы с помощью моделей LoRA и дообучать базовую модель для конкретных стилей. И вы получаете более быструю итерацию без сетевой задержки или времени ожидания в очереди. ComfyUI предоставляет идеальный интерфейс для LTX-2, предлагая визуальный рабочий процесс на основе узлов, который делает сложные конвейеры генерации видео интуитивными и воспроизводимыми. Это руководство проведет вас через всё — от начальной настройки до продвинутых методов оптимизации.

Перед началом убедитесь, что ваша система соответствует минимальным требованиям. Для GPU вам нужна видеокарта NVIDIA с минимум 24 ГБ VRAM (рекомендуется RTX 4090, A6000 или A100). Для оптимальной производительности в разрешении 4K идеально подойдет 48 ГБ+ VRAM. В вашей системе должно быть минимум 32 ГБ RAM и 100 ГБ свободного дискового пространства для моделей. Требования к программному обеспечению включают: Python 3.10 или выше, CUDA 12.0 или выше с совместимыми драйверами, Git для клонирования репозиториев и FFmpeg для обработки видео. Для пользователей Windows убедитесь, что установлены Visual Studio Build Tools. Для Linux достаточно стандартных средств сборки. Пользователям Mac следует учесть, что LTX-2 в настоящее время требует NVIDIA CUDA и не поддерживает Apple Silicon нативно.

Начните с клонирования репозитория ComfyUI: git clone https://github.com/comfyanonymous/ComfyUI. Перейдите в директорию и установите зависимости с помощью pip install -r requirements.txt. Далее загрузите веса модели LTX-2 с Hugging Face. Поместите основной файл модели в ComfyUI/models/checkpoints/, а VAE в ComfyUI/models/vae/. Для генерации аудио загрузите аудио-модель отдельно и поместите её в соответствующую папку. Установите пользовательские узлы LTX-2, клонировав расширение в ComfyUI/custom_nodes/. После установки перезапустите ComfyUI и убедитесь, что узлы LTX-2 появились в меню узлов. Первоначальная загрузка модели может занять несколько минут в зависимости от скорости вашего хранилища.

Создайте базовый рабочий процесс текст-в-видео, добавив следующие узлы: LTX-2 Model Loader (подключается к вашему checkpoint), CLIP Text Encode (для вашего промпта), LTX-2 Video Sampler (основной узел генерации), VAE Decode (преобразует латенты в видеокадры) и Video Combine (выводит финальный видеофайл). Соедините узлы последовательно и настройте параметры сэмплера. Для лучших результатов используйте 30-50 шагов денойзинга, CFG scale между 7-9 и выберите целевое разрешение (720p для тестирования, 4K для финального вывода). Количество кадров определяет длину видео — при 25 FPS 150 кадров дают вам 6 секунд видео. Добавьте узел Audio Generator после Video Sampler, если хотите получить синхронизированный аудио-выход.

Для анимации статических изображений модифицируйте рабочий процесс текст-в-видео, добавив узел Image Loader. Изображение предоставляет ссылку на первый кадр, обеспечивая визуальную согласованность на протяжении всего видео. Подключите изображение к входу изображения LTX-2 Video Sampler. Отрегулируйте силу влияния изображения — более высокие значения (0.7-0.9) сохраняют большую точность к исходному изображению, в то время как более низкие значения (0.3-0.5) допускают более творческое движение. Промпт должен описывать желаемую анимацию, а не содержимое изображения. Например, 'камера медленно панорамирует вправо, легкое движение волос от ветра', а не описание человека на изображении. Этот рабочий процесс отлично подходит для анимации продуктов, анимации портретов и серий видео с единым стилем.

Прорывная функция LTX-2 — нативная генерация аудио, которая идеально синхронизируется с видеоконтентом. Включите аудио, добавив узел LTX-2 Audio Generator после вашего Video Sampler. Аудио-узел анализирует сгенерированное видео и создает соответствующий звук — диалоги с точной синхронизацией губ, окружающую атмосферу и фоновую музыку. Настройте тип аудио: 'full' генерирует все типы аудио, 'dialogue' фокусируется на речи, 'ambient' создает звуки окружения, а 'music' добавляет фоновые треки. Для диалогов включите описание говорящего в промпт: 'мужчина с глубоким голосом медленно говорит о технологиях'. Частота дискретизации аудио по умолчанию составляет 44.1 кГц — измените, если ваш последующий рабочий процесс требует других параметров. Формат вывода поддерживает WAV и MP3.

Максимизируйте скорость и качество генерации с помощью этих оптимизаций. Включите точность FP16 при загрузке модели, чтобы вдвое сократить использование VRAM с минимальной потерей качества. Используйте xformers или flash-attention для более быстрого вычисления внимания — установите с помощью pip install xformers. Для конфигураций с несколькими GPU ComfyUI поддерживает распределение модели между устройствами. Пакетная обработка: поставьте в очередь несколько генераций и запустите их на ночь. Стратегия разрешения: генерируйте в 720p для тестирования промптов, затем перегенерируйте лучшие в 4K. Кэширование: включите кэширование модели, чтобы избежать перезагрузки между генерациями. Управление VRAM: закройте другие GPU-интенсивные приложения во время генерации. Для 4K при 50 FPS ожидайте 3-5 минут на 10-секундный клип на RTX 4090 или 1-2 минуты на A100.

Нехватка памяти CUDA: Уменьшите разрешение или включите memory-efficient attention. Попробуйте генерировать меньше кадров за раз. Модель не загружается: Проверьте размещение файлов в правильных директориях моделей. Убедитесь, что файлы моделей не повреждены (сравните контрольные суммы). Черный или поврежденный вывод: Обновите драйверы GPU до последней версии. Убедитесь, что версия CUDA соответствует версии CUDA PyTorch. Рассинхронизация аудио: Перегенерируйте с явными параметрами тайминга аудио. Проверьте, что FPS видео соответствует расчетам частоты дискретизации аудио. Медленная генерация: Включите все рекомендуемые оптимизации. Рассмотрите возможность увеличения VRAM GPU. ComfyUI не запускается: Удалите папки ComfyUI/custom_nodes/__pycache__ и перезапустите. Обновите все пользовательские узлы до последних версий. При постоянных проблемах Discord-сообщество LTX-2 и GitHub issues являются отличными ресурсами для устранения неполадок в конкретных конфигурациях.