Fooocus

Fooocus – это программа для создания изображений (основанная на Gradio).

Fooocus – это переосмысление Stable Diffusion и дизайна Midjourney:

• Как стало известно из Stable Diffusion, программное обеспечение является автономным, с открытым исходным кодом и бесплатным.
• Как стало известно из Midjourney, ручная настройка не требуется, и пользователям нужно сосредоточиться только на подсказках и изображениях.

Fooocus включил и автоматизировал множество внутренних оптимизаций и улучшений качества. Пользователи могут забыть обо всех этих сложных технических параметрах и просто наслаждаться взаимодействием человека и компьютера, “исследуя новые способы мышления и расширяя возможности воображения человеческого вида” [1].

Fooocus упростил установку. Между нажатием кнопки “загрузить” и созданием первого изображения количество необходимых щелчков мышью строго ограничено и составляет менее 3. Минимальная потребность в памяти графического процессора составляет 4 ГБ (Nvidia).

[1] David Holz, 2019.

В последнее время в Google появляется много поддельных веб-сайтов при поиске по “fooocus”. Не доверяйте им – вот единственный официальный источник Fooocus.

Установка Fooocus

Переход от Midjourney к Fooocus

Использовать Fooocus так же просто, как и Midjourney, но это не значит, что нам не хватает функциональности. Ниже приведены подробности.

Midjourney	Fooocus
Преобразование текста в изображение высокого качества без необходимости быстрого проектирования или настройки параметров. (Неизвестный метод)	Преобразование текста в изображение высокого качества без необходимости в быстрой разработке или настройке параметров. (У Fooocus есть автономный механизм обработки подсказок на основе GPT-2 и множество улучшений выборки, так что результаты всегда получаются красивыми, независимо от того, короткая ли ваша подсказка, как “дом в саду”, или длиной в 1000 слов)
V1, V2, V3, V4	Входное изображение -> Увеличенный масштаб или вариация -> Варьировать (тонкий) / Варьировать (сильный)
U1 U2 U3 U4	Входное изображение -> Увеличенный размер или вариант -> Увеличенный размер (1.5x) / Увеличенный размер (2x)
Закрашивать / Вверх / Вниз / Влево / вправо (панорамирование)	Входное изображение -> Inpaint или Outpaint -> Inpaint / Вверх / вниз / влево / вправо (Fooocus использует свой собственный алгоритм inpaint и модели inpaint, чтобы результаты были более удовлетворительными, чем у всех других программ, использующих стандартный метод / модель inpaint SDXL)
Запрос изображения	Входное изображение -> Запрос изображения (Fooocus использует свой собственный алгоритм запроса изображения, так что качество результата и быстрое понимание более удовлетворяют, чем все другое программное обеспечение, использующее стандартные методы SDXL, такие как стандартные IP-адаптеры или версии)
–стиль	Дополнительно -> Стиль
–стилизовать	Дополнительно -> Дополнительно -> Руководство
–niji	Несколько лаунчеров: “run.bat”, “run_anime.bat” и “run_realistic.bat”. Fooocus поддерживает модели SDXL на Civitai (Вы можете поискать в Google “Civitai”, если вы не знаете об этом)
–качество	Дополнительно -> Качество
–повторить	Дополнительно -> Номер изображения
Несколько подсказок (::)	Просто используйте несколько строк подсказок
Веса подсказок	Вы можете использовать “Я счастлив (: 1.5)”. Fooocus использует алгоритм повторного взвешивания A1111, так что результаты лучше, чем ComfyUI, если пользователи напрямую копируют подсказки из Civitai. (Потому что, если подсказки написаны с измененным весом в ComfyUI, пользователи с меньшей вероятностью будут копировать тексты подсказок, поскольку они предпочитают перетаскивать файлы) Чтобы использовать встраивание, вы можете использовать “(встраивание: имя_файла: 1.1)”
–нет	Дополнительно -> Отрицательный запрос
–ar	Дополнительно -> Соотношения сторон
Интерфейс InsightFace	Входное изображение -> Запрос изображения -> Дополнительно -> FaceSwap
Описать	Входное изображение -> Описать

У нас также есть несколько вещей, позаимствованных из лучших частей LeonardoAI:

LeonardoAI	Fooocus
Магия подсказок	Дополнительно -> Стиль -> Fooocus V2
Расширенные параметры сэмплера (например, контрастность / резкость / etc)	Дополнительно -> Дополнительно -> Четкость выборки / etc
Удобные для пользователя сети управления	Входное изображение -> Запрос изображения -> Дополнительно

Fooocus также разработала множество функций “только для fooocus” для опытных пользователей, чтобы получить идеальные результаты. Нажмите здесь, чтобы просмотреть расширенные функции.

Вы можете загрузить Fooocus напрямую с помощью:

>>> Нажмите здесь, чтобы загрузить <<<

После загрузки файла, пожалуйста, распакуйте его, а затем запустите “run.bat”.

При первом запуске программного обеспечения оно автоматически загрузит модели:

1. Он загрузит модели по умолчанию в папку “Fooocus \ models \ checkpoint” с различными предустановками. Вы можете загрузить их заранее, если не хотите автоматической загрузки.
2. Обратите внимание, что если вы используете inpaint, при первой раскрашивании изображения оно загрузит собственную модель управления inpaint от Fooocus отсюда в виде файла “Fooocus\models\inpaint\inpaint_v26.fooocus.исправление” (размер этого файла составляет 1.28 ГБ).

После Fooocus 2.1.60 у вас также появятся run_anime.bat и run_realistic.bat. Это пресеты разных моделей (и для них требуются разные модели, но они будут загружены автоматически). Проверьте здесь для получения более подробной информации.

Если у вас уже есть эти файлы, вы можете скопировать их в указанные выше папки, чтобы ускорить установку. Обратите внимание, что если вы видите “MetadataIncompleteBuffer” или “PytorchStreamReader”, значит, ваши файлы моделей повреждены. Пожалуйста, загрузите models снова.

Ниже приведен тест на относительно недорогом ноутбуке с 16 ГБ системной оперативной памяти и 6 ГБ видеопамяти (ноутбук Nvidia 3060). Скорость на этой машине составляет около 1,35 секунды за итерацию. Довольно впечатляюще – в наши дни ноутбуки с 3060 обычно продаются по очень приемлемой цене. Кроме того, в последнее время многие другие программы сообщают, что драйвер Nvidia выше 532 иногда работает в 10 раз медленнее, чем драйвер Nvidia 531. Если время генерации очень велико, попробуйте загрузить драйвер Nvidia 531 для ноутбука или драйвер Nvidia 531 для рабочего стола.

Обратите внимание, что минимальное требование – это 4 ГБ памяти графического процессора Nvidia (4 ГБ видеопамяти) и 8 ГБ системной памяти (8 ГБ ОЗУ). Для этого требуется использовать технологию виртуальной подкачки Microsoft, которая в большинстве случаев автоматически включается при установке Windows, поэтому вам часто ничего не нужно с этим делать. Однако, если вы не уверены, или если вы вручную отключили это (кто-нибудь действительно сделал бы это?), или если вы видите какой-либо “RuntimeError: CPUAllocator”, вы можете включить это здесь:Нажмите здесь, чтобы просмотреть инструкции по изображению.

Обратите внимание, что минимальные требования для разных платформ различаются.

Смотрите также распространенные проблемы и способы устранения здесь.

Загрузить предыдущую версию

Ознакомьтесь с рекомендациями здесь.

Минимальные требования

Ниже приведены минимальные требования для локального запуска Fooocus. Если возможности вашего устройства ниже указанных в спецификации, возможно, вы не сможете использовать Fooocus локально. (В любом случае, пожалуйста, сообщите нам, если возможности вашего устройства ниже, но Fooocus все еще работает.)

Операционная система	Графический процессор	Минимальный объем памяти графического процессора	Минимальный объем системной памяти	Замена системы	Примечание
Windows / Linux	Nvidia RTX 4XXX	4 ГБ	8 ГБ	Требуется	самый быстрый
Windows / Linux	Nvidia RTX 3XXX	4 ГБ	8 ГБ	Требуется	обычно быстрее, чем RTX 2XXX
Windows / Linux	Nvidia RTX 2XXX	4 ГБ	8 ГБ	Требуется	обычно быстрее, чем GTX 1XXX
Windows / Linux	Nvidia GTX 1XXX	8 ГБ (* 6 ГБ неизвестно)	8 ГБ	Требуется	лишь незначительно быстрее, чем CPU
Windows / Linux	Nvidia GTX 9XX	8 ГБ	8 ГБ	Требуется	быстрее или медленнее, чем процессор
Windows / Linux	Nvidia GTX < 9XX	Не поддерживается	/	/	/
Windows	Графический процессор AMD	8 ГБ (обновлено 30 декабря 2023 г.)	8 ГБ	Требуется	через DirectML (* ROCm находится в режиме ожидания), примерно в 3 раза медленнее, чем Nvidia RTX 3XXX
Linux	Графический процессор AMD	8 ГБ	8 ГБ	Требуется	через ROCm примерно в 1,5 раза медленнее, чем Nvidia RTX 3XXX
Mac	M1 / M2 MPS	Общие	Общие	Общие	примерно в 9 раз медленнее, чем Nvidia RTX 3XXX
Windows / Linux / Mac	используйте только CPU	0 ГБ	32 ГБ	Требуется	примерно в 17 раз медленнее, чем Nvidia RTX 3XXX

* ROCm графического процессора AMD (на удержании): AMD все еще работает над поддержкой ROCm в Windows.

* Nvidia GTX 1XXX 6GB неопределенна: некоторые пользователи сообщают об успешном использовании 6GB в GTX 10XX, но некоторые другие сообщают о случаях сбоев.

Обратите внимание, что Fooocus предназначен только для создания изображений исключительно высокого качества. Мы не будем поддерживать модели меньшего размера, чтобы снизить требования и пожертвовать качеством результата.

Устранение неполадок

Смотрите общие проблемы здесь.

Модели по умолчанию

Учитывая разные цели, модели и конфигурации Fooocus по умолчанию различаются:

Задача	Windows	Аргументы Linux	Основная модель	Доработка	Конфигурация
Общая информация	run.bat		juggernautXL v6_RunDiffusion	не используется	здесь
Реалистично	run_realistic.bat	–реалистичная предустановка	realistic_stock_photo	не используется	здесь
Аниме	run_anime.bat	–предустановленное аниме	bluepencil_v50	dreamsharper_v8 (SD1.5)	здесь

Обратите внимание, что загрузка происходит автоматически – вам не нужно ничего делать, если подключение к Интернету в порядке. Однако вы можете загрузить их вручную, если у вас есть собственная подготовка (или перенести их откуда-нибудь еще).

Список “скрытых” трюков

Нижеперечисленные функции уже есть в программном обеспечении, и пользователям не нужно ничего с этим делать.

1. Расширение подсказок на основе GPT2 в виде динамического стиля “Fooocus V2”. (аналогично скрытой предварительной обработке Midjourney и “сырому” режиму или магии подсказок LeonardoAI).
2. Встроенная замена refiner внутри одного k-sampler. Преимущество в том, что модель refiner теперь может повторно использовать momentum базовой модели (или параметры истории ODE), собранные из k-sampling, для достижения более согласованной выборки. В исправлении с высоким разрешением Automatic1111 и в системе узлов ComfyUI базовая модель и уточняющий модуль используют два независимых k-сэмплера, что означает, что импульс в значительной степени расходуется впустую, а непрерывность выборки нарушается. Fooocus использует собственную усовершенствованную выборку k-диффузии, которая обеспечивает плавную, встроенную и непрерывную замену в настройках refiner. (Обновление от 13 августа: На самом деле, я обсуждал это с Automatic1111 несколько дней назад, и, похоже, что “native refiner swap внутри одного k-sampler” объединен с веткой разработки webui. Отлично!)
3. Негативные рекомендации ADM. Поскольку самый высокий уровень разрешения XL Base не имеет перекрестного внимания, положительные и отрицательные сигналы для самого высокого уровня разрешения XL не могут получить достаточный контраст во время выборки CFG, в результате чего результаты в некоторых случаях выглядят немного пластичными или чрезмерно сглаженными. К счастью, поскольку самый высокий уровень разрешения XL по-прежнему зависит от соотношения сторон изображения (ADM), мы можем изменить adm в положительную / отрицательную сторону, чтобы компенсировать отсутствие контраста CFG на самом высоком уровне разрешения. (Обновление от 16 августа, приложение для IOS Drawing Things будет поддерживать отрицательные рекомендации ADM. Отлично!)
4. Мы внедрили тщательно настроенный вариант раздела 5.1 “Улучшение качества выборки диффузионных моделей с использованием самоконтроля”. Вес установлен на очень низком уровне, но это последняя гарантия Fooocus, позволяющая убедиться, что XL никогда не будет выглядеть слишком гладко или пластично (примеры здесь). Это может практически исключить все случаи, для которых XL все еще иногда выдает чрезмерно плавные результаты, даже при отрицательных рекомендациях ADM. (В обновлении 2023 от 18 августа гауссово ядро SAG заменено на анизотропное ядро для лучшего сохранения структуры и уменьшения количества артефактов.)
5. Мы немного изменили шаблоны стилей и добавили “cinematic-default”.
6. Мы протестировали “sd_xl_offset_example-lora_1.0.safetensors”, и кажется, что когда вес lora меньше 0,5, результаты всегда лучше, чем XL без lora.
7. Параметры сэмплеров тщательно настроены.
8. Поскольку XL использует позиционное кодирование для разрешения генерации, изображения, созданные с несколькими фиксированными разрешениями, выглядят немного лучше, чем изображения с произвольными разрешениями (потому что позиционное кодирование не очень хорошо справляется с числами int, которые не видны во время обучения). Это говорит о том, что разрешения в пользовательском интерфейсе могут быть жестко запрограммированы для достижения наилучших результатов.
9. Отдельные подсказки для двух разных кодировщиков текста кажутся ненужными. Отдельные подсказки для базовой модели и уточнения могут работать, но эффекты случайны, и мы воздерживаемся от их реализации.
10. Семейство DPM, похоже, хорошо подходит для XL, поскольку XL иногда создает чрезмерно гладкую текстуру, но семейство DPM иногда создает чрезмерно плотную детализацию текстуры. Их совместный эффект выглядит нейтрально и привлекательно для человеческого восприятия.
11. Тщательно разработанная система для балансировки нескольких стилей, а также быстрого расширения.
12. Использование метода automatic1111 для нормализации выделения подсказок. Это значительно улучшает результаты, когда пользователи напрямую копируют подсказки из civitai.
13. Система совместной подкачки refiner теперь также поддерживает img2img и масштабирование без проблем.
14. Масштабирование CFG и коррекция TSNR (настроено для SDXL), когда CFG больше 10.

Настройка

После первого запуска Fooocus будет сгенерирован файл конфигурации по адресу Fooocus\config.txt. Этот файл можно отредактировать, чтобы изменить путь к модели или параметры по умолчанию.

Например, отредактированный Fooocus\config.txt (этот файл будет сгенерирован после первого запуска) может выглядеть следующим образом:{ “path_checkpoints”: “D:\\Fooocus\\models\\checkpoints”, “path_loras”: “D:\\Fooocus\\models\\loras”, “path_embeddings”: “D:\\Fooocus\\models\\embeddings”, “path_vae_approx”: “D:\\Fooocus\\models\\vae_approx”, “path_upscale_models”: “D:\\Fooocus\\models\\upscale_models”, “path_inpaint”: “D:\\Fooocus\\models\\inpaint”, “path_controlnet”: “D:\\Fooocus\\models\\controlnet”, “path_clip_vision”: “D:\\Fooocus\\models\\clip_vision”, “path_fooocus_expansion”: “D:\\Fooocus\\models\\prompt_expansion\\fooocus_expansion”, “path_outputs”: “D:\\Fooocus\\outputs”, “default_model”: “realisticStockPhoto_v10.safetensors”, “default_refiner”: “”, “default_loras”: [[“lora_filename_1.safetensors”, 0.5], [“lora_filename_2.safetensors”, 0.5]], “default_cfg_scale”: 3.0, “default_sampler”: “dpmpp_2m”, “default_scheduler”: “karras”, “default_negative_prompt”: “low quality”, “default_positive_prompt”: “”, “default_styles”: [ “Fooocus V2”, “Fooocus Photograph”, “Fooocus Negative” ] }

Many other keys, formats, and examples are in Fooocus\config_modification_tutorial.txt (this file will be generated after the first launch).

Consider twice before you really change the config. If you find yourself breaking things, just delete Fooocus\config.txt. Fooocus will go back to default.

A safer way is just to try “run_anime.bat” or “run_realistic.bat” – they should already be good enough for different tasks.

All CMD Flags

entry_with_update.py [-h] [--listen [IP]] [--port PORT] [--disable-header-check [ORIGIN]] [--web-upload-size WEB_UPLOAD_SIZE] [--external-working-path PATH [PATH ...]] [--output-path OUTPUT_PATH] [--temp-path TEMP_PATH] [--cache-path CACHE_PATH] [--in-browser] [--disable-in-browser] [--gpu-device-id DEVICE_ID] [--async-cuda-allocation | --disable-async-cuda-allocation] [--disable-attention-upcast] [--all-in-fp32 | --all-in-fp16] [--unet-in-bf16 | --unet-in-fp16 | --unet-in-fp8-e4m3fn | --unet-in-fp8-e5m2] [--vae-in-fp16 | --vae-in-fp32 | --vae-in-bf16] [--clip-in-fp8-e4m3fn | --clip-in-fp8-e5m2 | --clip-in-fp16 | --clip-in-fp32] [--directml [DIRECTML_DEVICE]] [--disable-ipex-hijack] [--preview-option [none,auto,fast,taesd]] [--attention-split | --attention-quad | --attention-pytorch] [--disable-xformers] [--always-gpu | --always-high-vram | --always-normal-vram | --always-low-vram | --always-no-vram | --always-cpu] [--always-offload-from-vram] [--disable-server-log] [--debug-mode] [--is-windows-embedded-python] [--disable-server-info] [--share] [--preset PRESET] [--language LANGUAGE] [--disable-offload-from-vram] [--theme THEME] [--disable-image-log]

Отличное изображение: