Telegram Group & Telegram Channel
Forwarded from Machinelearning
🌟 Stable Flow: ΠΈΠ½ΠΏΠ΅ΠΉΠ½Ρ‚ Π±Π΅Π· обучСния.

Stable Flow - ΠΌΠ΅Ρ‚ΠΎΠ΄ рСдактирования ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ Π±Π΅Π· ΠΏΡ€Π΅Π΄Π²Π°Ρ€ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠ³ΠΎ обучСния Π½Π° основС flow-based ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ (FLUX).

ΠœΠ΅Ρ‚ΠΎΠ΄ основываСтся Π½Π° ΠΈΠ΄Π΅Π΅ опрСдСлСния "ΠΆΠΈΠ·Π½Π΅Π½Π½ΠΎ Π²Π°ΠΆΠ½Ρ‹Ρ… слоСв" Π² DiT, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ критичСски Π²Π°ΠΆΠ½Ρ‹ для формирования изобраТСния. Π­Ρ‚ΠΈ слои ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΡΡŽΡ‚ΡΡ ΠΏΠ΅Ρ€Π΅Π±ΠΎΡ€ΠΎΠΌ слоСв ΠΏΡƒΡ‚Π΅ΠΌ измСрСния ΠΎΡ‚ΠΊΠ»ΠΎΠ½Π΅Π½ΠΈΠΉ Π² содСрТании изобраТСния.

Π Π΅Π΄Π°ΠΊΡ‚ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ изобраТСния выполняСтся ΠΏΡƒΡ‚Π΅ΠΌ ΠΏΠ°Ρ€Π°Π»Π»Π΅Π»ΡŒΠ½ΠΎΠΉ Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ, Π³Π΄Π΅ ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠΈ ΠΈΠ· Ρ‚Ρ€Π°Π΅ΠΊΡ‚ΠΎΡ€ΠΈΠΈ Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ исходного изобраТСния ΠΈΠ½ΠΆΠ΅ΠΊΡ‚ΠΈΡ€ΡƒΡŽΡ‚ΡΡ Π² Ρ‚Ρ€Π°Π΅ΠΊΡ‚ΠΎΡ€ΠΈΡŽ Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΈΡ€ΡƒΠ΅ΠΌΠΎΠ³ΠΎ изобраТСния. Вакая стратСгия Ρ€Π°Π½ΡŒΡˆΠ΅ ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΠ»Π°ΡΡŒ Π² модСлях Π½Π° Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Π΅ UNet, Ρ‚Π΅ΠΏΠ΅Ρ€ΡŒ Π°Π΄Π°ΠΏΡ‚ΠΈΡ€ΠΎΠ²Π°Π½Π° для DiT.

Π˜Π½ΡŠΠ΅ΠΊΡ†ΠΈΡ происходит Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π² vital layers, Ρ‡Ρ‚ΠΎ Π΄Π°Π΅Ρ‚ ΡΡ‚Π°Π±ΠΈΠ»ΡŒΠ½ΠΎΡΡ‚ΡŒ рСдактирования, сохраняя Π½Π΅Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΈΡ€ΡƒΠ΅ΠΌΡ‹Π΅ области Π½Π΅Ρ‚Ρ€ΠΎΠ½ΡƒΡ‚Ρ‹ΠΌΠΈ. Π­Ρ‚ΠΎ Π΄Π°Π΅Ρ‚ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ Π²Ρ‹ΠΏΠΎΠ»Π½ΡΡ‚ΡŒ Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Π΅ Ρ‚ΠΈΠΏΡ‹ рСдактирования: нСТСсткиС Π΄Π΅Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ, Π΄ΠΎΠ±Π°Π²Π»Π΅Π½ΠΈΠ΅ ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ΠΎΠ², Π·Π°ΠΌΠ΅Π½Ρƒ ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ΠΎΠ² ΠΈ ΠΈΠ·ΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ сцСны, ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡ ΠΎΠ΄ΠΈΠ½ ΠΈ Ρ‚ΠΎΡ‚ ΠΆΠ΅ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌ.

Для ΠΈΠ½ΠΏΠ΅ΠΉΠ½Ρ‚Π° Ρ€Π΅Π°Π»ΡŒΠ½Ρ‹Ρ… ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ примСняСтся инвСрсия, выполняСмая с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ солвСра Euler Ordinary Differential Equation (ODE), с Π΄ΠΎΠ±Π°Π²Π»Π΅Π½ΠΈΠ΅ΠΌ ΠΌΠ΅Ρ‚ΠΎΠ΄Π° "подталкивания" Π²Π½Π΅ распрСдСлСния. Π­Ρ‚ΠΎΡ‚ ΠΌΠ΅Ρ‚ΠΎΠ΄ Π·Π°ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ΡΡ Π² нСбольшом скалярном Π²ΠΎΠ·ΠΌΡƒΡ‰Π΅Π½ΠΈΠΈ чистого Π»Π°Ρ‚Π΅Π½Ρ‚Π½ΠΎΠ³ΠΎ пространства, Ρ‡Ρ‚ΠΎ позволяСт ΡƒΠ»ΡƒΡ‡ΡˆΠΈΡ‚ΡŒ Ρ‚ΠΎΡ‡Π½ΠΎΡΡ‚ΡŒ рСконструкции ΠΈ ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡ΠΈΡ‚ΡŒ измСнСния Π² процСссС рСдактирования.

ΠŸΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΎΠ΅ исслСдованиС ΠΏΠΎΠ΄Ρ‚Π²Π΅Ρ€Π΄ΠΈΠ»ΠΎ, Ρ‡Ρ‚ΠΎ Stable Flow прСвосходит SDEdit, P2P+NTI, Instruct-P2P, MagicBrush, MasaCTRL ΠΏΠΎ 4 катСгориям: соотвСтствиС тСкстовому запросу, сохранСниС исходного изобраТСния, Ρ€Π΅Π°Π»ΠΈΡΡ‚ΠΈΡ‡Π½ΠΎΡΡ‚ΡŒ ΠΈ ΠΎΠ±Ρ‰Π΅Π΅ качСство рСдактирования.

⚠️ Для запуска ΠΊΠΎΠ΄Π° Satble Flow Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌ Ρ‚ΠΎΠΊΠ΅Π½ HuggingFace

⚠️ ΠŸΡ€ΠΎΠ΅ΠΊΡ‚ ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ CPU offload, ΠΎΠ½ Π²ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ΡΡ ΠΊΠ»ΡŽΡ‡ΠΎΠΌ --cpu_offload ΠΏΡ€ΠΈ инфСрСнсС.

β–ΆοΈΠ›ΠΎΠΊΠ°Π»ΡŒΠ½Π°Ρ установка ΠΈ инфСрСнс:

# Clone repo
git clone https://github.com/snap-research/stable-flow.git
cd stable-flow

# Create conda env
conda env create -f environment.yml
conda activate stable-flow

# Batch image inference
python run_stable_flow.py \
--hf_token YOUR_PERSONAL_HUGGINGFACE_TOKEN \
--prompts "A photo of a dog in standing the street" \
"A photo of a dog sitting in the street" \
"A photo of a dog in standing and wearing a straw hat the street" \
"A photo of a mink"

# Image editing inference
python run_stable_flow.py \
--hf_token YOUR_PERSONAL_HUGGINGFACE_TOKEN \
--input_img_path inputs/bottle.jpg \
--prompts "A photo of a bottle" \
"A photo of a bottle next to an apple"



πŸŸ‘Π‘Ρ‚Ρ€Π°Π½ΠΈΡ†Π° ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π°
🟑Arxiv
πŸ–₯GitHub


@ai_machinelearning_big_data

#AI #ML #StableFlow
Please open Telegram to view this post
VIEW IN TELEGRAM



group-telegram.com/machinelearning_interview/1506
Create:
Last Update:

🌟 Stable Flow: ΠΈΠ½ΠΏΠ΅ΠΉΠ½Ρ‚ Π±Π΅Π· обучСния.

Stable Flow - ΠΌΠ΅Ρ‚ΠΎΠ΄ рСдактирования ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ Π±Π΅Π· ΠΏΡ€Π΅Π΄Π²Π°Ρ€ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠ³ΠΎ обучСния Π½Π° основС flow-based ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ (FLUX).

ΠœΠ΅Ρ‚ΠΎΠ΄ основываСтся Π½Π° ΠΈΠ΄Π΅Π΅ опрСдСлСния "ΠΆΠΈΠ·Π½Π΅Π½Π½ΠΎ Π²Π°ΠΆΠ½Ρ‹Ρ… слоСв" Π² DiT, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ критичСски Π²Π°ΠΆΠ½Ρ‹ для формирования изобраТСния. Π­Ρ‚ΠΈ слои ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΡΡŽΡ‚ΡΡ ΠΏΠ΅Ρ€Π΅Π±ΠΎΡ€ΠΎΠΌ слоСв ΠΏΡƒΡ‚Π΅ΠΌ измСрСния ΠΎΡ‚ΠΊΠ»ΠΎΠ½Π΅Π½ΠΈΠΉ Π² содСрТании изобраТСния.

Π Π΅Π΄Π°ΠΊΡ‚ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ изобраТСния выполняСтся ΠΏΡƒΡ‚Π΅ΠΌ ΠΏΠ°Ρ€Π°Π»Π»Π΅Π»ΡŒΠ½ΠΎΠΉ Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ, Π³Π΄Π΅ ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠΈ ΠΈΠ· Ρ‚Ρ€Π°Π΅ΠΊΡ‚ΠΎΡ€ΠΈΠΈ Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ исходного изобраТСния ΠΈΠ½ΠΆΠ΅ΠΊΡ‚ΠΈΡ€ΡƒΡŽΡ‚ΡΡ Π² Ρ‚Ρ€Π°Π΅ΠΊΡ‚ΠΎΡ€ΠΈΡŽ Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΈΡ€ΡƒΠ΅ΠΌΠΎΠ³ΠΎ изобраТСния. Вакая стратСгия Ρ€Π°Π½ΡŒΡˆΠ΅ ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΠ»Π°ΡΡŒ Π² модСлях Π½Π° Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Π΅ UNet, Ρ‚Π΅ΠΏΠ΅Ρ€ΡŒ Π°Π΄Π°ΠΏΡ‚ΠΈΡ€ΠΎΠ²Π°Π½Π° для DiT.

Π˜Π½ΡŠΠ΅ΠΊΡ†ΠΈΡ происходит Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π² vital layers, Ρ‡Ρ‚ΠΎ Π΄Π°Π΅Ρ‚ ΡΡ‚Π°Π±ΠΈΠ»ΡŒΠ½ΠΎΡΡ‚ΡŒ рСдактирования, сохраняя Π½Π΅Ρ€Π΅Π΄Π°ΠΊΡ‚ΠΈΡ€ΡƒΠ΅ΠΌΡ‹Π΅ области Π½Π΅Ρ‚Ρ€ΠΎΠ½ΡƒΡ‚Ρ‹ΠΌΠΈ. Π­Ρ‚ΠΎ Π΄Π°Π΅Ρ‚ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ Π²Ρ‹ΠΏΠΎΠ»Π½ΡΡ‚ΡŒ Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Π΅ Ρ‚ΠΈΠΏΡ‹ рСдактирования: нСТСсткиС Π΄Π΅Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ, Π΄ΠΎΠ±Π°Π²Π»Π΅Π½ΠΈΠ΅ ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ΠΎΠ², Π·Π°ΠΌΠ΅Π½Ρƒ ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ΠΎΠ² ΠΈ ΠΈΠ·ΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ сцСны, ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡ ΠΎΠ΄ΠΈΠ½ ΠΈ Ρ‚ΠΎΡ‚ ΠΆΠ΅ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌ.

Для ΠΈΠ½ΠΏΠ΅ΠΉΠ½Ρ‚Π° Ρ€Π΅Π°Π»ΡŒΠ½Ρ‹Ρ… ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ примСняСтся инвСрсия, выполняСмая с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ солвСра Euler Ordinary Differential Equation (ODE), с Π΄ΠΎΠ±Π°Π²Π»Π΅Π½ΠΈΠ΅ΠΌ ΠΌΠ΅Ρ‚ΠΎΠ΄Π° "подталкивания" Π²Π½Π΅ распрСдСлСния. Π­Ρ‚ΠΎΡ‚ ΠΌΠ΅Ρ‚ΠΎΠ΄ Π·Π°ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ΡΡ Π² нСбольшом скалярном Π²ΠΎΠ·ΠΌΡƒΡ‰Π΅Π½ΠΈΠΈ чистого Π»Π°Ρ‚Π΅Π½Ρ‚Π½ΠΎΠ³ΠΎ пространства, Ρ‡Ρ‚ΠΎ позволяСт ΡƒΠ»ΡƒΡ‡ΡˆΠΈΡ‚ΡŒ Ρ‚ΠΎΡ‡Π½ΠΎΡΡ‚ΡŒ рСконструкции ΠΈ ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡ΠΈΡ‚ΡŒ измСнСния Π² процСссС рСдактирования.

ΠŸΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΎΠ΅ исслСдованиС ΠΏΠΎΠ΄Ρ‚Π²Π΅Ρ€Π΄ΠΈΠ»ΠΎ, Ρ‡Ρ‚ΠΎ Stable Flow прСвосходит SDEdit, P2P+NTI, Instruct-P2P, MagicBrush, MasaCTRL ΠΏΠΎ 4 катСгориям: соотвСтствиС тСкстовому запросу, сохранСниС исходного изобраТСния, Ρ€Π΅Π°Π»ΠΈΡΡ‚ΠΈΡ‡Π½ΠΎΡΡ‚ΡŒ ΠΈ ΠΎΠ±Ρ‰Π΅Π΅ качСство рСдактирования.

⚠️ Для запуска ΠΊΠΎΠ΄Π° Satble Flow Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌ Ρ‚ΠΎΠΊΠ΅Π½ HuggingFace

⚠️ ΠŸΡ€ΠΎΠ΅ΠΊΡ‚ ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ CPU offload, ΠΎΠ½ Π²ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ΡΡ ΠΊΠ»ΡŽΡ‡ΠΎΠΌ --cpu_offload ΠΏΡ€ΠΈ инфСрСнсС.

β–ΆοΈΠ›ΠΎΠΊΠ°Π»ΡŒΠ½Π°Ρ установка ΠΈ инфСрСнс:

# Clone repo
git clone https://github.com/snap-research/stable-flow.git
cd stable-flow

# Create conda env
conda env create -f environment.yml
conda activate stable-flow

# Batch image inference
python run_stable_flow.py \
--hf_token YOUR_PERSONAL_HUGGINGFACE_TOKEN \
--prompts "A photo of a dog in standing the street" \
"A photo of a dog sitting in the street" \
"A photo of a dog in standing and wearing a straw hat the street" \
"A photo of a mink"

# Image editing inference
python run_stable_flow.py \
--hf_token YOUR_PERSONAL_HUGGINGFACE_TOKEN \
--input_img_path inputs/bottle.jpg \
--prompts "A photo of a bottle" \
"A photo of a bottle next to an apple"



πŸŸ‘Π‘Ρ‚Ρ€Π°Π½ΠΈΡ†Π° ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π°
🟑Arxiv
πŸ–₯GitHub


@ai_machinelearning_big_data

#AI #ML #StableFlow

BY Machine learning Interview





Share with your friend now:
group-telegram.com/machinelearning_interview/1506

View MORE
Open in Telegram


Telegram | DID YOU KNOW?

Date: |

Andrey, a Russian entrepreneur living in Brazil who, fearing retaliation, asked that NPR not use his last name, said Telegram has become one of the few places Russians can access independent news about the war. Soloviev also promoted the channel in a post he shared on his own Telegram, which has 580,000 followers. The post recommended his viewers subscribe to "War on Fakes" in a time of fake news. Following this, Sebi, in an order passed in January 2022, established that the administrators of a Telegram channel having a large subscriber base enticed the subscribers to act upon recommendations that were circulated by those administrators on the channel, leading to significant price and volume impact in various scrips. The channel appears to be part of the broader information war that has developed following Russia's invasion of Ukraine. The Kremlin has paid Russian TikTok influencers to push propaganda, according to a Vice News investigation, while ProPublica found that fake Russian fact check videos had been viewed over a million times on Telegram. "We're seeing really dramatic moves, and it's all really tied to Ukraine right now, and in a secondary way, in terms of interest rates," Octavio Marenzi, CEO of Opimas, told Yahoo Finance Live on Thursday. "This war in Ukraine is going to give the Fed the ammunition, the cover that it needs, to not raise interest rates too quickly. And I think Jay Powell is a very tepid sort of inflation fighter and he's not going to do as much as he needs to do to get that under control. And this seems like an excuse to kick the can further down the road still and not do too much too soon."
from fr


Telegram Machine learning Interview
FROM American