Dare una diffusione stabile una certa profondità

Probabilmente negli ultimi mesi hai sentito parlare molto dello spread stabile. La nuova versione (v2) è stata rilasciata e, oltre alle modalità Picture-to-Image e Text-to-Image standard, ha anche una profondità Picture-to-Image che può essere incredibilmente utile. [Andrew] lui ha Scrittura che ti guida all’utilizzo di questa modalità.

L’idea di base è che puoi catturare profondità e profondità nel modello, permettendoti di controllare cosa va a posto. Lo spread stabile è un po’ sconcertante, ma ne abbiamo già alcuni Ottime risorse per spostarsi. In termini di input, puoi utilizzare una mappa di profondità da una fotocamera con lidar (molti telefoni recenti lo includono) o fare in modo che un altro modello (come MiDaS) la stimi da un’immagine 2D. Questo diventa potente quando riesci a mantenere una certa composizione, come una scena iconica di un film famoso. Puoi mantenere le forme dei personaggi sullo schermo ma puoi cambiare lo stile della scena come preferisci (come mostrato sopra).

Noi abbiamo già Tecnologia coperta per generare trame direttamente nel frullatorema queste nuove informazioni di profondità sono già state applicate per fornire una migliore risoluzione delle texture.

[Justin Alvey] abituato a Crea immagini architettoniche dai mobili delle case delle bambole. Utilizzando il modello MiDaS, apprezza la profondità ed elimina gli aspetti RGB regolando la potenza della riduzione del rumore al massimo. I mobili semplificati della casa delle bambole del modello erano facili da individuare, il che ha contribuito a ottenere grandi risultati.

Tuttavia, l’unico aspetto negativo è che la prospettiva produce un’atmosfera da casa delle bambole. Cambiare la lunghezza focale e allontanarsi aiuta. Nel complesso, è un uso intelligente di ciò che può fare il nuovo modello di intelligenza artificiale. È uno spazio in rapido movimento, quindi è probabile che diventi obsoleto in pochi mesi.