Stable Diffusion

Stable Diffusion

qu’est-ce que c’est concrètement

Stable Diffusion est un modèle d’intelligence artificielle générative capable de produire des images à partir d’une description textuelle (le prompt). Il a été publié pour la première fois en 2022 par Stability AI, et il se distingue dès l’origine de ses concurrents par un choix éditorial : ses poids — les paramètres entraînés qui font fonctionner le modèle — sont diffusés en accès ouvert, sous une licence permissive. Concrètement, n’importe qui peut télécharger le modèle, le faire tourner sur son propre matériel, le modifier ou l’intégrer dans une application.

Ce choix change la nature du produit. Midjourney et DALL-E sont des services hébergés : on paye un abonnement, on envoie des prompts à un serveur, on récupère une image. Stable Diffusion peut être utilisé de la même manière (via des sites tiers ou des API), mais il peut aussi tourner intégralement sur la machine de l’utilisateur (CPU possible mais très lent, GPU recommandé), ce qui ouvre des cas d’usage différents : confidentialité totale des données, personnalisation lourde, intégration sur mesure dans un produit, fine-tuning sur des jeux d’images spécifiques.

Le principe de la diffusion, en termes simples

Le nom « diffusion » vient du principe mathématique sur lequel repose le modèle. Pour générer une image, le modèle part non pas d’une page blanche mais d’une image entièrement bruitée (du bruit aléatoire, comme une vieille télévision déréglée). Étape par étape, il « débruite » cette image en suivant une trajectoire conditionnée par le prompt. Au fil des itérations, le bruit s’efface et une image cohérente émerge.

L’entraînement initial a procédé en sens inverse : on a appris au modèle à reconnaître la structure des images en lui montrant comment du bruit y était progressivement ajouté. À l’usage, le mécanisme s’inverse : il défait ce qu’il a appris à faire. Cette intuition explique plusieurs comportements du modèle, notamment la sensibilité aux étapes (sampler) et le fait que les premières étapes posent la composition générale tandis que les dernières peaufinent les détails.

Les versions principales (1.5, SDXL, SD3)

ce qui change

Plusieurs générations de Stable Diffusion coexistent. La version 1.5 reste largement utilisée pour sa légèreté (elle tourne sur des GPU modestes), son riche écosystème de modèles dérivés et de LoRA, et son équilibre vitesse/qualité. SDXL a marqué un saut en qualité d’image et en compréhension du prompt, au prix d’une exigence matérielle accrue. SD3 et ses variantes plus récentes apportent des progrès supplémentaires sur le rendu de texte dans les images, la cohérence des compositions complexes et la diversité stylistique.

Le choix entre versions n’est pas qu’esthétique : il dépend aussi du matériel disponible, de l’écosystème de LoRA recherché et de l’usage final. Pour des illustrations rapides à itérer, la 1.5 reste pratique. Pour des images professionnelles, SDXL ou SD3 sont mieux placées. Cette concurrence interne au catalogue Stability AI évolue rapidement.

Trois façons d’utiliser Stable Diffusion

ComfyUI est plus puissant et flexible (interface en nœuds), mais sa courbe d’apprentissage est plus raide. A1111 et Forge proposent une interface plus classique. Le choix entre les trois est largement une question d’habitude.

Prompt, negative prompt, sampler, LoRA

le vocabulaire utile

Six termes essentiels suffisent pour s’orienter — pas la peine de tout retenir au premier passage. Le prompt est la description textuelle qui guide la génération. Le negative prompt est une liste de termes que le modèle doit éviter (par exemple « blurry, low quality, deformed hands »). Le sampler est l’algorithme qui pilote la séquence de débruitage (DPM++, Euler, UniPC, etc.) ; chaque sampler a son compromis vitesse/qualité. Le nombre d’étapes (steps) contrôle la finesse du débruitage : trop peu produit des artefacts, trop ne change presque rien. Le CFG scale (Classifier-Free Guidance) règle l’intensité avec laquelle le modèle suit le prompt : trop bas, des résultats vagues ; trop haut, des images saturées et artificielles.

Un LoRA (Low-Rank Adaptation) est un petit fichier d’entraînement complémentaire qui « spécialise » un modèle sur un style, un personnage ou un objet précis sans réentraîner l’ensemble. La communauté en partage des milliers, libres ou non. Ce vocabulaire paraît dense au début ; il se maîtrise en quelques heures de pratique sur une dizaine de générations.

Stable Diffusion vs Midjourney, DALL-E, Imagen

La comparaison utile ne porte pas que sur la qualité d’image. Midjourney produit des images souvent plus immédiatement esthétiques, avec un style identifiable, et un usage très accessible via Discord. DALL-E (OpenAI) excelle dans la cohérence du texte dans l’image et la compréhension fine du prompt. Imagen (Google) est en train de monter en gamme rapidement, intégré dans l’écosystème Google.

Stable Diffusion n’est en général pas le plus simple à utiliser pour qui veut juste obtenir une belle image rapidement. Sa force est ailleurs : contrôle, personnalisation, intégration locale, écosystème de modèles dérivés, fine-tuning. Pour un usage personnel occasionnel, un service hébergé est souvent plus pertinent ; pour un usage professionnel intégré ou pour des cas d’usage sensibles, Stable Diffusion est difficile à remplacer.

Limites techniques et questions juridiques

Les limites techniques sont connues : difficulté historique avec les mains, le texte dans l’image (très améliorée par SDXL et SD3), les compositions complexes, la cohérence entre plusieurs générations d’un même personnage. La fenêtre de prompt reste relativement courte par rapport au texte qu’on aimerait y mettre. Et les images en très haute résolution exigent encore des techniques particulières (upscaling, tiling).

Les questions juridiques sont en construction. Le droit d’auteur sur les images générées (en France, une intervention humaine substantielle est généralement requise pour qu’une œuvre soit protégeable), l’entraînement des modèles sur des images protégées sans autorisation (procès en cours), les usages problématiques (deepfakes de personnes réelles sans consentement, contenus à caractère sexuel impliquant des mineurs, contenus haineux — punis pénalement en France indépendamment de l’outil) et le règlement européen sur l’IA (AI Act, obligations de transparence et de marquage des contenus générés) font partie du même chantier juridique. Suivre l’actualité réglementaire est nécessaire pour tout usage professionnel.

À retenir avant de générer sa première image

Stable Diffusion n’est pas la solution la plus simple pour générer une image jolie le dimanche après-midi ; pour cet usage, un service hébergé fait mieux et plus vite. C’est en revanche l’outil de référence pour qui veut du contrôle, de l’intégration, de la personnalisation ou de la confidentialité. Choisir sa voie d’usage selon son matériel et son besoin, comprendre le vocabulaire de base, et suivre les questions juridiques en cours sont les trois conditions d’un usage sérieux.