Comment générer du texte parfait sur une image IA ?

Même si SDXL est actuellement l’IA d’image la plus avancée, sur le texte, elle reste encore imparfaite. L’IA d’image est comme un enfant, Stable Diffusion 2.1 et 1.5 est vraiment le petit morveux qui babille des mots incompréhensibles.

En l’espace d’un an, SDXL arrive à former quelques mots, mais il faudra du temps pour que l’IA puisse générer des phrases entières sur des images. Cependant, l’utilisation de ControlNet permet de résoudre partiellement ce problème.

Utiliser ControlNet pour créer vos textes sur image IA

ControlNet est une méthode pour rajouter du controle et de la précision sur une image IA. A la base, on l’utilise pour prendre une pose d’origine pour l’appliquer à nos images IA. ControlNet possède plusieurs modes comme Canny, Depth, Pose, etc. C’est le mode Canny qu’on va utiliser et qui analyse les contours d’une image d’origine.

Playground AI propose sa propre version de ControlNet appelé Control Traits et son Canny s’appelle Edge. Donc, le principe est de déjà créer le texte, l’exporter en PNG et le fournir comme entrée à ControlNet en mode Edge. Ensuite, on écrit notre prompt et cette prompt va s’appliquer à l’image en gardant le texte.

On peut me dire que c’est enfoncer des portes ouvertes puisqu’on doit créer le texte au préalable. Oui, mais ensuite, vous pouvez utiliser l’IA pour lui appliquer tous les effets que vous voulez.

La limite est qu’on ne peut pas déformer le texte par l’IA parce qu’il va respecter l’entrée de ControlNet à la lettre. Cependant, c’est déjà un progrès pour avoir des textes parfaits dans nos images IA. Par exemple, si vous créez des compositions via le Canvas de Playground AI, alors vous pouvez utiliser cette technique pour créer des Flyers, des bannières, etc sans quasiment toucher à un logiciel de retouche photo.

Générer du texte sur vos images IA étape par étape

En premier lieu, on va utiliser Playground AI, mais si vous avez Stable Diffusion en local, vous pouvez faire la même chose. Activez ControlNet en mode Canny et suivez le reste des étapes. Playground AI vous permet de générer 500 images gratuites par jour, donc, vous êtes large.

La première chose est de créer notre texte. Vous pouvez utiliser n’importe quel logiciel, moi, j’utilise Inkscape. Créez votre texte et exportez-le au format PNG. De préférence, il faut qu’il soit blanc, donc le résultat sera un texte blanc sur un fond transparent. Vous ne verrez rien, ce n’est pas grave, mais c’est important, d’après mes tests, pour que le mode Edge de Playground AI le détecte correctement.

Notre texte de base en PNG, c’est normal qu’on ne voit rien, c’est du texte blanc sur fond transparent

Ensuite, allez sur Playground AI et trouvez Control Traits dans l’interface du Board. Il se trouve sous le mode Image to Image. Fournissez votre image de texte et mettez une valeur de 0,9 dans Control Weight (la valeur par défaut est 0,5). Laissez Edge Treshold à 200. La valeur de 0,9 est nécessaire pour que le texte se retranscrive parfaitement. Et avec cette technique, vous pouvez utiliser des phrases entières avec des accents, des caractères spéciaux, etc.

Control Traits sur Playground

Le mode Edge dans Playground. On voit clairement notre texte qui sera appliqué

Ensuite, mettez votre prompt pour rajouter un effet sur le texte. Ci-dessous, quelques résultats avec des prompts différentes. Notons que quel que soit le prompt, le texte va toujours s’afficher.

Prompt : “fire effect on text” sur le modèle SDXL

Prompt : “Ice effect on text” sur le modèle SDXL

Prompt : “Water effect on text” sur le modèle SDXL

Une fois que le texte es généré, Playground vous offre différentes options comme supprimer son arrière-plan ou la modifier dans le Canvas afin de créer une composition ou autre. Ce qui est cool est que même si on dit qu’on veut appliquer un effet sur le texte, mais que ce dernier n’ est pas fourni, l’IA semble “comprendre” le texte dans le ControlNet et notre effet est appliqué directement au texte. Et on peut le faire avec n’importe quel effet. L’imagination est la seule limite.

Prompt : “letters of different colors spark effect” sur le modèle SDXL

Prompt : “orange neon effect on letters, green leaves pattern in background” sur le modèle SDXL

La limite de cette technique est que le mode Edge de ControlNet est tellement strict qu’on ne peut pas déformer le texte. L’idéal serait de fournir un texte de base en entrée et ensuite, on pourrait jouer avec. Avec les prompts d’effet, on peut avoir de jolis résultats, mais on ne va pas impacter la forme du texte.