Face and Voice Tracking for Automatic Animations in Adobe Character...

With Adobe Character Animator you can animate digital puppets very easily and even partly automatic. The program tracks you voice and face and switches between the rigged states according to what you do. You can even live stream your puppet and put it over another video layer, for example in Let's Play gaming streams. Soon Adobe wants to add arm tracking as well. This is a revolution in animation and quickly getting better. In this article I present my approach to add automatic animations to my new puppet Steemie the Genie.

Mit Adobe Character Animator kannst du digitale Puppen sehr einfach und teilweise sogar automatisch animieren. Das Programm erfasst deine Stimme und dein Gesicht und wechselt automatisch zwischen voreingestellten Gesichtszügen. Du kannst die Puppe sogar live streamen und als weitere Ebene über ein anderes Video legen. Bald will Adobe sogar Arme miterfassen. Dies ist eine Revolution in Animation und wird stetig besser. In diesem Artikel zeige ich meine automatischen Animationen für meine neue Puppe Steemie der Genie.

Rigging the Shapes

After you have created your puppet in Photoshop, Illustrator or even 3D Studio you can import it into Character Animator. If you have already labeled all layers accordingly the program will assign the correct mouth positions to each mouth group. In the screenshot above you see the Smile group being assigned to the Smile tag you see on the right menu under Mouths. I went a step further and added extra eyelids to the smile group and bigger eyes to the surprised group. This will give my puppet more variation. Now when I smile all layers in this group will be triggered and shown.

Nachdem du deine Puppe in Photoshop, Illustrator oder gar 3D Studio entworfen hast, kannst du sie in Character Animator importieren. Wenn du die Ebenen korrekt beschriftet hast, erkennt das Programm alle Mundpositionen automatisch. Auf dem Screenshot oben siehst du die Smile-Gruppe dem Smile-Tag im rechten Menü unter Mouths zugeordnet. Ich bin noch einen Schritt weiter gegangen und habe Extra Augenlider zu der Smile-Gruppe hinzugefügt sowie größere Augen für die Surprised-Gruppe. Das gibt meiner Pupper mehr Abwechslung. Wenn ich jetzt lächel werden alle Ebenen der Gruppe ausgelöst.

The different Auto-Animation Shapes

Steemie

Another important step for the upcoming Steemie-Show (or whatever I will call that) is done. The next step will be key trigger animations and loop-animations. A key trigger could include different emotions, hand and arm gestures as well as appearing and disappearing in his bottle. For a loop I want him to automatically hover with slight movement, similar the the GIF below but smoother and circular. If you have ideas for further Steemie animations please suggest them in the comments below. I will see what I can do. Please be aware that it should be something that doesn't involve many new drawings.

Ein weiterer wichtiger Schritt ist erledigt für meine kommende Steemie-Show (oder wie ich sie auch immer nennen mag). Als nächstes folgen Tastatur-Befehle und Loops. Ein Tastaturbefehl könnte weitere Emotionen auslösen, Hand- und Armgesten sowie aus seiner Flasche auftauchen und wieder verschwinden. Für den loop möchte ich ihn leichte in der Luft schwebende Kreisbewegungen machen. Falls du noch Ideen für weitere Steemie-Animationen hast, teile sie bitte in den Kommentaren. Ich werde sehen was ich umsetzen kann. Bitte bedenke dabei dass es etwas einfaches sein sollte.