Also ich habe vor einiger Zeit etwas mit der Face-Detection-Api expirementiert und bei mir wurden die Ergebnisse am besten mit Graustufenbildern und bei etwas kleineren Größe erzielt. Dabei ist es auch super schnell gewesen. Ich würde das Originalbild verkleinern, in Graustufen konvertieren und darauf die Gesichtserkennung mit der mittleren Genauigkeit laufen lassen.

Für die Breite des Mundes würde ich einfach die X-Positionen der Augen mit einem zusätzlichem Offset verwenden. (die Kopfneigung natürlich mit berücksichtigen) Ist zwar grob, aber wird in vielen Fällen bei einem Lächeln passen.
Ansonsten musst du die Ausmaße des Mundes durch Bildverarbeitung "zu Fuß" ermitteln.

Dazu müsste man sich in die allgemeine Bildverarbeitung einarbeiten. (Zum Beispiel mit dem Buch: "Digitale Bildverarbeitung: Eine algorithmische Einführung mit Java". Ist zwar Java, aber die Grundlagen können übertragen werden)
Zwischen den geschlossenen Lippen gibt es eine horizontale Linie, also eine Kante die durch bestimmte Filter verstärkt und ausgewertet werden kann. Bei einem lächeln könnte man nach hellen Zähnen suchen.
Aber allgemein ist dieses Vorhaben nicht einfach und ohne Vorkenntnisse in der digitalen Bildverarbeitung unmöglich.