Das wichtigste in Kürze
Novum im Schweizer Markt: Die digitale Assistenz der Swisscom ist die komplexeste mehrsprachige TV-Box-Anwendung in der Schweiz.
Sprachunterstützung: Versteht Schweizer Dialekte sowie Deutsch, Englisch, Französisch und Italienisch – im TV- und Streaming-Bereich einzigartig.
Schnelle Entwicklung: In nur zehn Monaten durch agilen, iterativen Designprozess in vier Sprachen entwickelt und released.
Kernfunktion: Nutzer*innen sagen lange Titel wie „Harry Potter und der Stein der Weisen“ statt mühsam zu tippen – Steuerung per „Hey Swisscom“ oder Fernbedienung.
Eigenständige Persönlichkeit: Vollkommen unabhängige Assistenz mit markenspezifischer Persönlichkeit, entwickelt in enger Abstimmung mit Swisscom Branding und Grafik-UI Team.
Ergebnisse: 40% Steigerung der Sprachsteuerungs-Nutzung und Gewinn des „Best of Swiss Apps Award 2021“.
Zwei Interaktionswege: Sprachsteuerung über integriertes Box-Mikrofon („Hey Swisscom“) oder Push-to-Taste auf der Fernbedienung.
Swisscom Voice Assistant.
Die digitale Assistenz der Swisscom ist auf dem Schweizer Telekommunikationsmarkt ein absolutes Novum.
Eine solch komplexe, mehrsprachige Anwendung, die nicht nur Schweizer Dialekte beherrscht, sondern neben Deutsch auch Englisch, Französisch und Italienisch versteht, ist im TV- und Streaming-Bereich kein zweites Mal zu finden.
Hey Swisscom, welche Sprachen sprichst du?
Bei der Umsetzung des Swisscom Voice Assistants ging es rasant zu: In nur zehn Monaten haben wir die komplexe und mehrsprachige Assistenz in einem agilen und iterativen Designprozess in vier verschiedenen Sprachen entwickelt und den Kund*innen der Swisscom zugänglich gemacht.
Bedienen Sie Ihr TV auf dem einfachsten Weg
Swisscom-Nutzer*innen müssen lange Titel wie „Harry Potter und der Stein der Weisen* endlich nicht mehr mühsam in die Fernbedienung tippen. Sie können den Titel ganz einfach sagen.
Unsere Linguistik- und Conversation-Design-Expert*innen haben das gemeinsam mit der Swisscom möglich gemacht. Wir haben eine komplett eigenständige digitale Assistenz gebaut, die von anderen Plattformen unabhängig ist. Das hat uns die Freiheit gegeben, der Assistenz eine eigenständige Persönlichkeit zu verleihen, die voll und ganz hinter der Marke steht. Dafür haben wir eng mit der Branding-Abteilung gearbeitet und koordiniert, um sowohl die Kund*innen als auch die Marke Swisscom zu verstehen und in den Dialogen widerzuspiegeln. Ebenso ist eine enge Abstimmung im gesamten Prozess mit dem Grafik-UI Team beibehalten worden, damit die Sprache mit der Grafik harmoniert.
Diese erfolgreiche Zusammenarbeit hat uns dazu verholfen, die Nutzung der Sprachsteuerung um 40% zu steigern und den “Best of Swiss Apps Award 2021” zu gewinnen.
Die geheime Zutat für ein erfolgreiches Voice-Projekt
„Ich habe mit der VUI.agency (heute Ideabay.AI) in den letzten Jahren in meiner Rolle als Product Manager Voice intensiv zusammengearbeitet und nur gute Erfahrungen gemacht. Das Team ist smart, innovativ, agil und verlässlich.
Mit ihrer Tatkraft haben sie unsere Ziele konsequent erreicht und oft übertroffen. VUI.Agency ist Hauptakteur bei der Entwicklung von Voice Designs, multimodaler User Experience und Dialogen für unseren Swisscom Voice Assistant.
Während der gesamten Zusammenarbeit mit der Swisscom hat die VUI.agency nicht nur die Fähigkeit bewiesen mit Stresssituationen umzugehen, vielmehr haben sie hierbei auch hervorragende Leistungen erbracht. Als sie während des Projekts 2019 über eine verkürzte Frist informiert wurden, haben sie die anstehenden Voice-Design-Themen trotz des Zeitdrucks souverän gemeistert. Und in den letzten Monaten haben ihre effizienten Arbeitsprozesse und ihr Know-how das Gesamtergebnis unseres Voice-Produkts deutlich verbessert. Sie arbeiten hart und nehmen sich die nötige Zeit, um Qualität bis ins einzelne Detail sicherzustellen. Wir sind dankbar, sie in unserem Team zu haben.“
Mihajlo Zivkovic Program Manager Voice bei Swisscom TV Development
Ein paar Highlights aus dem Projekt
Voice Development und Voice Design
Unsere VUI Designer*innen, Voice Developer*innen und Linguist*innen arbeiten eng mit Swisscom- Expert*innen aus den Bereichen Knowledge Engineering, Voice Backend und Client Development zusammen.
Dabei begleiten wir das Voice Development auf allen Ebenen: Wir verhalfen der ersten Schweizer ASR (Automatic Speech Recognition) dazu, mehrsprachige Eingaben und Schweizer Dialekte zu verstehen.
Gemeinsam haben wir für die Swisscom Box ein intuitives und inklusives Voice-Design geschaffen, das wir kontinuierlich weiterentwickeln.
Über den gesamten Zeitraum der Zusammenarbeit haben wir gemeinsam effektive Arbeitsprozesse etabliert. Damit bewältigen wir komplexe Anforderungen an das Zusammenspiel zwischen Voice Design und Voice Development – und schaffen die perfekte Voice UX in einer multimodalen Umgebung.
Sound Design und Phonetik
Das Charisma einer Assistant Persona entsteht unter anderem durch ihre Sprechweise und durch nonverbale Signale der Kommunikation. Darum legen wir Wert auf ein aussagekräftiges Sound Design.
Durch unsere Teamzusammensetzung bringen wir wertvolle Kenntnisse aus einzelnen Fachgebieten der Linguistik ein. Mit unserer Expertise in Phonetik trainieren wir für die Swisscom standardisierte wie auch kundenspezifische TTS-Systeme für Deutsch, Englisch, Italienisch und Französisch – also die Systeme, die Text in die gesprochenen Worte des Voice Assistants transformieren. So bringen wir der Assistenz eine reibungslose Aussprache bei.
Utterance Design und Prompt Design
Durch Utterance Design und Prompt Design sorgen wir dafür, dass sich die Nutzenden und die Assistenz gegenseitig verstehen – und das in vier Sprachen. Dazu arbeiten wir mit Spezialist*innen der Swisscom aus Computerlinguistik und Knowledge Engineering zusammen.
Als Plattform nutzen wir Teneo. Die Plattform bietet eine gute NLU-Komponente (Natural Language Understanding), die auf einem hybriden Ansatz basiert. Sie vereint ein linguistisches Lernmodell mit den Prinzipien des Machine Learning.
Solch hybride NLU-Systeme sind von unschätzbarem Wert. Denn es geht darum, die größte Herausforderung in Sachen Spracherkennung zu bewältigen: Die Assistenz soll verschiedene Sprachen und Dialekte verstehen.
Dabei stellen wir mit unserem Utterance Design sicher, dass das System die Äußerungen der Nutzenden richtig zuordnen kann. Beim Prompt Design achten wir darauf, dass der Markenkern der Swisscom zur Geltung kommt. Und das auf charismatische Weise in vier Sprachen.
Voice UX
Es gibt zwei Wege mit der Swisscom Assistenz zu sprechen. Einmal über ein Mikrofon, das in die Swisscom Box integriert ist. So ist es möglich auch aus der Distanz Wünsche zu äußern. Es braucht einfach nur ein „Hey Swisscom“, um die Box aufzuwecken. Daneben gibt es auf der Fernbedienung der Swisscom Box eine Push-To-Talk-Taste samt Mikrofon.
Der Fernseher ist das zentrale Grafik-Interface im Zuhause vieler Menschen. Wir knüpfen mit einer Premium Voice Experience an und sorgen für ein umfassendes multimodales TV-Set-up.
Voice Monitoring & Analytics
Zusammen mit Datenanalyst*innen messen wir anonymisiert das Verhalten der User*innen sowie die Performance des Systems. Anhand von spezifischen KPIs, Abbruch- und Erfolgsquoten identifizieren wir Optimierungspotenziale. Mithilfe der Datenanalyse passen wir unser Design an und entwickeln den Voice Assistant stetig weiter.
Eine Kombination aus quantitativen Messungen und qualitativen Methoden – zum Beispiel Interviews mit Nutzenden – liefert uns wertvolle Daten. So kommt das wichtigste Feedback zur Optimierung immer von den Swisscom-User*innen selbst.
Nur durch ständiges Hinterfragen unserer Designhypothesen können wir das System fortlaufend an die Bedürfnisse der Nutzenden anpassen. Damit gewährleisten wir eine gute User Experience – und tragen unseren Teil zum Geschäftswert bei.
