Neue Gehirn-Computer-Schnittstelle ermöglicht das Komponieren von Musik mit Gedankenkraft

Gehirn-Computer-Schnittstellen (Brain-Computer-Interfaces; BCI) ermöglichen Menschen mit körperlichen Behinderungen, spezielle Prothesen allein Kraft ihrer Gedanken zu bewegen, um beispielsweise im Internet zu surfen und E-Mails zu schreiben.

Die durch das EU-Projekt MOREGRASP und das EU-geförderte Forschungsstipendium „Feel Your Reach“ unterstützte Arbeit floss in die Ergebnisse eines Forscherteams ein, das vom BCI-Experten Gernot Müller-Putz vom Institut für Neurotechnologie der TU Graz geleitet wurde. Die Forscher veröffentlichten kürzlich eine wissenschaftliche Arbeit, in der sie beschreiben, wie Komponisten Musik mit ihren Gedanken auf ein Notenblatt übertragen können.

Die Forscher des Projekts „Brain Composer“ bauten auf einer etablierten BCI-Methodik auf, durch die – mithilfe des ereigniskorrelierten Potentials der Welle P300 – Gedanken in Schrift gefasst werden können. Bei diesem Potential handelt es sich um ein gut erforschtes Muster im Elektroenzephalogramm, das für verschiedene BCI-Anwendungen eingesetzt wird, etwa für Elemente zur Regulierung der Umgebungsbedingungen, zur Nutzung von Internetbrowsern oder zum Malen. Die Forscher passten das P300-Muster an, um das Komponieren von Musik zu ermöglichen.

Das von ihnen entwickelte System „Brain Composing“ setzt sich aus drei Bestandteilen zusammen: dem EEG-Erfassungssystem, der P300-Steuersoftware und der Software zum Komponieren von Musik. Für die Signalabtastung nutzen die Forscher ein gelfreies Biosignal-Erfassungssystem. Zudem wurde ein P300-basiertes BCI-Universalsteuersystem mit der leistungsstarken Open-Source-Software MuseScore 1.3 kombiniert, mit der Musik komponiert werden kann. Siebzehn Teilnehmer, die alle in gewissem Maße ein Instrument beherrschten, sowie ein professioneller Komponist wurden im Umgang mit der Anwendung geschult. Anschließend arbeiteten sie im Rahmen von drei Aufgabenstellungen (Übertragen von Text, Übertragen von Kompositionen und freies Komponieren) mit dem System, um Melodien auf einem Notenblatt festzuhalten, indem sie lediglich an sie dachten.

Unter Berücksichtigung der Richtlinien für nutzerzentriertes Design untersuchten die Forscher Effizienz, Effektivität und subjektive Kriterien hinsichtlich Zufriedenheit, Freude, Frustration und Interesse. Die Probandengruppe aus Musikern erzielte eine hohe durchschnittliche Genauigkeit: 88,24 % (Übertragen von Text), 88,58 % (Übertragen von Kompositionen) bzw. 76,51 % (freies Komponieren). Der professionelle Komponist übertraf diese Werte sogar: 100 % (Übertragen von Text), 93,62 % (Übertragen von Kompositionen) bzw. 98,20 % (freies Komponieren). Bei der Beurteilung der subjektiven Kriterien stellte sich heraus, dass die Benutzer mit der Anwendung, die im Video „Sheet Music by Mind“ in Aktion zu sehen ist, sehr zufrieden waren.

In der Arbeit wird erklärt, dass es sich hierbei um den ersten Schritt in Richtung eines Kompositionssystems für schwerbehinderte Menschen handelt. Mithilfe der von den Teilnehmern erhaltenen Rückmeldungen nimmt das Team derzeit Feinabstimmungen an der entwickelten Software vor. Darüber hinaus beschreiben sie, dass sie mit ihrer Forschung an einem Brain-Composing-System arbeiten, „das einerseits zur Unterhaltung dient, schwerbehinderten Menschen jedoch vor allem ermöglicht, sich auszudrücken.“

Das Projekt MOREGRASP (Restoration of upper limb function in individuals with high spinal cord injury by multimodal neuroprostheses for interaction in daily activities) hat zum Ziel, eine nicht-invasive, multi-adaptive, multimodale Benutzerschnittstelle in Form eines Brain-Computer-Interface zu entwickeln, das die intuitive Steuerung einer halbautomatischen motorischen und sensorischen Neuroprothese ermöglicht, um Menschen mit hoch gelegener Querschnittslähmung bei alltäglichen Tätigkeiten zu unterstützen.

Weitere Informationen:
Projektwebsite