Alle Beiträge von luca

Puccini, my old enemy

puccinirolle

Bis vor einigen Wochen hieß es ja von Seiten des Deutschen Museums, dass von allen Notenrollen nur die ersten 60 cm abfotografiert seien. Bestimmt auf Nachfrage einer der anderen drei Notenrollengruppen haben sie nun eine komplette Rolle digitalisiert, und zwar das Solo „In quelle trine morbide“ aus der Puccini-Oper Manon Lescaut . Die Datei ist in der vollen Auflösung 250MB groß, schließlich ist die Rolle mehrere Meter lang.

Ich bin ja bei MIDIOLA für alles verantworlich, was mit Sound zu tun hat, also war es meine Aufgabe, unseren Auslese-Algorithmus so anzupassen, dass beim Scannen der Rolle nicht irgendein Nonsens sondern das eigentliche Stück zu hören ist. Leichter gesagt als getan. Statt eine MIDI-Klaviatur zu benutzen, setzt unsere Software den Grundton des mittleren A (440Hz) einfach in die Mitte der Rolle. Die Noten rechts von der Mitte sind dann einfach nur durch +1, +2, +3 codiert, die links daneben mit -1, -2, -3 (also nichts von der schönen musikalischen Notation mit C, C#, D, etc). Zu allem Überfluss war auch die Anzahl der „Tasten“ unseres Instruments nicht klar und musste willkürlich gesetzt werden. So konnte die ganze Rollenbreite quasi als 12 oder aber als 88 Tasten ausgelesen werden. Was blieb, war eine Youtube-Aufnahme von Maria Callas, die ich folglich rauf und runter hörte.

Was tun? Zumal ich die letzte Woche ja keinen kühlen Kopf in Berlin bewahren konnte sondern bei 30°C+ auf Exkursion in Assisi und Umbrien schmorte, dem MIDIOLA Team jedoch versichert hatte, das Problem zu lösen.

_MG_0648

pucciniscore

Der Schlüssel war eine Partitur, die ich umsonst im Internet fand. Die paar Jahre Klavierunterricht haben sich ausgezahlt, indem ich die Noten des Stückes in die von unserer Software benutzten Nummern übersetzen konnte.  Das hohe Es von In quelle war hochgerechnet vom Grundton A also +18, das tiefe Ges aus dem Klavier-Intro -27. Durch Herantasten mit willkürlichen Werten (nervig!) musste ich die Klaviatur unserer Software so „spreizen“, dass die beiden Töne von unserer Software als ebendiese Werte ausgelesen wurden. Heraus kam, dass MIDIOLA statt den üblichen 88 Tasten des Klaviers ganze 106 hat, da auch der äußerste Rand der gescannten Rolle als mögliche Note ausgelesen werden kann.

Leider hatte ich ja diese Woche die Generalprobe verpassen müssen, dafür habe ich trotz der italienischen Hitze und mit Maria Callas als gebührenden Soundtrack diese Woche einen Beitrag geleistet, der dem Namen „Coding DaVinci“ alle Ehre macht.

MIDIOLA Codingtreffen FU

dsc_0242_1024Nach unserem erfolgreichen Codingfrühstück haben wir uns für eine Woche später gleich zum nächsten Codingtreffen verabredet. Ort war diesmal aus praktischen Gründen das Informatik-Institut der FU, Ziele waren Arbeiten am Interface und ein großes Problem mit dem Live-Scan: Einige Noten die abgespielt wurden, wurden ewig gehalten und nicht mehr zum stoppen gebracht. Nach einer Suche nach der Lösung, die bereits in der Woche zuvor begonnen hatte, fanden wir endlich das Problem:

Zentral für unsere Live-Ansicht ist ja, dass man beim Abscannen der Rolle von links nach rechts auch einen gewissen Spielraum für Bewegungen nach oben und unten hat, da ja niemand den Arm wie eine Wasserwaage bewegt. Tom hatte schon einen gekonnten Algorithmus geschrieben, der eine gewisse Abweichung nach oben und unten zulässt indem er die gerade gehaltene Note beim „Slipping“ mitnimmt. Diese Note verschwand jedoch von der Liste der aktuell gehaltenen Töne, was sie nicht den NoteOff-Befehl erhalten lies.  Mit wenigen Zeilen Code konnte auch dieses Problem behoben werden und die Noten verhielten sich auch trotz „Slipping“ wieder normal.

Danach irrten wir noch ein wenig durch die FU auf der Suche nach einem Schokoriegel und verabschiedeten uns in den Nachmittag.

MIDIOLA Coding-Frühstück

_MG_0393

Heute haben wir uns zum MIDIOLA Coding-Frühstück getroffen.  Erklärte Ziele waren es, das Menü nach Momos schicken Entwürfen zu gestalten, die Live-Kamera-Ansicht auf die Startseite zu bringen und den von Tom im letzten Blogpost beschriebenen NoteOn/Off Mechanismus einzubauen um auch das Abspielen im Live-Scan-Modus zu ermöglichen.

_MG_0394

Nach einem reichhaltigen Büffet und einer Tasse des wohl stärksten Filterkaffees der westlichen Hemisphäre begann unsere mehrstündige Programmiersitzung. Da wir keine Notenrolle zur Hand hatten, mussten wir für die Arbeit am Live-Scan ein letztes Mal auf einen Papier-Dummy zurückgreifen.

_MG_0395b

Es war super produktiv, sich gegenseitig zu motivieren und unter die Arme zu greifen. Wir haben es geschafft, einige der loose ends unseres Projekts zusammenzustricken und haben auch bei Notenrollen-Dauerpfeifen (NoteOn war einfach, NoteOff machte Probleme 😀 ) unseren Verstand bewahrt. Die Live-Ansicht ist nun dank Toms sagenhafter Arbeit ein Spektakel, das sich schon ziemlich sehen und hören lassen kann!

 

MIDIOLA – Paper Prototype Walkthrough

MIDIOLA Prototype

Nach einem Startbildschirm mit dem MIDIOLA Schriftzug kommt man in das dreigliedrig aufgebaute Menü mit Knöpfen für Live View, die Library und den QR-Code Reader.

1.) Mit dem QR-Code-Reader kann man Codes an nicht ausgerollten  Exponaten scannen um direkt zu deren Eintrag in der Library gelangen.

2.) Drückt man auf den oberen Teil des Screens öffnet sich der Live View Modus: Die Kamera wird aktiviert und das Kamerabild auf dem Bildschirm sichtbar. Eine kleine Animation weist darauf hin, nun mit dem Handy über die ausgerollten Notenrollen-Exponate zu scannen. Ein schmaler Strich in der Mitte des Fensters weist auf die Stelle hin, an der die Notenstriche abgespielt werden. Oben rechts findet sich das Symbol für die Klangeinstellungen (s. unten).

3.) Drückt man im Startmenü auf den Library-Knopf gelangt man in die Notenrollen-Bibliothek. Hier sind man von den Notenrollen deren charakteristisches Endstück. Mit Wischen nach links und rechts kann man so die Rollen wechseln, welche durch ein Text-Overlay mit Titel und Komponist identifizierbar sind. Ein Hinweis „Pull to Play“ weist auf deren Abspielbarkeit durch ein Wischen nach unten hin. Nun wird die Rolle abgerolllt und die Töne beim Erreichen der Bildschirmmitte abgespielt. Wischen nach oben und unten lässt den Benutzer durch die Rolle scannen und regelt außerdem die Abspielgeschwindigkeit. Die Ansicht funktioniert in vertikaler sowie horizontaler Ansicht, bei dem die Rolle beim Abspielen wie gewohnte Musiknotation zu lesen ist.

4.) In der Menüleiste am oberen Rand findet sich ein Infoknopf, welcher ein Fenster mit Informationen zu Stück und Komponisten öffnet, welche aus den Metadaten und Wikipedia hervorgeht. Ein Tippen auf den Klangknopf lässt das Klangeinstellungs-Fenster mit den drei zu spezifizierenden Drehreglern herausfahren, welche den Benutzer die Klangfarbe verändern lassen, während die Musik weiterläuft (bspw. Höhe, Harmonie, Hall und Echo, oder Weichheit und Härte des Tons).

MIDIOLA Interviewergebnisse

MIDIOLA Nutzerbefragung

Während unser Interesse an den Notenrollen schon seit Beginn des Kurses feststand, kam im Brainstorming jedoch die grundsätzliche Frage auf, ob wir uns dem Bestand mit einer Hardware- oder einer Softwarepräsentation nähern sollten. Diese Entscheidung sollte uns das Interview erleichtern. Unsere Fragen waren dabei eher frei und offen formuliert.

Welche Erwartungen hast du an eine Präsentation der Notenrollen? Welcher Aspekt wäre dir bei der Präsentation am Wichtigsten? Wie siehst du dich mit einer spielerischen Anwendung interagieren?

Interviewpartner waren Leute aus unserem Umfeld, in unserem Alter und mit ähnlichen Interessen wie wir, die zum Teil schon vom Notenrollen-Projekt wussten, unsere Überlegungen zu Hard- und Software jedoch noch nicht kannten.

Treffen2

Aus den teilweise längeren Antworten arbeiteten wir bei einem abendlichen Treffen in der Sophienstraße Stichworte heraus, die das Gesagte schlank zusammenfassten, bspw. „Niedrigschwellig, ohne Vorwissen“ oder „Schnelles Verstehen, nicht zu komplex“. Aus den Stichworten entwickelten wir die sechs Interessenskategorien: Historischer Kontext/Dokumentation, Schwerpunkt Audio, Starke visuelle Komponente, Erreichbarkeit, Interaktivität/Nutzereinbindung und Materieller Aspekt/Hardware

Die einzelnen Interviewpartner konnten wir somit in ein Raster einordnen, das ihre Interessen wiedergab. Dabei gab es keine Abstufung – eine Nennung von bspw. „Verständliche Aufarbeitung der Technik“ war ein Ausschlag auf der Achse „Hist. Kontext/Dokumentation“.

In der Überlagerung der Interessensraster stellten wir fest, dass der materielle Aspekt einer Präsentation als keinesfalls so wichtig empfunden wurde wie eine umfassende Dokumentation oder die Niedrigschwelligkeit und Erreichbarkeit der Präsentation. MIDIOLA Nutzerbefragung 2

Dies erleichterte uns die endgültige Entscheidung für eine mobile Softwareanwendung, zumal diese im Gegensatz zu einer Hardwareinstallation auch bessere Möglichkeiten für eine historische Unterfütterung des Materials durch Querverweise bietet. Durch ihre besondere Verfügbarkeit bringt eine App weiterhin auch eine bessere Erreichbarkeit und Nutzereinbindung mit sich.