projektek/2021-Websonify.txt
Webaudio alapú szonifikációs megoldások, melyeket egykoron az Újegyetem előadása számára készítettem.
https://makker.hu/szonifikacio/
Ezek egyelőre paraméterleképezéses szonifikációra, azon belül valós idejű lineáris és interaktív megközelítésekre épülnek. Háttérinfóként ajánlom a csatolt prezentációt:
https://makker.hu/szonifikacio/prez.html
Lineáris megoldások
A lineáris megoldások praktikus okokból nem teszik lehetővé a kiolvasás sorrendjének változtatását, de a felhasználó befolyásolhatja annak sebességét, a bemeneti adatokat, a hang-megszólaltatás paramétereit stb. A linearitás itt nem egy kényszer, hanem egy kényelmi megoldás az interaktív feltérképezéssel szemben: a felhasználó több figyelmet fordíthat a kimeneti eredményekre és a visszacsatolás vezérlésére. A példáim közül az első kettő nem is igazán képi, abban az értelemben, hogy bemeneti adatai a felhasználó által beírt szövegek; viszont ezek hangzó megjelenítése már a betűk x/y koordinátái, mérete, tehát vizuális információk alapján történik. Mindkét Betűjáték a beírt szöveg betűihez rendel hangzó paramétereket, de az első nagyobb vezérlési lehetőséget enged a felhasználónak az egyes paraméterek vezérlésében, míg a másik önjáróbb e tekintetben.
A Betűjáték 1 és a Betűjáték 2
Szintén lineáris lejátszást de már képi adatokkal valósít meg az a két képszekvenszer, ami a betöltött képek apró darabjait követi végig az x/y koordináták mentén (raszter-szkennelés), és az így kapott pixel-információk (valamely színcsatorna vagy a színezet értékei) használja fel a megszólaltatás alapjául. Az első képszekvenszer ehhez zongora-hangmagasságokat használ, a második pedig színuszhullámokat.
A képszekvenszer 1:
A Képszekvenszer 2:
Interaktív megoldások
Az információk sorrendjének lineáris visszaolvasása helyett a felhasználóra is lehet bízni ezen adatok feltérképezését (exploration) - ebben az esetben sokkal intuitívabb az eszközök használata, ugyanakkor viszont felhasználói aktivitást is igényel, ami bizonyos típusú figyelmet csökkent. Mindegyiket úgy alakítottam ki, hogy a meglévő képek helyett saját file-okat is fel lehet tölteni.
A Képlejátszató az egér/mutató pozícióját figyeli, és ha az a felhasznált kép felett jár, akkor az annak megfelelő képi információt adja vissza:
A Rajzolószekvenszer a felhasználó által kézirajzolt formákat elemzi, és az azokhoz társított adatokat szólaltatja meg olyan módon, hogy a különböző színekhez is más-más hangszíneket rendel. Szintén van lehetőség fotók betöltésére is. (Technikai információ: fel kell nagyítani az oldalt, hogy jobban látható legyen:)
A képi információk helyett ismét alfanumerikus értékeket és azok adatait használja fel a Smarniszonifikátor: a Smarni műhelyhez kialakított csomópont-alapú struktúra felkutatásával, mozgatásával lehet hangokat megszólaltatni. Az alábbi esetben a két műhelyelőadás kulcsszavait és kapcsolatait tartalmazó adatokkal lehet dolgozni: