dimanche 21 août 2011

Rapport son-image

Je suis en train de lire "Entendre le cinéma" de Daniel Deshays paru l'an dernier chez Klincksieckqui continue la réflexion sur le rapport au son qu'il avait entammé avec son livre précédent "Pour une écriture du son".
Ici il traite du cas particulier du son au cinéma, ou du moins du son associé à une image animée.


C'est le genre de lecture qui confirme pas mal de choses !
  • Le rapport entre la projection d'une image et la diffusion sonore est abordée. Ce qui me ramène à la question de chosifier l'écran et les diffuseurs sonores pour ne plus être dans un rapport à une image ou des sons désincarnés.
  • La notion de temporalité est plus centrale. Le rapport entre la continuité sonore et la discontinuité de l'image ou dit d'une autre façon le choix d'un point d'écoute global par rapport à un point de vue variable (mouvant ou elliptique). On parle aussi du synchronisme entre image et son, le sonore validant le visuel.
Loin d'avoir terminé le livre, voici déjà pas mal de réflexions par rapport à mon dispositif, la partie sonore en particulier. Quelque part il me semble trop riche pour être maîtrisable en direct avec l'image. Son écriture me paraît trop figée ou trop absente. Dernièrement j'ai travaillé sur l'adaptation d'une partition de John Cage : What about the noise of crumpling paper.... Cette partition est basée sur des signes très simples de sons courts à l'unisson ou de matières sonores éventuellement répétées. J'avais un premier dispositif sonore pour m'accompagner sur cette base pour mon premier solo. Je l'ai par la suite enrichi, trop sans doute. L'unité ou la restriction de sons abstraits et la domination du silence me paraît ouvrir plus d'espace pour l'image et évite l'écueil qui consiste à faire converger image et son de façon plus ou moins illustrative.

But what about the noise of crumpling paper which he used to do in order to paint the series of "Papiers froissés" or tearing up paper to make "Papiers déchirés?" Arp was stimulated by water (sea, lake, and flowing waters like rivers), forests

Mais, pourquoi ne pas conserver le dispositif sonore précédent, ouvert à la manipulation et de créer un second dispositif visuel et autonome ? Une sorte de proposition inversée de la première ?
Sans doute l'occasion de travailler la prise de vue au super8, voire de fabriquer une caméra 16mm à sténopé.

références :
Site internet de Daniel Deshays (je vous conseille de prendre le temps d'écouter les conférences qui ont donné lieu par la suite à son dernier livre à la fin de la page "actualité, vestiges").
Entendre le cinéma nov. 2010
Pour une écriture du son avril 2006


lundi 25 avril 2011

Patchs audio et image

Le patch audio a finalement un peu évolué... Faute de suffisamment de prise de son en quadriphonie, j'ai fait une version pour spatialiser des prises de son stéréophoniques sur quatre ou six enceintes en redoublant.

L'empreinte sonore gagne aussi la possibilité de choisir entre le système principal ou un système annexe. Pour le système annexe je pense faire utiliser des petits hauts-parleurs disposés dans l'espace public en doublant ou quadruplant les sources pour faire un tapis sonore au sens acoustique du terme.

Pixophone_3.04_mc4

C'est le patch image qui a subit le plus d'ajouts...

Enfin ça commence avec le retrait de la possibilité de déformer les images des patchs. Ce n'était pas très joli et je ne m'en servais pratiquement jamais. Ca faisait des déformations très anguleuses ou inexistantes selon que le maillage déformé était lâche ou serré.

De plus le patch de rendu a été réarchitecturé pour donner la possibilité de traiter les images plus facilement avec des shaders, le jour où je m'y mettrai...

Il y a quelques mois j'ai fait des tentatives en incorporant de la projection sur le plan de travail par le biais d'un picoprojecteur. Ce n'est pas encore abouti. Ce que j'avais fait donné l'impression qu'on érodait des images par le passage de la main devant une seconde caméra vidéo. L'image refilmée n'est pas très belle. Il y a sans doute plus de choses à faire avec des images contrastées...

pixophone_1.13d

Une paire de vieilles idées sont passées en pratique :
  • Pouvoir jouer les images samplées en passant par les pads. C'est chose faite. Ca marche et ça permet d'avoir plus de dynamisme par moment, de changer de rythme. Les pads peuvent lire à partir d'un point fixe ou d'un point incrémenté à chaque lecture. En clair on peut choisir de répéter les fragments ou de déplacer la référence à chaque lecture. Ces images peuvent apparaître en dessous de celle de la caméra ou au dessus comme pour les autres modes des pads.
  • Pouvoir enregistrer et rejouer en boucle le mélange des quatre images avec la possibilité de faire varier la vitesse et de charger de nouvelles images. Ca aussi c'est fait ! Tant mieux parce qu'avec le son et l'image à gérer en même temps, il va falloir gagner un peu de temps côté image.

lundi 18 avril 2011

Apéro Codelab #10 - Le Jardin Moderne à Rennes

Voici la vidéo de la présentation du Pixophone en solo à Rennes lors de l'apéro Codelab du 18 février 2011 au Jardin Moderne.

Ca tient plus de la démonstration technique. On venait de se faire une dizaine de mini-conférences depuis 20h et on m'a un peu pressé de faire un truc rapide. Donc rapide, ce fut...



Un grand merci à toute l'organisation et un coucou à tous les membres du forum que j'ai eu le plaisir de rencontrer là-bas.

samedi 26 mars 2011

Patch audio, suite

Voici la version finale (c'est toujours ce qu'on dit ! :) ) de mon patch audio :
  • Sampler aléatoire
  • Sampler variable (pitch + time stretch)
  • Empreinte sonore
Sampler Aléatoire + Sampler variable + Empreinte sonore

samedi 26 février 2011

Sampler Aléatoire + Empreinte sonore

La partie audio avance avec des versions multicanales du patch précédent qui peut sortir sur 4, 5 ou 6 hauts-parleurs en plus de la stéréo. On peut gérer la diffusion pour chaque lecteur en contraignant la lecteur sur certaines paires de hauts-parleurs.

Il y a eu aussi quelques bugs de trouvés et éradiqués. On en découvre toujours un ultime alors qu'on pensait avoir fait le tour des problèmes...


Il y a maintenant une partie du dispositif qui prend des empreintes sonores soit à la demande, à un rythme défini ou en fonction d'un seuil et qui produit trois types de sons à partir de cette analyse : des harmoniques, du bruit blanc filtré et un tout petit fragment de son lu en boucle. Il y a deux banques en parallèle et ces sons peuvent être spatialisés et animés.

La dernière partie qui reste à programmer est un lecteur de longues boucles qui pourrait éventuellement avoir une interaction avec une caméra par le biais d'une analyse d'images. A suivre...

samedi 22 janvier 2011

Lecteur de sample aléatoire

Dans le but d'avoir un dispositif sonore pratiquement autonome, voici la première partie : un lecteur de samples aléatoire.
Les samples sont organisés en banques, l'idée étant d'avoir une certaines homogénéité à l'intérieur de chacune. Par exemple j'ai préparé à partir de prise assez longues des séries de brames de cerf, de sifflement électroniques, de bending de radio, de porte qu'on ouvre, de bruissement de feuilles morts, etc.

Dans le patch je peux choisir quatre série dans les banques de 1 à 4, c'est la partie haute de l'interface. Pour chaque banque on peut définir une probabilité de tirage au sort. On sélectionne aussi les banques actives pour ne pas avoir à modifier les réglages de probabilité de tirage. Enfin, un réglage de niveau propre à chaque banque.

sampler aléatoire

La partie inférieure gère les lecteurs :
On les démarre et les arrête avec le premier bouton (vert), on gère la quantité de silence entre chaque sample lu par chacun des lecteurs avec le bouton suivant, c'est une consigne pour un tirage aléatoire de la durée qui prend également en compte la durée du sample lu précédemment. Le petit carré à côté du réglage permet de visualiser ces moments de silence.
"Skip" permet de ne pas avoir ce moment de silence sans modifier la consigne de toute façon au minimum de donne pas un silence nul.
"Hold" permet de continuer de lire le même échantillon sans nouveau tirage au sort pour ce lecteur.
Affichage de la banque et de l'index du sample en cours de lecture.
Finalement on trouve un niveau pour chaque lecteur.

La partie la plus basse contient les "boyaux" du patch.

Prochaine phase faire une lecteur de boucles pour des tapis sonores.
Les paramètres de ces deux modules seront sans doute influençables par une analyse d'image.

samedi 8 janvier 2011

Texte de présentation du Pixophone

Le Pixophone – Performances audiovisuelles de Pierre-Olivier Boulant


Le Pixophone est un dispositif de performance audiovisuelle qui permet de manipuler d'une part des images fixes faites au moyen de sténopés ou captées en temps réel par une caméra et d'autre part des prises de son (paysages sonores) et des matières sonores de l'instant.

Pixophone - Pierre-Olivier Boulant Le Pixophone

Le Pixophone allie les contraintes fertiles de l'analogique et du manuel à la flexibilité offerte par la lutherie informatique. C'est un grand-écart entre modernité technologique et archaïsme photographique (sténopé, photogramme, argentique). A l'heure actuelle le dispositif est essentiellement visuel. Il s'inscrit dans la continuité des appareils de projection classiques : l'agrandisseur du photographe-tireur argentique, le rétroprojecteur des premières expériences visuelles. Tout en conservant les gestes du tirage photo, le dispositif numérique permet plus de souplesse dans la manipulation des images ce qui ouvre de nombreuses pistes de travail.


Le Pixophone Pixophone - Pierre-Olivier Boulant

Description du pupitre de travail : un agrandisseur est monté sur une table lumineuse. Sur la tête de l'agrandisseur une caméra numérique est montée. Elle filme ce qui se passe au dessus de la table lumineuse. A l'aide d'un programme élaboré dans Pure Data, l'image captée en direct sert de masque à un mélange de photographies avec lesquelles on peut interagir par différents contrôleurs (MIDI, Arduino).
Un thérémine optique et des petits microphones sont installés autour du pan de travail pour générer ou capter du son. Une analyse des images projetées à l'aide de Pure Data servira à la modulation des paysages sonores diffusés.

Le Pixophone (v109mk) caisse sténopés

Les photographies qui alimentent les banques d'images numérisées du Pixophone sont réalisées au sténopé. Le sténopé est le dérivé photographique de la Camera Obscura. C'est l'appareil photo le plus rudimentaire puisque c'est en général une simple boîte percée d'un minuscule trou à l'intérieur de laquelle on place un support photosensible (papier ou pellicule). Les images qui en sortent ont une douceur caractéristique et peuvent être floues, bougées, abstraites, déformées voire anamorphosées.
Cette technique permet autant une exploration d'un sujet que celle du médium en lui-même. En effet on peut concevoir ses propres appareils de forme insolite ou avec une multiplicité de points de vue : autant de façon de poser un regard sur le monde qui nous entoure.
Dans certains cas, le travail peut se faire à partir d'images d'archives ou, du moins, plus classiques avec une volonté de narration.

Les prises de son sont des captations stéréophoniques ou quadriphoniques de paysages sonores ainsi que des matières plus abstraites.

Les images et les sons peuvent aussi être collectés à l'occasion d'un travail de résidence.

Ce travail se prête aussi très bien aux situations de concert avec des musiciens ou d'autres artistes sonores.

Pixophone Trio - Guillaume Blaise Pixophone Trio - Michel Doneda

Lors d'une représentation la salle et le plateau sont plongés dans le noir, l'éclairage scénique est réduit au maximum pour ne pas interférer avec la projection. S'il y a d'autres artistes sur scène, ils sont éclairés au minimum. La disposition se fait plus ou moins autour de la surface de projection. Le travail de manipulation des images sur le dispositif en lui-même se fait à vue du public, les gestes pratiqués sont à prendre comme ceux d'un musicien sur son instrument. La lumière qui émane de la table lumineuse suffit à cette fin. Les images captées par la caméra en direct masquent ou à l'inverse laissent voir les différents sténopés qui peuvent se fondre les uns dans les autres, apparaître subitement, glisser de gauche à droite en de longues bandes... Les images de la caméra peuvent être altérées pour devenir une matière en elles-mêmes, par le bruit, leur coloration, le bouclage de courtes séquences... Le travail des images est essentiellement une improvisation. Un « vocabulaire » lié à cet instrument se crée au fur et à mesure, d'une manière similaire à ce que développe un musicien ou un danseur dans sa pratique.

Le PixophoneLe PixophoneLe PixophoneLe PixophoneLe PixophoneLe Pixophone

Les perspectives de développement sont d'une part un travail au niveau de la projection pour sortir du cadre de l'écran classique. Le plan de projection a tendance à aplatir l'espace scénique. Le son est alors perçu comme provenant de l'image. Une piste possible est de concevoir une surface de projection qui ait une réelle présence sur le plateau par sa forme, sa matière...

Un autre aspect en cours de développement est le son du Pixophone. Les axes de travail prennent en compte la captation de matériaux sonores bruts, comme les images au sténopé, l'insertion d'un dispositif électroacoustique basé sur un thérémine optique, un dérivé de cet ancêtre des instruments électroniques, l'interaction avec les banques de sons sachant que vu les contraintes posées par la manipulation visuelle imposent une gestion partiellement automatisée par l'analyse de l'image projetée pour en extraire des informations et des comportements et moduler le son. Les analogies cognitives entre image et son serviront de base à ce processus. Par exemple on associe assez spontanément le bleu aux graves, le jaune et le rouge aux aigus. De pulsations dans l'image peuvent se traduire par le déclenchement de boucles dans l’échantillonneur.