¿El todo o las partes?

22 días más tarde me cruzo con nuevas ideas.
El dilema: ¿el todo o las partes?
Y desarrollo un poco más...
Cómo analizar una imagen o una realidad? Partiendo de una imagen simple como la siguiente explico más a dónde quiero llegar:

Qué es esto? es un cuadrado rojo sobre un fondo azul? es un cuadrado lo rojo o es un conjunto de líneas negras con una superficie roja? o es acaso un montón de puntos rojos juntos que dan lugar a un cuadrado? o son los pixeles rojos que forman a los puntos rojos que forman al cuadrado rojo?
Qué define a qué? el todo del cuadrado a la idea del cuadrado o los pixeles juntos de determinado color definen al cuadrado rojo? qué es lo que vemos nosotros: un cuadrado rojo o un conjunto de pixeles rojos? y hasta qué extremos llevamos el análisis de las partes de lo que vemos? hasta el pixel último? hasta el conjunto de pigmentos que dan lugar al pixel? por qué parar en uno o en otro? por qué no? Por qué vemos el cuadrado rojo y no la idea de la imagen total? En este caso se trata de una imagen abstracta, pero si fuera una imagen figurativa como esta?:

Vemos un cuarto? vemos una cama, una silla, una mesa, todo por separado? vemos el cuarto o vemos la casa? o vemos el barrio de casas? cuándo o bajo qué condición decidimos poner el límite de nuestra percepción de lo que vemos? Por qué no veo la astilla de la cama? o el conjunto de maderas del piso por separado? por qué no vemos los pigmentos de azul de la pintura de la pared?
Qué define la esencia de las cosas que vemos? O las diferentes esencias generan esencias mayores? Qué nos hace ver unas u otras esencias? Qué esencia vemos o percibimos es la que debería ser generada como esencia en la experiencia auditiva. Genero entonces el sonido referente al concepto de "cama" o al concepto de "astilla"? Si es el de cama, qué color debería ser el que se convierta en sonido? el de la sábana o el de las maderas? Ninguno de estos dos por sí solos hacen a la cama, pero en conjunto generan esa percepción del concepto y esencia de cama. Lo mismo con el dormitorio...puede ser un cuarto o un dormitorio según lo que tenga adentro del mismo.

Creo que todas estas preguntas son válidas a la hora de tomar una decisión del análisis de las formas y composiciones de las imágenes que se interpretarán luego en este proyecto.
Y estas preguntas son básicamente para imágenes en dos y tres dimensiones, pero qué pasa cuando metemos una cuarta dimensión como es el tiempo? La percepción del tiempo muchas veces puede ser alterada por quien la percibe, más allá de que hay formas de medirla, a veces un escenario aburrido puede ser mucho más largo que uno interesante. Cómo influye esto en este proyecto? Se puede hacer una correlación lineal entre el tiempo de esta cuarta dimensión de la imagen hacia el tiempo de ejecución de la experiencia auditiva? Hace sentido que sea lineal?

Entonces, qué es más importante: el todo o las partes que conforman a ese todo? y hasta dónde podemos definir a las partes y a ese todo?

Cosas que encontré...

dando vueltas por la web me topé con dos sitios relacionados con R.S.

1. http://www.nicolasfournel.com/audiopaint.htm
   Se trata de un software que traduce imagenes en sonidos. La teoría que utiliza es diferente a la que planteo...tiene algunas diferencias, pero está bueno. Puede servir como punto de comparación respecto del final de mi proyecto.
   
   
2. http://www.seeingwithsound.com/
   Es una interfaz (anteojos conectados a una PC) entre lo que capta una cámara (en los anteojos) y el sonido que transmite. Está planteado como medio de sinestesia artificial. No explica muy bien cómo es que traduce las imágenes a sonidos. Acá explican cómo funciona: http://www.seeingwithsound.com/im2sound.htm 
   
   
3. http://audizer.deptof.com/
   El mejor que encontré hasta ahora. Es muuuuy similar a lo que planteo. Tiene como parámetro que lee pixel por pixel en sentido Izq. a Der. de arriba a abajo. Eso me parece lo único cuestionable. Más allá de eso, está buenísimo!

mi proyecto está muerto?

Correción a la Propuesta N°1

Algunas cuestiones surgieron a partir de charlas y pensamientos respecto a la propuesta N°1.
De ahí que habría que corregir algunas pautas...o reformular la propuesta N°1.
Basicamente hay que relacionar color y sonido. Para eso creo que habría que tomar las propiedades que definen a cada uno de los dos e interrelacionar esas propiedades para luego generar algún tipo de algoritmo que convierta uno a otro.
Empezando por el sonido, sus cuatro cualidades básicas son la altura, la duración, el timbre y la intensidad, fuerza o potencia.

Cualidad	Característica	Rango
Altura	Frecuencia de onda	Agudo, medio, grave
Intensidad	Amplitud de onda	Fuerte, débil o suave
Timbre	Armónicos de onda o forma de la onda	Fuente emisora del sonido
Duración	tiempo de vibración	Largo o corto

El color, en cambio, como habíamos visto, se define por 6 parámetros:

Cualidad	Característica	Rango
Red	Cantidad de Rojo que tiene el color	de 0 a 255
Green	Cantidad de Verde que tiene el color	de 0 a 255
Blue	Cantidad de Azul que tiene el color	de 0 a 255

Estos tres primeros están intimamente relacionados con Hue o tonalidad. De hecho, la mezcla de ellos definirá sobre qué graduación de Hue se trabaje.

Hue	Tonalidad, el tipo de color	de 0° a 360°
Saturation	Distancia al eje de brillo negro-blanco	de 0% a 100%
Brigthness o Value	Brillo del color. La altura del eje negro-blanco	de 0% a 100%

Estos últimos 3 parámetros vienen del modelo desarrollado por Alvy Ray Smith:

Hue deberá definir la tonalidad de la nota. Esto irá de acuerdo a la escala propuesta por Sciabrin:

Por tanto un rojo será interpretado por DO. Un azul por SI. Un violeta podría ser por un acorde entre DO y SI. Dependiendo en qué lugar de la escala 0° a 360° esté, la mezcla de tonos que tendría en cuanto sonido.

Saturation podría traducirse en la propiedad de Intensidad del sonido. Un color más saturado tendría pues una mayor intensidad o amplitud de onda. Si la saturación va de 0 a 100%, la amplitud de onda va de 0 a 140 dB

Brightness o Valor debería traducirse en la altura o frecuencia fundamental de la onda sonora que se emita. Así, mayor valor generaría una frecuencia de onda sonora mayor.

Aún quedan dos parámetros del sonido para ser definidos en la traducción de una imagen. Creo que Timbre y Duración dependerán más de la forma que se está analizando más que del color. De hecho podría llegar a ser el nexo entre forma y color dado que estos son dos y el sonido es uno. 

Propuesta N°1

Luego de leer un rato cosas en internet me inspiré para elaborar la propuesta N°1.

Utilizando el cubo de RGB en conjunto con la Asociación de Sciabrin entre notas y colores se definirá el sonido apropiado para cada color.

Esto puede llegar a resultar contrario a lo establecido por Kandinsky, pero es cuestión de probarlo.

El método que propongo es el siguiente:

1. Utilizando el cubo RGB estableceremos de qué color se está tratando exactamente.
   Técnicamente, se puede identificar este color con las coordenadas de bits siguientes:
   
   Red: puede ir de 0 a 255
   Green: puede ir de 0 a 255
   Blue: puede ir de 0 a 255
   
   Hue: puede ir de 0 a 359
   Saturation: puede ir de 0% a 100%
   Brightness: puede ir de 0% a 100%
   
   De acuerdo a estos parámetros que defina el sistema según cómo lo reconoce (tal vez utilizando el cuentagotas típico) se lo definirá dentro del cubo.
   
   
   
   
2. La escala de Sciabrin es la siguiente:
   
   
   
   
   
   
   De acuerdo al color que se determina dentro del cubo RGB se disparará la nota correspondiente a esta escala.
   Podría generarse un dodecaedro con estos 12 colores para generar más precisión. La distancia entre punto de color y punto de color debería hacerse de acuerdo a la paleta de colores RGB. Se puede llegar a ampliar el cubo que tenemos hoy agregando puntos a la distancia que corresponda para encontrar esos colores.
   
   
3. Cada tecla debería tener una amplitud de volúmen que va desde 0 a 255 de manera tal que el 0 (Negro=Oscuridad) es el silencio y el 255 (Blanco=Luz plena) es el volúmen máximo. En 0 no se oye. En 0 no hay luz. En 0 no hay color. En 255 sucede lo contrario. De esta manera se generaría un sonido final a partir de un acorde generado por las distintas teclas presionadas con sus volúmenes correspondientes. Ese sería el sonido del color de ese pixel que estamos analizando.
   El volumen estaría determinado por la posición del color dentro del dodecaedro o del cubo en base a su posición en 12D (todavía no estoy muy seguro que sean 12D o 3D)...o sea de acuerdo al valor de ese punto dentro de los 12 ejes para llegar al color definido. 
Podría llegar a testearse lo mismo pero reemplazando al cubo RGB por el CYMK y ver los resultados que este método arroja. Hay ciertas diferencias, pero estimo no serán muy diferentes dado que existe una relación matemática de conversión entre RGB y CYMK.

Some cuestiones para analizar...

Estos son algunos temas que se me ocurre debería tener en cuenta a la hora de desarrollar el software de reconocimiento de imágenes:

1. Cómo reconocer los colores? Podría ser una herramienta útil el cuentagotas de Photoshop (o Paint) que te dice exactamente qué color es en cuanto RGB.

2. Cómo reconocer formas? Tal vez uno de los puntos más dificiles del proyecto...

• Podría hacerse a partir de formas predeterminadas (ej. cuadrado, círculo, elipse, rectángulo, triángulo, rombo, etc.).
• Podría ser mediante la agrupación de esas formas predeterminadas hasta que coincide con la forma real de la imagen.
• Si fuesen polígonos los de la forma real, podría ser tenido en cuenta la cantidad de lados, ángulos y tamaño.
• Si fuesen formas irregulares, las opciones anteriores no servirían (al menos en ppio.) y habría que tener algún otro método. Se me ocurre algún tipo de ecuación o inecuación trazada dentro del plano (con ejes X e Y) en el cual se muestran. Esta opción serviría eventualmente para el upgrade del software a una versión que reconozca 3D (tirando un eje más, Z) y tal vez 4D. En el caso de 4D ya habría que determinar una medida que separe los frames (fps, por ej.), logrando que cada frame fuese parte del nuevo eje de esa dimensión sobre la cual se traza la ecuación o inecuación.
• Podría ser con todas las opciones anteriores en conjunto....no debieran ser excluyentes entre si.

3.  Cómo lee el software una imagen? Este tal vez sea uno de los puntos más complicados y del cual depende el problema 2.

• Una imagen, es cuánto tiempo de duración de los sonidos? Es un segundo? es un solo acorde de sonidos? o son muchos segundos determinados por la cantidad de pixeles?
• Una imagen, debería leerse de alguna manera y esa lectura implica el tiempo que dura la experiencia sonora? O sea.... debería leerse pixel por pixel para determinar el color y cada pixel dispara un sonido? Si es así, cómo reconocés las formas descriptas en el problema 2 si una forma consiste de muchos pixeles?
• De qué manera lee el software la imagen? de izquierda a derecha y de arriba a abajo? de arriba a abajo todo junto? en forma centrípeta? en forma centrífuga?
• Se lee pixel por pixel? se lee de a varios pixeles? 
• Se reconocen las formas y luego se dispara finalmente un sonido para cada forma?  
• Y si una forma tiene muchos colores? qué tipo de sonido dispara? un acorde (por ser muchos pixeles de distintos colores) por forma o un acorde (por ser muchas formas) por color?

Soluciones a los problemas anteriores:
- Solución A: tomar ciertas hipótesis como punto de partida de la experiencia y desarrollar el software arbitrariamente a partir de estas.

- Solución B: estudiar factibilidad de cada opción y elegir entre las posibles, la mejor.

- Solución C: desarrollar todas y dar la posibilidad de elegir a quien va a experimentar antes de comenzar la experiencia. Sería como la elección de una plantilla en photoshop...uno elige el tamaño, la paleta de colores, etc.


...algún otro problema más???

Propuesta N°0

Como punto de partida me gustaría generar algunas bases para el proyecto. Para esto serán estas propuestas.

Empezando por la N°0,

Tomaré la teoría del color y la forma de Vassily Kandinsky y la utilizaré de forma inversa para lograr la traducción de imagen a sonido*

El sonido musical ingresa por vía directa al espíritu. Rápidamente encuentra en él una resonancia porque el hombre contiene la música en sí mismo (Goethe).*

Delacroix decía que "Todos saben que el amarillo, el naranja y el rojo, sucscitan ideas de felicidad y de riqueza". 

Kandinsky nos dice que la pintura tiene dos instrumentos para lograr una composición pictórica: la forma y el color. La forma existe de manera independiente, como representación de un objeto o como una delimitación abstracta pura de un espacio o una superficie. El color en cambio no puede expandirse infinitamente. Los colores en un estado infinito solo pueden ser concebidos en el intelecto puro. Si nos dicen "rojo", no podemos imaginar los matices ni la temperatura (que pondrían los límites) de ese rojo, no posee detalles concretos. La relación innegable que existe entre el color y la forma, nos muestra los efectos que ésta tiene sobre el color. Las formas, incluso las completamente abstractas, que pueden reducirse a una forma geométrica, poseen dentro de sí, un sonido interno.*

Una forma con un color es diferente a la misma forma con otro color. De la misma manera, es diferente el mismo color en otra forma. Y eso, tanto escencialmente como conceptualmente, sonará distinto a la hora de generar la experiencia auditiva. Si para la experiencia visual es distinto, para la auditiva igual.  

Para analizar el efecto de los colores sobre el sujeto tomaré las duplas de antinomias I, II, III y IV de Kandinsky como punto de partida. Para entenderlas mejor, recomiendo leer el capítulo V de su libro "Sobre lo espiritual en el arte" (si le interesa a alguien lo tengo en PDF)

* "Sobre lo espiritual en el arte". Vassily Kandinsky - Capítulo V.

Cosas que suceden cuando seguís mirando una y otra vez

de nuevo acá...


Apenas terminé de escribir el post anterior encontré dos cosas:


- La una (como diría alguien que conozco de Ecuador): la dirección del blog está mal escrita (synstesia en vez de synestesia) y me gustó cómo estaba, asique la dejé.


- Y La otra: puse en google "synestesia software" (si...incluso tengo la suerte de que escribió synestesia de esta manera y no en inglés ni en castellano...en finlandés) y apareció enseguida un software desarrollado por un finlandés (www.synestesia.fi). En ese site no hay explicación alguna de cómo funciona, cómo lo hizo, ni nada...solo una muestra de algunos resultados. No es exactamente lo que tengo en mente y quedó en lo que para mi es la etapa 2 (tal vez). Lo contacté via mail y me respondió que cambió su rumbo...ahora apunta a lanzarlo en el iPhone....ya veremos qué sale.


Por otro lado un amigo (gracias Grillo por el aporte!) me comentó del Open Source Software http://processing.org/. Lo voy a probar y luego veo si puedo sumar algo con esto.