Some cuestiones para analizar...

Estos son algunos temas que se me ocurre debería tener en cuenta a la hora de desarrollar el software de reconocimiento de imágenes:

1. Cómo reconocer los colores? Podría ser una herramienta útil el cuentagotas de Photoshop (o Paint) que te dice exactamente qué color es en cuanto RGB.

2. Cómo reconocer formas? Tal vez uno de los puntos más dificiles del proyecto...

• Podría hacerse a partir de formas predeterminadas (ej. cuadrado, círculo, elipse, rectángulo, triángulo, rombo, etc.).
• Podría ser mediante la agrupación de esas formas predeterminadas hasta que coincide con la forma real de la imagen.
• Si fuesen polígonos los de la forma real, podría ser tenido en cuenta la cantidad de lados, ángulos y tamaño.
• Si fuesen formas irregulares, las opciones anteriores no servirían (al menos en ppio.) y habría que tener algún otro método. Se me ocurre algún tipo de ecuación o inecuación trazada dentro del plano (con ejes X e Y) en el cual se muestran. Esta opción serviría eventualmente para el upgrade del software a una versión que reconozca 3D (tirando un eje más, Z) y tal vez 4D. En el caso de 4D ya habría que determinar una medida que separe los frames (fps, por ej.), logrando que cada frame fuese parte del nuevo eje de esa dimensión sobre la cual se traza la ecuación o inecuación.
• Podría ser con todas las opciones anteriores en conjunto....no debieran ser excluyentes entre si.

3.  Cómo lee el software una imagen? Este tal vez sea uno de los puntos más complicados y del cual depende el problema 2.

• Una imagen, es cuánto tiempo de duración de los sonidos? Es un segundo? es un solo acorde de sonidos? o son muchos segundos determinados por la cantidad de pixeles?
• Una imagen, debería leerse de alguna manera y esa lectura implica el tiempo que dura la experiencia sonora? O sea.... debería leerse pixel por pixel para determinar el color y cada pixel dispara un sonido? Si es así, cómo reconocés las formas descriptas en el problema 2 si una forma consiste de muchos pixeles?
• De qué manera lee el software la imagen? de izquierda a derecha y de arriba a abajo? de arriba a abajo todo junto? en forma centrípeta? en forma centrífuga?
• Se lee pixel por pixel? se lee de a varios pixeles? 
• Se reconocen las formas y luego se dispara finalmente un sonido para cada forma?  
• Y si una forma tiene muchos colores? qué tipo de sonido dispara? un acorde (por ser muchos pixeles de distintos colores) por forma o un acorde (por ser muchas formas) por color?

Soluciones a los problemas anteriores:
- Solución A: tomar ciertas hipótesis como punto de partida de la experiencia y desarrollar el software arbitrariamente a partir de estas.

- Solución B: estudiar factibilidad de cada opción y elegir entre las posibles, la mejor.

- Solución C: desarrollar todas y dar la posibilidad de elegir a quien va a experimentar antes de comenzar la experiencia. Sería como la elección de una plantilla en photoshop...uno elige el tamaño, la paleta de colores, etc.


...algún otro problema más???

Propuesta N°0

Como punto de partida me gustaría generar algunas bases para el proyecto. Para esto serán estas propuestas.

Empezando por la N°0,

Tomaré la teoría del color y la forma de Vassily Kandinsky y la utilizaré de forma inversa para lograr la traducción de imagen a sonido*

El sonido musical ingresa por vía directa al espíritu. Rápidamente encuentra en él una resonancia porque el hombre contiene la música en sí mismo (Goethe).*

Delacroix decía que "Todos saben que el amarillo, el naranja y el rojo, sucscitan ideas de felicidad y de riqueza". 

Kandinsky nos dice que la pintura tiene dos instrumentos para lograr una composición pictórica: la forma y el color. La forma existe de manera independiente, como representación de un objeto o como una delimitación abstracta pura de un espacio o una superficie. El color en cambio no puede expandirse infinitamente. Los colores en un estado infinito solo pueden ser concebidos en el intelecto puro. Si nos dicen "rojo", no podemos imaginar los matices ni la temperatura (que pondrían los límites) de ese rojo, no posee detalles concretos. La relación innegable que existe entre el color y la forma, nos muestra los efectos que ésta tiene sobre el color. Las formas, incluso las completamente abstractas, que pueden reducirse a una forma geométrica, poseen dentro de sí, un sonido interno.*

Una forma con un color es diferente a la misma forma con otro color. De la misma manera, es diferente el mismo color en otra forma. Y eso, tanto escencialmente como conceptualmente, sonará distinto a la hora de generar la experiencia auditiva. Si para la experiencia visual es distinto, para la auditiva igual.  

Para analizar el efecto de los colores sobre el sujeto tomaré las duplas de antinomias I, II, III y IV de Kandinsky como punto de partida. Para entenderlas mejor, recomiendo leer el capítulo V de su libro "Sobre lo espiritual en el arte" (si le interesa a alguien lo tengo en PDF)

* "Sobre lo espiritual en el arte". Vassily Kandinsky - Capítulo V.

Cosas que suceden cuando seguís mirando una y otra vez

de nuevo acá...


Apenas terminé de escribir el post anterior encontré dos cosas:


- La una (como diría alguien que conozco de Ecuador): la dirección del blog está mal escrita (synstesia en vez de synestesia) y me gustó cómo estaba, asique la dejé.


- Y La otra: puse en google "synestesia software" (si...incluso tengo la suerte de que escribió synestesia de esta manera y no en inglés ni en castellano...en finlandés) y apareció enseguida un software desarrollado por un finlandés (www.synestesia.fi). En ese site no hay explicación alguna de cómo funciona, cómo lo hizo, ni nada...solo una muestra de algunos resultados. No es exactamente lo que tengo en mente y quedó en lo que para mi es la etapa 2 (tal vez). Lo contacté via mail y me respondió que cambió su rumbo...ahora apunta a lanzarlo en el iPhone....ya veremos qué sale.


Por otro lado un amigo (gracias Grillo por el aporte!) me comentó del Open Source Software http://processing.org/. Lo voy a probar y luego veo si puedo sumar algo con esto.

Para comenzar...

No sé a dónde va a llevar todo esto, pero el viaje parece interesante al menos a priori.

La idea de este blog es la de exponer unas ideas respecto a un proyecto que tengo en mi cabeza dando vueltas y que si no lo escribo no puedo dormir. No es la intención que nadie lo lea, pero si así pasara sería muy bueno.

Basicamente la idea podría resumirse (en el momento t0 ) como la interpretación de la realidad visual en una experiencia (y no realidad... ya se explicará luego) auditiva. Algo así como sinestesia (y de ahí el nombre del blog, entre inglés y castellano porque los otros dominios ya estaban registrados) en la cual uno interpreta los colores, formas, estructuras, planos, espacios, tonos y qué se yo qué más y los transforma en sonidos.

Investigando por internet aún no encuentro nada escrito ni realizado en torno a esto en este sentido. Sí hay en el sentido inverso...o sea, a partir de música (o sonidos) se genera una imagen. Se hizo tanto en pintura (siendo Kandinsky el maestro), videos y alguna otra cosa. Pero nunca (al menos no lo encontré) en el sentido (imagen to sonido) que planteo. Si alguien supiera ya de algo sería realmente útil conocerlo.

Creo que esto se puede llevar tanto a la experiencia artística como a un fin científico.

Es un proyecto super ambicioso y por tal deberá tener varias etapas. Por ej. empezar con imagenes (2D) de pocos colores y pocas formas; luego pasar a más colores; más formas; reconocer tridimensionalidad y distintos planos; finalmente (o no) tomar la cuarta dimensión como parámetro. Estimo que se podrá terminar escaneando un espacio físico en tiempo real y traduciéndose en sonido...todo en tiempo real. Pero para llegar a eso, como ya dije, hay que pasar por muchas etapas previas.

Por lo pronto empezar con este blog....como para bajar las ideas a texto y ordenar mi cabeza. Pondré hipótesis, las testearé, las aceptaré o rechazaré y seguiré creando el proyecto sobre lo que se vaya generando.

La idea es investigar para luego desarrollar un software (en sus diferentes versiones, claro) que reconozca y dispare los sonidos correspondientes generando de esa manera una experiencia auditiva.


Abro la convocatoria a quien le pueda llegar a interesar formar parte.