visão computacional

………………..

kruger

Videoplaces, de Myron Krueger

Tecnologias como o Kinectic e softwares como o Processing vem abrindo novas possibilidades no campo da visão computacional e do mapeamento do movimento do corpo (tanto em situações de performance como instalavas). Sejam em videoclipes como House of Cards (Radiohead) ou em obras de arte como Metro De/Reconstruction (Chris Coleman). Em outra vertente, o mapeamento e/ou a captura do movimento do corpo serve como imput para a modificação de ambientes audiovisuais, como é o caso de HAKANAI, de Adrien M e Claire B.

Antes de desenvolver um pouco mais possibilidades recentes e algumas soluções técnicas para implementar sistemas com visão computacional, vale retomar um pouco da história do campo. O que ficou conhecido como arte computacional (computer art, no termo consagrado por Frank Popper) surgiu de um cruzamento de interesses até então divergentes, que aproximou as áreas de computação e artes. As primeiras abordagens sistemáticas sobre este diálogo surgem em textos como Projeto de Estética Generativa, de Max Bense, e Arte Computacional, de Jasia Reichardt.

Logo nas primeiras linhas de seu texto, o artista e teórico alemão define um estética generativa que compreende “todas as operações, regras e teoremas que, se aplicados a um conjunto desordenado de elementos materiais, podem produzir situações estéticas”. Bense afirma, mais adiante no texto, que:

“O objetivo da Estética Generativa consiste na descrição numérica e funcional das caraterísticas das estruturas estéticas perceptíveis em uma coleção de elementos materiais. Portanto, elas torna-se esquemas abstratos de um ‘princípio de configuração’, um ‘princípio de distribuição’, e um ‘princípio de coleção’.”

Em síntese, trata-se de um esforço para aplicar os conhecimento da psicologia da gestalt e das teorias matemáticas da comunicação à leitura de imagens, partindo do pressuposto de que a tensão entre os efeitos de organização (homeostase) e desorganização (entropia) dos sistemas visuais são percebidos com diferentes graus de interesse estético — um pressuposto que não deixa de ter pontos-de-partida arriscados, na medida em que esvazia os processos de comunicação visual de toda uma camada semântica por onde transitam os aspectos mais ideológicos do mundo visual.

Mesmo que a estética generativa passe longe do desejo de abolir os “ruídos” de comunicação, seu engajamento em descrições mais topológicas da geometria podem resvalar para um entendimento reducionista das configurações formais típicas das primeiras experiências com o computador. Ao centrar o foco nos aspectos mais formais dos modos como o computador produz (e, posteriormente, lê) imagens, ao menos um dimensão importante destes processos acaba entre parêntesis, como talvez fique claro a seguir.

Em todo caso, a abordagem generativa não é a única, apesar de ter-se fixado como um dos formatos por excelência da estética computacional (no sentido clássico que vai aos poucos se desfazendo conforme os computadores tornam-se cada vez mais múltiplos e passam a habitar o cotidiano das formas mais heterogêneas e inesperadas).

Esta diversidade aparece de forma embrionária neste período inicial: ao mesmo tempo que surgiam esforços sistemáticos de definir um novo campo de pesquisa, marcado pelos conceitos da teoria da informação e da cibernética, o uso dos computadores parece se disseminar gerando situações inusitadas, como a descrita pela crítica inglesa em seu texto.

Conforme Reichardt, em “1963, a revista Computers and Automation anunciou um concurso de arte computacional que aconteceu anualmente desde então”. O texto também aponta usos mais heterodoxos da arte computacional, que não se restringem aos processos generativos propostos por Bense (e explorado por pioneiros dos usos estéticos do computado principalmente na Alemanha, nos Estados Unidos e no Brasil).

Em Arte Computacional, fica claro tanto o estágio inicial deste processos, quando a diversidade de caminhos possíveis:

“Os projetos variam consideravelmente ainda que eles compartilhem certas características, por exemplo são todos em branco-e-preto, há uma ênfase em formas geométricas, e eles são basicamente lineares. Como projetos, os produtos do computador parecem crus e mínimos, e representam pouco mais que o estágio inicial no que pode ser uma aventura bem mais desafiadora de fundir, ao invés de relacionar, atividade criativa e tecnologia.

O escopo da computação gráfica varia de composições estáticas a frames de imagens em movimento, e pode ser dividido em duas categorias: 1. as que se aproximam do design ou da arte pura; e 2. as sem fins estéticos, mas que servem para visualizar fenômenos físicos complexos.”

Alguns exemplos permitem entender melhor este campo aberto de possibilidades que, no entendimento de Frank Popper, segue nesta trilha dupla que oscila entre o uso do computador como uma máquinas algorítmica ou um dispositivo capaz de sintetizar de forma potente modos de funcionamento de textos, imagens e sons já bastante conhecido no universo das mídias analógicas — em certo sentido, esta tensão da arte computacional reverbera um tema já discutido em aulas anteriores, sobre como há livros impressos que exploram escritas não-lineares de forma mais contundente do que certos sites que acabam imitando o layout de livros tradicionais e páginas de jornal, na tela do computador.

K7, de Georg Nees (1966)

 

projeto para Schotter, de Georg Nees (19??)

da série Computer Composition with Lines (Michael Knoll, 1964)

Os desenhos do projetista William Fetter, que fazia estudos em CAD para a Boing

 

O próprio texto de Reichardt mostra que esta rota dupla era evidente aos estudiosos da época:

O escopo da computação gráfica varia de composições estáticas a frames de imagens em movimento, e pode ser dividido em duas categorias: 1. as que se aproximam do design ou da arte pura; e 2. as sem fins estéticos, mas que servem para visualizar fenômenos físicos complexos.

Em uma conferência dedicada a relação entre computadores e design, em 1966, na Universidade de Waterloo, duas afirmações foram feitas que poderiam, em princípio, parecer desnecessariamente presunçosas e heróicas: 1. O computador simplesmente eleva o nível de possibilidades do trabalho criativo; 2. O computador já pode lidar como certos elementos da criatividade; […]

Mas será que esta ambiguidade, apenas por si, não é significativa para pensar o que o computador permitirá pensar em termos de estéticas visuais? Porque será, por exemplo, que a cultura popular se encantou com Wireframes que na época de Fetter e do surgimento das estéticas generativa e computacional eram tidos como desenhos técnicos?

Ou, de um outro ponto-de-vista, não seria possível injetar algo de ideológico no suposto formalismo das artes computacionais justamente quando as imagens de Wireframe mudam de sentido, e passam a indicar a capacidade que os aparelhos adquirem de mapear o corpo das pessoas, invertendo o sentido da relação entre homens e máquinas?

O que se passou neste intervalo em que existia um pressuposto de que os algoritmos eram pensados especialmente pelas chaves de sua sintaxe, para um momento em que pouco se diz sobre as imagens de computador sem levar em conta suas capacidades de capturar, à revelia do desejo das pessoas, as maneiras como elas se comportam em suas vidas saturadas de aparelhos?

Talvez as obras de artistas que se engajaram neste processo tenham apontados indícios desta mudança. Mas os aspectos mais distópicos da relação entre homens e máquinas parece estar mais presente na literatura e no cinema do que nas artes, pelo menos neste momento primeiro das pesquisas com arte computacional.

https://vimeo.com/42144890

 

O texto de Popper sobre Computer Art revela antes um entusiasmo com as possibilidades dos computadores que então surgiam. Um pouco como no esforço de primeiro hora de Jasia Reinhardt, aqui também é possível encontrar o desejo de entender do que as máquinas seriam capazes. Popper refere-se à Vera Molnar, por exemplo, que acredita que o computador pode servir para muitas finalidades:

(1) a primeira refere-se à promessa técnica — as máquinas o escopo do possível com seus conjuntos infinitos de cores, e particularmente, com o desenvolvimento do espaço virtual;

(2) o computador pode satisfazer o desejo de inovação artística e, portanto, iluminar o fardo das formas culturais tradicionais;

(3) o computador pode encorajar a mente a funcionar de novas formas.

Um quarto aspecto recorrente é a impressão de que os computadores passarão a pensar por si próprios, como fica implícito em projetos como AARON, de Harold Cohen. O curioso é que este sonho de uma inteligência artificial vem imbuído de visões que antecipam os rumos da computação contemporânea, sem todavia oferecer resistência aos aspectos problemáticos implícitos.

Deste ponto-de-vista, um trabalho como Antropometria, de Miguel Chevalier, parece se instalar num meio do caminho irônico entre os wireframes que Fetter fez para a Boing e os corpos lidos por Kinetic no videoclipe do Radiohead — mesmo que os aspectos de mapeamento e vigilância ali presentes aconteçam de forma pouca explícita, por exemplo na sugestão a partir das cores na cena inicial em que há um mapeamento de ruas e casas, num padrão que remete às câmeras térmicas usadas para espionagem (como na cena inicial de Land of Plenty, de Wim Wenders).

Anthropometry (Miguel Chevalier, 1990)

Esta tensão perdura. Isto fica claro exame rápido dos rumos seguidos por este tipo de arte feita com computadores (que talvez tenha perdido o direito de ser chamada de arte computacional, já que hoje quase não há processo conhecido nas sociedades urbanas que não passe por dispositivos digitais).

 

Nem todos estes aspectos ficam evidentes nos discursos mais técnicos sobre a visão computacional, o que coloca um problema de pesquisa a ser considerado: como fazer avançar as possibilidades na área, e ao mesmo tempo desconstruir os usos mais policialescos que a visão computacional assume quando é associada a práticas de vigilância?

Não cabe responder esta pergunta por ora, nem faz sentido supor que todo projeto de arte deve necessariamente lidar com os aspectos politicamente problemáticos das tecnologias. Mas, ao olhar para o campo em retrospecto, vale anotar a tensão entre as duas abordagens identificadas.

………………………

A seguir alguns trechos do texto Visão Computacional, de Golan Levin (parte do livro Processing, escrito em parceria com Casey Reas):

“Uma anedota bem conhecida relata como, em algum momento em 1966, o legendário pioneiro em inteligência artifical Marvin Minsky direcionou um estudante de graduação para resolver ‘o problema da visão computacional’ como um projeto de férias de verão. Esta anedota é frequentemente ressucitada para ilustrar quão egregiamente a dificuldade da visão computacional tem sido subestimada. De fato, quase quarenta anos mais tarde a disciplina continua a enfrentar numerosos desafios não resolvidos (e talvez não resolvíveis), particularmente em relação a questões do “entendimento de imagem” de alto nível como reconhecimento de padrões e reconhecimento de características. Todavia, as várias décadas de pesquisa fomentar uma grande quantidade de técnicas de baixo nível bem dominadas que são capazes, em circunstâncias controladas, de extrair informação significativa de uma cena capturada por câmera. Estas técnicas são, de fato, elementares o suficiente para serem implementadas por programadores iniciantes em nível de colegial e graduação.

/…/

O primeio trabalho de arte interativa a incorporar visão computacional foi, de forma bastante interessante, também um dos primeiros trabalhos de arte interativos. O legendário Videoplace, de Myron Kruger, desenvolvido entre 1969 e 1975, foi motivado por seu sentimento arraigado de que o todo o corpo humano deveria desempenhar um papel em nossas interações com computadores. Na instalação Videoplace, um participante fica em frente a uma parede com iluminação traseira de frente para uma tela com projeção de vídeo. A silhueta do participante é então digitalizada e sua postura, forma e gestos são analisados. Em reposta, Videoplace sintetiza gráficos como pequenas ‘criaturas’ que escalam a silhueta projetada do participante, ou loops coloridos desenhados entre seus dedos. Krueger também permitiu aos participantes pintar linhas com seus dedos e, ainda, formas completas com os seus corpos; eventualmente, Videoplace chegou a oferecer mais de cinquenta composições e interações.

/…/

Messa di Voce, criado pelo autor deste texto em colaboração com Zachary Lieberman, usa interações de corpo inteiro similares as de Krueger, mas as combina com análise de fala e as situa no âmbito de um tipo de realidade aumentada baseada em projeção. Nesta performance audiovisual, a fala, gritos e canções produzidas por dois vocalistas abstratos são visualizados e aumentados em tempo real por gráficos sintetizados. Para obter isso, um computador usa uma série de algoritmos para monitorar a localização das cabeças dos performers; este computador também analisa o sinal de áudio que vem dos microfones dos performersEm resposta, o sistema exibe vários tipos de visualização em uma tela de projeção locada bem atrás dosperformers; estas visualizações são sintetizadas de formas que estão fortemente pareadas com os sons sendo falados e cantados. Com ajuda de um sistema de rastreamento de cabeça, mais ainda, estas visualizações são projetadas de forma que parecem emergir diretamente das bocas dos performers.

/…/

Para entender como novas formas de mídia interativa podem obter vantagens de técnicas de visão computacional, ajuda começar entendendo os tipos de problemas endereçados pelos algoritmos de visão que foram desenvolvidos, e seus mecanismos básicos de operação. O desafio fundamental oferecido pelo vídeo digital é que ele é computacionalmente ‘opaco’. Ao contrário do texto, o vídeo digital em sua forma básica — armazenado apenas como um fluxo de pixels retangulares em buffer — não contém informação semântica ou simbólica intrínseca. Não há um padrão amplamente consensual para representar o conteúdo de um vídeo, de maneira análoga ao HTML, XML, ou mesmo o ASCII para o texto (ainda que algumas novas iniciativas, notavelmente a linguagem de descrição MPEG-7, possam evoluir para tal padrão no futuro). Como resultado, um computador, sem programação adicional, é incapaz de responder mesmo as questões mais elementares sobre se um fluxo de vídeo contém uma pessoa ou um objeto, ou se uma cena externa mostra o dia ou a noite, et cetera.

Vários algoritmos de baixo nível de visão computacional estão equipados para a tarefa de distinguir quais pixels, se algum, pertencem a pessoas ou outros objetos de interesse numa cena. Três técnicas elementares para isso são diferenciação de frames, que tenta localizar elementos ao detectar seus movimentos; subtração de fundo, que localiza pixels de um elemento de acordo com sua diferença em relação a um fundo conhecido de um cena; e limiar de brilho, que usa diferenças esperadas de luminosidade entre pessoas em primeiro plano e seu ambiente de fundo.”

links
The Computer Vision Homepage

Image Processing Learning Resources

1969 – Videoplace, by Myron Krueger

Myron Krueger – Videoplace @ YouTube

Motion Tracking no Isadora

Isadora + Kinectic + Processing

Marco Tempest _ Cyber Illusionist