Desde a sua ascensão no começo dos anos 2000 a tecnologia de rede neural por trás da inteligência artificial transformou o mundo contemporâneo. Mas esse poder veio com uma estranha ressalva: a própria complexidade que permite às modernas redes neurais de aprendizado profundo dirigir carros e identificar fraudes de seguros também torna quase impossível a compreensão do seu sentido interno, mesmo para especialistas em AI.
O problema é que não há como a mente humana discernir exatamente quais características nos dados a rede neural artificial está prestando atenção. Esse “conhecimento” é espalhado por muitas camadas de neurônios artificiais, cada um com centenas ou milhares de conexões.
Como cada vez mais indústrias tentam automatizar ou melhorar sua tomada de decisões com a AI, esse problema parece menos uma peculiaridade tecnológica do que uma falha fundamental. O projeto “XAI” da DARPA (para “AI explicável”) está ativamente pesquisando o problema, e a interpretabilidade passou de um problema marginal para o olho do furacão. “A inteligência artificial está passando por um momento crítico no qual a humanidade está tentando decidir se essa tecnologia é boa para nós ou não”, afirma Been Kim, pesquisadora científica no Google Brain. “Se não resolvermos esse problema de interpretabilidade, não acho que avançaremos com essa tecnologia. Podemos simplesmente largar isso de mão.”
Kim e seus colegas do Google Brain desenvolveram recentemente um sistema chamado “Testando com Vetores de Ativação de Conceito” (TCAV), que ela descreve como um “tradutor para humanos” que permite ao usuário perguntar a uma caixa preta AI quanto nível conceito possui seu raciocínio. Por exemplo, se um sistema de aprendizado de máquina foi treinado para identificar zebras em imagens, uma pessoa pode usar o TCAV para determinar quanto peso o sistema atribui ao conceito de “listras” ao tomar uma decisão.
O TCAV foi originalmente testado em modelos de aprendizado de máquina treinados para reconhecer imagens, mas também trabalha com modelos treinados em texto e certos tipos de visualizações de dados, como formas de onda EEG. “É genérico e simples. Você pode conectá-lo a vários modelos diferentes”, diz Kim.
Tradução e adaptação de texto disponível em https://www.quantamagazine.org/been-kim-is-building-a-translator-for-artificial-intelligence-20190110/
