Entre os novos desafios que surgiram com esse aumento de custo estão o crescimento da pegada de carbono (medida que calcula a emissão de carbono equivalente emitida na atmosfera) das empresas e a comercialização de pesquisas relacionadas a IA. Nesse contexto, existe também uma demanda para que as capacidades de inteligência artificial estejam presentes em dispositivos avançados sem depender, necessariamente, de servidores e nuvens. Isso, por sua vez, implica que o custo das redes neurais seja mais rentável. Na prática, não é isso que está acontecendo.
Custo das redes neurais
A boa notícia é que os pesquisadores de IA têm tido progresso na busca por formas de reduzir os custos para executar modelos de aprendizagem profunda. A má notícia é que reduzir o custo das redes neurais — e do treinamento delas — continua sendo uma incógnita. Recentemente, pesquisadores do MIT e da Universidade de Toronto publicaram um paper sobre o desafio de “podar” as redes neurais. No estudo, o grupo aponta porquê os métodos mais avançados não conseguem reduzir o custo do treinamento das redes neurais sem ter um impacto considerável na performance da tecnologia. O que dá para fazer é “podar” as redes neurais depois de se construir um modelo grande e avançado de aprendizagem profunda. Isso é chamado de “poda pós-treinamento“. Funciona assim: depois que as redes neurais de um modelo de aprendizagem profunda passam por todo o processo de treinamento, corta-se a maioria dos parâmetros configurados (podendo reduzir o tamanho do modelo a até 10% do tamanho original). Isso é possível depois de determinar o “peso” que cada parâmetro tinha para o valor final da rede neural. Muitas empresas de tecnologia usam esse método de comprimir os modelos de IA para fazer com que eles caibam (e funcionem bem) em smartphones, notebooks e aparelhos domésticos inteligentes. Tem áreas que dá até para implementar aprendizagem profunda, via redes neurais compactas, em dispositivos alimentados por energia solar.
‘Podando’ as redes neurais
Como estamos falando sobre o custo das redes neurais de IA e como é caro treiná-las, talvez você, caro leitor, já tenha percebido o furo na lógica de “podar” essas redes após o processo de treinamento delas. É que para essa “poda” ser possível, antes as redes neurais precisam ser treinadas. E isso só é possível por meio de uma enorme série de parâmetros, presentes num modelo igualmente grande de aprendizagem profunda. É aí que fica o custo alto que estamos explorando nesta matéria. A pergunta é: existe um jeito de construir uma rede neural compacta sem precisar existir uma versão maior (e mais cara)? Os pesquisadores Jonathan Frankle e Michael Carbin, do MIT, publicaram um estudo em 2018 que mostrou um caminho possível para isso. Eles chamaram o estudo de “A hipótese bilhete de loteria“. No estudo, os pesquisadores apontam que em muitos modelos de aprendizagem profunda existem pequenos subconjuntos de redes neurais que podem ser treinados. Na prática, isso serviria como uma espécie de atalho nesse processo de criar redes neurais, treiná-las numa série extensa de parâmetros e depois “podá-las”. Encontrar essas “subredes”, como os pesquisadores chamaram, poderia reduzir consideravelmente o tempo e o custo de se treinar redes neurais em modelos de aprendizagem profunda. Só que o estudo dos pesquisadores do MIT esbarrou numa série de obstáculos na hora de mostrar que essa tese era 100% efetiva. Os testes mostraram que o desafio, neste caso, é identificar quais subconjuntos dentro de um modelo de aprendizagem profunda têm potencial para serem otimizados de forma significativa.
Potencial dessas pesquisas
A redução do custo das redes neurais e do seu treinamento segue uma incógnita, mas com caminhos possíveis a serem explorados pelos pesquisadores. Isso significa que ainda há espaço para progresso científico nessa área, o que pode ter um impacto enorme no futuro das pesquisas em IA e nas suas aplicações. De um lado, os custos para treinar redes neurais em modelos de aprendizagem profunda seguem aumentando. De outro, as áreas de pesquisa em empresas de tecnologia multibilionárias tem se tornado cada vez mais importantes e valorizadas. Além disso, essas empresas têm apoiado laboratórios de instituições externas para realizarem pesquisas nesse nicho. A descoberta de maneiras efetivas de se “podar” redes neurais antes de treiná-las pode criar novas oportunidades para um grupo ainda maior de pesquisadores de IA e laboratórios que não tenham acesso a recursos computacionais avançados. Até lá, seguimos na expectativa. E acompanhando de perto os desdobramentos dessas pesquisas. Fonte: The Next Web; Cornell University Qual sua opinião sobre esse “nó” relacionado ao custo das redes neurais de IA? Conte para nós aqui nos comentários!
