Níveis de prontidão de tecnologia para sistemas de aprendizado de máquina

Nature Communications volume 13, Número do artigo: 6039 (2022) Citar este artigo

23k acessos

5 Citações

113 Altmétrico

Detalhes das métricas

O desenvolvimento e a implantação de sistemas de aprendizado de máquina podem ser executados facilmente com ferramentas modernas, mas o processo geralmente é apressado e tem um fim. A falta de diligência pode levar a dívidas técnicas, desvio de escopo e objetivos desalinhados, uso indevido e falhas de modelo e consequências dispendiosas. Os sistemas de engenharia, por outro lado, seguem processos bem definidos e padrões de teste para agilizar o desenvolvimento de resultados confiáveis ​​e de alta qualidade. O extremo são os sistemas de espaçonaves, com medidas de missão crítica e robustez em todo o processo. Com base na experiência em engenharia de espaçonaves e aprendizado de máquina (pesquisa por meio de produtos em áreas de domínio), desenvolvemos uma abordagem de engenharia de sistemas comprovada para aprendizado de máquina e inteligência artificial: a estrutura de níveis de prontidão de tecnologia de aprendizado de máquina define um processo baseado em princípios para garantir robustez, sistemas confiáveis ​​e responsáveis ​​enquanto são simplificados para fluxos de trabalho de aprendizado de máquina, incluindo distinções importantes da engenharia de software tradicional e uma língua franca para pessoas em equipes e organizações trabalharem de forma colaborativa em tecnologias de aprendizado de máquina e inteligência artificial. Aqui, descrevemos a estrutura e elucidamos com casos de uso, desde pesquisa em física até aplicativos de visão computacional e diagnósticos médicos.

O uso acelerado de tecnologias de inteligência artificial (IA) e aprendizado de máquina (ML) em sistemas de software, hardware, dados e pessoas introduz vulnerabilidades e riscos devido a comportamentos dinâmicos e não confiáveis; fundamentalmente, os sistemas ML aprendem com os dados, introduzindo desafios conhecidos e desconhecidos em como esses sistemas se comportam e interagem com seu ambiente. Atualmente, a abordagem para construir tecnologias de IA é isolada: modelos e algoritmos são desenvolvidos em testbeds isolados de ambientes do mundo real e, sem o contexto de sistemas maiores ou produtos mais amplos, eles serão integrados para implantação. A principal preocupação é que os modelos são normalmente treinados e testados em apenas um punhado de conjuntos de dados selecionados, sem medidas e salvaguardas para cenários futuros e alheios às tarefas e usuários downstream. Ainda mais, modelos e algoritmos são frequentemente integrados em uma pilha de software sem levar em consideração a estocasticidade inerente e os modos de falha dos componentes ocultos de ML. Considere o efeito massivo que as sementes aleatórias têm no desempenho1 do modelo de aprendizado por reforço profundo, por exemplo.

Outros domínios da engenharia, como civil e aeroespacial, seguem processos bem definidos e padrões de teste para agilizar o desenvolvimento de resultados confiáveis ​​e de alta qualidade. Technology Readiness Level (TRL) é um protocolo de engenharia de sistemas para empreendimentos tecnológicos e científicos profundos em escala, ideal para integrar muitos componentes interdependentes e equipes multifuncionais de pessoas. Não é nenhuma surpresa que o TRL seja um processo e linguagem padrão na NASA3 e DARPA4.

Para um projeto de voo espacial, existem várias fases definidas, desde o pré-conceito até a prototipagem, passando pelas operações implantadas até o fim da vida útil, cada uma com uma série de ciclos de desenvolvimento e revisões exigentes. Isso contrasta fortemente com o aprendizado de máquina comum e fluxos de trabalho de software, que promovem iteração rápida, implantação rápida e progressões lineares simples. No entanto, o processo de prontidão da tecnologia da NASA para sistemas de espaçonaves é um exagero; precisamos de tecnologias robustas de ML integradas a sistemas maiores de software, hardware, dados e humanos, mas não necessariamente para missões a Marte. Nosso objetivo é trazer a engenharia de sistemas para IA e ML, definindo e colocando em ação uma estrutura enxuta de Níveis de Prontidão de Tecnologia de Aprendizado de Máquina (MLTRL). Baseamo-nos em décadas de desenvolvimento de IA e ML, desde a pesquisa até a produção, em domínios e diversos cenários de dados: por exemplo, visão computacional em diagnósticos médicos e aplicativos de consumo, automação em veículos autônomos e robótica de fábrica, ferramentas para descoberta científica e causal inferência, streaming de séries temporais em manutenção preditiva e finanças.