Comprar IA para um hospital deixa de ser uma decisão pontual

A National Commission into the Regulation of AI in Healthcare publicou, a 10 de setembro, recomendações para um novo modelo de supervisão da inteligência artificial utilizada na saúde. Tendo como ideia base que, um algoritmo não deve ser avaliado apenas quando entra num hospital, mas durante todo o período em que influencia decisões clínicas.

A proposta britânica responde a uma característica própria destes sistemas. Ao contrário de software tradicional, um modelo de IA pode mudar depois de instalado, receber atualizações, trabalhar com novos dados ou apresentar degradação de desempenho ao longo do tempo. Uma certificação obtida no momento da compra não garante, por si só, que o comportamento do sistema permanecerá inalterado.

Para os hospitais e para os CIO, isso altera a própria lógica da aquisição tecnológica. Comprar IA clínica poderá significar assumir uma responsabilidade contínua sobre aquilo que o algoritmo faz depois de entrar em produção. Será necessário acompanhar desempenho, atualizações, dados utilizados, possíveis alterações do modelo e os riscos clínicos associados.

O foco deixa, portanto, de estar apenas na pergunta tradicional, saber se a solução estava certificada quando foi comprada. Passa também a importar saber como será acompanhada depois, de que forma o fornecedor gere alterações e que mecanismos existem para identificar problemas antes de estes afetarem a prática clínica.

A comissão inclui ainda responsabilidade, transparência, prática clínica, governação das organizações e mecanismos de garantia à escala do sistema. A regulação deixa assim de tratar a IA apenas como um produto tecnológico e começa a tratá-la como um sistema que precisa de supervisão enquanto estiver em utilização.

O Governo britânico deverá ainda responder às recomendações, pelo que o modelo definitivo não está fechado. Mas a direção proposta é clara. Para os hospitais, a compra de um algoritmo poderá deixar de terminar com a assinatura do contrato ou a instalação do software. Pode passar a começar aí.