Como lançar e escalar um projeto-piloto de IA bem-sucedido

Para projetos de AI empresarial, a prova está no piloto. Eis como quatro líderes de TI de empresas se preparam para o sucesso.

Por Robert Mitchell

No US Patent & Trademark Office, na Virgínia, projetos de inteligência artificial (IA) estão a acelerar o processo de classificação de patentes, ajudando a detetar fraudes e a expandir as buscas de patentes semelhantes por parte dos examinadores, permitindo-lhes pesquisar mais documentos no mesmo período de tempo. E cada projeto começou com um projeto-piloto. “As provas de conceito (PoC) são uma abordagem chave que utilizamos para aprender sobre novas tecnologias, testar pressupostos de valor comercial, risco na entrega de projetos e informar as decisões completas de implementação da produção”, diz USPTO CIO Jamie Holcombe. Uma vez que o piloto se revele, diz ele, o passo seguinte é determinar se ele pode escalar. A partir daí, é sobre a escala real e depois a produção completa.

O vendedor indiano de comércio eletrónico Flipkart seguiu um processo semelhante antes de implantar projetos que permitem a pesquisa de texto e visual através de milhões de artigos para clientes que falam 11 línguas diferentes. Agora está a testar bots conversacionais que utilizam uma aprendizagem profunda para construir modelos que incorporam a deteção de intenções do utilizador, tradução de línguas, e funções de fala para texto e texto para fala. E tanto o Flipkart como o USPTO estão a expandir rapidamente a aplicação da visão por computador, processamento de linguagem natural, aprendizagem automática (ML), e outras tecnologias de IA a outras partes do negócio.

Mas apesar de toda a excitação em torno da IA e ML, muitos projetos-piloto e PoC iniciais não conseguem passar à produção plena. Projetos bem-sucedidos precisam de fazer parte de um plano estratégico, obter patrocínio executivo, ter acesso aos dados certos, ter as equipas certas no local, ter as métricas técnicas e empresariais certas e os marcos de referência no local, passar por muitas iterações – e falhar rapidamente. “Este processo pode demorar um ou dois anos a atingir um alto nível de qualidade. Este é o nível de paciência de que precisa”, diz Ganapathy Krishnan, VP de engenharia da Flipkart.

Preparar o palco para o sucesso

As empresas estão a avançar rapidamente para a realização de projetos-piloto de IA bem-sucedidos, para a sua produção, e para a produção de resultados. “Temos visto projetos de IA a entrar no mainstream”, diz Rowan Curran, analista de IA. ML e ciência de dados em Forrester. “Cinquenta e sete por cento das empresas estão a implementar ou a alargar os seus projetos de IA e 70 a 75% estão a ver um valor claro desses projetos”. Além disso, de acordo com um recente inquérito do EY, 53% dos CIO e líderes de TI disseram que os dados e análises, sob os quais a IA se enquadra, serão uma área de investimento de topo durante os próximos dois anos.

Mas muitos desses projetos-piloto estão condenados ao fracasso antes de começarem, por várias razões, começando com a falta de apoio de cima para baixo. “É preciso um campeão executivo, e é preciso ter o financiamento adequado”, diz Holcombe do USPTO.

Iniciar projetos a partir do meio da organização ou de baixo para cima reduz as suas hipóteses de sucesso, dizem os executivos de TI. Os projetos de maior sucesso acontecem quando o CIO tem apoio executivo com um compromisso de financiar o projeto, e integra a IA na estratégia geral de transformação digital da organização.

Estabelecer expectativas claras é também fundamental, diz Krishnan da Flipkart. “Não se deve ter a expectativa de que vai implantar esta coisa e ela vai transformar radicalmente o negócio”. É um processo moroso que leva tempo”.

Um CdP também pode ser um exercício de capacidade de construção dentro da organização. Esta é uma abordagem que a Eli Lilly and Company adotou. “A partir de PoC, experimentamos e aprendemos as dimensões de escala para a entrega técnica e de projetos”, diz Tim Coleman, VP e responsável pela informação e soluções digitais na empresa farmacêutica. A equipa está a aplicar capacidades de processamento de linguagem natural para a descoberta, geração e tradução de linguagem natural em áreas do negócio, desde a autoria de conteúdos clínicos e científicos ao desenvolvimento de produtos, pesquisa avançada, e funções administrativas gerais.

Mas não confunda esses exercícios de capacitação com projetos-piloto que precisam de gerar um amplo valor transformacional, adverte Dan Diasio, líder global de consultoria em IA na EY. “Quer construir a sua capacidade para que ela o possa fazer, mas quando for altura de fazer o tipo de impacto necessário para competir com disruptores no futuro que seja significativo para os investidores, então terá de adotar uma abordagem de cima para baixo”.

É assim que o Sistema de Saúde Atlântico aborda os projetos AI e ML. O prestador de cuidados de saúde escalou pilotos bem-sucedidos na avaliação de imagens para ajudar radiologistas, e na automatização da pré-autorização, que toma uma encomenda de imagens e a move através de várias etapas do processo até ao agendamento. “A IA deve fazer parte de uma transformação digital, não de uma iniciativa isolada”, diz a SVP e o CIO Sunil Dadlani. “Temos uma estrutura de governação formalizada e planos de investimento sobre como fazer a AI e o ML”. E na Lilly, as propostas de projeto devem passar por três critérios antes de avançar: oferecer valor comercial em termos de ROI, ter uma probabilidade aceitável de sucesso, e o resultado deve alinhar-se com a estratégia e prioridades empresariais, diz Coleman. Por exemplo, o principal impulsionador do Mosaic PV, um dos primeiros projetos de IA da empresa, centrado na comunicação de reações adversas aos medicamentos, foi “aumentar a produtividade e reduzir o custo do processamento de eventos adversos, mantendo simultaneamente um elevado padrão de qualidade e conformidade”, diz ele.

Qual é a questão?

Um piloto de sucesso começa por definir o problema da empresa. “Não acabe com uma resposta à procura de uma pergunta”, diz Sanjay Srivastava, estratega digital chefe da empresa global de serviços profissionais Genpact, que consulta grandes empresas sobre projetos baseados na gripe aviária. “Os projetos centrados em resultados empresariais que começam com uma pergunta em vez de uma resposta geralmente dão bons resultados”, diz ele.

Depois decide se a IA é a melhor resposta. “Será que o projeto se encaixa naquela barra que é suficientemente complexa para valer a pena fazer?” diz Krishnan. “Se o conseguir fazer com uma abordagem simples baseada em regras, faça-o. Mas quando se tem centenas de milhares ou talvez milhões de regras, não é viável utilizar uma abordagem baseada em software”.

Tem as métricas e os dados corretos?

De volta ao USPTO, os projetos de IA requerem dois conjuntos de métricas: Os técnicos em termos de como o modelo funciona, e métricas que quantificam o valor comercial do seu projeto de IA.

Depois, o Atlantic Health System assegura o sucesso implementando um piloto com KPI empresariais claros para um pequeno segmento do negócio. O seu sistema de avaliação de imagem, por exemplo, começou com uma pequena implantação piloto no departamento de neurologia que rapidamente se estendeu à cardiologia e a outras áreas. Em oito semanas, a equipa criou um piloto de neurologia bem-sucedido, demonstrou resultados, e conseguiu a adesão da cardiologia e de todas as suas outras linhas de serviço.

E, tal como o USPTO, o Flipkart concentra-se primeiro na métrica do modelo técnico, depois realiza testes A/B para descobrir o impacto que terá no negócio. Atualmente, a equipa está a trabalhar no desenvolvimento e teste de um bot de conversação assistido por IA. Começaram com a métrica da “capacidade de resposta”, ou como o bot é bom a responder a perguntas. Estão agora a realizar testes A/B para determinar se isso terá um impacto mensurável sobre o negócio.

Os projetos de IA dependem fortemente de grandes dados e é necessária a velocidade, volume e variedade corretos, diz Dadlani. “Se a qualidade dos seus dados não for grande, não verá esses resultados

[esperados]

“.

O Srivastava da Genpact concorda: “A ingestão de dados, harmonização, engenharia e governação são 90% do trabalho que vai para a construção de um sistema de IA. Se se concentrar nos 10% e deixar ir os 90%, está morto desde o início. Portanto, construa essa base de dados”.

Também é necessário ser capaz de fornecer feedback contínuo entre os testes A/B – obtendo dados em tempo real para que possa afinar o modelo. Mas a sua organização pode não ser criada para fornecer os dados rapidamente e de forma automatizada. Por exemplo, se estiver a trabalhar num modelo de previsão e a equipa não estiver a capturar automaticamente informações sobre o que os clientes estão a comprar, não poderá fechar esse ciclo. É também essencial continuar o ciclo de feedback após a implantação completa, uma vez que as preferências do cliente podem mudar ao longo do tempo. Se o seu modelo não tiver contabilizado isso, não obterá os resultados que espera – um resultado conhecido como “deriva do modelo”.

Será que vai escalar?

Embora as expetativas preliminares possam ser de que um piloto seja capaz de escalar para uma implantação completa, a prova está no piloto. Então, tem os recursos certos para escalar desde o piloto até à sua implantação completa? “Para escalar, poderá precisar de racionalizar o código, introduzir novas tecnologias, empurrar a sua IA ou ML para o limite versus ter um repositório de dados, precisar de empregar novas equipas, e criar uma fábrica de etiquetagem de dados”, diz Diasio do EY. “Há um conjunto completo de competências de engenharia que são necessárias”.

Executar o piloto

Flipkart alavanca a cloud e as capacidades MLOp associadas para os seus pilotos. “Para começar,” diz Krishnan, “os pilotos precisam de muito apoio de engenharia, devem iterar frequentemente e falhar rapidamente, e para isso precisam de uma infraestrutura MLOp, que os grandes fornecedores de serviços de cloud oferecem”. Krishnan recomenda que a equipa piloto informe regularmente sobre o seu progresso, e que se certifique de que as expectativas são estabelecidas corretamente durante o piloto.

“Se mover a agulha em 3% durante o seu piloto inicial, está a ir bem”, acrescenta ele. E não espere ver ganhos de imediato. É difícil para um piloto complexo ver um impacto em três meses. Desdobre, encontre as lacunas, desdobre novamente, e continue a subir de forma crescente.

Uma falha no caminho não significa necessariamente o fim de um piloto. O sistema de classificação aumentado do USPTO falhou inicialmente. “Começámos com um conjunto de dados que não foi devidamente curado”, diz Holcombe. Mas a equipa foi capaz de reajustar e prosseguir com o piloto até que o sistema funcionasse substancialmente melhor do que o processo manual. “Se falhar, não desista simplesmente. Descubram porque falharam”, diz ele.

A avaliação final

Estes CIO, executivos de TI e consultores utilizaram uma variedade de métodos para avaliar os seus projetos-piloto. No Sistema de Saúde do Atlântico, uma vez concluído o projeto-piloto inicial, chegou o momento de avaliar os resultados – e decidir se o projeto-piloto deve ser prolongado, avançar para a produção ou reduzir as suas perdas. “Um piloto deve produzir a medida percebida do sucesso”, diz Dadlani. “Só quando vemos um resultado promissor é que dizemos, ‘O que seria necessário para o aumentar, quanto tempo será necessário, qual será o tempo a valorizar, que investimentos serão necessários para os recursos das infraestruturas tecnológicas, e como o operacionalizaremos”.

Coleman da Lilly diz que os pilotos falham por várias razões: competências insuficientes em matéria de IA, dados rotulados insuficientes, visão de projeto ou proposta de valor pouco clara, falta de uma mentalidade ágil e rápida, e falta de patrocínio executivo e de gestão da mudança organizacional para impulsionar a adoção de empresas.

Certifique-se de que está a reportar as métricas que importam para o resultado final. Por exemplo, se um algoritmo de preços for projetado para poupar 50 milhões de dólares, pode haver uma lacuna entre o que foi realizado até à data versus o que é o potencial esperado, diz Diasio. “Quando se fala de grandes projetos de dólares, os pilotos muitas vezes não têm a credibilidade de gerar tanto valor, por isso façam o trabalho árduo de rastrear o valor realizado na medida do possível”, diz ele.

Este é também o momento de reavaliar se o piloto irá escalar. “Muitos PoC são muito bem-sucedidos tecnicamente, mas não economicamente quando o dimensionamos”, diz o Srivastava de Genpact. Outras considerações incluem quanto tempo levará a escalar, e que recursos serão necessários.

Mas essa imagem pode mudar quando se tem uma visão a longo prazo. “Mesmo em situações em que a escala pode não ser atingível a curto prazo, um âmbito de projeto mais pequeno com elevada probabilidade de sucesso de entrega pode ainda proporcionar valor comercial a curto prazo, enquanto as capacidades tecnológicas e as competências amadurecem para enfrentar as barreiras à escala”, diz Coleman.        

Depois há a infraestrutura. Certifique-se de verificar todos os seus pressupostos ao escalar, incluindo configurações, largura de banda de rede, armazenamento e computação. “Vai precisar de muito apoio de engenharia para escalar, e é aqui que a infraestrutura MLOp baseada na cloud pode ajudar”, diz Krishnan.

Finalmente, certifique-se de que pode integrar a IA nos seus fluxos de trabalho a montante e a jusante. Por exemplo, prever falhas não é útil se não tiver integrado isso no seu sistema de cadeia de abastecimento a montante para garantir que as peças sobressalentes estão lá quando e onde precisar delas. Do mesmo modo, essa informação deve ser utilizada a jusante para ajustar os horários de manutenção.

Comece devagar, falhe rapidamente, seja paciente

A chave para um piloto AI/ML bem-sucedido começa com o planeamento inicial. Obter a adesão de executivos de topo e apoio financeiro antes de seguir em frente. “É preciso ter essa cobertura de topo”, diz Holcombe, e certificar-se de que tem todos os interessados a bordo desde o início.

Um projeto piloto AI/ML deve ser empreendido como parte de uma estratégia global de transformação digital, com um caso convincente de utilização empresarial, diz Dadlani. A obtenção de resultados a partir de expectativas requer paciência. Crie tanto métricas técnicas como de impacto empresarial que definam o sucesso e conheça as suas capacidades ao certificar-se de que dispõe dos recursos certos. Construa a equipa certa e esteja preparado para falhar rapidamente. Por isso, ter a mistura certa de competências e conhecimentos de domínio na equipa é a chave para um projeto piloto de IA bem-sucedido. “É necessária uma equipa multifuncional, mesmo na fase piloto”, diz ele. “Certificamo-nos de que todos estão envolvidos [no piloto] porque isto se torna parte do fluxo de trabalho clínico. Eles têm de estar envolvidos desde o início”.

As organizações que não têm todo esse talento no pessoal devem considerar a construção de uma equipa híbrida com parceiros externos, enquanto as pequenas e médias empresas provavelmente precisarão de externalizar mais papéis – se conseguirem encontrar o talento. “Se não se tiver os engenheiros de AI/ML e de dados certos, é super difícil subcontratar isso”, diz Srivastava. Além disso, precisa de pessoas na sua equipa que compreendam tanto o ML como a sua indústria, tal como o fabrico. Esta não é uma combinação de competências que seja fácil de encontrar, pelo que a formação cruzada é fundamental.

Em última análise, considere um projeto direcionado que possa produzir resultados comerciais reais, depois escalar para outras áreas do negócio, como o Sistema de Saúde do Atlântico fez com o seu sistema de avaliação de imagem baseado no ML.

Assim que um piloto passar para a produção completa, desenvolva o que já conseguiu. Mantenha o negócio atualizado sobre o progresso do piloto, mostre as capacidades do projeto uma vez totalmente implantado, e crie plataformas que outras unidades de negócio possam aproveitar para as suas próprias aplicações. “O ritmo de mudança hoje é o mais lento de sempre”, diz Srivastava. “As empresas que querem perturbar e crescer têm de mudar a forma como geram valor, e não se pode fazer isto sem IA. Se não investirem nela, terão uma mão atada atrás das costas”.

O seu comentário...

*

Top