Como lançar e dimensionar um projeto-piloto de IA de sucesso

Para projetos de IA empresarial, a prova está no piloto. Eis como quatro líderes empresariais de TI se preparam para o sucesso.

Por Robert Mitchell

No US Patent and Trademark Office, em Alexandria, Virgínia, projetos de inteligência artificial (IA) aceleram o processo de classificação de patentes, ajudam a detetar fraudes e expandem as buscas dos examinadores por patentes semelhantes, permitindo-lhes pesquisar mais documentos no mesmo período de tempo. Cada projeto começou com um projeto-piloto. “A prova de conceito (PoC) é uma abordagem chave que utilizamos para aprender sobre novas tecnologias, testar pressupostos de valor comercial, reduzir o risco de entrega do projeto à escala e informar as decisões completas de implementação da produção”, diz USPTO CIO Jamie Holcombe. Uma vez testado o piloto, diz ele, o passo seguinte é determinar se ele pode escalar. A partir daí, trata-se de escala real e depois de produção completa.

O fornecedor indiano de comércio eletrónico Flipkart seguiu um processo semelhante antes de implementar projetos que permitem a pesquisa visual e de texto em milhões de artigos para clientes que falam 11 línguas diferentes. Está agora a testar bots conversacionais que utilizam a aprendizagem profunda para construir modelos que incorporam a deteção de intenções do utilizador, tradução de línguas, e capacidades de fala para texto e texto para fala. E tanto o Flipkart como o USPTO estão a expandir rapidamente a aplicação da visão por computador, processamento de linguagem natural, aprendizagem de máquinas (ML) e outras tecnologias de inteligência artificial a outras partes do negócio.

Mas apesar de toda a excitação em torno da IA e ML, muitos projetos-piloto e PoC iniciais não conseguem passar à produção plena. Os projetos bem-sucedidos devem fazer parte de um plano estratégico, obter apoio executivo, ter acesso aos dados certos, ter as equipas certas, ter as métricas e marcos técnicos e empresariais certos, passar por muitas iterações e falhar rapidamente. “Este processo pode demorar um ou dois anos a atingir um alto nível de qualidade. Este é o nível de paciência de que precisa”, diz Ganapathy Krishnan, vice-presidente de engenharia da Flipkart.

Preparar o cenário para o sucesso

As empresas estão a avançar rapidamente para a realização de projetos-piloto de IA bem-sucedidos, para a sua produção e para a produção de resultados. “Já vimos projetos de IA entrarem no mainstream”, diz Rowan Curran, AI/ML e analista de ciência de dados da Forrester. “Cinquenta e sete por cento das empresas estão a implementar ou a expandir os seus projetos de IA e 70-75 por cento veem um valor claro nesses projetos”. Além disso, de acordo com uma recente sondagem do EY, 53% dos CIO e líderes de TI afirmaram que os dados e análises, onde a IA se encaixa, serão uma área de investimento importante nos próximos dois anos.

Mas muitos desses pilotos estão condenados ao fracasso antes mesmo de começarem por uma série de razões, começando com a falta de apoio de cima para baixo. “É preciso apoio executivo e financiamento adequado”, diz o Holcombe do USPTO.

Iniciar projetos a partir do meio da organização ou da base reduz as hipóteses de sucesso, dizem os executivos de TI. Os projetos de maior sucesso acontecem quando o CIO tem apoio executivo com um compromisso de financiar o projeto e integra a IA na estratégia global de transformação digital da organização.

Estabelecer expectativas claras é também fundamental, diz Krishnan da Flipkart. “Não se deve ter a expectativa de implementar esta coisa e transformar radicalmente o negócio. É um longo processo que leva tempo”.

Os projetos de maior sucesso acontecem quando o CIO tem apoio executivo com o compromisso de financiar o projeto e integra a IA na estratégia global de transformação digital da organização

Um CdP também pode ser um exercício de desenvolvimento de capacidades dentro da organização. Essa é uma abordagem que Eli Lilly adoptou. “A partir dos PoC, experimentamos e aprendemos as dimensões da escala para a entrega técnica e de projetos”, diz Tim Coleman, vice-presidente e diretor de informação para soluções digitais e de informação na empresa farmacêutica. A equipa está a aplicar capacidades de processamento de linguagem natural para a descoberta, geração e tradução de linguagem natural em áreas do negócio que vão desde a criação de conteúdos clínicos e científicos ao desenvolvimento de produtos, pesquisa avançada e funções administrativas gerais.

Mas não confunda tais exercícios de desenvolvimento de capacidades com projetos-piloto que precisam de gerar um amplo valor transformacional, adverte Dan Diasio, líder global de consultoria de IA na EY. “Pense em desenvolver a sua capacidade para o poder fazer, mas quando chegar a altura de gerar o tipo de impacto necessário para competir com os disruptores no futuro que seja significativo para os investidores, então terá de adotar uma abordagem de cima para baixo”.

É assim que o Sistema de Saúde Atlântico aborda os projetos IA e ML. O prestador de cuidados de saúde escalou pilotos bem-sucedidos na avaliação de imagens para ajudar radiologistas e na automatização da autorização prévia, o que faz um pedido de imagens e o move através de várias etapas do processo para a programação. “A IA precisa de fazer parte de uma transformação digital, não de uma iniciativa autónoma”, diz Sunil Dadlani, vice-presidente sénior e CIO. “Temos uma estrutura de governação formalizada e planos de investimento sobre como abordar a IA e o ML”. E na Eli Lilly, as propostas de projetos devem passar por três critérios antes de avançarem: fornecer valor comercial em termos de ROI, ter uma probabilidade aceitável de sucesso e o resultado deve alinhar-se com a estratégia e os profissionais de negócios, diz Coleman. Por exemplo, o principal impulsionador do Mosaic PV, um dos primeiros projetos de IA da empresa, centrado na notificação de reações adversas aos medicamentos, foi “aumentar a produtividade e reduzir o custo do processamento de eventos adversos, mantendo um elevado nível de qualidade e conformidade”

Qual é a questão?

Um piloto de sucesso começa por definir o problema empresarial. “Não acabes com uma resposta em busca de uma pergunta”, diz Sanjay Srivastava, estratega digital chefe da empresa global de serviços profissionais Genpact, que aconselha grandes empresas em projetos baseados em IA. “Projetos centrados em resultados empresariais que começam com uma pergunta em vez de uma resposta geralmente funcionam bem”, diz ele.

Depois decidir se a IA é a melhor resposta. “Será que o projeto encaixa naquela barra que é suficientemente complexa para valer a pena fazer?” diz Krishnan. “Se o conseguir fazer com uma abordagem simples baseada em regras, faça-o. Mas quando se tem centenas de milhares ou talvez milhões de regras, não é viável utilizar uma abordagem baseada em software”.

Tem a métrica certa e os dados corretos?

De volta ao USPTO, os projetos de IA requerem dois conjuntos de métricas: métricas técnicas em termos de como o modelo funciona e métricas que quantificam o valor comercial do seu projeto de IA.

O Sistema de Saúde Atlântico assegura então o sucesso através da implementação de um piloto com KPI comerciais claros para um pequeno segmento do negócio. O seu sistema de avaliação de imagem, por exemplo, começou com uma pequena implementação piloto no departamento de neurologia que rapidamente se expandiu para a cardiologia e outras áreas. No espaço de oito semanas, a equipa criou um piloto de neurologia bem-sucedido, demonstrou resultados, e ganhou a adesão da cardiologia e de todas as suas outras linhas de serviço.

E tal como o USPTO, o Flipkart centra-se primeiro na métrica do modelo técnico, depois realiza testes A/B para descobrir o impacto que terá no negócio. Atualmente, a equipa está a trabalhar no desenvolvimento e teste de um bot de conversação assistido por IA. Começaram com a métrica da “capacidade de resposta”, ou como o bot é bom a responder a perguntas. Agora estão a realizar testes A/B para determinar se isso terá um impacto mensurável no negócio.

Os projetos de IA dependem fortemente de grandes dados, e precisa da velocidade, volume e variedade certos, diz Dadlani. “Se a qualidade dos seus dados não for excelente, não verá os resultados

[esperados]

“.

Srivastava da Genpact concorda: “A ingestão de dados, harmonização, engenharia e governação são 90% do trabalho que vai para a construção de um sistema de IA. Se se concentrar em 10% e deixar ir 90%, está morto desde o início. Portanto, constrói essa base de dados”.

Também é necessário ser capaz de fornecer um feedback contínuo entre os testes A/B, obtendo dados em tempo real para que possa ajustar o modelo. Mas a sua organização pode não ser criada para fornecer os dados rápida e automaticamente. Por exemplo, se estiver a trabalhar num modelo de previsão e a equipa não capturar automaticamente informações sobre o que os clientes compram, não poderá fechar esse laço. É também essencial continuar o ciclo de feedback após a implementação completa, uma vez que as preferências do cliente podem mudar com o tempo. Se o seu modelo não tiver tido isso em conta, não obterá os resultados que espera, um resultado conhecido como “deriva do modelo”.

Irá escalar?

Embora as expectativas preliminares possam ser de que um piloto seja capaz de ser dimensionado para uma implantação completa, a prova está no piloto. Então, tem os recursos certos para escalar desde o piloto até à implantação total? “Para escalar, pode ser necessário otimizar o código, incorporar novas tecnologias, empurrar a sua IA ou ML para o limite, em vez de ter um repositório de dados, precisar de empregar novas equipas e criar uma fábrica de etiquetagem de dados”, diz Diasio do EY. “Requer todo um conjunto de competências de engenharia”.

Executar o piloto

Flipkart alavanca a cloud e as capacidades MLOp associadas para os seus pilotos. “Para começar”, diz Krishnan, “os pilotos precisam de muito apoio de engenharia, precisam de iterar frequentemente e falhar rapidamente, e para isso precisam de infraestruturas MLOp, que os grandes fornecedores de serviços de cloud oferecem”. Ele recomenda que a equipa piloto informe regularmente sobre os progressos alcançados e garanta que as expectativas são estabelecidas corretamente durante o piloto.

“Se mover a agulha em 3% durante o seu piloto inicial, está a ir bem”, acrescenta ele. E não espere ver ganhos de imediato. É difícil para um piloto complexo ver um impacto em três meses. Implementar, encontrar as lacunas, implementar novamente e continuar a avançar gradualmente.

Um fracasso no caminho não significa necessariamente o fim de um piloto. O sistema de classificação aumentado do USPTO falhou inicialmente. “Começámos com um conjunto de dados que não foi devidamente selecionado”, diz Holcombe. Mas a equipa foi capaz de reajustar e continuar com o piloto até que o sistema funcionasse substancialmente melhor do que o processo manual. “Se falhar, não desista. Descubram porque falharam”, diz ele.

A avaliação final

Estes CIO, executivos de TI e consultores utilizaram uma variedade de métodos para avaliar os seus projetos-piloto. No Sistema de Saúde do Atlântico, uma vez concluído o piloto inicial, é altura de avaliar os resultados e decidir se o piloto deve ser prolongado, passar à produção ou cortar as suas perdas. “Um piloto tem de produzir a medida percebida de sucesso”, diz Dadlani. “Só quando vemos um resultado promissor é que dizemos: ‘O que seria necessário para aumentar esta escala, quanto tempo será necessário, qual será o tempo a valorizar, que investimentos serão necessários para os recursos de infraestruturas tecnológicas, e como é que o levamos para a produção”.

O Coleman de Eli Lilly diz que os pilotos falham por uma série de razões: competências de inteligência artificial insuficientes, dados rotulados insuficientes, visão de projeto ou proposta de valor pouco clara, falta de uma mentalidade ágil e rápida, e falta de patrocínio executivo e de gestão da mudança organizacional para impulsionar a adoção comercial.

Não se esqueça de comunicar as métricas que são importantes para o resultado final. Por exemplo, se um algoritmo de preços for projetado para poupar 50 milhões de dólares, pode haver uma lacuna entre o que foi realizado até à data e o potencial esperado, diz Diasio. “Quando se fala de projetos de alto valor, os pilotos muitas vezes não têm credibilidade para gerar tanto valor, por isso fazem o trabalho árduo de rastrear o valor realizado tanto quanto possível”, diz ele.

Este é também o momento de reavaliar se o piloto irá escalar. “Muitos CdP são muito bem-sucedidos tecnicamente, mas não economicamente quando escalam”, diz o Srivastava de Genpact. Outras considerações incluem quanto tempo demorará a ser dimensionado e que recursos serão necessários.

Mas essa imagem pode mudar quando se olha para o longo prazo. “Mesmo em situações em que a escala pode não ser atingível a curto prazo, um âmbito de projeto mais pequeno com uma elevada probabilidade de sucesso pode ainda gerar valor comercial a curto prazo à medida que as capacidades tecnológicas e as competências amadurecem para enfrentar as barreiras à escala”, diz Coleman.

Depois há a infraestrutura. Certifique-se de verificar todas as suas suposições ao escalar, incluindo configurações, largura de banda de rede, armazenamento e cálculo. “Vai precisar de muito apoio de engenharia à escala, e é aqui que a infraestrutura MLOp baseada nas clouds pode ajudar”, diz Krishnan.

Finalmente, certifique-se de que pode integrar a IA nos seus fluxos de trabalho a montante e a jusante. Por exemplo, a previsão de falhas não é útil se não o tiver integrado no seu sistema de cadeia de abastecimento a montante para garantir que as peças sobressalentes estão lá quando e onde precisar delas. Da mesma forma, essa informação deve ser utilizada a jusante para ajustar os horários de manutenção.

Comece devagar, falhe rapidamente, seja paciente

A chave para um piloto AI/ML bem-sucedido começa com o planeamento inicial. Obter a adesão e apoio financeiro dos executivos seniores antes de seguir em frente. “É preciso ter essa cobertura de topo”, diz Holcombe, e certificar-se de que todos os interessados estão envolvidos desde o início.

Um piloto AI/ML deve ser empreendido como parte de uma estratégia global de transformação digital, com um caso de utilização comercial convincente, diz Dadlani. Atingir os resultados das expectativas requer paciência. Crie métricas técnicas e de impacto empresarial que definam o sucesso e conheça as suas capacidades à medida que se assegura de ter os recursos certos no local. Construir a equipa certa e estar preparado para falhar rapidamente. Por conseguinte, ter a mistura certa de competências e conhecimentos especializados na equipa é a chave para um projeto piloto de IA bem-sucedido. “É necessária uma equipa multifuncional, mesmo na fase piloto”, diz ele. “Certificamo-nos de que todos estão envolvidos [no piloto] porque isto se torna parte do fluxo de trabalho clínico. Eles têm de estar envolvidos desde o início”.

As organizações que não têm todo esse talento no pessoal devem considerar a criação de uma equipa híbrida com parceiros externos, enquanto que as pequenas e médias empresas provavelmente precisarão de externalizar mais papéis, se conseguirem encontrar o talento. “Se não tiver os engenheiros de AI/ML e de dados certos, é muito difícil externalizar isso”, diz Srivastava. Além disso, precisa de pessoas na sua equipa que compreendam tanto o ML como a sua indústria, tais como o fabrico. Esta não é uma mistura de competências fácil de encontrar, por isso, a formação cruzada é fundamental.

Em última análise, deve considerar um projeto específico que possa produzir resultados comerciais reais, depois escalar para outras áreas do negócio, como fez o Sistema Atlântico de Saúde com o seu sistema de avaliação de imagem baseado no ML.

Quando um piloto entra em plena produção, aproveite o que já conseguiu. Manter o negócio atualizado sobre o progresso do piloto, mostrar as capacidades do projeto quando este estiver totalmente implementado, e criar plataformas que outras unidades de negócio possam aproveitar para as suas próprias aplicações. “O ritmo atual de mudança é o mais lento de sempre”, diz Srivastava. “As empresas que querem criar perturbações e crescer têm de mudar a forma como geram valor, e não o podem fazer sem IA. Se não investir nele, terá uma mão atada atrás das costas”.

Autores
O seu comentário...

*

Top