Um v\u00eddeo que viralizou nos \u00faltimos dias mostrou um suposto chatbot de atendimento do McDonald\u2019s sendo induzido por um usu\u00e1rio a sair completamente do seu papel: em vez de seguir o fluxo de pedido, o sistema respondeu como um assistente de programa\u00e7\u00e3o, gerando c\u00f3digo em Python. Embora haja ind\u00edcios de que o conte\u00fado possa ter sido manipulado, segundo apura\u00e7\u00e3o da imprensa internacional, o epis\u00f3dio exp\u00f4s um risco concreto que acompanha a r\u00e1pida ado\u00e7\u00e3o de IA generativa em atendimento ao cliente.<\/p>\n\n\n\n
O alerta ganha peso em meio \u00e0 expans\u00e3o da tecnologia. Segundo a Gartner, a IA agentiva deve resolver at\u00e9 80% das intera\u00e7\u00f5es comuns de atendimento at\u00e9 2029, com potencial de reduzir custos operacionais em 30%. Ao mesmo tempo, mais de 40% dos projetos devem ser abandonados at\u00e9 2027, diante de dificuldades para gerar valor ou sustentar opera\u00e7\u00e3o em escala.<\/p>\n\n\n\n
Para\u00a0Andr\u00e9 Fossa, cofundador da Cogni2, empresa brasileira especializada em plataformas de agentes de intelig\u00eancia artificial para atendimento<\/strong>, o problema n\u00e3o est\u00e1 no modelo em si, mas na forma como ele vem sendo colocado em produ\u00e7\u00e3o. \u201cO mercado est\u00e1 criando a ideia de que d\u00e1 para operar IA em atendimento como se fosse s\u00f3 plugar um modelo e escrever um prompt. Isso funciona em demo, mas n\u00e3o sustenta opera\u00e7\u00e3o real. Quando voc\u00ea coloca esse tipo de sistema em contato com cliente, com dados e com processos, o n\u00edvel de exig\u00eancia \u00e9 outro, e muitas vezes as decis\u00f5es est\u00e3o sendo tomadas sem o n\u00edvel de dilig\u00eancia t\u00e9cnica necess\u00e1rio\u201d, explica o executivo.<\/p>\n\n\n\n A possibilidade de induzir modelos a sair do comportamento esperado n\u00e3o \u00e9 novidade. A OWASP, principal refer\u00eancia global em seguran\u00e7a de aplica\u00e7\u00f5es, aponta o prompt injection como o risco n\u00famero 1 em aplica\u00e7\u00f5es com modelos de linguagem, quando entradas do usu\u00e1rio conseguem alterar o comportamento da IA de forma n\u00e3o intencional.<\/p>\n\n\n\n Nos primeiros anos da IA generativa, esse tipo de explora\u00e7\u00e3o aparecia em tom quase experimental, com usu\u00e1rios tentando \u201cenganar\u201d chatbots por meio de comandos espec\u00edficos. Um levantamento acad\u00eamico identificou mais de 1.400 prompts de jailbreak circulando publicamente nesse per\u00edodo.<\/p>\n\n\n\n O cen\u00e1rio muda quando esses modelos deixam de ser apenas interfaces de conversa e passam a operar dentro de sistemas corporativos. \u201cAntes, isso gerava no m\u00e1ximo uma resposta fora de contexto. Agora, esses sistemas podem acessar dados, seguir regras de neg\u00f3cio, acionar APIs e at\u00e9 executar tarefas. A mesma fragilidade passa a ter impacto direto na opera\u00e7\u00e3o\u201d, afirma Fossa.<\/p>\n\n\n\n Na avalia\u00e7\u00e3o do especialista, boa parte das empresas ainda trata a IA como uma camada superficial e n\u00e3o como parte da infraestrutura do atendimento. \u201cO erro \u00e9 achar que um bom prompt resolve o problema. Prompt \u00e9 s\u00f3 uma parte. Sem controle de escopo, governan\u00e7a de dados, orquestra\u00e7\u00e3o e monitoramento, voc\u00ea est\u00e1 basicamente confiando que a IA vai se comportar sempre como esperado, e isso n\u00e3o \u00e9 uma estrat\u00e9gia.\u201d<\/p>\n\n\n\n Fossa<\/strong>\u00a0usa uma compara\u00e7\u00e3o simples para ilustrar o ponto: \u201cIA generativa \u00e9 como uma serra el\u00e9trica. \u00c9 extremamente eficiente quando existe processo, prote\u00e7\u00e3o e controle. Sem isso, voc\u00ea est\u00e1 colocando uma ferramenta poderosa em um ambiente real sem barreiras.\u201d Na pr\u00e1tica, a diferen\u00e7a entre uma solu\u00e7\u00e3o que impressiona em demonstra\u00e7\u00e3o e uma que funciona em produ\u00e7\u00e3o ainda \u00e9 subestimada, segundo ele.<\/p>\n\n\n\n \u201cMuita coisa parece funcionar bem em ambiente controlado. Mas, quando entra em produ\u00e7\u00e3o, com volume, variabilidade de comportamento do usu\u00e1rio e integra\u00e7\u00e3o com sistemas, as fragilidades aparecem\u201d, complementa. Esse descompasso ajuda a explicar por que parte relevante dos projetos n\u00e3o avan\u00e7a ou \u00e9 abandonada antes de gerar retorno.<\/p>\n\n\n\n Para o especialista, o ponto mais cr\u00edtico \u00e9 que falhas deixam de ser superficiais \u00e0 medida que a IA ganha autonomia dentro das empresas. \u201cResponder c\u00f3digo em Python \u00e9 quase inofensivo. O problema \u00e9 quando a mesma l\u00f3gica aparece em contextos de dados pessoais, cobran\u00e7a, sa\u00fade ou finan\u00e7as, ou na execu\u00e7\u00e3o de processos. A\u00ed voc\u00ea deixa de ter um erro curioso e passa a ter um risco real.\u201d<\/p>\n\n\n\n Empresas mais maduras t\u00eam tratado a IA como uma opera\u00e7\u00e3o estruturada, com m\u00faltiplas camadas de controle, desde a defini\u00e7\u00e3o clara do que o agente pode ou n\u00e3o fazer at\u00e9 a orquestra\u00e7\u00e3o de instru\u00e7\u00f5es, controle de ferramentas, governan\u00e7a de dados, testes e monitoramento cont\u00ednuo.<\/p>\n\n\n\n Na\u00a0Cogni2<\/strong>, esse modelo inclui, entre outros pontos, delimita\u00e7\u00e3o de escopo dos agentes, controle de acesso a dados e sistemas e uso de IA para testar o comportamento dos pr\u00f3prios agentes antes da entrada em produ\u00e7\u00e3o. Para Fossa, o caso do McDonald\u2019s funciona menos como um evento isolado e mais como um sinal do que tende a se repetir com mais frequ\u00eancia \u00e0 medida que a ado\u00e7\u00e3o avan\u00e7a.<\/p>\n\n\n\n \u201cA tecnologia vai avan\u00e7ar r\u00e1pido, e a press\u00e3o por ado\u00e7\u00e3o tamb\u00e9m. Mas sem arquitetura, governan\u00e7a e controle, a tend\u00eancia \u00e9 que mais empresas aprendam isso em p\u00fablico, e do jeito mais dif\u00edcil\u201d, conclui\u00a0Fossa<\/strong>.<\/p>\n","protected":false},"excerpt":{"rendered":" Um v\u00eddeo que viralizou nos \u00faltimos dias mostrou um suposto chatbot de atendimento do McDonald\u2019s sendo induzido por um usu\u00e1rio a sair…<\/p>\n","protected":false},"author":13,"featured_media":78864,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[2017,1970],"tags":[],"ppma_author":[13237],"class_list":{"0":"post-78833","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-informacoes","8":"category-tecnologia"},"yoast_head":"\n