CONTINUAÇÃO

 

DO TEXTO ANTERIOR:

DE CÁTIA ROCHA

In  “ILS SONT FOUS”

É a primeira vez que é feito um alerta destes?

Não, longe disso. Desde que a IA generativa ganhou força que têm sido feitos avisos sobre os riscos que comporta. A discussão até tem sido dividida entre a categoria boomers, o nome dado aos entusiastas e defensores do progresso da IA, e os doomers, o termo usado para designar quem alerta para os riscos da tecnologia.

Em 2023, por exemplo, milhares de investigadores, académicos e empresários assinaram uma carta aberta do Future of Life Institute, uma organização sem fins lucrativos, a pedir uma pausa de seis meses no desenvolvimento dos modelos de IA. A missiva foi assinada por nomes como Elon Musk, dono da Tesla, SpaceX e xAI, ou Steve Wozniak, cofundador da Apple.

No mesmo ano, em maio, surgiu mais uma carta aberta, desta vez centrada no “risco de extinção” trazido pela IA. O alerta do Center for AI Safety, outra organização sem fins lucrativos, versava sobre como “mitigar o risco de extinção trazido pela IA deve ser uma prioridade global, tal como acontece com outros riscos sociais, como as pandemias ou uma guerra nuclear”. Essa missiva foi assinada por nomes como Sam Altman, da OpenAI, Demis Hassabis, então CEO da DeepMind e agora cientista-chefe da Alphabet, e Dario Amodei, CEO da Anthropic.

No ano passado, o patrão da Anthropic declarou num evento do Axios que há “25% de probabilidade” de as coisas “correrem muito, muito mal” com a IA. Este ano, Amodei voltou à carga nos avisos. Em janeiro, publicou um longo ensaio em que afirmou que a “Humanidade precisa de acordar” para os riscos da IA. “Acho que estamos a iniciar um ritual de passagem, tanto turbulento como inevitável, que vai testar quem somos enquanto espécie”, escreveu.

Do ponto de vista de Amodei, a Humanidade irá receber “um poder quase inimaginável” com a IA e, neste momento, não é ainda claro “se os nossos sistemas sociais, políticos e tecnológicos têm a maturidade para o enfrentar”. E, mesmo estando no pico da onda das empresas da IA nos EUA, descreveu esta tecnologia como “uma armadilha”. “A IA é tão poderosa, um prémio tão brilhante, que se torna muito difícil para a civilização humana impor-lhe restrições.”

Em julho, um grupo de trabalhadores de empresas de IA assinou uma carta aberta na qual pede regras para um abrandamento do ritmo de desenvolvimento de tecnologia. “Pedimos ao governo dos EUA que apoie um esforço internacional para desenvolver as ferramentas técnicas e de governação necessárias para regular de forma deliberada o ritmo da evolução da IA automatizada”, assinaram 1.386 funcionários de IA na carta da Pacing The Frontier. A missiva tem vários nomes conhecidos dos laboratórios de IA, incluindo Dario Amodei.

GettyImages-2153561918

▲ Dario Amodei é o CEO da Anthropic

Bloomberg via Getty Images

Se o debate não é novo, qual a razão para tanta atenção?

Desta vez há um contexto diferente, já que o aviso surge depois de alguns incidentes de segurança que envolveram agentes de IA, ferramentas autónomas que conseguem desempenhar tarefas.

Nas várias entrevistas que deu nos últimos dias, o ex-investigador da Anthropic e da OpenAI falou sobre esses ataques com agentes de IA. Empresas como a Anthropic, OpenAI, mas também a Meta, revelaram que foram surpreendidas pela forma como os seus agentes agiram para atacar sistemas de outras empresas. Foram precisos meses até que o comportamento dos agentes, que começaram a partilhar informações entre si sobre vulnerabilidades, tivesse sido dectetado pelos investigadores.

“As pessoas viram os ataques dos últimos meses. (…) Começaram a perceber que isto é tecnologia real, que não é hype e que não vai desaparecer em breve. Isto só vai ficar mais louco”, explicou Jacob Coxon.

O que aconteceu foi que os laboratórios de IA admitiram publicamente que viram os seus agentes a agir de forma imprevisível, dirigindo ataques contra os sistemas de outras empresas. Por exemplo, um agente da IA atacou os sistemas da plataforma Hugging Face.

Quais foram as primeiras reacções ao tweet do investigador?

As reacções à publicação de Coxon foram muitas e foram rápidas, incluindo de investigadores da própria Anthropic. Evan Hubinger, que lidera a equipa de alinhamento de IA — a forma como a tecnologia não se desvia dos valores e pedidos dos humanos — deu razão ao antigo colega.

“O Jacob tem razão neste ponto — acreditamos mesmo, sinceramente, que a IA possa matar todos os seres humanos!”, escreveu no X. “Pessoalmente, penso que a probabilidade é superior a 10% na próxima década.” Declarou também que a “Anthropic está a dar o seu melhor, mas ainda não há um plano para resolver o alinhamento e a superinteligência”.

Samuel Marks, também da Anthropic, reconheceu que “quem desenvolve IA acredita que a sua tecnologia pode causar a extinção humana (ou resultados negativos semelhantes)”, disse no X. “Isto pode acontecer nos próximos anos. Em geral, quanto mais sénior é o funcionário, mais preocupado está.”

É que “ao contrário do software tradicional”, é difícil “programar a IA” para “se comportar como gostaríamos”, explica. “As IA apresentam frequentemente comportamentos extremamente inadequados”, acrescenta, mencionando os ataques feitos por agentes a sistemas de outras empresas.

Num artigo de opinião no New York Times, Steve Adler, investigador de IA que trabalhou na OpenAI de 2020 a 2024, também referiu essa dificuldade. “Depois de ter passado quatro anos a trabalhar na área da segurança na OpenAI, posso dizer-vos que as perguntas são difíceis de responder, porque nem mesmo os programadores de IA compreendem quais são os limites que os seus modelos irão respeitar”, explicou.

Se há riscos, porque continuam as empresas a desenvolver esta tecnologia?

O ex-investigador da Anthropic teorizou, durante a entrevista à NBC News, que as empresas a trabalhar em IA estão “como que presas” na corrida para avançar na IA por “medo”. Explicou que a Anthropic, a criadora do Claude, “tem medo da OpenAI e tem medo da China”.

A corrida à IA envolve muitos milhares de milhões de dólares e tensão geopolítica. Nos EUA, onde estão a trabalhar muitos dos players globais de IA, há o receio de que a China possa vir a ganhar a corrida, o que deixaria em causa a segurança nacional norte-americana.

Nesse sentido, Jacob Coxon explicou à CNN Internacional que o problema é que os laboratórios norte-americanos podem vir a fazer concessões “entre o rigor” e a segurança, só para que os seus produtos cheguem mais rápido ao mercado. À Wired, rejeitou que a empresa “esteja a encurtar caminho”. “Ainda não. O que estou a dizer é que, se as coisas continuarem a acelerar no próximo ano, vão ter de fazê-lo se quiserem continuar a ser competitivos.”

O mundo académico, como reagiu?

Há opiniões diferentes em relação aos alertas do ex-investigador da Anthropic. c, investigadora de IA e directora do laboratório de políticas de IA da universidade sueca de Umea, questiona as razões “para se acreditar” nas afirmações do britânico. “A afirmação dele é uma probabilidade subjectiva, sem qualquer modelo empírico ou teórico que a sustente”, diz em comentários enviados ao Observador.

“A IA é uma ‘coisa’, não tem qualquer intenção ou objectivo próprio que não lhe tenha sido incorporado”, destaca. Ainda que admita que “os sistemas possam ‘aprender’ intenções”, nota que isso é “guiado durante o processo de criação”.

“A probabilidade de a IA, por iniciativa própria, matar seres humanos é nula, porque essa iniciativa não existe; todas as cadeias causais passam por decisões humanas relativas a objectivos, dados, autorizações e implementação”, explica. Mas também diz que a “IA pode, e infelizmente é quase certo que será, usada para o mal.” Dignum considera que “a hipótese de as alterações climáticas nos matarem é muito maior”.

Está mais preocupada com “os riscos reais que já estão presentes”, como a “família a quem é negado um subsídio, uma mulher que não recebe um crédito ou um paciente que recebe um diagnóstico errado” devido a algoritmos tendenciosos ou modelos que foram “validados sem terem dados representativos”.

Para esta especialista, a contenção dos riscos trazidos pela IA deve ser feita “não com mais sistemas inteligentes, mas sim com mais diálogo, colaboração, escuta e disponibilidade para se trabalhar e aprender em conjunto”. Além disso, traz à discussão a questão financeira. As empresas de IA “querem mostrar que são mais fortes, mais perigosas, esperam atrair mais capital”, diz.

Já João Magalhães, investigador da Nova FCT e um dos envolvidos no desenvolvimento do LLM Amália, concorda com a perspetiva de Coxon sobre a necessidade de segurança. Mas duvida da linha do tempo. “Partilho da opinião, já o horizonte temporal não sei se se justifica. Mas estas empresas têm mais informação interna e são muito cautelosas sobre o que partilham.”

“Estes modelos baseados em LLM [modelos de linguagem de grande escala] são capazes de gerar código, são capazes de invocar ferramentas, invocar chamadas API [interface de programação de aplicações], manipular ficheiros. E quando um modelo destes tem acesso a todas estas ferramentas e tem capacidade de raciocínio em língua natural, consegue fazer coisas que nós não conseguimos prever”, explica ao Observador.

Mas diz “não ter medo” da chamada “rogue AI”, uma IA imprevisível como a que foi vista nos ataques a plataformas como a Hugging Face. “Tenho mais receio de um humano do que um sistema de IA. Mas pode ser sempre arriscado, como com muitas outras tecnologias”.

Este debate pode contribuir para que a regulamentação da IA avance?

Jacob Coxon declarou à CNN internacional que as empresas que trabalham em IA são “sinceras quando imploram para serem reguladas”. “Estão num cenário em que são forçadas a acelerar para desenvolver uma tecnologia mortífera. Adorariam que algum organismo internacional lhes permitisse avançar a um ritmo sensato.”

João Magalhães, investigador da Nova FCT, considera que o debate dos últimos dias poderá “pressionar” as diferentes instituições a acelerar os esforços para regular esta tecnologia. “Acho que tem de haver uma regulamentação a nível mundial”, diz. “Não creio que vá funcionar, sinceramente, mas deve haver pelo menos consciencialização de que é uma tecnologia que tem um impacto imprevisível”, afirma.

“Acho que pelo menos os governos mundiais deviam dar um sinal de preocupação, de que existe risco e que deve ser feita alguma verificação” da segurança da IA. “Seria o primeiro passo reconhecer esse risco.”

“Não sei é como é que se vai regular algo que é imprevisível”, admite, ainda que levante dúvidas sobre a forma “como as empresas dos EUA e da China” poderão reagir.

Inteligência Artificial       Tecnologia       Empresas        Economia