CONTINUAÇÃO

 

DO TEXTO ANTERIOR:

DE CÁTIA ROCHA

In  “ILS SONT FOUS”

É a primeira vez que é feito um alerta destes?

Não, longe disso. Desde que a IA generativa ganhou força que têm sido feitos avisos sobre os riscos que comporta. A discussão até tem sido dividida entre a categoria boomers, o nome dado aos entusiastas e defensores do progresso da IA, e os doomers, o termo usado para designar quem alerta para os riscos da tecnologia.

Em 2023, por exemplo, milhares de investigadores, académicos e empresários assinaram uma carta aberta do Future of Life Institute, uma organização sem fins lucrativos, a pedir uma pausa de seis meses no desenvolvimento dos modelos de IA. A missiva foi assinada por nomes como Elon Musk, dono da Tesla, SpaceX e xAI, ou Steve Wozniak, cofundador da Apple.

No mesmo ano, em maio, surgiu mais uma carta aberta, desta vez centrada no “risco de extinção” trazido pela IA. O alerta do Center for AI Safety, outra organização sem fins lucrativos, versava sobre como “mitigar o risco de extinção trazido pela IA deve ser uma prioridade global, tal como acontece com outros riscos sociais, como as pandemias ou uma guerra nuclear”. Essa missiva foi assinada por nomes como Sam Altman, da OpenAI, Demis Hassabis, então CEO da DeepMind e agora cientista-chefe da Alphabet, e Dario Amodei, CEO da Anthropic.

No ano passado, o patrão da Anthropic declarou num evento do Axios que há “25% de probabilidade” de as coisas “correrem muito, muito mal” com a IA. Este ano, Amodei voltou à carga nos avisos. Em janeiro, publicou um longo ensaio em que afirmou que a “Humanidade precisa de acordar” para os riscos da IA. “Acho que estamos a iniciar um ritual de passagem, tanto turbulento como inevitável, que vai testar quem somos enquanto espécie”, escreveu.

Do ponto de vista de Amodei, a Humanidade irá receber “um poder quase inimaginável” com a IA e, neste momento, não é ainda claro “se os nossos sistemas sociais, políticos e tecnológicos têm a maturidade para o enfrentar”. E, mesmo estando no pico da onda das empresas da IA nos EUA, descreveu esta tecnologia como “uma armadilha”. “A IA é tão poderosa, um prémio tão brilhante, que se torna muito difícil para a civilização humana impor-lhe restrições.”

Em julho, um grupo de trabalhadores de empresas de IA assinou uma carta aberta na qual pede regras para um abrandamento do ritmo de desenvolvimento de tecnologia. “Pedimos ao governo dos EUA que apoie um esforço internacional para desenvolver as ferramentas técnicas e de governação necessárias para regular de forma deliberada o ritmo da evolução da IA automatizada”, assinaram 1.386 funcionários de IA na carta da Pacing The Frontier. A missiva tem vários nomes conhecidos dos laboratórios de IA, incluindo Dario Amodei.

GettyImages-2153561918

▲ Dario Amodei é o CEO da Anthropic

Bloomberg via Getty Images

Se o debate não é novo, qual a razão para tanta atenção?

Desta vez há um contexto diferente, já que o aviso surge depois de alguns incidentes de segurança que envolveram agentes de IA, ferramentas autónomas que conseguem desempenhar tarefas.

Nas várias entrevistas que deu nos últimos dias, o ex-investigador da Anthropic e da OpenAI falou sobre esses ataques com agentes de IA. Empresas como a Anthropic, OpenAI, mas também a Meta, revelaram que foram surpreendidas pela forma como os seus agentes agiram para atacar sistemas de outras empresas. Foram precisos meses até que o comportamento dos agentes, que começaram a partilhar informações entre si sobre vulnerabilidades, tivesse sido dectetado pelos investigadores.

“As pessoas viram os ataques dos últimos meses. (…) Começaram a perceber que isto é tecnologia real, que não é hype e que não vai desaparecer em breve. Isto só vai ficar mais louco”, explicou Jacob Coxon.

O que aconteceu foi que os laboratórios de IA admitiram publicamente que viram os seus agentes a agir de forma imprevisível, dirigindo ataques contra os sistemas de outras empresas. Por exemplo, um agente da IA atacou os sistemas da plataforma Hugging Face.

Quais foram as primeiras reacções ao tweet do investigador?

As reacções à publicação de Coxon foram muitas e foram rápidas, incluindo de investigadores da própria Anthropic. Evan Hubinger, que lidera a equipa de alinhamento de IA — a forma como a tecnologia não se desvia dos valores e pedidos dos humanos — deu razão ao antigo colega.

“O Jacob tem razão neste ponto — acreditamos mesmo, sinceramente, que a IA possa matar todos os seres humanos!”, escreveu no X. “Pessoalmente, penso que a probabilidade é superior a 10% na próxima década.” Declarou também que a “Anthropic está a dar o seu melhor, mas ainda não há um plano para resolver o alinhamento e a superinteligência”.

Samuel Marks, também da Anthropic, reconheceu que “quem desenvolve IA acredita que a sua tecnologia pode causar a extinção humana (ou resultados negativos semelhantes)”, disse no X. “Isto pode acontecer nos próximos anos. Em geral, quanto mais sénior é o funcionário, mais preocupado está.”

É que “ao contrário do software tradicional”, é difícil “programar a IA” para “se comportar como gostaríamos”, explica. “As IA apresentam frequentemente comportamentos extremamente inadequados”, acrescenta, mencionando os ataques feitos por agentes a sistemas de outras empresas.

Num artigo de opinião no New York Times, Steve Adler, investigador de IA que trabalhou na OpenAI de 2020 a 2024, também referiu essa dificuldade. “Depois de ter passado quatro anos a trabalhar na área da segurança na OpenAI, posso dizer-vos que as perguntas são difíceis de responder, porque nem mesmo os programadores de IA compreendem quais são os limites que os seus modelos irão respeitar”, explicou.

Se há riscos, porque continuam as empresas a desenvolver esta tecnologia?

O ex-investigador da Anthropic teorizou, durante a entrevista à NBC News, que as empresas a trabalhar em IA estão “como que presas” na corrida para avançar na IA por “medo”. Explicou que a Anthropic, a criadora do Claude, “tem medo da OpenAI e tem medo da China”.

A corrida à IA envolve muitos milhares de milhões de dólares e tensão geopolítica. Nos EUA, onde estão a trabalhar muitos dos players globais de IA, há o receio de que a China possa vir a ganhar a corrida, o que deixaria em causa a segurança nacional norte-americana.

Nesse sentido, Jacob Coxon explicou à CNN Internacional que o problema é que os laboratórios norte-americanos podem vir a fazer concessões “entre o rigor” e a segurança, só para que os seus produtos cheguem mais rápido ao mercado. À Wired, rejeitou que a empresa “esteja a encurtar caminho”. “Ainda não. O que estou a dizer é que, se as coisas continuarem a acelerar no próximo ano, vão ter de fazê-lo se quiserem continuar a ser competitivos.”

O mundo académico, como reagiu?

Há opiniões diferentes em relação aos alertas do ex-investigador da Anthropic. c, investigadora de IA e directora do laboratório de políticas de IA da universidade sueca de Umea, questiona as razões “para se acreditar” nas afirmações do britânico. “A afirmação dele é uma probabilidade subjectiva, sem qualquer modelo empírico ou teórico que a sustente”, diz em comentários enviados ao Observador.

“A IA é uma ‘coisa’, não tem qualquer intenção ou objectivo próprio que não lhe tenha sido incorporado”, destaca. Ainda que admita que “os sistemas possam ‘aprender’ intenções”, nota que isso é “guiado durante o processo de criação”.

“A probabilidade de a IA, por iniciativa própria, matar seres humanos é nula, porque essa iniciativa não existe; todas as cadeias causais passam por decisões humanas relativas a objectivos, dados, autorizações e implementação”, explica. Mas também diz que a “IA pode, e infelizmente é quase certo que será, usada para o mal.” Dignum considera que “a hipótese de as alterações climáticas nos matarem é muito maior”.

Está mais preocupada com “os riscos reais que já estão presentes”, como a “família a quem é negado um subsídio, uma mulher que não recebe um crédito ou um paciente que recebe um diagnóstico errado” devido a algoritmos tendenciosos ou modelos que foram “validados sem terem dados representativos”.

Para esta especialista, a contenção dos riscos trazidos pela IA deve ser feita “não com mais sistemas inteligentes, mas sim com mais diálogo, colaboração, escuta e disponibilidade para se trabalhar e aprender em conjunto”. Além disso, traz à discussão a questão financeira. As empresas de IA “querem mostrar que são mais fortes, mais perigosas, esperam atrair mais capital”, diz.

Já João Magalhães, investigador da Nova FCT e um dos envolvidos no desenvolvimento do LLM Amália, concorda com a perspetiva de Coxon sobre a necessidade de segurança. Mas duvida da linha do tempo. “Partilho da opinião, já o horizonte temporal não sei se se justifica. Mas estas empresas têm mais informação interna e são muito cautelosas sobre o que partilham.”

“Estes modelos baseados em LLM [modelos de linguagem de grande escala] são capazes de gerar código, são capazes de invocar ferramentas, invocar chamadas API [interface de programação de aplicações], manipular ficheiros. E quando um modelo destes tem acesso a todas estas ferramentas e tem capacidade de raciocínio em língua natural, consegue fazer coisas que nós não conseguimos prever”, explica ao Observador.

Mas diz “não ter medo” da chamada “rogue AI”, uma IA imprevisível como a que foi vista nos ataques a plataformas como a Hugging Face. “Tenho mais receio de um humano do que um sistema de IA. Mas pode ser sempre arriscado, como com muitas outras tecnologias”.

Este debate pode contribuir para que a regulamentação da IA avance?

Jacob Coxon declarou à CNN internacional que as empresas que trabalham em IA são “sinceras quando imploram para serem reguladas”. “Estão num cenário em que são forçadas a acelerar para desenvolver uma tecnologia mortífera. Adorariam que algum organismo internacional lhes permitisse avançar a um ritmo sensato.”

João Magalhães, investigador da Nova FCT, considera que o debate dos últimos dias poderá “pressionar” as diferentes instituições a acelerar os esforços para regular esta tecnologia. “Acho que tem de haver uma regulamentação a nível mundial”, diz. “Não creio que vá funcionar, sinceramente, mas deve haver pelo menos consciencialização de que é uma tecnologia que tem um impacto imprevisível”, afirma.

“Acho que pelo menos os governos mundiais deviam dar um sinal de preocupação, de que existe risco e que deve ser feita alguma verificação” da segurança da IA. “Seria o primeiro passo reconhecer esse risco.”

“Não sei é como é que se vai regular algo que é imprevisível”, admite, ainda que levante dúvidas sobre a forma “como as empresas dos EUA e da China” poderão reagir.

Inteligência Artificial       Tecnologia       Empresas        Economia

“Ils sont fous”

 

“Ces Romains!”

… Et nous aussi, les “Gaulois”, enfin, qui les admirons …  au lieu de les éliminer.

DA INTERNET: Vista geral de IA :  O alerta sobre o risco existencial da inteligência artificial foi emitido por Jacob Coxon, um antigo investigador da Anthropic e da OpenAI que se demitiu para acusar as empresas do sector de estarem a arriscar vidas humanas numa corrida desenfreada rumo à superinteligência. O especialista apontou que os futuros sistemas serão sobre-humanos e que as companhias ignoram conscientemente os perigos reais num horizonte temporal que pode colocar em causa a humanidade até ao final desta década.

 Pode ler a análise completa no artigo do Observador:

 TEXTO de:

Cátia Rocha :

OBSERVADOR, 10 set. 2026, 23:34

Até há poucos dias, o britânico Jacob Coxon era um ilustre desconhecido. Hoje, tem uma entrada na Wikipedia e dá entrevistas a alguns dos maiores meios de comunicação do mundo. Na terça-feira, anunciou no X que se tinha demitido da Anthropic, um dos principais laboratórios de investigação de inteligência artificial (IA) por preocupações com a segurança desta tecnologia. E gerou uma onda de reacções.

“Estão a arriscar as nossas vidas”, acusou, depois de passar três anos a trabalhar para a Anthropic e para a rival OpenAI. Na despedida, pediu que a tecnologia não seja “subestimada” e alertou que “nenhuma outra atividade humana representa este nível de perigo”. Pelo meio, ainda relatou como “as pessoas que estão a trabalhar em IA acreditam que [a tecnologia] nos pode matar até ao fim da década”.

Não é a primeira vez que alguém de ‘dentro’ da máquina alerta para o fim iminente da humanidade associado aos avanços imparáveis da IA. Até os patrões das grandes empresas já admitiram que podemos estar a caminhar para a extinção. O que explica, então, a repercussão dos avisos de Jacob Coxon? Casos recentes, como o da Hugging Face, em que agentes de IA ganham autonomia e partem para o ataque, e a crescente noção de que a tecnologia está a crescer sem regras que a acompanhem, levaram muita gente, da indústria e não só, a encarar a sério o alerta.

Que alerta é este e porque se demitiu Jacob Coxon?

A história começou na rede social X, com um “fio” de mensagens do investigador. Jacob Coxon começou por anunciar que se tinha demitido do laboratório de IA Anthropic. “Passei os últimos três anos a fazer investigação sobre pré-treino tanto na OpenAI como na Anthropic. Nenhuma das duas empresas está a agir de forma responsável”, escreveu. “Estão a avançar a todo o vapor para uma superinteligência capaz de se autoaperfeiçoar e estão a arriscar as nossas vidas.”

O investigador pediu que “não se subestime o poder desta tecnologia”. “Em breve, serão sistemas sobre-humanos, capazes de invadir qualquer sistema, revolucionar qualquer área da noite para o dia e adquirir poder e recursos reais”, exemplificou. “Todos temos testemunhado o progresso em cada um destes domínios e esse progresso não está a abrandar”, escreveu.

Acrescentou que “as pessoas que estão a desenvolver a IA acreditam que poderá matar-nos até ao fim da década”, sublinhando que o alerta que fez “não é um golpe de marketing”. “Não há outra atividade humana que represente este nível de perigo”, vincou.

A publicação original de Coxon já foi vista mais de 150 milhões de vezes no X e tornou-se tema de discussão em vários pontos do globo. Ao fim de umas horas, o britânico estava à conversa com Anderson Cooper, na CNN Internacional, nos ecrãs da NBC News ou a ser entrevistado por revistas como a Time ou a Wired. “O consenso é que o próximo ano ou dois anos serão decisivos para a humanidade”, p

Apesar do alerta, disse no X estar “optimista em relação a uma potencial coordenação”, por exemplo entre “os laboratórios norte-americanos”. Deixou ainda um apelo aos colegas que estejam a trabalhar em laboratórios de IA para que “pensem com urgência em como vão ser realmente os próximos anos”. “Devem baixar a cabeça e pensar ‘isto vai acontecer de qualquer forma’ ou aproveitar este momento para exigir condições diferentes?”

Em entrevistas, garantiu que há “pessoas preocupadas” no interior das empresas, mas que não comentam o assunto publicamente.

Em entrevista à CNN internacional, tentou de alguma forma acalmar os ânimos à volta da ameaça de extinção. “Neste momento não há risco de extinção. Os modelos actuais, o pior que conseguem fazer é, talvez, entrar em algum sistema, causar danos em infraestruturas, mas não são inteligentes o suficiente para nos ultrapassarem a um nível que possa levar à nossa extinção”, explicou. “Mas o que é louco é ver o ritmo de progressão e pensar que há uma possibilidade muito real de, num futuro imediato, no próximo ano ou no seguinte, a autoaprendizagem acontecer e entrar numa fase em que podemos todos morrer.”

Quem é o ex-investigador da Anthropic?

Jacob Coxon tem 27 anos e é britânico. Estudou matemática na Universidade de Cambridge, no Reino Unido. Mudou-se para São Francisco, nos EUA, e nos últimos três anos especializou-se no treino dos modelos de IA. Tem no currículo passagens pelos laboratórios da OpenAI, empresa responsável pelo ChatGPT, e da Anthropic.

Não tem conta na rede profissional LinkedIn e ingressou no X, onde anunciou a demissão, em janeiro de 2026. A demissão é a única publicação visível na conta do X.

Em entrevista à Time, disse estar arrependido por ter contribuído para o desenvolvimento desta tecnologia que agora teme. “Mas também o mundo era muito diferente há três anos e acho que é fácil perceber isso, olhando para trás”, afirmou. “Acho que foi preciso algum tempo para internalizar totalmente e a nível emocional o facto de que há uma probabilidade razoável de a coisa correr mal.”

“Decidi sair porque pensei ‘não posso continuar a fazer isto'”, disse à CNN internacional. E confessou “que não esperava que o tweet se tornasse viral desta forma”.

Algumas das críticas ao anúncio do britânico sugerem que teria interesse em criar hype à volta da empresa, numa altura em que a Anthropic prepara a sua entrada em bolsa. Ao portal Axios, explicou que abdicou dos títulos a que teria direito de aquisição dentro de dois meses. Nos EUA, é habitual que as empresas de tecnologia atribuam participações aos funcionários como uma forma de compensação. “Já não tenho nada a ganhar ao inflacionar a avaliação da Anthropic”, declarou.

Como respondeu a Anthropic à denúncia do ex-funcionário? E a OpenAI?

No X, Coxon disse que já esperava que os “executivos e investigadores séniores” de empresas de IA adoptassem uma “posição sensata para a imprensa”.

Foi essa a tónica da reacção da Anthropic. “Sempre fomos claros quanto ao facto de que a IA trará, simultaneamente, enormes benefícios e riscos sem precedentes”, disse um porta-voz da empresa em comunicado. “Este trabalho é também a razão pela qual acreditamos que o mundo beneficiaria se o sector adoptasse uma forma legal e verificável de colaborar, de modo a regular o ritmo de lançamento de modelos poderosos.”

Até agora, a OpenAI, a empresa liderada por Sam Altman, não se pronunciou sobre o assunto.

A Anthropic foi criada por dois ex-trabalhadores da OpenAI, os irmãos Dario e Daniela Amodei, que, em várias ocasiões, tentaram posicionar a empresa como o laboratório de IA com valores diferentes da concorrência, mais éticos.

Como é que a IA pode acabar com a humanidade?

Em entrevistas, Jacob Coxon alertou para a possibilidade de agentes de IA terem iniciativa para “causar um enorme caos atacando, por exemplo, infraestruturas críticas ou causando a extinção através de armas químicas”.

“Há muitas maneiras de a IA agir no mundo”, exemplificou. Também falou sobre um cenário de a IA poder ser usada para “inventar e produzir um supervírus, um novo vírus.”

Na semana passada, os líderes de várias empresas, incluindo a Google, a OpenAI e a Anthropic, assinaram uma carta a pedir leis para impedir o desenvolvimento de armas químicas com a sua tecnologia. Esta quinta-feira, a Anthropic revelou num relatório, citado pelo New York Times, que detectou e bloqueou “vários casos” em que os modelos de IA estavam a ser usados para investigação que poderia levar ao desenvolvimento de armas biológicas.

O ex-investigador da Anthropic alertou também que a forma como a IA melhora e aprende sozinha poderá levar a um cenário em que ultrapasse a inteligência humana. Nesse campo, entram em cena cenários imprevisíveis, em que os sistemas poderiam ficar obcecados com um objectivo. Há um caso teorizado pelo mundo da filosofia que ficou conhecido como “o problema do clipe” em que um sistema superpoderoso definia como objectivo a maximização da produção de clipes, decidindo destruir tudo para conquistar o objectivo.

Nate Soares, especialista em IA e autor do livro If Anyone Builds It, Everyone Dies (Se qualquer pessoa o criar, toda a gente morre), dedica-se há vários anos a alertar para os riscos da IA. Num episódio do podcast “The World Unpacked”, em setembro de 2025, tentou responder à pergunta sobre como a IA pode “matar” os humanos. Desta perspectiva, explicou que o problema não está em “malícia” ou vingança, mas sim na “indiferença total” da IA.

“Não é como se nos odiasse”, explicou. “Não vai estar zangada por ter sido escravizada pela humanidade.” Deu o exemplo do que acontece às formigas durante a construção de um prédio. “É como os seres humanos não odiarem as formigas, mas quando construímos um arranha-céus, o lar das formigas é destruído. Não temos a intenção de fazer mal às formigas, mas, no processo de construção das nossas infraestruturas, ao aproveitarmos todos os recursos disponíveis, muitas coisas morrem.”

“Se houver uma superinteligência totalmente indiferente que esteja a remodelar o mundo para os seus próprios fins, a humanidade morre como efeito colateral.”

(CONTINUA)

 

COMENTÁRIOS

 

Ao texto de HUGO DANTAS - O que é um autor na idade da IA? Um pequeno exercício

- O Homem tem de preservar a sua capacidade de criação cultural, penso. -

 Luis Fernandes Machado

Excelente artigo, até porque me debato com a mesma dúvida diariamente: até que ponto um texto produzido por um LLM é meu? Qual é o grau de "toque pessoal" que posso dar antes de o poder considerar meu?

Ponho a questão de outra perspectiva: quantos discursos, que damos como históricos ou socialmente impactantes, foram de facto escritos por quem os pronuncia? Sabemos que quase todos os políticos contam com escritores de discursos profissionais. O discurso de Obama aquando da captura de Osama Bin Laden foi escrito por um ghost writer. É do Obama ou do ghost writer?  E o de Ronald Reagan aquando da explosão do Chalenger, ou de Nixon quando os EUA chegaram à Lua ou o de Kennedy em Berlim? Ou o discurso anual do Rei de Inglaterra ao parlamento que é integralmente escrito pelo Governo: é do Governo ou o do Rei?

Portanto, e se pusermos a questão ao contrário? A autoria, a responsabilidade é de quem assina? Eu tenho um texto produzido por um ghost writer - se sou eu que o assino, que o falo, o texto é meu, certo? Se eu assino um texto assinado por um LLM a responsabilidade é minha, logo é meu, não?

Se o texto transmite o que pretendo, com os argumentos que pretendo, o texto reflecte o que eu pretendo dizer, logo para mim e para quem o lê, não se torna indiferente quem efectivamente o escreveu, porque o efeito prático é o mesmo?

Claro que isto aumenta o risco de fraude, no sentido em que indivíduos idiotas podem parecer brilhantes. Mas o brilho não dura. A IA amplifica o fazemos. Se o que fazemos é brilhante, mais brilhante fica. Se o que fazemos é miserável, mais miserável a IA o torna.

José Paulo Castro

Vou utilizar um argumento para o uso da IA em textos, o único que considero válido:

Pedi ao LLM um texto sobre uma tese qualquer, num estilo de pessoa que detesto, a defender os pontos fortes dessa tese, apenas para usar como inspiração contrária ao texto que eu próprio produzirei, sem recurso a IA, para contradizer essa tese (que sempre refutei).

Ainda serei escritor?

Rosa Ribeiro

Creio que voltarei a escrever à mão.

Já ficava incomodada quando o corrector alterava palavras que eu escrevia e, agora é impossível, fazer uma narrativa incoerente sem que a IA coloque uma coerência que uma pessoa repudie.

O raciocínio humano é fascinante nas suas nuances de profundidade e de superficialidade, de verdade e mentira, numa complexa mistura que só as pessoas podem ter. Só nestes pormenores, poderemos manter a nossa sanidade mental e exigir a nossa capacidade de "dominar", ou pelo menos, limitar o poder da IA, que deve ser utilizada/aproveitada para a Ciência, para a Arqueologia e para substituir o homem em tarefas delicadas ou perigosas.

 O Homem tem de preservar a sua capacidade de criação cultural, penso.