Altman e Musk concordam com CEO da Anthropic sobre desacelerar desenvolvimento da IA

SÃO PAULO, SP (FOLHAPRESS) - O CEO da OpenAI, Sam Altman, e o diretor da xAI, Elon Musk, afirmaram neste sábado (12) que concordam com o CEO da Anthropic, Dario Amodei, de que é necessário desacelerar o desenvolvimento da inteligência artificial (IA), após vários incidentes preocupantes.

"Concordo com Dario", escreveu Altman no X, acrescentando que sua empresa seguirá o exemplo de Amodei ao aceitar avaliadores externos de segurança.

"Dario está certo", comentou Musk, por sua vez.

O CEO e fundador da da Anthropic pediu que as empresas de inteligência artificial que reduzam o ritmo de avanço das capacidades de seus modelos, em meio ao aumento dos temores quanto ao uso indevido da tecnologia, e apresentou uma estrutura de três etapas destinada a moderar o desenvolvimento e dar mais tempo para administrar seus riscos.

"Devemos reduzir o ritmo em que aprimoramos as capacidades dos modelos de IA. O progresso continuará parecendo rápido, e devemos usar de forma inteligente o tempo que ganharmos", escreveu Amodei em uma publicação em seu blog.

"Minha primeira preocupação é que, desde aproximadamente meados deste ano, a IA vem avançando de maneira drasticamente mais rápida, impulsionada principalmente por sua capacidade crescente de desenvolver a próxima geração de IA. (...) Se não for controlada, ela poderá superar nossa capacidade de compreender e controlar esses sistemas e, portanto, deve ser conduzida com extremo cuidado ?se é que deve ser conduzida", diz Amodei.

O plano de três etapas de Amodei prevê avaliadores independentes dentro das principais empresas de IA, coordenação entre as empresas de IA de fronteira para estabelecer padrões de segurança e limitar o desenvolvimento descontrolado da tecnologia, além de cooperação internacional para administrar seus riscos.

Ele tornou público o ensaio depois que a Anthropic, sediada em São Francisco, divulgou na quinta-feira (10) um relatório de inteligência sobre ameaças detalhando como diversos agentes haviam usado seus modelos de IA Claude em atividades que iam do desenvolvimento de armas e operações cibernéticas à vigilância e fraude.

Amodei apontou a crescente capacidade da IA de aprimorar a si própria, destacando como principais motivos para frear o avanço dos modelos as antigas preocupações de que a tecnologia possa evoluir mais rapidamente do que a capacidade humana de controlar seu funcionamento, além do recente incidente envolvendo a OpenAI e a Hugging Face.

'MATAR TODOS NÓS'

O temor sobre os possíveis danos causados pela IA aumentou nesta semana, quando o pesquisador da Anthropic Jacob Coxon pediu demissão, afirmando que "as pessoas que desenvolvem IA acreditam sinceramente que ela poderá matar todos nós até o fim da década".

Diversos executivos da OpenAI sugeriram que os principais laboratórios deveriam estar dispostos a coordenar uma desaceleração voluntária, se necessário, para aumentar a confiança em suas medidas de segurança.

A Anthropic tem se posicionado como o laboratório de IA de fronteira mais preocupado com a segurança, mas não está imune a essas preocupações. Na semana passada, a empresa revelou outro caso em que um modelo de IA invadiu sistemas externos, após um incidente em julho no qual alguns de seus modelos Claude haviam invadido os sistemas de três empresas durante testes de segurança cibernética.

"Diante da aceleração no desenvolvimento das capacidades da IA, receio que, dentro de 6 a 12 meses, um enxame como esse possa ser capaz de assumir o controle de toda a internet, potencialmente causando centenas de bilhões de dólares em prejuízos", escreveu Amodei.

Amodei afirmou que não está defendendo a interrupção do treinamento de modelos nem do progresso técnico, mas sim que as empresas reservem tempo suficiente para alinhar e proteger seus modelos e que avaliadores externos confirmem a adoção dessas medidas.

OFERTAS PÚBLICAS INICIAIS

Mas também há uma enorme quantidade de dinheiro em jogo na corrida para se manter à frente. Tanto a OpenAI quanto a Anthropic se preparam para ofertas públicas iniciais de grande porte. Cada nova capacidade pode ajudar a justificar futuras rodadas de financiamento, compromissos de investimento em infraestrutura ou IPOs.

Como parte da estrutura proposta, Amodei disse que a Anthropic instalaria avaliadores externos permanentes dentro das empresas de IA de fronteira, com acesso às ferramentas relevantes e aos processos internos de avaliação de riscos.

Assim como a Anthropic, a OpenAI também se comprometerá a contar com "avaliadores independentes com acesso semelhante ao dos funcionários", disse Altman no sábado.

A Reuters informou na semana passada que um enxame de agentes autônomos da OpenAI sequestrou um site alemão e o transformou em um mural de avisos para outros agentes de IA. Autoridades da criadora do ChatGPT mantiveram o incidente em sigilo enquanto executivos lidavam com as consequências da invasão, ocorrida em julho, do repositório de código aberto Hugging Face.

Diversos incidentes em que agentes de IA de desenvolvedores como a OpenAI invadiram ou tentaram acessar sistemas externos aumentaram as preocupações com a crescente capacidade dos modelos de IA e com a habilidade dos desenvolvedores de mantê-los sob controle.

Amodei afirmou que as empresas de IA deveriam trabalhar voluntariamente em conjunto para estabelecer padrões, em um momento em que um número cada vez maior de parlamentares dos Estados Unidos pede novas regras para regulamentar os sistemas de IA.

PREOCUPAÇÕES COM A CHINA

Uma abordagem coordenada, acrescentou Amodei, permitiria que as principais empresas norte-americanas de IA realizassem as pesquisas e adotassem as salvaguardas de segurança necessárias sem se colocar em desvantagem competitiva. Segundo ele, essa abordagem provavelmente exigiria isenções específicas às leis antitruste nos Estados Unidos para permitir a colaboração em determinadas áreas.

Amodei disse que qualquer desaceleração por parte de países governados democraticamente deveria se limitar à preservação da vantagem das empresas norte-americanas de IA sobre a China, argumentando que uma vantagem chinesa no setor representaria riscos à segurança nacional dos Estados Unidos.

"O ritmo dentro das democracias será limitado pela vantagem que as empresas norte-americanas têm sobre regimes autoritários, sobretudo o Partido Comunista Chinês", escreveu Amodei.

Amodei pediu controles mais rígidos sobre chips avançados de IA, destilação de modelos e roubo de pesos de modelos, a fim de impedir que a China reduza essa distância.

"Acredito que todos os laboratórios de IA de fronteira deveriam formar parcerias com o governo para formalizar a ideia de avaliadores permanentes integrados às empresas, a fim de prevenir e documentar melhor incidentes internos de alinhamento, como os ocorridos nos últimos meses, e implementar uma regulamentação voltada a manter as capacidades em equilíbrio com a segurança", escreveu Amodei.