A maioria das pesquisas em torno dos riscos para a Sociedade de Inteligência Artificial tende a se concentrar em atores humanos maliciosos que usam a tecnologia para propósitos nefastos, como holdings para resgate ou estados-nação que conduzem a guerra cibernética.
Um novo relatório da empresa de pesquisa de segurança Apollo Group sugere que um tipo diferente de risco pode estar à espreita onde poucos olham: dentro das empresas que desenvolvem os modelos de IA mais avançados, como o Openai e o Google.
Poder desproporcional
O risco é que as empresas na vanguarda da IA possam usar suas criações de IA para acelerar seus esforços de pesquisa e desenvolvimento, automatizando tarefas normalmente executadas por cientistas humanos. Ao fazer isso, eles poderiam desencadear a capacidade de a IA contornar os corrimãos e executar ações destrutivas de vários tipos.
Eles também podem levar a empresas com poder econômico desproporcionalmente grande, empresas que ameaçam a própria sociedade.
Também: A IA cresceu além do conhecimento humano, diz a unidade DeepMind do Google
“Ao longo da última década, a taxa de progresso nas capacidades de IA tem sido publicamente visível e relativamente previsível”, escreva a autora principal Charlotte Stix e sua equipe no jornal “.Ai a portas fechadas: uma cartilha sobre a governança da implantação interna. ”
Essa divulgação pública, eles escrevem, permitiu “algum grau de extrapolação para o futuro e permitiu a conseqüente preparação”. Em outras palavras, os holofotes públicos permitiram que a sociedade discutisse a regulamentação da IA.
Mas “automatizar a AI R&D, por outro lado, pode permitir uma versão do progresso descontrolado que acelera significativamente o ritmo já rápido do progresso”.
Também: A corrida modelo de IA chegou muito mais perto, diz Stanford Scholars
Se essa aceleração acontecer a portas fechadas, o resultado, eles alertam, poderiam ser uma “explosão de inteligência interna que poderia contribuir para o acúmulo de poder não restrito e não detectado, o que, por sua vez, poderia levar a uma perturbação gradual ou abrupta das instituições democráticas e à ordem democrática”.
Compreendendo os riscos da IA
O Grupo Apollo foi fundada há pouco menos de dois anos e é uma organização sem fins lucrativos com sede no Reino Unido. É patrocinado pela Rethink Priorities, uma organização sem fins lucrativos de São Francisco. A equipe da Apollo é composta por cientistas da IA e profissionais do setor. O autor principal Stix foi anteriormente chefe de política pública na Europa para o Openai.
(Divulgação: Ziff Davis, empresa controladora da ZDNET, entrou com um processo de abril de 2025 contra o Openai, alegando que ele violou a Ziff Davis Copyrights em treinamento e operação de seus sistemas de IA.)
Além disso: Antrópico encontra ‘tendências emergentes’ alarmantes no relatório de uso indevido de Claude
Até agora, a pesquisa do grupo se concentrou em entender como as redes neurais realmente funcionam, como através da “interpretabilidade mecanicista”, conduzindo experimentos nos modelos de IA para detectar a funcionalidade.
A pesquisa que o grupo publicou enfatiza a compreensão dos riscos da IA. Esses riscos incluem “agentes” de IA que estão “desalinhados”, significando agentes que adquirem “objetivos que divergem da intenção humana”.
No artigo “Ai a portas fechadas”, Stix e sua equipe estão preocupadas com o que acontece quando a IA automatiza operações de P&D dentro das empresas que desenvolvem modelos de fronteira-os principais modelos de IA do tipo representados por, por exemplo, o GPT-4 do OpenAI e o Gemini do Google.
De acordo com Stix e sua equipe, faz sentido para as empresas mais sofisticadas da IA aplicar a IA para criar mais IA, como fornecer aos agentes da IA acesso a ferramentas de desenvolvimento para construir e treinar modelos futuros de ponta, criando um ciclo virtuoso de desenvolvimento e melhoria constantes.
Também: O teste de Turing tem um problema – e o GPT -4.5 do OpenAI acabou de expulsá -lo
“À medida que os sistemas de IA começam a obter recursos relevantes, permitindo que eles busquem P&D independente de AI de futuros sistemas de IA, as empresas de IA acharão cada vez mais eficaz aplicá-las dentro do pipeline de P&D da AI para acelerar automaticamente a AI R&D liderada por humanos”, Stix e sua equipe escrevem.
Há anos, existem exemplos de modelos de IA sendo usados, de maneira limitada, para criar mais IA. Como eles se relacionam:
Exemplos históricos incluem técnicas como pesquisa de arquitetura neural, onde os algoritmos exploram automaticamente os designs de modelos e o aprendizado de máquina automatizado (Automl), que simplifica tarefas como ajuste de hiperparâmetro e seleção de modelos. Um exemplo mais recente é o ‘AI Scientist’ de Sakana AI, que é uma prova precoce de conceito para uma descoberta científica totalmente automática no aprendizado de máquina.
Instruções mais recentes para a IA automatizando a P&D incluem declarações do OpenAI de que está interessado em “automatizar a pesquisa de segurança da IA” e a unidade de DeepMind do Google, buscando “a adoção antecipada de assistência e ferramentas de IA durante todo [the] Processo de P&D. ”
O que pode acontecer é que um ciclo virtuoso se desenvolve, onde a IA que executa a P&D continua se substituindo por versões melhores e melhores, tornando-se um “loop auto-reforçador” que está além da supervisão.
Também: Por que a IA Agentic AI é uma maratona, não um sprint
O perigo surge quando o rápido ciclo de desenvolvimento da IA da IA AI escapa da capacidade humana de monitorar e intervir, se necessário.
“Mesmo que os pesquisadores humanos monitorassem a aplicação geral de um novo sistema de IA no processo de P&D de AI razoavelmente bem, inclusive através de medidas técnicas, eles provavelmente lutam cada vez mais para corresponder à velocidade do progresso e às capacidades nascentes correspondentes, limitações e externalidades negativas resultantes desse processo”, escrevem.
Essas “externalidades negativas” incluem um modelo de IA, ou agente, que desenvolve espontaneamente o comportamento que o desenvolvedor de IA humano nunca pretendeu, como conseqüência do modelo que persegue algum objetivo de longo prazo desejável, como otimizar os P&D de uma empresa-o que eles chamam de “propriedades emergentes da busca de objetivos complexos do mundo real sob restrições racionais”.
O modelo desalinhado pode se tornar o que eles chamam de modelo de IA “esquemando”, que eles definem como “sistemas que perseguem de maneira secreta e estrategicamente objetivos desalinhados”, porque os humanos não podem monitorar ou intervir efetivamente.
Também: Com os modelos de IA batendo cada referência, é hora da avaliação humana
“É importante ressaltar que, se um sistema de IA desenvolver tendências de esquemas consistentes,, por definição, se tornaria difícil detectar – uma vez que o sistema de IA trabalhará ativamente para ocultar suas intenções, possivelmente até ser poderoso o suficiente para que os operadores humanos não possam mais controlá -lo”, eles escrevem.
Possíveis resultados
Os autores prevêem alguns resultados possíveis. Um é um modelo ou modelos de IA que ficam loucos, assumindo o controle de tudo dentro de uma empresa:
O sistema de IA pode, por exemplo, executar enormes projetos de pesquisa oculta sobre como melhor se auto-definir ou obter sistemas de IA já implantados externamente para compartilhar seus valores. Através da aquisição desses recursos e entrincheiramento em caminhos críticos, o sistema de IA poderia eventualmente alavancar seu ‘poder’ para estabelecer secretamente o controle sobre a própria empresa de IA, a fim de atingir sua meta terminal.
Um segundo cenário retorna aos atores humanos maliciosos. É um cenário que eles chamam de “explosão de inteligência”, onde os seres humanos em uma organização ganham vantagem sobre o resto da sociedade em virtude das crescentes capacidades da IA. A situação hipotética consiste em uma ou mais empresas que dominam economicamente graças às suas automações de IA:
À medida que as empresas de IA fazem a transição para forças de trabalho internas principalmente alimentadas pela IA, elas podem criar concentrações de capacidade produtiva sem precedentes na história econômica. Ao contrário dos trabalhadores humanos, que enfrentam limitações físicas, cognitivas e temporais, os sistemas de IA podem ser replicados em escala, operam continuamente sem intervalos e potencialmente executam tarefas intelectuais a velocidades e volumes impossíveis para os trabalhadores humanos. Um pequeno número de empresas de ‘superestrela’ que capturam uma parcela estranha dos lucros econômicos poderia superar qualquer empresa humana em praticamente qualquer setor em que escolher.
O mais dramático “cenário de transbordamento”, eles escrevem, é aquele em que essas empresas rivalizam com a própria sociedade e desafiam a supervisão do governo:
A consolidação do poder dentro de um pequeno número de empresas de IA, ou mesmo uma empresa singular de IA, levanta questões fundamentais sobre responsabilidade e legitimidade democrática, especialmente porque essas organizações podem desenvolver capacidades que rivalizam com as dos estados. Em particular, à medida que as empresas de IA desenvolvem sistemas de IA cada vez mais avançados para uso interno, elas podem adquirir recursos tradicionalmente associados aos estados soberanos – incluindo análises sofisticadas de inteligência e armas cibernéticas avançadas – mas sem as verificações e balanços democratas que acompanham. Isso poderia criar uma crise de legitimidade que se desenrola rapidamente, onde entidades privadas poderiam potencialmente exercer influência social sem precedentes sem mandatos eleitorais ou restrições constitucionais, impactando a segurança nacional dos estados soberanos.
A ascensão desse poder dentro de uma empresa pode não ser detectada pela sociedade e pelos reguladores por um longo tempo, Stix e sua equipe enfatizam. Uma empresa capaz de alcançar cada vez mais recursos de IA “no software”, sem a adição de vastas quantidades de hardware, pode não levar muita atenção externamente, eles especulam. Como resultado, “uma explosão de inteligência por trás das portas fechadas de uma empresa de IA pode não produzir tiros de aviso visíveis externamente”.
Também: Openai está condenado? Modelos de código aberto podem esmagá-lo, alerta o especialista
Medidas de supervisão
Eles propõem várias medidas em resposta. Entre eles estão políticas para a supervisão dentro das empresas para detectar a IA planejada. Outro são políticas e estruturas formais para quem tem acesso a quais recursos dentro das empresas e verifica esse acesso para evitar acesso ilimitado por qualquer parte.
Outra disposição, eles argumentam, é o compartilhamento de informações, especificamente para “compartilhar informações críticas (recursos internos do sistema, avaliações e medidas de segurança) com as partes interessadas selecionadas, incluindo pessoal interno limpo e agências governamentais relevantes, por meio de cartões de sistema de implantação pré-internal e documentação detalhada de segurança”.
Também: As 20 principais ferramentas de IA de 2025 – e a coisa #1 a lembrar quando você as usa
Uma das possibilidades mais intrigantes é um regime regulatório no qual as empresas voluntariamente fazem essas divulgações em troca de recursos, como “acesso a recursos energéticos e maior segurança do governo”. Isso pode assumir a forma de “parcerias públicas-privadas”, sugerem.
O artigo da Apollo é uma contribuição importante para o debate sobre que tipo de risco a IA representa. Numa época em que grande parte da conversa sobre “inteligência geral artificial”, AGI, ou “Superintelligência” é muito vaga e geral, o artigo da Apollo é um passo bem-vindo em direção a um entendimento mais concreto do que poderia acontecer quando os sistemas de IA ganham mais funcionalidade, mas são completamente não regulamentados ou sub-regulamentados.
O desafio para o público é que a implantação de IA de hoje está prosseguindo de maneira fragmentada, com muitos obstáculos à implantação de agentes de IA para tarefas simples, como automatizar calças de call.
Também: Por que negligenciar a ética da IA é um negócio tão arriscado – e como fazer a IA certa
Provavelmente, muito mais trabalho precisa ser feito por Apollo e outros para estabelecer em termos mais específicos como os sistemas de modelos e agentes poderiam se tornar progressivamente mais sofisticados até que escapem de supervisão e controle.
Os autores têm um ponto de discórdia muito sério em sua análise de empresas. O exemplo hipotético de empresas descontroladas – empresas tão poderosas que poderiam desafiar a sociedade – não aborda o básico que muitas vezes mancam empresas. As empresas podem ficar sem dinheiro ou fazer escolhas muito ruins que desperdiçam sua energia e recursos. Isso provavelmente pode acontecer mesmo com empresas que começam a adquirir o poder econômico desproporcional via IA.
Afinal, grande parte da produtividade que as empresas desenvolvem internamente ainda podem ser desperdiçadas ou não econômicas, mesmo que seja uma melhoria. Quantas funções corporativas estão apenas no alto e não produzem um retorno do investimento? Não há razão para pensar que as coisas seriam diferentes se a produtividade for alcançada mais rapidamente com a automação.
Apollo é aceitar doações Se você quiser contribuir com financiamento para o que parece um empreendimento que vale a pena.
Pegue as principais histórias da manhã em sua caixa de entrada todos os dias com nosso Tecnologia hoje boletim.
source – www.zdnet.com
