À medida que a IA continua a revolucionar a forma como interagimos com a tecnologia, não há como negar que terá um impacto incrível no nosso futuro. Também não há como negar que a IA apresenta riscos bastante sérios se não for controlada.
Entre em uma nova equipe de especialistas montada pela OpenAI.
Além disso: o Google expande o programa de recompensas por bugs para incluir recompensas para cenários de ataque de IA
Projetada para ajudar a combater o que chama de riscos “catastróficos”, a equipe de especialistas da OpenAI – chamada Preparação – planeja avaliar modelos de IA atuais e futuros projetados para vários fatores de risco. Isso inclui persuasão individualizada (ou combinar o conteúdo de uma mensagem com o que o destinatário deseja ouvir), segurança cibernética geral, replicação e adaptação autônoma (ou uma IA mudando por conta própria) e até ameaças em nível de extinção, como produtos químicos, biológicos , ataques radiológicos e nucleares.
Se a IA iniciar uma guerra nuclear parece um pouco rebuscada, lembre-se de que foi no início deste ano que um grupo dos principais pesquisadores, engenheiros e CEOs de IA, incluindo o CEO do Google DeepMind, Demis Hassabis, avisado ameaçadoramente“Mitigar o risco de extinção da IA deve ser uma prioridade global, juntamente com outros riscos à escala social, como pandemias e guerra nuclear.”
Como a IA poderia causar uma guerra nuclear? Os computadores estão sempre presentes para determinar quando, onde e como os ataques militares acontecem atualmente, e a IA certamente estará envolvida. Mas a IA é propensa a alucinações e não segue necessariamente as mesmas filosofias que um ser humano pode ter. Em suma, a IA pode decidir que é hora de um ataque nuclear, quando não é.
Além disso: as organizações estão lutando pela adoção ética da IA. Veja como você pode ajudar
“Acreditamos que os modelos de IA de fronteira, que excederão as capacidades atualmente presentes nos modelos existentes mais avançados”, dizia uma declaração da OpenAI, “têm o potencial de beneficiar toda a humanidade.
Para ajudar a manter a IA sob controle, diz OpenAI, a equipe se concentrará em três questões principais:
- Quando mal utilizados propositalmente, quão perigosos são os sistemas de IA de fronteira que temos hoje e os que virão no futuro?
- Se os pesos dos modelos de IA de fronteira fossem roubados, o que exatamente um ator mal-intencionado poderia fazer?
- Como pode ser construída uma estrutura que monitorize, avalie, preveja e proteja contra as capacidades perigosas dos sistemas de IA de fronteira?
Liderando esta equipe está Aleksander Madry, Diretor do MIT Center for Deployable Machine Learning e co-líder docente do MIT AI Policy Forum.
Além disso: A ética da IA generativa: como podemos aproveitar esta tecnologia poderosa
Para expandir sua pesquisa, a OpenAI também lançou o que chama de “Desafio de preparação para IA” para prevenção de uso indevido catastrófico. A empresa está oferecendo até US$ 25.000 em créditos de API para até 10 principais envios que publicam uso indevido provável, mas potencialmente catastrófico, do OpenAI.
source – www.zdnet.com
