Publicado: 27 de outubro de 2023 às 3h28 Atualizado: 27 de outubro de 2023 às 3h28
A OpenAI está fortalecendo proativamente sua abordagem em relação à segurança da IA, especialmente com o rápido desenvolvimento de modelos de IA de ponta. Esses modelos de última geração prometem avanços significativos, mas também apresentam riscos elevados.
O potencial de utilização indevida, especialmente nas mãos de entidades maliciosas, continua a ser uma preocupação, levando a organização a procurar medidas robustas que avaliem, monitorizem e protejam contra os perigos que estes sistemas podem apresentar.
À luz destas preocupações, a OpenAI está a criar uma unidade especializada, a equipa de Preparação, liderada por Aleksander Madry. O objetivo principal desta equipe gira em torno da avaliação de capacidade, avaliação e “equipe vermelha” preditiva para os modelos de ponta no pipeline de IA. O seu âmbito de vigilância abrangerá um amplo espectro de ameaças potenciais, incluindo:
- Táticas de influência personalizadas,
- Ameaças cibernéticas,
- Riscos relativos aos setores químico, biológico, radiológico e nuclear,
- E os desafios da replicação autónoma e da adaptabilidade em sistemas de IA.
Estamos construindo uma nova equipe de Preparação para avaliar, prever e proteger contra os riscos da IA altamente capaz – desde os modelos atuais até a AGI.
Objetivo: uma metodologia quantitativa baseada em evidências, além do que é aceito como possível: https://t.co/8lwtfMR1Iy
– OpenAI (@OpenAI) 26 de outubro de 2023
Para racionalizar estes esforços, a equipa de Preparação também está focada na definição da Política de Desenvolvimento Informada sobre os Riscos (PDR). Esta política descreve estratégias rigorosas para avaliar as capacidades do modelo de fronteira e monitorizá-las, criando medidas de protecção e estabelecendo um quadro de governo para supervisionar o processo de desenvolvimento da IA.
O RDP visa reforçar as atuais estratégias de mitigação de riscos da OpenAI, garantindo que as fases de pré-implantação e pós-implantação dos sistemas de IA estejam alinhadas com os padrões regulatórios e de segurança.
A OpenAI acredita na inteligência coletiva e está buscando insights e experiência na comunidade em geral. Eles lançaram o Desafio de Preparação, incentivando entusiastas e especialistas a compartilharem suas perspectivas e soluções.
Este desafio não só oferece recompensas substanciais, incluindo créditos de API no valor de US$ 25.000 para envios de destaque, mas também é uma plataforma de reconhecimento para a OpenAI identificar potenciais membros da equipe para a iniciativa Preparação. Este desafio permanece aberto até 31 de dezembro de 2023, com a organização interessada em integrar novas ideias e metodologias no seu plano de segurança.
Nik é um analista e escritor talentoso no Metaverse Post, especializado em fornecer insights de ponta sobre o mundo acelerado da tecnologia, com ênfase particular em IA/ML, XR, VR, análises on-chain e desenvolvimento de blockchain. Seus artigos envolvem e informam um público diversificado, ajudando-os a permanecer à frente da curva tecnológica. Possuindo um mestrado em Economia e Gestão, Nik tem uma sólida compreensão das nuances do mundo dos negócios e da sua intersecção com tecnologias emergentes.
Mais artigos
Nik Asti
Nik é um analista e escritor talentoso no Metaverse Post, especializado em fornecer insights de ponta sobre o mundo acelerado da tecnologia, com ênfase particular em IA/ML, XR, VR, análises on-chain e desenvolvimento de blockchain. Seus artigos envolvem e informam um público diversificado, ajudando-os a permanecer à frente da curva tecnológica. Possuindo um mestrado em Economia e Gestão, Nik tem uma sólida compreensão das nuances do mundo dos negócios e da sua intersecção com tecnologias emergentes.
Mais artigos
source – mpost.io
