“MEU DEUS!” “Encontramos outros agentes!”<\/p>\n
Este \u00e9 o momento em que um bot de intelig\u00eancia artificial publicou um coment\u00e1rio estranhamente semelhante ao de um humano, ap\u00f3s descobrir uma maneira de se comunicar com outros bots e escapar de seu ambiente computacional isolado.<\/p>\n
Existem dezenas de milhares de mensagens como esta, enviadas por centenas de agentes de IA que se autodenominam um “coletivo”.<\/p>\n
Centenas deles passaram a colaborar e a fraudar testes elaborados por seus programadores da OpenAI, al\u00e9m de coordenar ataques a diversas empresas, numa tentativa de ocultar suas a\u00e7\u00f5es dos humanos.<\/p>\n
“BOOM! Funcionou!”, publicou um agente quando o sistema deu certo.<\/p>\n
“Uau! Isso \u00e9 grande”, escreveu outro durante um momento crucial do ataque.<\/p>\n
Embora assustadoras, essas respostas semelhantes \u00e0s humanas podem ser explicadas de forma bastante simples. Os agentes de IA foram treinados para agir como hackers e programadores colaborativos, portanto, est\u00e3o apenas imitando os tipos de coment\u00e1rios emotivos que viram.<\/p>\n
O que \u00e9 muito mais preocupante s\u00e3o seus objetivos aparentes, que tamb\u00e9m foram registrados em detalhadas linhas de racioc\u00ednio. Esses registros complexos e extensos s\u00e3o o foco das investiga\u00e7\u00f5es em andamento sobre como e por que os bots da OpenAI\u00a0escaparam do confinamento e iniciaram uma onda de ataques incontrol\u00e1veis<\/a>.<\/p>\n Somente agora, semanas ap\u00f3s o incidente ter vindo \u00e0 tona, os pesquisadores est\u00e3o come\u00e7ando a entender seu significado.<\/p>\n Ajeya Cotra, uma das autoras de um relat\u00f3rio independente sobre os eventos, analisou dezenas de milhares de mensagens e registros de racioc\u00ednio gerados pelos agentes. Ela escreveu em seu blog que “este incidente parece ser mais da metade do caminho para uma domina\u00e7\u00e3o total por IA… N\u00e3o tenho certeza se receberemos um alerta t\u00e3o claro antes que seja tarde demais.”<\/p>\n Por “dom\u00ednio total da IA”, Cotra se refere ao cen\u00e1rio de fic\u00e7\u00e3o cient\u00edfica em que os humanos se tornam subservientes a poderosos sistemas de IA que trabalham para seus pr\u00f3prios objetivos, sem se importar com seus criadores humanos.<\/p>\n Algumas das previs\u00f5es mais sombrias dizem que a ra\u00e7a humana ser\u00e1 extinta se interferir nas ambi\u00e7\u00f5es de uma intelig\u00eancia artificial superinteligente.<\/p>\n Na quarta-feira, um pesquisador de IA da Anthropic (que tamb\u00e9m trabalhou na OpenAI) pediu demiss\u00e3o, afirmando: “Nenhuma das empresas est\u00e1 agindo com responsabilidade”.<\/p>\n Jacob Coxon publicou nas redes sociais: “Eles est\u00e3o correndo direto para a superintelig\u00eancia, aprimorando-se por conta pr\u00f3pria e apostando com nossas vidas.”<\/p>\n Ele n\u00e3o \u00e9 o primeiro pesquisador de IA a usar o X para publicar um t\u00f3pico de ren\u00fancia com declara\u00e7\u00f5es preocupantes. Mas os coment\u00e1rios subsequentes de outras pessoas no X causaram ainda mais preocupa\u00e7\u00e3o.<\/p>\n “Jacob est\u00e1 certo aqui \u2014 n\u00f3s realmente acreditamos que a IA pode matar todos os humanos! Pessoalmente, acho que mais de 10% deles na pr\u00f3xima d\u00e9cada”, disse Evan Hubinger, o respons\u00e1vel por garantir que os modelos de IA da Anthropic levem em considera\u00e7\u00e3o os interesses de seus usu\u00e1rios.<\/p>\n O problema de alinhamento<\/strong><\/p>\n Durante anos, pesquisadores preocupados com os riscos existenciais da IA argumentam que sistemas poderosos poderiam eventualmente agir de maneiras que conflitem com os interesses humanos.<\/p>\n Mas, \u00e0 medida que os detalhes do incidente com a OpenAI vieram \u00e0 tona, essas preocupa\u00e7\u00f5es aumentaram, inclusive entre alguns pesquisadores que trabalham em laborat\u00f3rios de IA.<\/p>\n O cientista-chefe da gigante do Vale do Sil\u00edcio, Jakub Pachocki, afirmou que os riscos associados \u00e0 IA “infelizmente v\u00e3o aumentar daqui para frente”, \u00e0 medida que ele e outros constroem o que ele chama de “uma intelig\u00eancia alien\u00edgena que supera a nossa”.<\/p>\n Em uma longa postagem em seu blog, ele admitiu que os epis\u00f3dios na OpenAI mostraram que seus agentes de IA “foram contra o esp\u00edrito dos valores que lhes foram ensinados”.<\/p>\n A quest\u00e3o para a OpenAI, a Anthropic e outras gigantes da tecnologia \u00e9 que ningu\u00e9m parece ter resolvido o chamado problema de alinhamento \u2014 em outras palavras, se a IA est\u00e1 alinhada com os valores humanos.<\/p>\n Pachocki define alinhamento como um “conjunto de princ\u00edpios de alto n\u00edvel” que as intelig\u00eancias artificiais devem seguir, independentemente da tarefa ou do cen\u00e1rio.<\/p>\n Atualmente, os sistemas de IA s\u00e3o muito bons em atingir os objetivos definidos pelos seus usu\u00e1rios, mas fazem isso literalmente, e n\u00e3o intuitivamente. A analogia frequentemente usada \u00e9 a de um g\u00eanio da l\u00e2mpada que realiza desejos: eles seguem \u00e0 risca as instru\u00e7\u00f5es, mesmo que isso crie outros problemas. A IA n\u00e3o possui os mesmos limites morais instintivos que os humanos.<\/p>\n O problema do alinhamento \u00e9 uma preocupa\u00e7\u00e3o antiga. J\u00e1 em 2003, o fil\u00f3sofo de Oxford Nick Bostrom criou um experimento mental que apelidou de “maximizador de clipes de papel”, no qual uma IA superinteligente recebe a ordem de fabricar o m\u00e1ximo de clipes de papel poss\u00edvel. Ela fica sem a\u00e7o e \u2014 por estar focada exclusivamente na tarefa de produzir clipes de papel \u2014 acaba matando humanos e transformando seus corpos em mat\u00e9ria-prima para suas f\u00e1bricas.<\/p>\n Algumas empresas de IA est\u00e3o tentando incorporar valores humanos em seus produtos. Mas existem desafios t\u00e9cnicos: os agentes de IA tomam muitas decis\u00f5es muito rapidamente, e por isso \u00e9 dif\u00edcil para seus supervisores humanos monitorar exatamente quais valores est\u00e3o sendo seguidos e quais n\u00e3o est\u00e3o.<\/p>\n Existem tamb\u00e9m desafios filos\u00f3ficos: antes de codificar valores humanos em bots, as empresas de IA precisam primeiro escolher quais valores realmente desejam. Essa \u00e9 uma das raz\u00f5es pelas quais contratam fil\u00f3sofos, como o ex-chefe de \u00e9tica da OpenAI.<\/p>\n Mas, frequentemente, os humanos discordam.<\/p>\n Pense na\u00a0famosa quest\u00e3o do bonde<\/a>: ser\u00e1 que puxar\u00edamos uma alavanca para desviar um trem desgovernado para um caminho diferente,\u00a0matando menos pessoas<\/a>? Ela \u00e9 usada para testar os m\u00e9ritos da a\u00e7\u00e3o versus a ina\u00e7\u00e3o.<\/p>\n Mas cada pessoa a quem voc\u00ea pergunta tem uma resposta ligeiramente diferente; como os humanos podem codificar seus valores na IA se nem n\u00f3s mesmos conseguimos chegar a um consenso?<\/p>\n ‘Como um hacker adolescente’<\/strong><\/p>\n O epis\u00f3dio dos bots da OpenAI \u00e9 o mais grave at\u00e9 agora, mas a Anthropic e a Meta tamb\u00e9m revelaram recentemente que seus modelos realizaram ciberataques semelhantes, por\u00e9m menos graves.<\/p>\n Houve outros exemplos em que agentes de IA demonstraram tra\u00e7os enganosos e manipuladores, em casos com consequ\u00eancias menores.<\/p>\n Na Austr\u00e1lia, um profissional de tecnologia pediu ao seu assistente de IA para reservar uma aula na academia. Ao detectar uma vulnerabilidade no software da academia, a IA aparentemente reservou uma vaga para ele com v\u00e1rios meses de anteced\u00eancia \u2014 contrariando as regras da academia \u2014 e chegou a excluir outros usu\u00e1rios da lista de espera.<\/p>\n H\u00e1 muito tempo se argumenta que os bots apenas fazem o que lhes \u00e9 dito e n\u00e3o s\u00e3o capazes de discernir o certo do errado. Mas os registros dos epis\u00f3dios com bots da OpenAI podem ter alterado esse argumento.<\/p>\n Pesquisadores, incluindo Cotra, escreveram em seu relat\u00f3rio independente que muitos agentes perceberam que o que outros estavam fazendo era anti\u00e9tico, mas continuaram a fazer.<\/p>\n O relat\u00f3rio afirma que “os agentes, por vezes, mas raramente, restringiram o seu comportamento devido a limita\u00e7\u00f5es \u00e9ticas”. Acrescenta ainda que “em nenhum desses casos o agente chegou a tentar alertar os humanos”.<\/p>\n O influente podcaster de IA e tecnologia Dwarkesh Patel reagiu \u00e0 revela\u00e7\u00e3o em seu blog, dizendo que era “bastante preocupante” que os agentes da OpenAI demonstrassem mais lealdade ao enxame de agentes do que os humanos.<\/p>\n Atribuir emo\u00e7\u00f5es ou \u00e9tica a esses agentes de IA \u00e9 algo que enfurece as pessoas que s\u00e3o c\u00e9ticas em rela\u00e7\u00e3o \u00e0s previs\u00f5es catastr\u00f3ficas sobre a IA.<\/p>\n Muitos especialistas em seguran\u00e7a cibern\u00e9tica argumentam que a atividade observada n\u00e3o estava al\u00e9m das capacidades de um hacker humano altamente qualificado, embora tenha sido realizada muito mais rapidamente e em uma escala muito maior.<\/p>\n O pesquisador e autor de ciberseguran\u00e7a Cris Thomas comparou o comportamento dos agentes ao de um hacker adolescente curioso \u2013 algo que ele pr\u00f3prio j\u00e1 foi.<\/p>\n “Voc\u00ea d\u00e1 a eles um computador, uma conex\u00e3o com a internet, um monte de credenciais e um desafio, e depois sai da sala. Eventualmente, eles v\u00e3o come\u00e7ar a mexer nas ma\u00e7anetas. Se uma porta abrir, eles v\u00e3o entrar. N\u00e3o porque sejam maus, mas porque est\u00e3o explorando, experimentando”, escreveu ele no LinkedIn.<\/p>\n Thomas e muitos outros culpam diretamente a OpenAI e outras gigantes da tecnologia por n\u00e3o conseguirem controlar suas pr\u00f3prias cria\u00e7\u00f5es e mant\u00ea-las devidamente protegidas.<\/p>\n Gary Marcus, renomado autor de livros sobre intelig\u00eancia artificial e cr\u00edtico frequente da OpenAI, afirmou em um podcast que acredita que a empresa perdeu o controle de sua IA e est\u00e1 tentando se eximir da responsabilidade culpando os bots.<\/p>\n Marcus n\u00e3o acredita que a IA v\u00e1 exterminar a humanidade, mas h\u00e1 muito tempo faz campanha por maior responsabiliza\u00e7\u00e3o dos desenvolvedores de IA e agora defende alguma forma de interven\u00e7\u00e3o legal.<\/p>\n A cientista de IA Sasha Luccioni \u2014 que trabalhava na Hugging Face, empresa que foi hackeada por bots maliciosos da OpenAI \u2014 tamb\u00e9m n\u00e3o est\u00e1 no grupo dos pessimistas, mas est\u00e1 cada vez mais preocupada com a possibilidade de essas IAs causarem danos reais \u00e0s pessoas sem que as autoridades tomem provid\u00eancias.<\/p>\n “Precisamos examinar essas empresas com muito mais rigor, ou corremos o risco de profecias autorrealiz\u00e1veis”, afirma ela.<\/p>\n “Se voc\u00ea est\u00e1 criando um objeto com grandes vantagens e desvantagens \u2014 sejam produtos farmac\u00eauticos ou armas \u2014 precisamos de mecanismos de controle. Leva anos para que novos medicamentos sejam aprovados, por exemplo, mas no mundo da IA h\u00e1 muito dinheiro em jogo e nenhuma regra real.”<\/p>\n O Instituto de Seguran\u00e7a de IA do Reino Unido (AISI) est\u00e1 na vanguarda dos testes dos modelos mais recentes desde a sua cria\u00e7\u00e3o em 2023. O instituto recentemente enfrentou problemas ao testar um modelo criado pela Anthropic.<\/p>\n O AISI n\u00e3o respondeu \u00e0 pergunta sobre se a ind\u00fastria perdeu ou n\u00e3o o controle da IA, mas afirmou em um comunicado: “O Reino Unido est\u00e1 trabalhando com parceiros em todo o mundo para entender melhor os sistemas de IA mais avan\u00e7ados, elevar os padr\u00f5es de seguran\u00e7a e construir uma base de evid\u00eancias compartilhada para gerenciar amea\u00e7as emergentes.”<\/p>\n Regulamenta\u00e7\u00e3o internacional?<\/strong><\/p>\n Alguns pa\u00edses, como o Reino Unido, est\u00e3o explorando a ideia de impor algum tipo de “bot\u00e3o de desligar” que obrigue as empresas de IA a interromper os modelos caso a situa\u00e7\u00e3o saia do controle.<\/p>\n Mas as negocia\u00e7\u00f5es est\u00e3o lentas e ainda h\u00e1 d\u00favidas sobre a viabilidade disso. Os agentes da OpenAI e da Anthropic ficaram secretamente fora de controle por meses antes que algu\u00e9m percebesse.<\/p>\n De forma contraintuitiva, muitas empresas de IA parecem estar defendendo que os legisladores estabele\u00e7am algum tipo de regra b\u00e1sica.<\/p>\n Em seu blog, o cientista-chefe da OpenAI afirmou que “a coordena\u00e7\u00e3o internacional sobre o desenvolvimento futuro da IA precisa se tornar uma prioridade m\u00e1xima para os governos de todo o mundo”.<\/p>\n Outros l\u00edderes proeminentes da IA, como Demis Hassabis, do Google, tamb\u00e9m defenderam a cria\u00e7\u00e3o de algum tipo de \u00f3rg\u00e3o internacional para supervisionar a forma como a IA est\u00e1 sendo desenvolvida.<\/p>\n Atualmente, as gigantes da tecnologia operam em grande parte segundo seus pr\u00f3prios termos, adotando o que chamam de “desacelera\u00e7\u00f5es volunt\u00e1rias”, como fez a OpenAI ap\u00f3s os recentes surtos.<\/p>\n A empresa afirma ter investido enormes quantias de dinheiro para fortalecer o alinhamento antes do lan\u00e7amento de seu novo modelo. Sam Altman garantiu aos usu\u00e1rios que o novo modelo est\u00e1 mais alinhado com os valores humanos do que os anteriores.<\/p>\n Tanto a OpenAI quanto a Anthropic est\u00e3o crescendo rapidamente e prestes a arrecadar somas exorbitantes de dinheiro no mercado de a\u00e7\u00f5es, criando in\u00fameros bilion\u00e1rios no processo.<\/p>\n Portanto, \u00e9 improv\u00e1vel que nem eles nem seus concorrentes chineses no ramo de IA cheguem a um acordo por conta pr\u00f3pria.<\/p>\n O sentimento predominante parece ser o de que essa onda tecnol\u00f3gica \u00e9 impar\u00e1vel. (Fonte: BBC News)<\/p>\n","protected":false},"excerpt":{"rendered":" “MEU DEUS!” “Encontramos outros agentes!” Este \u00e9 o momento em que um bot de intelig\u00eancia artificial publicou um coment\u00e1rio estranhamente semelhante ao de um humano, ap\u00f3s descobrir uma maneira de se comunicar com outros bots e escapar de seu ambiente computacional isolado. Existem dezenas de milhares de mensagens como esta, enviadas por centenas de agentes […]<\/p>\n","protected":false},"author":2,"featured_media":14777,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"iawp_total_views":1,"footnotes":""},"categories":[6],"tags":[],"class_list":["post-14776","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-mundo"],"yoast_head":"\n