16 de junho de 2023

“Meganets”, a nova desculpa melodramática para desistir da opressão digital sem lutar

Uma sessão na cúpula do Fórum Econômico Mundial de 2023 na Suíça colocou a questão “Você está pronto para a transparência do cérebro?” Em um breve vídeo animado, as ondas cerebrais de uma mulher são monitoradas por meio de fones de ouvido fornecidos pelo trabalho, maximizando sua saúde e produtividade. Quando ela chega ao escritório no dia seguinte, no entanto, o alegre panóptico toma um rumo mais sombrio: um colega de trabalho é preso por fraude eletrônica e o governo intimou os registros de ondas cerebrais de toda a equipe para procurar cúmplices. Nossa personagem principal é inocente, mas ela estava trabalhando com o acusado em um projeto paralelo secreto, o que significa que os federais podem ver uma consciência culpada onde não existe.

O clipe termina e a apresentadora da sessão, Nita A. Farahany, professora de direito da Duke University, sobe ao palco. “O que você acha?” ela pergunta. “É um futuro para o qual você está pronto?” O público de Davos responde com um “não” uniforme e resoluto.

“Você pode se surpreender ao saber que é um futuro que já chegou”, responde Farahany. “Afinal, o que você pensa, o que você sente – são apenas dados, dados que em grandes padrões podem ser decodificados usando inteligência artificial.” A tecnologia básica para analisar as ondas cerebrais já existe, ela explica, e logo estará pronta para ser utilizada por corporações, sistemas de saúde e pelo Estado.

O que Farahany está descrevendo é uma espécie de “meganet”, o conceito titular de um novo livro provocativo de David B. Auerbach, ex-engenheiro de software do Google e da Microsoft. Meganets, Auerbach argumenta, são “gigantes humanos-máquinas invisíveis” que estão “reestruturando radicalmente nossas vidas” e até mesmo nossas “realidades internas”. Algumas meganets já estão conosco – Facebook, o metaverso, jogos on-line massivamente multiplayer, criptomoeda e sistemas estatais de rastreamento de cidadãos, cada um dos quais recebe tratamento extensivo em Meganets – mas Auerbach afirma que poucas pessoas percebem a extensão das meganets de mudança . arauto:

Essas meganets são combinações fundamentalmente novas de um grande número de pessoas e enormes quantidades de poder de processamento computacional. Eles evoluem mais rápido do que podemos rastreá-los. Seu funcionamento é opaco até mesmo para seus administradores. E eles ocupam irreversivelmente nossas vidas com uma persistência contínua que os torna indissociáveis ​​do tecido da sociedade.

Revisado neste artigo

Meganets: como forças digitais além de nosso controle controlam nossas vidas diárias e realidades internas – David B. Auerbach

Na linha do tempo de Auerbach, estamos no início da era meganet, “imersos em um mundo administrado por enormes redes de computadores fundamentalmente fora de nosso controle”, mas ainda em contato com – ou, talvez, ingenuamente agarrados a – um mundo pré-meganet. As meganets que conhecemos agora são apenas o começo, e mais tecnologia não vai nos salvar. Podemos pensar que o problema é uma “falta de vontade ou ética” por parte das corporações de meganet, ou que os operadores de meganet simplesmente sacrificam o controle pelo lucro. Mas o problema é muito mais profundo, diz Auerbach. É que cada meganet se tornará “invariavelmente” muito complexa para a supervisão humana.

A totalidade e a severidade da profecia de Auerbach são quase implacáveis. Ele antecipa meganets degradando nosso pensamento e fala, afastando-nos da linguagem humana complexa e cheia de nuances em direção a emojis que “ajudam os algoritmos a nos classificar perfeitamente”. “A autodeterminação será um mito distante”, prevê, já que seremos, desde o nascimento, classificados por meganets e “submetidos constantemente às decisões de algoritmos e IAs que, quando questionados, não podem ser explicados ou revertidos”. Talvez de maneira mais ameaçadora, Auerbach costuma falar da meganet , singular, uma quimera vindoura do que agora são redes distintas e, portanto, menos poderosas.

Talvez ninguém queira uma única entidade – como uma empresa, mas mais provavelmente o estado – para gerenciar nossas redes sociais, “hábitos de compras, perfil comercial, histórico de crédito, registros médicos, benefícios do governo e impostos”, mas “a força irresistível da meganet irá gradualmente consolidar essas esferas.” Isso é, como Auerbach diz muitas vezes sobre muitas meganets ao longo do livro, “inevitável”. Não podemos pará-lo, embora talvez possamos aplicar alguns forros de veludo em nossas algemas e nos consolar com o fato de que o caos inerente da meganet significa que eles não são tão apertados quanto poderiam ser.

Éfácil imaginar a ideia de Auerbach ganhando popularidade, não apenas no discurso popular. Em um nível mais sério, no entanto, Meganets se encaixa confortavelmente em uma crítica mais ampla do desenvolvimento tecnológico e sua reformulação de nossas vidas que o retrata como um sistema que degrada a agência humana. “A vontade desses sistemas é maior do que a do indivíduo mais poderoso”, escreve Auerbach. Eles “redefiniram o próprio conceito de agência, absorvendo indivíduos em grupos homogêneos maiores nos quais a autonomia de uma única pessoa é, na melhor das hipóteses, uma qualidade questionável”.

Esse tipo de análise de sistemas dificilmente é isento de discernimento. A sensação de restrição mecânica e manipulação gamificada que evoca será familiar para qualquer um que esteja muito online, qualquer um que tenha sentido a Internet “mexer com [seu] cérebro, remapear os circuitos neurais, reprogramar a memória”, como Nicholas Carr escreveu em o ensaio da Atlantic de 2008 que se tornaria The Shallows .

Também será familiar se você notou a inadequação fundamental de tantas propostas para “consertar” a mídia social e seus efeitos deletérios em nossa política. “Os desafios que enfrentamos não são apenas os maus atores, sejam eles agentes estrangeiros, grandes empresas de tecnologia ou extremistas políticos”, escreveu L. M. Sacasas nestas páginas . Em vez de,

estamos no meio de uma profunda transformação de nossa cultura política, pois a tecnologia digital está remodelando a experiência humana tanto individual quanto socialmente. A Internet não é simplesmente uma ferramenta com a qual fazemos política bem ou mal; criou um novo ambiente que produz um conjunto diferente de suposições, princípios e hábitos daqueles que ordenavam a política americana na era pré-digital.

Também mudou o conjunto de opções que normalmente consideramos disponíveis para socializar, fazer compras, trabalhar, adorar e muito mais.

Mas a crítica dos sistemas pode ir longe demais ao absolver os humanos, tanto como indivíduos quanto como instituições, da responsabilidade pelos sistemas que construímos e aos quais nos sujeitamos e uns aos outros. Apesar de toda a conversa sobre uma queda “inevitável” e “irresistível” na distopia, o próprio livro de Auerbach mostra falhas nos sistemas.

Oprimeiro capítulo de Auerbach começa com um trio de anedotas destinadas a mostrar que as meganets têm uma escala sem precedentes – que “até recentemente, a quantidade de conhecimento era administrável”, mas agora temos um “mundo grande demais para ser conhecido”. Mas nenhum dos relatos realmente retrata uma falta de agência ou um excesso incapacitante de dados.

Em uma história, arquitetos iranianos desenham planos para um arranha-céu que servirá como parque aquático e mina de criptomoedas – mas nunca o construíram. Em outro, o governo de Cingapura usa seu aplicativo de rastreamento Covid-19 para aplicação da lei depois de prometer ao público que não seria usado dessa forma. No terceiro, o presidente da Estônia anuncia uma tecnologia baseada em blockchain que mais tarde foi revelada para rodar em um software mais simples. Essas não são histórias de um mundo grande demais para ser conhecido ou complicado demais para uma escolha humana significativa. Eles são exemplos de fantasia humana, decepção e confusão, respectivamente.

Mais amplamente, Auerbach não demonstra conclusivamente a diferença entre meganets e outras redes extremamente grandes de conhecimento diversificado. Talvez haja realmente uma diferença, mas ele nunca mostra claramente que é pelo menos uma possível linha de falha em sua crítica de sistemas. Chame isso de problema “ Eu, Lápis ” – mesmo coisas aparentemente simples podem se tornar profundamente complicadas, como quantos atores de quantas partes do mundo devem ser chamados para criar um lápis humilde. O conhecimento do mundo antes da revolução digital era realmente administrável? Ou há muito participamos de sistemas incrivelmente complexos e abrangentes que nunca podem ter um mentor? A falta de controle e conhecimento do Facebook é realmente incomparável a, digamos, mercados mundiais descentralizados?

Auerbach pode argumentar que a velocidade do desenvolvimento das meganets é incomparável no mercado: elas “apresentam visões do mundo em constante evolução para nós mais rápido do que podemos testar e corrigir essas visões”, escreve ele. As habilidades dos Meganets estão sempre um passo à frente de nossa compreensão.

Mas para isso também há precedentes. Faz parte do que em política externa é chamado de assimetria ataque-defesa, um dilema difícil, mas comum, que a longo prazo não é necessariamente intransponível. Novos meios de ataque muitas vezes surgem antes dos meios de defesa: a espada antes da cota de malha, a bala antes do colete Kevlar, o míssil antes do sistema de interceptação de mísseis. Uma nova técnica ou tecnologia pode conferir invencibilidade quando introduzida pela primeira vez, mas isso nem sempre é um atributo permanente. Auerbach pode estar certo de que as meganets ultrapassarão para sempre o poder humano para defender nossos dados e nossas mentes. Ou pode ser que, com o tempo, encontremos alguns meios ainda não concebidos para combater as meganets de volta.

No entanto, mesmo que a rápida evolução das meganets se mostre uma complicação legitimamente sem precedentes, geralmente não somos forçados a suportá-la; é uma complicação que escolhemos. Mas a crítica dos sistemas de Auerbach não admite essa escolha.

Considere sua extensa discussão sobre o Facebook. Junto com o Twitter e aplicativos sociais menores como Farmville, Auerbach lança o Facebook como uma meganet contemporânea clássica na qual podemos facilmente perceber as qualidades “essenciais” das meganets de volume, velocidade e viralidade. O Facebook é um grupo muito grande de pessoas que compartilham uma quantidade muito grande de informações (volume), com velocidade tão grande que supera as regulamentações normais do comportamento humano, como verificação de fatos, escrúpulos éticos ou mesmo restrições legais (velocidade), em um auto – processo de perpetuação (viralidade).

Os resultados são feios, mas aparentemente não há solução. O fracasso do Facebook, diante da desinformação pandêmica em sua rede, “em abordar críticas contínuas e contundentes de todos os lados sobre um assunto que não os beneficia muito de forma alguma, não fala de malícia e nem mesmo de incompetência”, Auerbach insiste . “Isso fala de uma incapacidade real de resolver os problemas…. [CEO do Facebook, Mark] A criação de Zuckerberg tornou-se tão autônoma quanto a natureza – como o clima, as marés, as placas tectônicas.”

Tem? Claro, você e eu não podemos controlar o Facebook. Mas a meganet do Facebook é realmente tão incontrolável quanto um terremoto ? Ou será que o Facebook tornou certas qualidades de sua meganet inegociáveis, e depois renomeou essas escolhas como restrições imutáveis? Por exemplo, sabemos que o Facebook às vezes se recusou a despriorizar o conteúdo que os usuários consideravam “ruim para o mundo” porque isso reduzia o engajamento, e o engajamento é o que torna o Facebook uma meganet lucrativa. O lucro claramente motivou a decisão. Ou esquecemos que as escolhas feitas em prol do lucro eram, de fato, escolhas?

O próprio Auerbach aponta nessa direção: por exemplo, relatando a decisão do Facebook de limitar o encaminhamento em seu aplicativo Messenger na corrida para a eleição de 2020, ele descreve a empresa como “restringindo a funcionalidade artificialmente”. Mas ele não parece entender o que isso implica.

O Facebook Messenger não é uma parte da realidade. Não é mais real com encaminhamento ilimitado, nem é mais artificial com um limite. O mesmo vale para toda a plataforma do Facebook. Simplificando, não há razão para que o Facebook seja uma meganet. Não há nenhuma lei da natureza dizendo que nossos feeds do Facebook devem ser algorítmicos em vez de cronológicos; que o Facebook deve executar sua versão de 2023 em vez de sua versão de 2007; que cada título de dados do usuário deve ser armazenado para sempre, em vez de apagado regularmente.

Essas são todas as escolhas que o Facebook fez sobre seu modelo de negócios. Eles podem ser difíceis de desenrolar, mas não são irreversíveis. Eles não são como o clima ou as marés. O Facebook como meganet pode realmente ser incontrolável. Mas o Facebook não precisa ser uma meganet.

OFacebook também não precisa fazer parte de nossas vidas se não quisermos.

Mas o mesmo não pode ser dito das meganets estatais de identificação, como o Sistema de Crédito Social da China ou o sistema Aadhaar da Índia, que é uma espécie de híbrido, combinando um número de Seguro Social, uma pontuação de crédito e uma identidade nacional. Programas como esses não podem ser excluídos pelo público por uma questão de lei, prática ou ambos, e mesmo dentro dos governos que os administram, não há um local claro de agência humana, nenhum Zuckerberg que tenha a palavra final sobre eles, embora Pequim certamente promove a impressão desse controle.

Como escreve Auerbach, esses sistemas são “invasivos, propensos a erros e suscetíveis ao vazamento de dados”. Eles são “um vínculo permanente e imutável de uma pessoa real com a miragem digital dessa pessoa na meganet”, um enorme risco para a privacidade e a segurança dos dados, resistentes à responsabilidade pública e viajarão implacavelmente de leste a oeste. Lutar contra o desenvolvimento de uma identidade digital unificada administrada e (funcionalmente, se não explicitamente) mandatada pelo Estado “é colocar nossa cabeça coletiva na areia”, diz ele. “O Grande Irmão não pode ser parado”, e nosso tempo é melhor gasto tornando-o um pouco incompetente do que “tentando inutilmente matá-lo”.

Além do “diz a ciência”

Esse pode ser um plano alcançável – grande parte do capítulo sobre meganets estatais, em uma aparente tentativa de tranqüilização, descreve as limitações práticas desses programas, que na China significam que o governo também continua vigiando e abusando de seu povo os antigos maneira à moda. Mas no Ocidente é muito cedo na luta para recuar tanto quanto Auerbach.

Ele principalmente omite a distinção entre vigilância estatal e privada e dedica relativamente pouco espaço às diferenças de cultura política e infraestrutura entre China ou Índia e América. Ele compara os moderadores do Reddit à aplicação da lei sem notar que estes têm uma ferramenta adicional importante à sua disposição: o monopólio do estado sobre o uso legítimo da força. Ele cita a observação de um analista de segurança de que você “sempre pode desativar o Facebook. Você não pode desativar seu Aadhaar.” Mas ele não considera o quão significativa seria essa distinção para a aprovação de um sistema de estilo Aadhaar pelo público no Ocidente, e especialmente nos Estados Unidos.

Auerbach também reconhece que na China, “onde o governo paternalista e invasivo há muito é tratado como norma, há uma aceitação muito maior do monitoramento estatal do comportamento cotidiano” e da aplicação de valores culturais. No entanto, certamente essa “aceitação” dificilmente merece esse nome. O autoritarismo de Pequim é um sistema que distorce a realidade, e o povo chinês não tem voz real sobre o que deve “aceitar” de seu governo. Com um leque maior de opções em vista no mundo mais livre, não temos que aceitar a mesma coisa. Auerbach está obviamente correto ao dizer que o interesse dos governos nas meganets só aumentará, mas até agora ainda mantemos a agência para rejeitar essa tentação totalitária.

“Não nos perguntamos: ‘O que estamos fazendo com todo esse poder?’”, adverte Auerbach, “porque esquecemos que até recentemente não o tínhamos”. Essa é a pergunta certa a ser feita, embora, ironicamente, Auerbach afirme que não importa se a perguntamos ou não. Ainda assim, com profecias tão sinistras quanto Meganets , talvez escolhamos restringir esse poder crescente enquanto ainda podemos.

Bonnie Kristian é autora de Untrustworthy: The Knowledge Crisis Breaking Our Brains, Polluting Our Politics, and Corrupting Christian Community (Brazos Press, 2022). Ela é colunista do Christianity Today e membro do Defense Priorities.Bonnie Kristian, “Apaziguamento Digital,”  

Fonte: The New Atlantis