Será que as empresas de tecnologia já adotaram a ética com seriedade?


O escândalo Cambridge Analytica foi o mais recente hit de uma longa série de controvérsias envolvendo as principais empresas de tecnologia do Vale do Silício. O Facebook, o Google, a Apple, o Twitter e o Uber, para citar alguns dos grandes nomes, continuam aparecendo como alvos da nossa grande ambivalência digital. Muitos de nós amam aspectos de seus produtos e serviços enquanto também odeiam o preço que pagamos por usá-los: apego, dependência, vulnerabilidade, aprisionamento e uma sensação de ser explorado e de que a exploração seja validada.

Existem emoções mistas porque as grandes empresas de tecnologia não são fundamentalmente como grandes empresas de tabaco, apesar da popularidade da metáfora. Sim, o vício em tecnologia é real. Mas as empresas de tecnologia não estão empurrando produtos tóxicos de uso único. Claro, eles ajudaram a eviscerar a privacidade, ampliar o preconceito, explorar fraquezas psicológicas, incentivar o assédio, intensificar a distração e exacerbar as tensões políticas. Mas nós ainda não coletivamente expulsamos essas empresas, porque ferramentas digitais proprietárias também aumentam o bem-estar pessoal, social, econômico e cívico, e os movimentos de fonte aberta e livre não receberam a atenção que merecem. E assim, apesar de todos os benefícios da tecnologia, as empresas de tecnologia escandalizaram a confiança do público.

A confiabilidade anda de mãos dadas com a ética e, se a confiança for reconquistada, muito trabalho precisa ser feito para fechar a ética escancarada. lacunas. Aqui, falarei sobre três áreas que precisam ser melhoradas: ética no design treinamento e procedimentos de ética no trabalho e educação ética e políticas na escola. Ao longo da conversa, explicarei por que é tão difícil para as empresas de tecnologia corresponder a altas expectativas éticas, e oferecerei sugestões para melhorar o status quo.

Mas primeiro vou confrontar o elefante na sala. Deverão os realistas acreditar que a ética pode realmente importar – em vez de se resignarem à convicção de que as empresas de tecnologia continuarão a nos enganar até que haja mudanças draconianas na política?

Talvez a ética não seja moralidade ineficaz

O pensamento mais assustador é que não faz sentido sequer identificar as principais questões e questões éticas que as principais empresas de tecnologia deveriam discutir entre si para assumir mais responsabilidade pelas formas poderosas que moldam nossa vida individual e coletiva. Frank Pasquale, autor de The Black Box Society: Os algoritmos secretos que controlam o dinheiro e a informação e um dos pensadores mais perspicazes que conheço, assombrosamente me disseram que os dias de otimismo sobre a autorregulação acabaram, mesmo embora as perspectivas não sejam boas para abordagens governamentais ousadas, tanto nos Estados Unidos como na Europa, para proteger os cidadãos de serem manipulados, enganados e explorados por empresas de tecnologia.

“Eu não acho que as empresas de tecnologia possam ter essas discussões até que um quadro regulamentar os obrigue a fazê-lo. Eles foram advertidos sobre os perigos da falta de aplicação de suas próprias diretrizes e ignoraram ou marginalizaram seus críticos ”, disse Pasquale.

O Facebook sistematicamente supervaloriza a engenharia, automação e desvaloriza a conformidade, a perícia legal e a ética.

“Nos EUA,” continuou ele, “os políticos precisam capacitar a Comissão Federal de Comércio (atualmente um protetor de privacidade de Potemkin) e reforçar as equipes dos procuradores gerais do estado. (O procurador-geral de Massachusetts está, por exemplo, investigando agressivamente essa questão). Na Europa, as autoridades de proteção de dados precisam estar aplicando leis de privacidade com vigor adicional e garantir que o regulamento geral de proteção de dados não seja estrangulado no berço por interpretações errôneas de suas provisões para transparência algorítmica, como o direito à explicação. ”[19659002] Pasquale faz um bom ponto. Se pessoas como Sandy Parakilas, "o gerente de operações de plataforma do Facebook responsável pelo policiamento de violações de dados por desenvolvedores de software de terceiros entre 2011 e 2012", não recebessem a autoridade que mereciam após avisarem "altos executivos da empresa que sua abordagem negligente" a proteção de dados arriscou uma grande brecha ”, por que deveríamos acreditar que as empresas agora estão prontas para ouvir funcionários eticamente preocupados e lhes conceder poder para serem agentes de mudança?

Às vezes, parece que as grandes empresas de tecnologia estão bêbadas de poder , acreditando que são grandes demais para fracassar, e tão perturbadores a ponto de estarem além do escopo de serem disciplinados por mecanismos da velha ordem mundial e apenas cinicamente dispostos a se voltarem para ideais altivos, como “ética” e “responsabilidade social corporativa, ”Ao executar interferência de manuais de relações públicas. Desculpas e promessas de mudança podem ser boas estratégias de gerenciamento de crise, cheias de ofuscação e pior, ao invés de expressões sinceras de aspirar a ser dignas da confiança do público.

E vamos encarar isso, as empresas de tecnologia estão em um vínculo estrutural, porque elas simultaneamente servem muitos mestres que podem ter prioridades competitivas: acionistas, reguladores e consumidores. De fato, enquanto o “capitalismo consciencioso” parece bom, qualquer um que leva a sério a economia política sabe que devemos ser cautelosos com o fato de os mercados serem combinados com a manutenção dos mercados e as empresas apelando para a ética como estratégia final para evitar regulamentação robusta.

se há razão – mesmo que seja apenas uma pequena dose de otimismo prático – para ser mais esperançoso? E se as respostas ao escândalo da Cambridge Analytica já puseram em andamento uma avaliação em todo o mundo da tecnologia que está levando a história a um ponto crítico? O que seria necessário para que as empresas de tecnologia realizassem uma busca profunda de alma e adotassem a máxima do Homem-Aranha de que grande responsabilidade vem com grande poder?

Por que o design é essencial para a ética? eles precisam reconhecer que é hora de uma revolução ética no design.

Em todas as empresas de tecnologia, grandes e pequenas, as questões de design estão desgastando a confiança do público. Não são apenas os termos impenetráveis ​​de contratos de serviço que nos mantêm em estado de ignorância fabricada. Escolhas de design de todos os tipos influenciam a forma como percebemos riscos e recompensas. Como a publicidade, as estratégias de design programam nossas preferências e desejos, afetando quais tecnologias queremos usar e de que forma e como estamos dispostos a interagir conosco e com os outros através de suas possibilidades tecnológicas.

Ninguém está fazendo mais para fazer essa revolução acontecer Woodrow Hartzog, um colaborador frequente e autor de Projeto de Privacidade: A Batalha para Controlar o Design de Novas Tecnologias . "Design não é apenas uma questão ética, porque está em toda parte e é poder", ele me disse. “O design é uma questão ética importante, porque esse poder pode e sempre é usado para fins políticos. Por definição, aloca poder entre plataformas e usuários. E isso nunca é neutro. Todas as decisões para tornar algo pesquisável, incluir certas coisas em um menu suspenso, incluir um ícone de cadeado para dar a sensação de segurança, para incentivar as pessoas a certas práticas de dados promovem uma agenda para tornar realidade certas realidades de divulgação. . Normalmente, a agenda é divulgação. ”

A agenda de armar as escolhas de design para que o maquinário seja otimizado para extrair o máximo de informações pessoais dos usuários de tecnologia foi exibida pelo recém-vazado memorando do vice-presidente do Facebook Andrew“ Boz ”Bosworth. Neste documento controverso – que, na época em que foi escrito, pretendia ser uma provocação -, Bosworth fez comentários bastante chocantes sobre por que o Facebook deveria aspirar a conectar mais e mais pessoas. Angustiantemente, ele não retratou o potencial da plataforma de ser instrumental em pessoas que perdem suas vidas para intimidadores e terroristas como um impedimento.

“Depois de ler este memorando,” Hartzog disse, “é um pouco mais fácil ver como cada aspecto de O design do Facebook é direcionado à sua missão de fazer com que você nunca pare de compartilhar e se sentir bem com isso no processo. E a razão pela qual o design é agora uma questão ética tão importante ”, Hartzog elaborou,“ é que a lei e a política até agora tiveram pouco a dizer sobre isso. Os legisladores se concentram no processamento de dados, mas muitas vezes ignoram as regras para o design de tecnologias digitais. Podemos fazer melhor em todos os aspectos e começa por ser mais crítico sobre a forma como as nossas ferramentas são construídas. ”

Em outras palavras, os desastres de design ocorrem com tanta frequência, porque houve uma perfeita tempestade de negligência fugindo dos formuladores de políticas pelos CEOs. . Para melhorar a situação, Hartzog argumenta que um novo modelo de privacidade e valores relacionados precisa ser amplamente adotado. Seus ideais são sólidos, mas, infelizmente, as empresas de tecnologia não os aceitam até que parem de se esconder atrás do mito da ética pesada. As empresas de tecnologia gostam de parecer liberais ao sugerir que o paternalismo e a democracia são incompatíveis. A história conta que, uma vez que as pessoas têm valores diferentes – incluindo preferências de privacidade variadas e concepções de discurso aceitável – ser sensível à diversidade requer evitar a promoção de padrões fortes que alguns irão abraçar e outros considerarão infração à sua liberdade.

é besteira. É como atletas de celebridades dizendo que querem estar no centro das atenções, mas não querem ser considerados modelos. No exato momento em que as empresas de tecnologia criam objetos que distribuem energia influenciando o comportamento em larga escala, elas devem assumir a responsabilidade pelo que estão liberando no mundo.

A responsabilidade tem muitas dimensões. Mas no que diz respeito a Hartzog – e a literatura de “valores em design” apóia esta afirmação – os três ideais chaves que as empresas de tecnologia deveriam priorizar são: promover confiança genuína (através de maior transparência e menos manipulação), respeitando a obscuridade (a capacidade de as pessoas serem mais seletivas ao compartilhar informações pessoais em espaços públicos e semipúblicos) e tratando a dignidade como sacrossanta (promovendo autonomia genuína e não tratando ilusões de usuários controle como o negócio real). No mínimo, abraçar essas metas significa que as empresas terão de encontrar melhores respostas para duas questões fundamentais: quais são os sinais que suas escolhas de design enviam aos usuários sobre como seus produtos devem ser percebidos e usados? Quais conseqüências socialmente significativas resultam de suas escolhas de design, reduzindo os custos de transação e tornando mais fácil ou mais difícil fazer as coisas, como comunicar e ser observado?

Educação Ética no Trabalho

Pode soar como um clichê, mas é impossível falar sobre reforma ética abrangente na indústria de tecnologia sem discutir educação.

Até certo ponto, é compreensível que as empresas de tecnologia acabem em posições onde são vistas como eticamente deficientes e merecedoras de vagas reservadas para os gananciosos no quarto círculo de Dante. do inferno. Para começar, os desastres que criam ressentimento e medo são mais facilmente lembrados do que as exibições rotineiras de virtude cotidiana, que em grande parte não são relatadas e, portanto, passam despercebidas. Da mesma forma, todo o bem que cientistas, engenheiros e gerentes fazem em empresas de tecnologia – incluindo a luta por direitos civis e privacidade – é facilmente ofuscado pelos estereótipos negativos promovidos por seus colegas mais míopes e menos escrupulosos.

fazer um trabalho melhor de infundir instrução ética em seu treinamento corporativo. Os problemas são tão sutis, complicados e receptivos à dinâmica de “morte por mil cortes” que as soluções silver bullet – como a contratação de diretores de ética – não farão muito.

Irina Raicu, diretora do Internet Ethics Program at O Centro Markkula de Ética Aplicada da Universidade de Santa Clara capta perfeitamente qual deve ser o principal objetivo dessa prática. “Tal treinamento não inocularia os tecnólogos contra tomar decisões antiéticas – nada pode fazer isso e, em algumas situações, podemos chegar a um consenso sobre qual é a ação ética”, argumenta Raicu. “Tal treinamento, no entanto, os prepararia para tomar decisões mais conscientes quando confrontados, digamos, com dilemas éticos que envolvem conflitos entre bens concorrentes.”

Um dos principais insights de Raicu é que as empresas de tecnologia não podem ter fortes sensibilidades éticas e ajude os funcionários a cultivar um julgamento ético maduro com atividades esporádicas. Como “a tomada de decisões éticas é como um músculo que precisa ser exercido para não atrofiar”, ele precisa ser integrado ao tecido das atividades do dia-a-dia. Em outras palavras, a ética aqui e ali é muito limitada de um compromisso – muito da mesma forma que praticantes religiosos questionam o compromisso de pessoas que freqüentam casas de adoração apenas para festivais populares.

Após o escândalo de contágio emocional, Facebook deu o público uma janela em seu processo de revisão de pesquisa. Como se constata, a empresa me procurou para entrar na elaboração do documento. Embora tenha achado os autores bastante receptivos ao diálogo crítico, foram levantadas questões sobre o quanto o documento realmente revela. Mas essa é a coisa. Há perguntas difíceis a serem feitas sobre a política de ética de todas as empresas de tecnologia – sobre o que elas tornam públicas e sobre o que elas tratam como segredos corporativos.

E isso nos traz de volta a uma questão que levantei anteriormente. Como as empresas de tecnologia atendem a muitos mestres, geralmente existem tensões estruturais entre ética profissional, ética pessoal e ética social. Os profissionais de privacidade, por exemplo, não têm nem mesmo seu próprio código de ética. Muitos profissionais de privacidade são advogados, e é uma questão de grande debate se aderir às suas responsabilidades como advogados entraria em conflito jurando lealdade a um novo conjunto de ideais que colocam maior ênfase na defesa do bem público

. os funcionários de tecnologia tinham corações de ouro e a determinação dos santos, eles não conseguiriam realizar muito se não tivessem o poder de desafiar e mudar as normas que normalizam a banalidade do mal institucional.

Educação ética na escola

Quando os cientistas e engenheiros de dados entram pela porta no primeiro dia de seus primeiros empregos adultos, eles entram no local de trabalho com suas próprias opiniões sobre o que significa ser um profissional e o que o profissionalismo exige deles. Para se preparar para este momento, as universidades não podem passar a bola e delegar a responsabilidade pelo treinamento de ética às corporações. Eles precisam fazer seu quinhão de educação ética, o que, no mínimo, significa colocar um alto valor na transmissão de códigos de conduta, estudos de casos, habilidades de raciocínio moral, resumos de políticas e atribuições baseadas em projetos. destaque questões eticamente salientes

E projeto de ética! Por todas as razões que Hartzog enfatiza, tem que haver muita ética de design. Os alunos que estão criando ambientes on-line, realidade virtual, realidade aumentada, inteligência artificial e ambientes de aprendizado de máquina nos quais todos pensarão, aprenderão, trabalharão e socializarão precisam ter uma noção clara do imenso poder que exercem. Os designers de experiência não são responsáveis ​​apenas por criar produtos intuitivos; eles também carregam parte do fardo de moldar o que é experimentado.

A questão é que não é suficiente lançar mais recursos em aulas de ética e esforços contínuos relacionados, como ética integrada em todo o currículo. Para ter certeza, mais dessas atividades ajudariam, especialmente se envolvessem filósofos. Admito que, como professor de filosofia, sou tendencioso. Acredito que as ferramentas conceituais, como experimentos de pensamento cuidadosamente elaborados e inteligentemente interpretados, podem ajudar as pessoas a pensar de maneiras novas e criativas, da mesma forma que a ficção de qualidade, o cinema e a arte mais desafiadores. Há muito mais quilometragem para extrair da aplicação do problema do carrinho à política de carros autônomos, por exemplo, embora os críticos apontem corretamente que o experimento mental pode desviar a atenção de problemas prementes se for interpretado de forma muito redutora e desviar a atenção de outros Quando falei sobre o valor da filosofia com Robin Zebrowski, presidente do Programa de Ciência Cognitiva do Beloit College e uma afiliada de seus departamentos de Filosofia, Psicologia e Ciência da Computação, ela levou o argumento adiante. Os filósofos não devem ser levados mais a sério em ambientes acadêmicos, argumentou Zebrowski, eles também devem ter uma posição mais proeminente na mesa corporativa.

“Os governos começaram a reconhecer o trabalho dos filósofos ao examinar criticamente algoritmos, veículos autônomos, guerra de drones, inteligência artificial e até mesmo problemas sociais que as empresas de tecnologia estão tentando resolver de suas próprias maneiras ”, disse Zebrowski. “Os filósofos são convidados a consultar as Nações Unidas; a Organização das Nações Unidas para a Educação, a Ciência e a Cultura; o Departamento de Defesa – tudo por causa da especialização que os filósofos têm em relação a essas questões. Então, por que as empresas de tecnologia não estão contratando-as e pagando por esse conhecimento especializado que promete oferecer uma vantagem competitiva em uma indústria agressiva? ”

Invocando argumentos especiais para a filosofia, a razão pela qual as universidades não devem se contentar em apenas melhorar a ética O currículo é que é difícil para eles serem bons modelos éticos na era da informação. Modelos de papéis que não criam uma desconexão alarmante entre o que eles pregam e o que praticam, se não são introspectivos e comprometidos com a boa governança.

Em poucas palavras, as universidades precisam refletir e agir de forma contínua e cuidadosa sobre os perigos de infundindo business intelligence em suas próprias práticas tecnológicas. Afinal, as universidades estão adotando sistemas de vigilância de grande volume de dados e análises preditivas para melhorar a forma como buscam objetivos altamente priorizados: recrutar e admitir estudantes; trabalho em rede com ex-alunos de sucesso; melhorar a retenção; e ajudando os alunos a estudarem melhor, aprenderem mais e selecionarem as classes certas no momento certo.

Embora esses sejam todos objetivos louváveis, abstratamente falando, o diabo, como sempre, está nos detalhes. As universidades têm as ferramentas digitais para colocar os alunos em sintonia com todos os clientes e funcionários que estão presos na “gaiola de ferro do regime de auto quantificação que visa rastrear todos os nossos dados para maximizar e otimizar todo o nosso comportamento”. [19659002MitchDanielspresidentedaPurdueUniversityalertourecentementequeseasuniversidadesnãoadministraremadequadamenteseussistemastecnológicosseusperfisecutucõespodemacabarcausandosériosdanosaosprópriosalunosqueelesestãoencarregadosdeprotegerComoasescolasestãoadquirindoenormesquantidadesdedadospessoaisqueagregamparaformarretratosricosdehábitosestudantiselestêmopotencialdecumprirtodasasleisestaduaisefederaisdeeducaçãoenquantoaindacriamambientesexcessivamentecontroladores-possivelmenteatédecadeiacomoaChinasistemadecréditosocialadministradopelogoverno“Muitosdenós”escreveDaniels“terãoqueparareperguntarsenossasboasintençõesestãonoslevandoalémdasfronteirasondeaprivacidadeeaautonomiaindividualaindadevemprevalecer”

Em outras palavras, se as universidades quiserem educar os líderes de amanhã Jeffrey Alan Johnson, diretor de eficácia institucional, planejamento e apoio à acreditação na Utah Valley State University, há muito defende que, entre outros exemplos, eles precisam se tornar mais comprometidos com o ideal de “justiça da informação”. Além disso, a justiça da informação exige que os estudantes recebam processos justos para desafiar e alterar informações pessoais que a escola acredita serem úteis, mas que, na realidade, são imprecisas ou inadequadas para que elas possuam ou ajam. Johnson também sustenta que as universidades deveriam estar fazendo um trabalho melhor de “aproveitar a expertise de seus membros do corpo docente que lidam com ética tecnológica, ciência social básica e métodos de pesquisa que podem falar sobre dados como uma construção social”

. idéias passadas Pasquale, e ele encontrou todas elas que valem a pena perseguir. "Meu principal problema é com os esforços para substituir a reflexão ética por obrigações legais", disse ele. "Em um sistema legal sólido", continuou ele, "o Facebook estaria enfrentando multas pesadas por repetidamente violar a confiança de seus usuários". estar sujeito a regulamentação prudencial (da mesma forma que muitos bancos) para garantir que ela cumpra suas promessas no futuro. Mas há muitas áreas em que nosso senso de certo e errado está surgindo ou onde os deveres são mais morais do que legais. É aí que a educação ética é essencial – cultivar o julgamento e a articulação sobre valores em domínios onde a obsessão pelo algorítmico leva ao pensamento binário (tudo o que é legal é bom fazer) ou “ética” hacker (as regras são feitas para serem quebradas) ”.

As empresas de tecnologia terão que levar a ética muito mais a sério do que atualmente se quiserem ser verdadeiramente confiáveis. Tanto o público como os políticos estão fartos de repetidos mea-rias de mea-culpa que são rotulados para ressoar como contritos, mas que não possuem a substância da liderança comprometida.

O cálculo parece estar finalmente aqui e promessas de reforma Os limites da miopia institucional, ganância e arrogância serão tomados pelo que são: mentiras que não podem mais ser toleradas.