机器学习的双面性
机器学习（ML）虽然带来了诸多益处，但也可能带来设计师前所未有的危险。正如亚马逊Alexa设备研究与设计负责人Joanna Peña-Bickley所指出的："我们需要比过去更担心我们工作的后果。"
设计师不能盲目应用这项技术，否则可能使人们遭受歧视、监视和/或操纵，而且不仅仅是个体层面，而是大规模的。机器学习的客观性表象掩盖了人类介入调整预测系统的众多时刻。每一次调整，社会和政治因素都会影响最终输出，往往对最弱势群体不利。
"理解人工智能系统中的政治因素比以往任何时候都更加重要，因为它们正迅速融入社会机构的架构：决定面试谁、哪些学生在课堂上专注、逮捕哪些嫌疑人等等。"
无处不在的影响
机器学习深入公民生活，既带来机遇，也设置障碍。这些无形的系统正悄悄进入公共和私人空间——甚至是我们身体和思想最私密的部分。
黑箱隐喻
黑箱是机器学习中的一个隐喻，指人类无法看到系统的内部工作原理。这种不透明性带来了信任和责任的挑战。
被忽略的是什么？
要理解机器学习的政治性，让我们从分类行为开始。监督和无监督学习模型将输入数据放入不同的桶中——更准确地说，是类别或集群。
对于监督学习，专家在过程早期确定特定类别，然后相应地标记训练数据。无监督学习也将数据分成桶，但在无监督学习中，是模型而非人类分析数据的结构，描绘模式识别输出，然后标记训练数据。与监督学习一样，这些训练数据成为"地面真相"，即未来预测的基础。
分类的局限
想象将生活中混乱、复杂、抽象的本质压缩到离散的标记桶中。什么可以被包含，什么必然被排除？那些介于中间的 sexuality、种族、性别、情感、关系等会怎样？
监督学习
- 专家预先确定类别
- 人类标记训练数据
- 基于预定义类别进行分类
无监督学习
- 模型自行分析数据结构
- 算法确定模式和类别
- 可能产生未预期的分类
ImageNet的问题
研究人员Kate Crawford和Trevor Paglen研究了ImageNet，这是一个包含超过1400万张标记图像的极具影响力的数据集。他们发现，在"人"这一顶级类别下有2833个子类别，其中出现了种族主义和厌恶女性的污言秽语。
算法偏见
许多研究关注人工智能训练集中的偏见问题。在"Gender Shades"项目中，Joy Buolamwini和Timnit Gebru分析了两个常用的面部识别数据集IJB-A和Adience，发现这些数据集"绝大多数由浅肤色受试者组成（IJB-A为79.6%，Adience为86.2%）"。
然后，他们引入了一个表型更平衡的面部数据集，并用它来评估三个商业性别分类系统，按皮肤类型和结合性别与皮肤类型的交叉亚组进行分析。他们的发现是："深肤色女性是最容易被错误分类的群体（错误率高达34.7%）"，并且"所有[图像]分类器对浅肤色个体和男性的表现最好"。
性别分类错误率
医疗影响
我们可以轻易想象，自动皮肤癌检测系统对有色人种的诊断准确性会下降，或者执法部门采用的算法计算机视觉系统会错误识别面孔。
执法问题
2020年，一名无辜的黑人男子在密歇根州因面部识别匹配不准确而被错误逮捕，印证了研究人员对人脸识别系统可能错误识别嫌疑人的警告。
AI领域的多样性问题
世界经济论坛2018年的一份报告称，"全球只有22%的人工智能专业人士是女性"。AI Now研究所在2019年报告："对于黑人工作者来说，情况更糟。例如，谷歌的员工中只有2.5%是黑人，而Facebook和微软各为4%。"
"如果AI系统产生和执行的'正常'和'能力'标准是什么，被视为'异常值'的代价是什么？"
与技术对话
设计师还应该解决哪些机器学习伦理问题？在当前环境中，终端用户往往不理解那些直接影响他们的自动化决策是如何做出的。为什么Facebook优先展示某些帖子而隐藏其他帖子？为什么谷歌向我推荐特定内容而不向我妹妹推荐？为什么我没有得到那个保险费率、那个贷款、那个工作？人们难以信任拒绝解释原因的黑箱决策。
透明决策示例
Sarah Gold的工作室IF与无人机保险公司Flock合作，创建了帮助商业无人机操作员理解风险或政策如何随位置变化的界面，通过在交互式地图上提供职业风险评分来实现。
可询问性
用户应该能够询问算法系统，了解决策背后的逻辑和数据点。
可调整性
用户应该能够添加或删除数据点以影响算法结果，如调整推荐系统。
可审计性
算法系统应该对外部审计开放，包括代码发布、数据集和模型年龄等。
AI透明度工具
Facet Dive
由Google的People+AI Research (PAIR) initiative创建，用于检查训练数据中的每个数据点，鼓励用户与数据交互，从不同角度检查以更好地理解内容。
AI Cheatsheet
由Comuzi工作室的Alex Fefegha及其同事创建，使用通俗易懂的语言定义20个关键AI术语，每个术语最多140个字符，向公众解释AI如何影响日常生活。
F'xa
由Feminist Internet的Charlotte Webb博士与Fefegha合作创建的"女性主义AI偏见指南"，这个有趣的聊天机器人通过传达不同观点与个人就偏见进行对话。
"所有数据本质上都是人类的。数据没有任何冰冷或机械的成分。它需要被小心处理。"
监控资本主义
机器学习系统依赖数据——你的数据。如果一个界面或服务不知道你是谁——或者至少不知道该把你放在哪个 profile 桶里——它就无法创造出能响应你需求的积极用户体验。根据你的过去行为，系统应该将你归类为可能阅读《小火焰》的人？可能与Antifa一起游行的人？可能购买空气炸锅的人？可能患成人型糖尿病的人？
数据收集方式
- 数十个第三方跟踪器跟踪用户在网上的每一个举动，甚至可以存档个人输入但未分享的文本
- 传感器可以通过步态、心跳、指纹或虹膜模式进行生物识别，不仅近距离，还可以远距离
- 还可以使用车牌、信用卡信息、电话号码、智能手机广播的MAC地址，甚至你的脸
监控的影响
- 当人们知道自己可能被监视时，他们的行为会变得更加循规蹈矩和顺从
- 隐私领域是创造力、探索和异议唯一存在的地方
- 大数据正扩展到包括对行为、情绪甚至思想的洞察
剑桥分析事件
2018年，剑桥分析公司通过Facebook上的一个在线人格测试收集了超过5000万人的数据。这家为特朗普竞选团队工作的公司随后利用这些数据点构建美国人的档案，并在2016年总统选举中针对他们投放有说服力的广告。
这一事件揭示了个人数据被滥用的危险，以及机器学习算法如何被用于大规模操纵公众舆论。
"监控资本主义通过前所未有的知识不对称以及知识所带来的权力运作。监控资本家了解我们的一切，而他们的运作却被设计成我们无法了解的样子。他们从我们这里积累了大量新知识，但不是为了我们。他们预测我们的未来是为了别人的利益，而不是我们的。"