数学分析可能导致了不少不公正评价#算法歧视

“ 如今大量的决策行为都更依赖“科学”的分析,而非直觉。但是Cathy ONeil却发现,我们推崇的算法模型却越来越容易导致大量不公的出现。今天火箭君说的这篇文章就想来说一说,数学分析带来的不公。

从风险等级评估说起

下面两个人是被美国警方抓捕的2名藏匿毒品的罪犯 在美国制定刑罚的时候,会利用一个叫做风险评估工具的数学模型对犯人的风险等级进行评估。法官会参考通过一系列的算法得出的风险评估等级决定嫌犯是否可以被释放,或者需要被关押多久等等重要定罪、量刑的程度。

这张照片中的两个人,左边的叫Parker(简称大P),右边叫Fugett(简称大F)。他们都因藏匿毒品被警方抓捕过。犯罪情节也非常类似。法庭对他们的背景资料检查之后通过风险评估模型得出:

==大P的风险等级达到10,而大F的风险等级只有3==

让我们来看一下他们的背景和事后追踪:

==大P(风险指数10,高)==

  • 先前有1次无暴力抗拒执法行为

  • 藏毒服刑后再无犯罪记录

==大F(风险指数3,低)==

  • 先前有1次入室盗窃

  • 藏毒服刑后又3次再犯

像这样的算法不公并不是个案,下图展示了不同人种在美国风险等级评定模型算法的数量分布。黑人白人在系统算法层面就被很显著的区分开了。

Machine Bias

显然,看似科学的算法在结果上产生了有悖常识理解的输出,问题不在于算法本身的准确性,返到在于没有人或者组织会对这些关键算法进行公开的解释或者验证。

==Uber的加价算法也被研究人员发现可能未必让司机获得更大收入== 研究人员创造了43个虚拟Uber账户,连续一个月在Uber打车。最后他们发现,不少司机需要甚至离开加价区域来提升收入。因为最终不少司机发现,在有些情况下需求被加价算法限制了,反而导致他们无法赚更多的钱。看似科学的加价算法似乎失效。

不少算法采用了机器学习,或者依赖算法设计人员的进行设计。这些算法很大程度上依赖人活着机器的经验进行设计。

==这些模型和学习算法在建立时难以考虑到特殊人群的实际情况,从而导致社会的部分人群被算法歧视——想一想个人征信的变动,你是不是也遇到过算法歧视?==

如何避免算法歧视?

对于管理者来说,在面对需要用数据模型解决一个实际业务问题的时候,

  • 可能是公司因为平衡记分卡打分耽误了一个高潜力的员工

  • 可能是你的业务玩法赶走了部分高价值客户

  • 可能是

火箭君认为应尽量采取以下举措以避免算法失灵:

A. 保障算法细节对管理者最大程度透明 不少算法因为过于复杂,导致管理者不愿意花更多的时间了解大量的算法细节。虽然决策简单了,但是这种鸵鸟战术将会导致决策的本身对少数情况的歧视。

B. 审查机制 算法结果需要被审查,算法本身也需要被审查审计。定期分析用于构建算法的数据是否含有偏见,是否依然有效

C. 设计算法时用更完整训练样本 算法在设计时需要尽可能的用更完整的训练样本,尤其避免让机器学习算法去解决无法依靠经验的问题