大数据|算法歧视的表现、成因与治理策略 IDP|三优两重|山东省工信厅|协

本文转自：人民论坛
【摘要】随着大数据和人工智能的兴起，机器学习等算法在工业生产和商业活动中被逐步推广和应用，但在此过程中产生的算法歧视问题也愈发普遍，并引起了广泛关注和思考。本文对算法歧视的众多表现及成因进行探讨，并据此提出算法歧视问题的治理策略。
【关键词】算法歧视大数据“杀熟” 治理策略【中图分类号】TP304.6 【文献标识码】A
算法歧视是以算法为手段实施的歧视行为，主要指在大数据背景下、依靠机器计算的自动决策系统在对数据主体做出决策分析时，由于数据和算法本身不具有中立性或者隐含错误、被人为操控等原因，对数据主体进行差别对待，造成歧视性后果。算法歧视问题不仅使算法无法充分发挥其正向效用，也成为大数据科学及人工智能技术推广中不可忽视的障碍。对于用户而言，算法歧视问题侵害用户个人权益及尊严感。对于企业而言，一方面，算法歧视可能会导致企业的直接经济损失，比如信息推送不精确、广告投放对象偏差、人才招聘选择范围过窄等问题；另一方面，算法歧视问题会通过影响用户满意度而间接影响企业的收益及企业声誉。因此，算法歧视问题对用户和企业都可能带来不利影响。另外，算法“黑箱”等信息不对称性的存在导致歧视现象潜藏得更加深入而不易被察觉，也给治理算法歧视问题带来了新的挑战。
随着信息科技将持续迅猛发展，解决算法歧视问题对于发挥算法应用对生产生活等各领域高效发展的正向作用具有重要的现实意义。本文将对金融借贷平台借贷歧视、平台型企业大数据“杀熟”、人工智能相貌歧视、AI机器人发表歧视性言论等算法歧视问题的表现进行阐述；并对算法歧视问题背后的成因进行归纳分析，主要包括算法思维的固有缺陷、算法设计者的主观歧视思想、算法设计过程中的数据及技术漏洞、算法“黑箱”等信息不对称性的存在等；最后基于成因分析从IT行业、用户及政府、媒体等角度探讨算法歧视问题的治理路径。
算法歧视的表现
随着算法在金融、互联网服务等行业的深入运用，金融借贷平台借贷歧视、互联网平台大数据“杀熟”等算法歧视现象屡见不鲜；而算法在日常生活中的广泛应用，常用软件以及AI聊天机器人等也因算法歧视问题引起热议。
首先，金融借贷平台借贷歧视是社会歧视思想的延伸。在普惠金融蓬勃发展的今天，歧视现象仍然在金融行业普遍存在。金融网贷平台避免了金融机构与用户面对面接触，本应使借贷变得更公平。然而，随着大数据挖掘算法与金融行业的深层融合，算法能够更轻易地挖掘到用户的私人信息，并根据这些信息对用户的借贷限额及借贷利率等进行差别对待，这使得网络金融借贷平台歧视行为与线下金融借贷机构几乎别无二致。加州大学伯克利分校教授在对网贷平台进行研究时发现，算法和线下借贷一样会对借款人进行歧视。该研究选取美国最大的借贷机构之一的Quicken Loans在线平台作为案例研究对象。研究发现，在线下借贷机构受到歧视的群体在金融借贷平台上仍然会遭到歧视，且他们的在线贷款申请利率一般会比普通群体高出5.3个基点，这与其在线下借贷机构贷款时需要额外支付的5.6个附加点十分相近。而这种利率差别并不是由信誉差异导致的，而是由算法歧视造成的。
其次，大数据“杀熟”是互联网平台逐利思想的体现。大数据时代算法歧视问题的典型表现就是互联网平台对老用户“杀熟”。大数据“杀熟”指互联网平台利用大数据挖掘算法获取用户信息并对用户进行“画像”分析，进而对不同消费者群体提供差别性报价，以达到销售额最大化或吸引新用户等目的的行为。这种企业“杀熟”现象的本质是通过一定的算法筛查，对用户群体进行分类，形成一套端口多套服务的模式。而这里的“熟”指的是那些已经被大数据挖掘算法充分掌握信息的用户。此前，一篇关于大数据“杀熟”的文章冲上微博热搜，文章作者发现，使用某外卖平台APP在同一时间同一家店进行点餐，会员的配送费反而要比非会员的配送费多4元。随后作者又查看了附近的其他外卖商家，发现开通会员的账号普遍比不开通会员的账号多支付1元—5元。事实上，大数据“杀熟”现象不仅仅出现在外卖平台上。根据2019年北京消费者协会的社会调查数据，有56.92%的被调查者有过被大数据“杀熟”的经历，而认为大数据“杀熟”现象很普遍的被调查者比例高达88.32%。另外，调查显示购物类、旅游类、打车类等平台APP均存在着大数据“杀熟”现象（见图1）。