大数据|算法歧视的表现、成因与治理策略( 四 ) IDP|三优两重|山东省工信厅|协

四是算法“黑箱”等信息存在不对称性。由于算法从输入数据到输出决策结果的逻辑过程并不向外界公开，因此形成了算法“黑箱”。用户在使用算法时仅能获知算法运行的结果，而算法使用的数据、分析逻辑等关键过程则被算法“黑箱”隐藏，算法的非透明性导致算法歧视更加隐蔽。此外，算法设计者由于掌握着大数据信息而占据信息优势，从而能够更轻易地对用户进行区别对待；而用户间却并不了解彼此的信息，且在大多数情况下用户只能查看到自己使用算法的运行结果，而不了解其他用户的运行结果。这导致用户甚至无法发现自己已经成为了被歧视群体的一员。如前文中的外卖平台大数据“杀熟”案例中，该作者通过对比两个账号才发现会员账号的配送费比非会员账号更高，信息不对称性使算法歧视问题变得隐蔽而不易被发现。
总而言之，无论是算法本身的训练数据、运行分析逻辑还是用户信息及运行结果，用户所掌握的信息都少于算法设计者，这使得用户处于弱势地位，最终成为算法歧视的受害者。
算法歧视的治理
算法歧视问题严重损害用户的基本权益，迫切需要对其进行相应治理。根据对算法歧视问题成因的分析，主要可以从算法设计者、用户及政府、企业及媒体等第三方主体进行展开，探讨算法歧视的治理路径。
第一，加强IT行业风险防控。首先是加强从业者职业道德建设。IT行业应编写从业者职业道德指南，并定期组织从业者参加行业相关法律法规和职业道德伦理学习并开展评估测试，杜绝从业者为赚取利益而设计歧视性算法的行为，并尽量避免其将偏见思想融入算法程序设计中；对从业人员建立完善的评价体系和定期考核制度，建立完善的用户评价、投诉体系并建立相应的奖惩制度，尤其应注意对用户满意度的调查分析。其次是建立数据采集标准。由于数据中包含大量信息，因此其在算法中是至关重要的。IT行业应针对从业人员在设计算法过程中的数据采集等工作制定规范细则，从业者需依据行业规范细则对数据来源、采集范围、采样数量等信息及时进行记录说明，并定期接受监督和审查，尽可能保证在各群体中数据的充分和均匀采集，以避免由于数据样本缺失或采样不均而产生的算法歧视问题。最后是建立风控审查机制。对于算法的设计过程中的技术漏洞问题，IT行业应加强从业者对规避算法风险相关知识的学习，使算法设计者有良好的风险防控意识及风险预判能力。IT行业应该对算法是否具备输入信息的筛查过滤机制进行严格审查。对于机器学习算法而言，用户输入信息必须经过识别及过滤，才能供给机器学习算法进行学习；对于大数据科学而言，信息过滤机制能够严格剔除掉那些带有隐私敏感信息的数据，使算法先完成数据脱敏过程再进入运算环节，从而降低数据引发算法歧视问题的风险。
第二，提高用户防范意识。首先是注意私人信息的保护。随着互联网技术的发展，用户的运动轨迹、手机品牌、出行记录等日常行为信息都有可能被大数据算法捕捉而成为算法歧视的“数据供应商”。因此，用户在日常生活中要增强个人信息保护意识，严格把控APP数据读取授权，以免被一些挖掘隐私信息的算法盗取信息。其次是提高警惕性和维权意识。由于存在算法“黑箱”与信息不对称性，用户有时会难以发现自己成为了被歧视群体的一员。对此，用户应在日常使用平台APP、AI机器人等过程中保持高度警惕，谨防受到不公平待遇。
另外，用户应提升维权意识。2019年北京消费者协会进行的社会调查结果（见图2）显示，在遭遇大数据“杀熟”后采取投诉方式进行维权的用户仅占26.72%，向媒体求助的用户占比8.13%。尽管作为个体，用户的力量薄弱，但仍应保有话语权。在一个用户背后是被歧视用户的庞大群体，用户应意识到算法歧视问题的严重性，一旦发现自己遭遇算法歧视，应在第一时间保留好证据，积极寻求正当渠道进行维权。