朱倩男：从推荐结果多样化建立算法公平性评测指标

中新经纬3月24日电 (薛宇飞)近日，由中国人民大学高瓴人工智能学院、智能社会治理跨学科交叉平台和基于大数据文科综合训练国家级虚拟仿真实验教学中心联合主办的算法公平性与内容生态建设研讨会在线上举行，来自清华大学、中国人民大学、中国科学技术大学、对外经贸大学、北京邮电大学、北京科技大学、微软亚洲研究院的十几位专家、学者，就推荐算法的公平性等多个热点问题展开讨论。研讨会上，中国人民大学高瓴人工智能学院发布了《算法公平性与内容生态建设》报告(下称报告)。

剖析与总结算法不公平性的原因

研讨会上，中国人民大学高瓴人工智能学院博士后朱倩男分享了报告的主要内容。报告将推荐系统看作用户、数据和模型三者间的循环交互过程，推荐流程可以分为用户到数据、数据到模型、模型到用户三个阶段。用户到数据阶段，是指从移动端、网页等各途径收集用户行为数据，对数据进行清洗与筛选；数据到推荐模型阶段，是将筛选或清洗后的行为数据输入到模型中以挖掘用户偏好，同时向用户返回个性化推荐结果；在模型到用户阶段，用户根据反馈结果进行点击或浏览，形成新的交互行为用作下一次迭代。

为了加深大众对推荐系统的了解，朱倩男列举了日常生活中经常使用到的推荐产品及应用场景。比如，今日头条的资讯推荐系统就是典型的新闻应用场景，它利用资讯内容、用户特征以及环境特征三个维度拟合用户对推荐内容的满意程度，同时，今日头条的资讯推荐系统还考虑基于内容安全的鉴定模型向用户推荐比较安全和可靠的资讯。

报告从公平性关注角度，即信息需求方和信息供给方列举了几个不公平的例子。比如，对于信息需求方来讲，常见的不公平现象包括但不限于偏好放大、曝光偏见和大数据杀熟等。比如，在电商场景下，“偏好放大”是指用户搜索一个物品后，接下来一段时间的推荐很可能都与该物品相关，即使是用户已经购买过该物品。而曝光偏见是指未曝光或者很少曝光的物品，由于缺乏用户行为数据，更加得不到曝光机会，限制了用户接触到更多感兴趣商品的机会，这对用户来讲是不公平的。对于信息供给方来说，常见不公平现象包括但不限于位置偏见和流行性偏见等。位置偏见是指位置靠前的物品比位置靠后的物品更容易被用户注意到。流行性偏见指比较流行的物品更容易推荐给用户，而不流行的物品有较少的机会被推荐给用户。

朱倩男称，要从推荐系统原理出发，关注推荐系统循环回路中的数据、推荐模型和用户三个要素，分析产生不公平现象的潜在原因。

首先，在数据层面，样本数量的有限性和可伪造性，会影响推荐算法的准确性和公正性。由于商业竞争和对用户数据隐私的保护，与用户相关的全量样本数据的获取不具备可行性；人为伪造的点赞量、转发量等数据，会对算法规则产生“欺骗”；用户往往受选择偏见、曝光偏见、从众心理以及物品流行度的影响，可能会产生有偏的反馈数据，而有偏的数据自然会产生有偏的推荐结果。

其次，在推荐模型层面，算法的核心是从输入的数据中挖掘用户偏好，以预测符合用户偏好的推荐结果，但有偏的输入会形成有偏的输出，并在推荐循环中进一步加深，产生不公平问题。此外，在算法目标或核心设计层面，更多的是追求风险最小化，比较看重的是整体准确率或者收益，也就是说，推荐系统更在意拟合多数群体的需求，而少数群体的反馈往往会被忽略掉。长此以往，推荐算法会丧失对这部分少量用户的代表性，形成归纳偏差。朱倩男称，如果推荐算法只追求准确性，而很少考虑到公平性的因素，这样的推荐算法就会用有偏的结果来拟合并且强化用户已有的偏见或者喜好，从而减少用户对其他新鲜信息的接触机会，产生不公平问题。

最后，在人的层面。算法是人为设计的，设计者可能将自身固有的偏见嵌入到算法中，算法在反映偏见的同时也会放大这种歧视。其次，对用户来讲，用户行为可能会受到从众心理以及流行度等因素影响，并不能形成反映用户真实兴趣的数据，而推荐系统在有偏数据上进行建模，就可能产生有偏的推荐结果。

通过以上分析，报告对推荐算法可能产生的偏见问题进行总结。在用户到数据阶段，可能会有位置偏见、曝光偏见、选择偏见以及从众偏见等不公平问题。在数据到模型阶段，可能会产生属性偏差、归纳偏差和探索偏差等不公平问题。在模型到用户阶段，推荐结果可能会存在流行度偏见和对某些群体的不公平等。

朱倩男总结道，算法的公平性是社会治理的重要原则，也是坚持算法向善和可持续发展的核心要素。保证算法决策的客观、公平、合理是加速人工智能落地的必要条件。因此，研究算法的公平性具有重大的理论意义和应用价值。

综合考量算法公平性问题

报告认为，现阶段，推荐系统公平性的研究已成为推荐领域新的突破点，学术界和产业界正着力推动和研究公平机器学习的理论、技术和应用发展。

特别地，对工业界来讲，算法的不公平性会影响用户的黏性和长期存留，实现公平性对企业来说也是至关重要的。面对推荐算法可能带来的不公平问题，TikTok的推荐算法兼顾了需求方(短视频观看者)和供给方(短视频发布者)的公平，使得普通用户发布的内容也有可能受到明星般的关注，同时也能使有小众或细分需求的用户能看到自己感兴趣的内容。该算法被麻省理工学院在MIT technology review中被评为2021年度十大突破技术之一。

报告还从公平性的定义及适用范围、数据、算法相关主体、法律法规和社会监管等层面综合考量，给出克服算法公平性问题的一些建议。

一是建议界定清晰的公平性定义、对象及适用范围。报告借助社会科学领域比较典型的起点公平，过程公平和结果公平，从数据、算法、推荐结果三个层面界定公平性范围。首先，保证数据的公平性是避免算法不公平问题的基础，因此，建议考虑在数据层面定义公平性来获取无偏的数据。其次，保证无偏的建模过程是解决公平性问题的重要抓手。为了追求高准确率，推荐结果可能会极大满足多数群体的需求，而忽视少数群体，因此，建议在算法建模层面定义公平性，设计以公平性为导向的算法。最后，保证对不同个体、群体、机构等对象无偏的推荐结果，报告建议考虑推荐结果的多样化，作为解决公平性问题的主要途径之一。

二是建议在数据、算法以及算法相关主体层面，规避产生不公平问题的潜在原因，以实现公平的推荐。首先，在数据层面，建议平衡好数据获取时的探索和利用环节，因为推荐场景中携带偏见的数据往往来源于数据获取过程，数据的获取策略可能对某一类数据具有偏好，而对其他数据采样比较少。因此，针对该问题，建议利用已有数据的同时，采用机器学习算法合理探索未知类型的数据，避免信息获取的单一性。其次，在算法层面，开展以公平性为导向的算法设计模型，传统人工智能算法在设计归纳偏置时，大多是关注预测的高精度，忽略了公平性，因此应以公平性为导向设计面向不同任务和场景的归纳偏置，尽可能将反歧视目标贯穿于算法设计中。最后，建立算法及其相关主体公平性原则。建立和完善算法透明、算法可解释以及算法问责机制，在算法落地过程中明确哪些环节有人参与，参与的是哪一部分，对算法可能造成的影响，需要在特定范围内以及特定单位公开，以避免因人为因素带来的不公平问题。此外，算法研究人员还需遵守一些基本伦理准则，坚持算法向善以及对社会有益，也要注重对用户隐私数据的保护。

三是建议建立通用的公平性评测指标和平台。建立算法公平性评测指标，建议从两方面入手，一方面是考虑推荐结果的多样化，因为多样化是解决公平性问题的有效途径。另一个方面是考虑推荐对象的公平性。推荐算法的公平性可以从以用户为中心，扩展到以群体为中心，在归纳偏置中关注不同群体的准确性差异，以不同的对象来建立评测指标。其次，建立算法公平性评测的公开数据集和通用平台，形成统一标准的公平性评估。同时，建议用公平性评估结果引导算法设计者对算法进行改进和修正。

四是建议在法律法规以及社会监管层面，对公平性问题进行规避和应对。首先，要建立算法相关利益主体的责任机制和法律意识，明确算法的责任主体，对可能造成社会危害的事件进行追责，加强相关主体的道德和伦理素质的培养。其次，建立和完善算法相关制度，对算法进行监管，可以通过算法的性能标准、预测标准、设计标准等的设立，避免算法作恶。也可以建立由计算机、法学、经济学及其他社会科学组成的第三方机构，从多角度、多方面鉴定算法技术可能带来的不公平影响，对相关主体的责任范围进行界定，帮助企业和单位完善算法的设计和落地。

报告认为，目前，对算法的公平性研究还处于起步阶段，并没有形成统一的公平性理论体系，对公平性的研究任重道远。(中新经纬APP)