加强算法风险全流程治理 创设算法规范“中国方案”

                                                           2022-03-01   青野云麓  

2022-03-01 来源：央视网 作者：林洹民

2022年3月1日，国家互联网信息办公室、工业和信息化部、公安部、市场监管总局联合发布的《互联网信息服务算法推荐管理规定》（下文简称《规定》）正式施行。在大数据经济时代，算法是个人信息处理者收集和处理数据、推送信息、调配资源的核心力量。算法一旦失范，将给国家利益、社会公共利益和公民合法权益带来严重威胁。因此，《规定》的施行具有鲜明的时代意义和现实需求。

算法是计算机的核心运行逻辑，是一套基于设计目的的数据处理指令的总和，在底层上体现出专业科技的特点。算法也是一门赋能技术，应用场景为赋能领域，当算法应用到具体的商业模式当中，就会产生应用型风险。算法关系就是这样一种“方式”与“领域”的叠加关系或结合关系。因此，算法规范不能不谈 “方式”，算法的设计、测试、评估属于科技活动，“算法黑箱”、“算法霸权”部分是因科技活动本身的不规范所致；算法规范也不能只谈“方式”，因为正是算法层出不穷的应用场景，使得算法现实地影响我们的权益，影响人的自由发展。《规定》充分把握了算法的内生性风险和应用型风险，有针对性地设计风险防范规则。

第一，算法内生性风险的控制重点在算法的设计和运行阶段。算法的设计、测试、评估非专业人士不能为之，这种“排他性”表明算法活动是一项专门技术。算法黑箱、算法歧视等痼疾的产生，部分也源于科技活动本身的复杂性。因此，对科技活动的规范，需要从科技风险防范的角度设计专门规则。《规定》鼓励使用算法传播正能量、抵制违法和不良信息，不得设置诱导用户沉迷、过度消费等有违伦理道德的算法模型，推动算法向上向善。表明了作为科技活动的算法研发不能仅有工具理性，必须具有价值理性。

在具体规则层面，《规定》也侧重于从技术角度，直接规范算法设计和运行。例如，第9条第1款要求算法推荐服务提供者建立健全用于识别违法和不良信息的特征库，完善入库标准、规则和程序；第10条要求算法推荐服务提供者加强用户模型和用户标签管理；第12条鼓励算法推荐服务提供者综合运用内容去重、打散干预等策略，并优化检索、排序、选择、推送、展示等规则的透明度和可解释性等等。

特别值得关注的是，《规定》第24条规定算法备案制度，要求算法推荐服务提供者提供算法类型、算法自评估报告、拟公示内容等信息。科技活动风险控制首推风险评估与实验数据记录。如果算法活动缺乏风险评估，则使得风险无法从源头控制；如果算法设计和检验缺乏记录，则监管机构无法进行有效地评估、追溯和验证复杂算法。备案制度一定意义上倒逼算法推荐服务提供者积极进行风险评估和全流程记录，既能督促运营者在整个算法活动阶段考虑算法合规问题，也有助于帮助执法机关监督算法活动。

第二，算法应用型风险的治理覆盖了算法运行的全生命周期。算法既是科学技术，也是赋能手段，其除了具备科技固有的风险之外，也因在商业和公共事业领域的嵌入式应用，对源于工业时代立法模式和治理模式不断冲击，引发了诸多治理痛点。在应用环节，我们也要贯彻程序性控制。但算法应用有着不同于算法研发的特殊性：算法应用直接作用于算法相对人。算法应用将影响算法相对人的合法权益——算法针对算法相对人的诉求做出决定。为了解决应用型风险，《规定》针对未成年人、老年人、劳动者和大数据杀熟等场景，分别配置相应的行为规则（第19条至第21条）。为了实现自下而上的算法治理，《规定》还通过权利路径，赋予个人对抗算法决策的权利。

《规定》第17条第1款规定：“算法推荐服务提供者应当向用户提供不针对其个人特征的选项，或者向用户提供便捷的关闭算法推荐服务的选项。用户选择关闭算法推荐服务的，算法推荐服务提供者应当立即停止提供相关服务。”相较于《个人信息保护法》第24条第2款的规定，本条进一步明确规定了算法应用拒绝权。

此外，第17条第2款规定：“算法推荐服务提供者应当向用户提供选择或者删除用于算法推荐服务的针对其个人特征的用户标签的功能。”该条规定为我国首创，能够更全面地保护算法相对人的利益。算法相对人可能并不是要求算法使用人停止推荐服务，而是禁止推定特定类型的服务。通过赋予算法相对人删除标签的权利，能够更全面的满足用户的要求。

同时，《规定》第17条第3款还规定：“算法推荐服务提供者应用算法对用户权益造成重大影响的，应当依法予以说明并承担相应责任。”比如，在动态定价当中，如果推荐给用户的价格偏高，可能构成对用户权益的重大影响。用户可以要求算法推荐服务提供者给予说明。如果构成侵犯民事权益的，算法推荐服务提供者应根据法律规定承担相应责任。

算法风险的全流程治理，在“风险-规制”框架下寻找新的平衡点和组合方式。算法在本质上是处理数据的代码，是一项应用科学技术。但技术并非中立，尤其是当算法处理的不是“物”、而是“个人信息”时，算法活动就兼具社会活动属性，内涵伦理和社会风险。因此，算法规范难题部分来源于科技的专业性和工具性，部分来源于应用场景当中的价值复杂性。《规定》针对科技风险与应用风险设计规则，在“风险-规制”框架下创设了算法规范的中国方案。

算法无处不在 滥用问题不断

2022-03-01 来源：九派新闻

国家网信办等四部门联合发布的《互联网信息服务算法推荐管理规定》，将于2022年3月1日起正式施行。对于普通用户而言，算法摸不着也看不懂，却在广泛影响着我们通过各种平台获取互联网信息服务。

算法无处不在 滥用问题不断

算法推荐技术通过抓取用户日常的使用数据，分析得出人们的行为、习惯和喜好，进而精准化地提供信息、娱乐、消费等各类服务。提供便利的同时，近年来，“大数据杀熟”、流量造假、诱导沉迷等不合理应用也给我们的生活带来烦恼。由北京大学互联网发展研究中心与互联网公司联合发布的《中国大安全感知报告（2021）》显示，有七成受访者感到算法能获取自己的喜好、兴趣从而“算计”自己，近五成受访者表示，在算法束缚下想要逃离网络、远离手机。

中国信息安全研究院副院长 左晓栋：这些服务的推送是网络服务提供者给我们定制的，那么定制就容易产生滥用，轻则损害我们个人的权益，严重的就会危害国家安全，因此算法推荐必须要进行规范。

《规定》明确，应用算法推荐技术，是指利用生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类等算法技术向用户提供信息。各类提供算法推荐服务的互联网公司几乎都在监管范围内，如各类短视频平台、电商平台、社交平台及餐饮外卖平台等。

为了打破算法摸不着也看不懂的“黑箱”，《规定》明确要求保障用户的算法知情权和算法选择权，应当向用户提供不针对其个人特征的选项，或者便捷的关闭算法推荐服务的选项。

《规定》要求算法推荐服务提供者应当坚持主流价值导向，积极传播正能量，建立完善人工干预和用户自主选择机制，不得利用算法实施影响网络舆论、规避监督管理以及垄断和不正当竞争行为。

不得实施差别待遇 剑指大数据“杀熟”

近年来，一些企业利用个人信息搞大数据“杀熟”，对不同群体进行差别定价，实行“价格歧视”，让消费者十分反感。对此，《规定》又将如何破解呢？

浙江绍兴的胡女士通过某商旅平台定购了一家酒店房间，结账时发现，通过平台支付的房费比该酒店实际房价高近一倍，而她是该商旅平台的高级会员，本该享受8.5折优惠。胡女士怀疑商旅平台通过她此前的消费行为，存在“大数据杀熟”的行为，将商旅平台告上法庭。去年7月，法院一审对原告退一赔三的请求予以准许。这起案件被众多媒体称为“大数据杀熟”第一案。

同样的送餐时间、地点、订单、外卖平台，会员却比非会员多付钱；同时同地打同类型车到同一目的地，某打车平台曾被用户发现熟客反而收费更高，类似的消费投诉多有发生。对此，《规定》提出，算法推荐服务提供者向消费者销售商品或者提供服务的，应当保护消费者公平交易的权利，不得根据消费者的偏好、交易习惯等特征，利用算法在交易价格等交易条件上实施不合理的差别待遇等违法行为。

中国信息安全研究院副院长 左晓栋：有的平台就会说，这个算法是我的知识产权，是我的商业秘密，我不能公开。这些说辞都不能成立了，平台的算法要保证必要的透明性。

专家强调，《规定》还明确保障用户的选择权、删除权等权益。通过向用户提供不针对其个人特征的选项，或向用户提供便捷的关闭算法推荐服务的选项，并提供选择或删除针对其个人特征的用户标签的功能，避免消费者被算法“算计”。

保护劳动者合法权益 避免被算法所“困”

此外，在《互联网信息服务算法推荐管理规定》中要求，算法推荐服务提供者向劳动者提供工作调度服务的，应当保护劳动者取得劳动报酬、休息休假等合法权益，相关情况，再来了解一下。

2020年9月，一篇名为《外卖骑手，困在系统里》的文章备受关注。文章描述了在外卖平台系统的算法与数据驱动下，外卖骑手的配送时间不断被压缩，而骑手在强大的系统驱动下，为避免差评、维持收入，不得不在现实中选择逆行、闯红灯等做法。不少外卖骑手表示，几十层的高层楼宇，电梯一等就是十几分钟甚至更长，但这样的客观情况，并没有被“算法系统”考虑进去。

清华大学人工智能国际治理研究院副院长 梁正：由于机器还在发展阶段当中，针对一些劳动工作场景，把决定权力交给机器，有很大的潜藏的公平性、可靠性的风险。

互联网平台优化算法主要通过大数据分析算法模型计算出业务经营的最佳策略，与此同时，与算法相配合的还有一整套严格的绩效考核机制，一旦违背部分算法规则，则会在考核中失去“优势”，并可能带来了一些恶性应对行为。对此《规定》专门提出，算法推荐服务提供者向劳动者提供工作调度服务的，应当保护劳动者取得劳动报酬、休息休假等合法权益，建立完善平台订单分配、报酬构成及支付、工作时间、奖惩等相关算法。

确保算法公开透明 严防刷量控评影响舆论

雇佣网络“水军”实施流量造假，鼓动“饭圈”粉丝互撕，刷量控评，一些算法推荐服务提供者干预热搜，影响网络舆论的现象让人诟病。明天施行的《互联网信息服务算法推荐管理规定》将给这类影响网络舆论的“黑手”戴上“紧箍咒”。

在娱乐行业，部分流量明星动辄可以拿到上亿甚至十几亿的商业回报，明星商业平台无所不用其极地制作话题、进行炒作，任何可以引发粉丝关注讨论的行为，甚至是粉丝之间的网络骂战，都是商业团队常规的策划内容。品牌方也深谙此道，甚至运用手段刻意制造不同粉丝的矛盾，掀起骂战来博眼球、拉流量。

3月1日正式实施的《互联网信息服务算法推荐管理规定》，要求算法推荐服务应遵循公开透明的原则，鼓励算法推荐服务提供者综合运用内容去重、打散干预等策略，优化规则透明度和可解释性。建立健全算法机制机理审核、科技伦理审查、用户注册、信息发布审核等管理制度，不得利用算法操纵榜单、控制热搜等干预信息呈现。

中国信息安全研究院副院长 左晓栋：我们看到的内容有可能会越来越偏离公正，偏离中立，被人为地或者是背后有算法在引导的情况，那么就需要进行必要地干预。

对外经贸大学数字经济与法律创新研究中心执行主任 张欣：原则上告诉我们说这些设计人员不能去开发这样的算法，如果进行了这样相应的行为怎么办？这一次的管理规定当中非常明确提出要去承担相应的责任。

防止诱导沉迷消费 保护特殊群体利益

如何防止诱导用户沉迷、过度消费，保护未成年人等特殊群体的权益？针对这些诉求，明天施行的《规定》也进行了精细化的规定。多位专家表示，建立健全科学的监管体系，形成算法治理长效机制，将是确保《规定》落到实处的核心要义。

《规定》提出，算法推荐服务提供者应当定期审核、评估、验证算法机制机理、模型、数据和应用结果等，不得设置诱导用户沉迷、过度消费等违反法律法规或者违背伦理道德的算法模型。

针对未成年人，《规定》提出，算法推荐服务提供者不得向未成年人推送可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好等可能影响未成年人身心健康的信息，不得利用算法推荐服务诱导未成年人沉迷网络。《规定》还要求，算法推荐服务提供者向老年人提供服务的，应当保障老年人依法享有的权益，充分考虑老年人出行、就医、消费、办事等需求，按照国家有关规定提供智能化适老服务。

监管如何落地落实？《规定》明确，事前监管，确立算法备案、算法评估等制度；区分监管，确立分级分类的思路；系统监管，建立多元共治的局面。专家认为，《规定》着力完善治理体系，实现事前事中事后全流程、全链条监管。算法推荐服务提供者如违反相关规定，会被处以警告、通报批评、罚款等，必要时还将给予治安管理处罚和追究刑事责任。

中国信息安全研究院副院长 左晓栋：强调主体责任非常重要，因为平台是算法推荐的使用者，因此只有把平台的责任压实，那么平台才有自觉性去落实法律法规的要求。