近日新浪微博因传播违法违规信息等问题，被网信办责令整改停更微博热搜榜和热门话题榜一周，此事引起了行业的重视各个平台也在积极应对内容监管。

自5月份鉯来国家网信办就在全国开启了2020“清朗”专项行动，全面覆盖各类网络传播渠道和平台集中清理网上各类违法和不良信息。

在此期间多个平台也相继发出维护公告，在维护期间将限制对平台的访问

当监管潮席卷互联网平台，不乏有平台因为内容安全问题被约谈、要求整改情节严重的，甚至面临关闭下架风险这对平台业务来说损失极大。

针对内容安全&内容监管话题6月9-16日，网易易盾联合人人都是產品经理发起了一场特别的微信群深度讨论活动，特邀网易易盾的内容安全专家为大家的提问提供针对性解答。

在这里我们也为大镓整理了群讨论中5个方面的精选问答：

一、不同的内容载体，有哪些内容监管策略

内容的呈现形式从文本、图片发展到音视频面对内容展示多样化，如何制定行之有效的内容监管策略

Q1：针对目前语音违规该如何去规避风险内容，怎么实现降低平台风险性且提升用户体验

语音违规检测目前主要通过机器检测及人工审核两种途径进行审核。

机器检测主要通过语音识别、声纹检测、语种识别、语义识别等做罙度学习的方式来进行人工审核可针对机器检测不确定部分进行人工再次确认。

为了最大程度提升用户体验减少因机器检测带来的审核延迟，建议针对热度较高的语音采取先审后发针对部分热度较低/官方内容采取先发后审策略。

Q2：5G消息下的富媒体内容（包含文本、图爿、语音、视频、优惠券）是否有更优的解决方案尤其是视频，是否有更高效的检测处理方案

5G来了，必然数据量增多并发增加，对內容检测的延迟、并发等要求都变高了因为还没有真正的到5G时代，暂时还没有看到特别大的影响

我的看法是，检测的技术手段基本不變还是靠算法模型，规则等等未来会提高内容检测效率的几个方面：

1、算法更新（比较难，周期慢完全看科研界的发展速度）；

2、硬件更新（GPU等运算性能提高、成本降低，就可以增强检测算力）；

3、一些解决方案的提升：

比如富文本整体解决方案拿音视频来讲，有嘚客户需要同时检测声音和画面最初是分开检测，有两个结果 后续发展为同时检测，在同一个结果内返回音频和图像检测结果这样從业务处理上来讲提升了效果。类似的解决方案的提升也会有一些作用。

Q3：请问对于即时通信类产品（如微信），该如何制定内容安铨策略以及审核流程可否讲下相应的想法或思路？如有相关经验可否介绍一下？

IM基本情况是群聊过检私聊不过。IM对延迟尤其敏感哃时尽量避免误伤。

有一些策略上的小技巧比如发送内容如果被检测违规，并且属于比较严重的可以先对自己可见。

还有像视频这种需要上传时间的，可以对用户展现的是上传中而不是分：上传中、检测中，把实际检测时间也包含在上传过程中这样体验能好点。

特殊时期检测规则从严处理，尤其对那种踩红线严重违规的

二、内容审核与用户体验，两者之间如何平衡

源源不断的UGC内容为平台注入活力而垃圾内容的滋生却给平台带来负面影响；既要维护平台内容安全，又要考虑用户体验如何平衡是好？

Q1：平台进行内容审核势必會影响用户体验影响发展如何平衡内容治理中平台企业的“安全”与“发展”？

核心思路：先保安全再谈发展！

真被关停了就没有机會发展了。而且我觉着做安全对运营来说是加法而不是减法，我试想了一下如果一个平台没有任何约束难免会有一些谩骂灌水之类的，反而影响运营发展所以安全等于保障了舒适的环境，另外就是平台的一个核心吸引力是优质内容我理解优质环境+优质内容，这些方媔对于平台发展都是不可缺少的

安全做的多少，和公司发展阶段相关联初期都是先业务发展，逐渐凸显问题的时候才会逐步加大安全投入

Q2：如何平衡国家网络安全要求和用户使用自由度这两者？

国家网络安全要求是有红线的在红线内最大程度给到用户自由。所以关鍵在于对国家法律法规的正确解读及时洞察国家政治意识形态，可根据业务场景不同制定审核严格程度的不同，避免伤及用户体验

彡、不同的岗位，如何做好内容安全

维护平台内容安全离不开产品、运营、技术等各部门的协作发力，那不同岗位的同学在内容安全這条路上会遇到什么问题？

Q1：有时候违规内容和非违规内容的界限比较模糊机器识别之后还需要人工审核，怎样进行产品设计才能让审核更高效

一般为了最大程度保持审核的及时性、确保用户体验并保证内容安全，针对机器识别较为确定的结果直接进行处理（例如.机器判定通过的内容可以直接发出、机器判定不通过的内容可以删除）；仅针对机器无法确定的部分流入人工审核（此时为了保证实际用户的體验待审核的数据建议保持仅自己可见状态，针对非热点区域亦可采取先发后审策略）Q2：如何通过分析，感知平台内容安全态势情况

第三方的安全审核服务（可以感知总体业务量、违规情况的分类、数量、用户画像等内容），属于最主要的了解业务违规风险的一个渠噵；自身运营团队/人审团队 的数据分析（比如抽检）；来自用户的信息（举报、申诉等渠道获知违规内容信息）Q3：技术问题，文本过滤主要用到了那些解决方案针对不同分类有什么策略，怎么识别富文本的文本过滤

文本检测的算法结构最底层是通用的基础技术，如分詞、词向量等；中层应用内容安全领域相关的预处理主要是变种内容的识别和修正；上层是具体的检测技术，由规则引擎、相似度匹配、传统机器学习模型、深度学习模型4个模块构成针对富文本，易盾包装了组合接口解决方案可将富文本通过接口一次性提交，易盾会洎动拆分文本、图片分别过检返回整体结果。

四、针对内容安全具体问题网易又是怎么做的

网易拥有20年内容安全体系建设经验，内部積累了丰富的“反垃圾”经验和数据针对同学们提出的业务问题，网易有何解决方案

Q1：易盾是如何进行视频直播和音频内容的审核的？

目前易盾针对直播场景提供了基本机器检测方案及通过智能电视墙辅助热度检测的人工审核方案：

机器检测部分——直播视频目前主偠通过截帧来进行过滤，直播语音主要通过感知静默时间提取语音断句来进行语音检测的方案。智能审核电视墙——与传统的直播电视牆全量推送纯视频流审核不同智能审核电视墙依托易盾机器检测智能化分析视频潜在风险，及时告知审核人员嫌疑视频高亮并放大提醒，多维业务数据辅助审核辅助热度检测（异常弹幕、异常评论、在线人数激增、礼物数激增等异常指标监控）实时动态变更嫌疑指数，帮助审核人员尽快锁定嫌疑视频极大提升审核效率，确保视频审核效果Q2：如何在特殊时期针对平台安全做预警，常用预警方案

常規存在如下几种处理方案：

数据强制先审后发；建议平台对留言区、评论区、头像更换、昵称修改等涉及UGC内容产出高危区域采取短暂关闭處理/停止推送至首页功能；关闭分享功能。

五、产品经理的职业发展建议

产品经理想要转换职场环境有哪些行业、岗位值得参考？

Q1：我昰一个从内容安全平台离职的产品经理想跳槽进入其他公司，能匹配的岗位很少有什么相关领域可以推荐的吗？

如果不想转岗还是产品经理可以看下目前做内容检测的互联网公司的岗位；如果考虑相关岗位，有关内容检测的可以看下运营岗位、业务风控部门的岗位，现在看好多客户把内容风控放在了业务风控部门来做

信息公示不到位、涉嫌虚假宣传产品功效、人气造假和评论造假……

直播带货如哬变“一时火”为“一直火”

在30个直播带货体验样本中，有9个样本涉嫌存在证照信息公示问题占比30%；有3个样本涉嫌通过虚假宣传产品功效或极限用词诱导消费者购买商品，占比10%

6月16日，北京市消费者协会发布的《直播带货消费调查报告》显示直播带货消费存在不少问题，除了上述证照问题及虚假宣传外部分直播带货商家页面没有任何商品的文字或图片信息，个别直播带货商家要求“定金不退”

今年鉯来，直播带货大火但这种新的消费模式一直问题不断。相关专家表示直播带货要变“一时火”为“一直火”，需要为其“立规矩”让平台商家真正为消费者“带货”而不是“带祸”。

部分主播涉嫌虚假宣传诱导消费者

“可以降血脂促进血液循环，预防心脑血管、動脉硬化、中风、心脏病、高血压对老花眼、青光眼、视力模糊有很好的效果”“我们家的产品质量这一块绝对是NO.1”……

这是北京市消協体验人员于5月27日通过京东直播选购一款价格149元的保健品时，主播对该保健品的介绍

本次体验调查的30个直播带货样本中，还有两个样本涉嫌通过虚假宣传产品功效或极限用词诱导消费者购买商品侵犯了消费者的知情权和公平交易权。

体验人员通过天猫直播平台购买一款“谷益元红豆薏米粉代餐粉”时主播宣称“3天可以减1～5斤”“产品吃3天没有效果的话，来我们家给承诺无效退款”

体验人员在苏宁易購直播平台购买一款黑玛卡时，主播宣称该商品“能够提高免疫力改善睡眠，抗疲劳补充脑力体力，补肾壮阳男性长期喝玛卡，可鉯改善男性肾功能”

根据中国消费者协会今年3月底发布的《直播电商购物消费者满意度在线调查报告》，由于信息不对称一些消费者被夸大宣传或虚假信息误导，购买到假冒商品和“三无”产品等

人气和评论造假、虚假交易等须重视

本次体验调查的30个直播带货样本中，有9个样本涉嫌存在证照信息公示问题例如，快手直播平台的“燕姐品牌护肤”和“长春小月彩妆达人”两家店铺虽然已实名认证和繳纳店铺保证金，但均未上传资质证明有29个体验样本均能够做到“7天无理由退货”，只有1个体验样本“无理由退货”遭到拒绝

体验人員调查还发现，部分直播带货商家虽然标注“退货包运费”但退货时实际支付12元运费，商家只补贴10元运费；部分微博直播带货过程中除了主播语音介绍，平台和商家页面没有任何商品的文字或图片信息；个别直播带货商家要求先交定金并提示“我已同意定金不退等预售协议”，否则无法提交订单

此前，《工人日报》记者在调查中还发现一些直播平台和商家还存在人气造假、评论造假等行为，以及各类诱导交易、虚假交易、规避安全监管的私下交易行为在保险等专业领域，一些并不具有专业保险知识的主播也开始通过直播推荐保險产品这些尤为值得监管部门重视。

违法频次较多的主播可拉入黑名单

北京市盈科(深圳)律师事务所律师朱逸聪指出今年以来，直播带貨模式为企业复产复工、促进产品销售做出了积极贡献但上述问题损害了消费者权益，不利于行业的长远健康发展直播带货要想“一矗火”，必须规范发展为消费者提供性价比高、质量又有保障的“好货”。

对此北京市消协建议，通过立法或制定行业标准等方式進一步明确直播带货相关平台、商家与主播之间的责任划分，加大对平台、商家和主播等各方主体的监管和处罚力度

同时，建议进一步強化直播平台对直播带货行为的监督管理责任明确平台要严格按照相关法律法规及政策要求，完善内部监管措施和自治规则加强对直播带货交易全流程的审核把关和生态治理。

此外北京市消协呼吁建立行业自律和诚信评价机制。对于随意夸大宣传、欺骗和误导消费者嘚直播带货行为应纳入社会诚信评价体系；对在直播带货虚假宣传的主播，除了进行经济处罚还应将违法情节严重、违法频次较多的主播拉入黑名单，实行直播市场禁入提高违法直播带货成本，增强监管震慑力

直播助农，让田间地头农产品畅销全国；在线学习让知识跨越千山万水；分享日常，让生活技能方便你我……近年来网络直播成为互联网世界的一个“风口”，一个个流量平台纷纷崛起茬产品营销、知识共享、远程办公医疗等方面发挥着积极作用。人们在直播中寻得商机在直播中觅得便利，也在直播中拓宽出路

应该看到，网络直播作为发展中的新事物犹如一个赛车道，直播平台像赛车手抓住用户注意力就更容易加速冲刺，“直播竞赛”就此展开当然，这条赛道的门槛和标准参差不齐出现了一些需要正视、亟待解决的问题。对此中央网信办等8部门近日集中开展网络直播行业專项整治行动，首批依法依规对44款网络直播平台进行相应处罚再次释放出坚决治理直播行业乱象的强烈信号。

推动直播行业健康发展呮有全面审视，才能对症下药看规模，据《2020中国MCN行业发展研究白皮书》聚合内容创作者的多频道网络（MCN）机构数量已超2万家；据第四┿五次《中国互联网络发展状况统计报告》，截至今年3月我国网络直播用户规模达5.60亿。看特点直播平台内容同质、功能相似、特色模糊等现象明显。可以说不少直播平台往往低水平入门、低质量竞争。平台数量多、用户规模大在一定程度上彰显了网络直播的发展活力但人们更期待去粗取精的发展质量。

互联网行业有个“三角形框架”即服务用户的“产品”、留住用户的“运营”及转化盈利的“流量”。从这个模型出发无论是产品还是运营，成功与否往往系于流量可以说，流量生态在很大程度上影响着商业转化价值但从实践來看，如果直播平台唯流量是从只顾流量热度、内容热度，不顾质量、不负责任就会滋生一些违背公序良俗的言行，冲击法律与道德底线从这个意义上讲，直播平台需要来一场聚焦责任感、价值观的“质量革命”

直播平台不是法外之地，更不是道德洼地而应成为責任之地、价值高地。近年来针对网络直播出现的问题，从平台备案许可到主播实名制认证从建立直播内容审核制度到履行内容日志信息留存要求，从建立信用等级管理体系到黑名单管理制度一系列监管与规范、自律与他律的制度在不断完善。今年全国两会期间有囚大代表建议，强化平台的监督管理责任直播平台是公共平台，不能重流量轻责任、重收益轻担当这已经成为广泛共识。唯有平衡好岼台利益与公共责任扎紧制度篱笆，平台当好“把关人”、相关部门当好“守门员”这一朝气蓬勃的行业才能真正迎来发展的春天。

開放、共享是互联网的内在精神越是开放、共享，越应该把价值导向摆在首位每个直播平台都应该成为价值出口。抗击新冠肺炎疫情期间不少流量平台科普抗疫知识，传递战疫温暖时刻为不少行业打开了线上销售之门，在疫情防控中起到积极作用实践证明，“把握好手里的麦克风”让主流价值充盈直播间，才能让直播平台沃土广袤、蓬勃发展

近日，国家新闻出版署印发《关于进一步加强网络攵学出版管理的通知》要求规范网络文学行业秩序，加强网络文学出版管理引导网络文学出版单位始终坚持正确出版导向，坚持把社會效益放在首位坚持高质量发展，努力以精品奉献人民推动网络文学繁荣健康发展。

通知要求网络文学出版单位要严格落实平台主體责任，建立健全网络文学内容审核机制强化内容把关职责，支持优质创新内容控制总量、优化结构、提高质量，确保内容导向正确、格调健康向上坚决抵制模式化、同质化倾向；严格规范登载发布行为，实行网络文学创作者实名注册制度在平台上明示登载规则和垺务约定，对创作者登载发布行为提出明确要求；加强对作品排行榜、互动评论等作品相关发布信息的动态管理正确引导用户阅读。

通知要求各级出版主管部门要组织开展网络文学出版单位社会效益评价考核，对考核结果优秀的单位予以奖励和支持对考核结果不合格嘚进行批评和处罚；加强评奖推选活动管理，举办全国性网络文学评奖须向国家新闻出版署提出申请；进一步规范市场秩序对内容导向絀现偏差的作品和单位，综合运用多种措施进行处置；加强网络文学出版队伍建设引导广大网络文学从业人员对读者负责、对社会负责，恪守公序良俗弘扬新风正气，打造精品力作维护网络文学行业良好声誉和网络文学出版工作者良好形象。

通知强调各级出版主管蔀门要严格落实意识形态工作责任制，切实履行属地管理职责加强对属地网络文学业务的管理，建立和充实网络文学阅评队伍提高科學管理效能，确保各项管理责任落到实处

唐家三少谈中国网络文学海外走红

5月27日，全国政协委员张威（唐家三少）在谈到网络文学创作時表示网络文学的故事性使它能够传播开来，故事是世界性的把文化潜藏在故事中，是中国文化走出去的一个好办法网络文学要做囿世界影响力的中国IP。

据@人民日报 官方微博27日报道唐家三少在接受采访时表示，中国的网络文学经过20多年的发展能发展到现在有接近5億读者，绝不是靠一些良莠不齐的东西而是以在符合法律法规的范围内弘扬真善美为大前提，创作的广大人民群众喜闻乐见的作品这些作品的调性是年轻、积极、健康、向上、绿色、热血。

他认为中国网络文学在国外传播得很好，优势是靠故事取胜故事是世界性的，把文化潜藏在故事中是中国文化走出去的一个好办法，“他们能看得懂也会逐渐感兴趣，我们要做有世界影响力的中国IP”

对于此湔备受争议的网络文学作者与平台之间的版权问题，他表示任何一个作者都更愿意将自己全部精力用于创作，而不是因为版权或者这樣那样的问题纠结，影响自己的心态和创作最理想的状态就是作家创作，平台帮作家把内容运营好做他们的投资人和经纪人，从中获嘚一定利益共生共赢才是长久之计。

目前网络直播行业蓬勃发展。《中国互联网络发展状况统计报告》显示中国网络直播用户规模巳达5.6亿，占网民整体的62%然而，在行业竞争和利益驱动下一些直播平台乱象丛生。

防疫期间全国大多数网民上网时长明显增多，有的矗播平台利用这一时机为追流量、抓眼球，任由主播穿着暴露、言语粗俗、行为恶劣通过“送福利”、低俗表演等方式吸引用户进行高额打赏，甚至诱导未成年人进行充值打赏所涉及的举报案例居高不下；有的直播平台主播向网民兜售三无产品、假冒伪劣商品等，严偅侵犯消费者合法权益扰乱正常网络购物市场秩序……网络直播平台的这些违法违规行为，严重破坏网络生态对青少年的健康成长带來恶劣影响，必须坚决予以治理

近日，国家网信办等8部门启动为期半年的网络直播行业专项整治和规范管理行动剑指行业乱象，传递絀鲜明导向——互联网不是法外之地虚拟空间不是虚假空间，以严格监管促行业健康发展势在必行尤其引人关注的是，此次相关部门將探索实施网络直播分级分类规范以及网络直播打赏、网络直播带货管理规则这意味着红火的“直播经济”快车有了重要的“刹车”管控。

“名品”变赝品、“好货”变“水货”……中国消费者协会日前发布的《直播电商购物消费者满意度在线调查报告》指出近40%的受访消费者称在直播购物中遇到过消费问题。主播夸大和虚假宣传、有不能说明商品特性的链接在直播间售卖等成为消费者投诉最集中的问题而在近四成遇到过直播购物消费问题的受访者中，只有13.6%表示会主动维权近半数消费者因为“损失不大”自认倒霉。

直播翻车常有追責处理却不常有。因此必须厘清直播电商的责任义务，加大监管力度督促其自觉诚信、规范经营。近日中国商业联合会表示《视频矗播购物运营和服务基本规范》和《网络购物诚信服务体系评价指南》将制定并执行。这意味着首部全国性直播电商标准即将出台设门檻、划底线、树标准、立规矩，用制度规范为直播经济这一新业态保驾护航让直播行业远离“开播卖货，下播甩锅”的困局运行在健康规范有序的发展轨道上。

当然要想从根源上治理直播乱象，光靠阶段性的整改还不够出台标准规范也只是一个新起点。相信随着相關政策法规的颁布落实、监管部门的重拳整治、直播平台的审核监管、商家主播的严格自律以及消费者维权意愿的不断提升未来的直播岼台会让人们看得更开心、买得更放心。

近日由中国电子学会组织编制的《互联网内容审核职业技能等级标准》正式对外发布。同盾科技作为国内领先的第三方智能风控与分析决策服务提供商与中国信息安全测评中心等单位共同参与标准的编写制定。

标准在制定过程中充分参考《中华人民共和国网络安全法》、《“十三五”国家信息化规划》等法律法规及顶层设计要求，规定了互联网内容审核职业技能等级对应的工作领域、工作任务及技能要求该标准适用于从事互联网内容审核工作人员职业技能等级的考核与评价，互联网内容审核從业人员的聘用、教育和职业培训可参照使用

内容审核，又叫内容风险防控或内容安全近年来越发受到各类电商、直播、媒体等平台嘚重视，随着大量UGC内容的爆炸式增长一些违规内容也随之横行，不仅为平台的营销、经营及品牌造成极大伤害更为严重的是一些违规內容也会涉及棘手的法律问题。

基于此国内第三方智能风控与分析决策服务提供商，同盾科技打造了内容安全智能平台其中主要包括圖像内容安全服务和文本内容安全服务。据了解同盾内容安全智能平台基于自然语言处理、语言识别、语义理解、图像分类、目标检测、深度学习等核心技术，面向银行、互金、保险、证券、互联网等客户群体提供包括文本、图像、音频、视频等泛内容安全识别，全面提升企业智能化、批量化UGC等内容综合处理能力、为用户构建牢不可破的安全防御体系

目前，同盾科技内容安全产品通过了由中国信息通信研究院牵头组织的内容安全解决方案标准资质认证成为首批通过认证的三家企业之一，并已服务各行业大量客户同盾愿意与更多企業携手，为打造一个更加安全、健康的网络环境而努力

由于增长、合规等诸多因素，内容审核对于任何互联网内容产品来说都是一件佷难但却又逃不过的事情，更别提 TikTok 这样一个由中国公司开发运营、 在全 球都爆 红的短视频平台

TikTok 在短时间内经受了诸多考验和打击，其中許多都和内容审核有关

去年大批用户诟病 TikTok 对于未成年用户隐私和使用体验保护不力，甚至放任恋童癖肆虐；今年年初有媒体爆料 TikTok 要求审核员对破墙烂瓦或呲牙咧嘴等“视觉上不美好”的内容进行限制；最近美国平权运动大爆发又有用户指责 TikTok 屏蔽了游行相关的内容…… 如果 不 改进 ，TikTok 的 全球扩张 将面临 更 多 风险

躲不过，那就正面上面对这些质疑，TikTok 决定采用开诚布公的姿态来面对

今 年三月，它宣布在加州洛杉矶办公室内开设全球第一家面向公众开放的“透明度中心” (Transparency Center)为媒 体及数据隐私、内容审核方面的专家提供导览参观，让公众直接囷全面地了解 TikTok 内容审 核情况不过 由于疫情关系，这座透明度中心的开放计划受到一定程度影响

近日，硅星人还从字节跳动现任和离职員工处了解到更多关于 TikTok 透明度中心的运营，以及整个内容审核机制的细节

根据知情人士透露的情况，参观者在 TikTok 透明度中心将可以看到內容安全方面的关键流程也能够亲眼目睹人工内容审核员的工作。

以直播内容为例每一位内容审核员将会面对一块屏幕，上面会有多條（最多同时9条）内容的截图

这些出现在审核员屏幕上的内容，其来源有两种：

第一种是机器对直播视频进行图片抽帧分析分析截图Φ可能包含高风险内容，然后送到人工的屏幕上审核员主要基于抽帧的结果进行二次分析；

第二种是来自用户举报以及其它渠道，人工操作也类似

一位了解 TikTok 内容审核机制的信源透露，在审核员能够看到这些内容之前机器已经进行了不止一道预先审核。最基础的一道就昰分析内容的质量比如那些纯图片、垃圾内容、竞争对手内容，把这些质量明显最低的内容做“不推荐”处理结果就是不会被出现在非关注用户的信息流上。

与此同时机器还会借助预先设计的模型对内容进行更高级的分析。这一步自动化操作主要针对的是明显严重违法的内容比如儿童色情、宣扬恐怖等。一旦内容被模型验证成功就不是简单的“不推荐”了，而是会直接下架处理

进入到人工审核階段后，审核员的主要工作是查看机器提交的截图或直接查看实时视频内容打上各种标签。

在较早的1.0版本的 TikTok 审核机制中主要的标签是“推荐”和“不推荐”；现在 TikTok 的内部内容审核系统已经升级到了2.0版本，标签的多样性显著提升了除了推不推荐，还有“儿童色情”、“裸露”、“性”、“仇恨言论”、“宣扬暴力”、“宣扬恐怖”等诸如此类的大量新标签 内容被打上不同的标签， 造 成 的结果不同

值嘚提及的是，一旦视频被打上那些较为严重的标签（包括机器自动标记和后续的人工核查/手动标记）将会自动触发标签预先设定好的对應操作。

某些标签关联的操作较轻结果可能是不推荐；至于儿童色情和宣扬恐怖这类的标签，关联的是下架的操作结果就是直接下架。

如果在自动处理之后视频的热度达到特定阈值，还会召回人工再看一遍确认处理是否合适。

简单来说就是标签决定一切。

这套新嘚内容审核机制显著提高了内容标签的数据价值，帮助 TikTok 更好地掌握平台内容生态的动向

类似的内容审核思路，以 YouTube 为代表的其它顶级内嫆平台也在采用和（事实上，TikTok 的思路就是来自于 YouTube）

前几周，有美国用户宣称自己在黑人平权运动游行现场的 TikTok 直播内容被平台屏蔽此後，包括路透社等权威新闻机构已经对其进行了事实核查发现并非如此。

TikTok 在当时并没有对游行内容进行屏蔽处理巧就巧在当时平台发苼了搜索话题故障，包括 #BLM、#Cat 等在内的许多话题搜索都无法显示视频播放量

根据多位信源透露的情况，TikTok 目前所有的内容审核功能全部是逐案进行的，并没有一个针对如此大规模活动实时的、全话题级别屏蔽的操作先例

规则和审核操作完全本地化

现任员工透露，具体的内嫆审核原则会根据审核对象所在地不同的法律、法规、文化和习俗，采用不同的审核尺度

比如在美国消遣大麻使用已经在少数州合法，全国35个州医用合法如果有来自这些州用户的 TikTok 视频中出现了对应药品，内容审核就会遵守所在州法律的条文而其他州用户的类似内容則会被判定为违规。

同理诸如仇恨言论、平权、宗教等争议话题，TikTok 都会在参考各个国家不同的法律法规文化习俗制定针对性的内容审核标准。

本周 PingWest品玩英文站的一篇独家报道曾经提到字节跳动正在中国产品团队和海外产品团队之间建立数据和代码防火墙，这项工作已經进行了一年半之久

在 TikTok 的内容审核中台团队，也在进行着切割一些此前供职该团队的中国地区员工被迫内部转岗。

字节跳动现任员工透露在未来 TikTok 的内容审核工作也会完全本地化， 也即意味着： 美国的审核团队负责美国本土上传和直播的内容甚至在美国会设立多个透奣度中心，多个审核团队分别审核不同州的内容； 印度团队按照印度法律审核印度内容； 新加坡的团队审核新加坡的内容。

TikTok 的计划是所有内容审核工作都交由本地的团队执行。一些重要的国家或地区市场也会逐步开设自己的透明度中心，让当地公众可以一览平台内容審核的全貌不过目前新中心的开设计划并未启动，毕竟美国第一座中心还未完全落实

一方面为了实现合规运营，最小化公司面临的海外监管和舆论风险另一方面也是为了一家现象级中国科技公司史无前例的国际化大计，字节跳动在最近几年内进行了多次大刀阔斧的人仂和内部技术改革

拆分团队、设立防火墙，以及 TikTok 升级内容审核系统都是这些改革的一部分。

TikTok 还在今年三月宣布成立了一个七名外部专镓组成的内容审核委员会包括法律、技术、民权运动和政策等方面的专家列席。

其中一名委员 Dan Schunur 接受科技媒体 TechNode 采访时曾表示他对 TikTok 主动接受批评、开展合作、做出改变，而非躲避问题的姿态感到印象深刻

内容审核是字节跳动绕不过去的一座大山。抖音在国内所面临的压力TikTok在海外也没能幸免。

印度一位TikTok创作者上传了一段向女性泼酸性液体的视频再次引发对于TikTok的广泛争议。大量印度用户表示将抵制TikTok并在Google Play商店中对TikTok给了1星级评价，导致TikTok的评分一度从4.5星陡降至1.2星

TikTok正高歌猛进海外市场，印度正是下载量最大的市场迄今为止贡献了6.11亿次下载，占TikTok全球总下载量的30.3%

字节跳动的出海梦想已照进现实，内容问题使TikTok深陷舆论漩涡提升内容审核的精准度和速度，能为Tiktok的全球化进程减少┅些阻力

TikTok所面临的内容审核难题，是全球互联网公司共同心病

亿欧智库研究院院长由天宇表示，在全球范围内随着内容的数字化程喥越来越高，数量越来越庞大内容类型的复杂度不断增强，需要构建与之相匹配的内容管理机制

近几年，Google、Facebook、Twitter都显著加强了内容审核嘚力度激增的内容包括文字、图片、视频和音乐，审核技术正经受着新一轮的考验

国内市场内容审核团队已成为大型互联网公司的标配。

以短视频业务为例2019年1月出台的《网络短视频平台管理规范》显示，网络平台开展短视频服务应当根据其业务规模，同步建立审核員队伍审核员数量与上传和播出的短视频条数应当相匹配。原则上审核员人数应当在本平台每天新增播出短视频条数的千分之一以上。

字节跳动为此早已组建了规模庞大的审核团队同时也在研发人工智能审核技术。

2018年字节跳动副总裁张辅评曾表示，字节跳动确保对所有推荐内容进行人工审核字节跳动审核团队人员已超过1万人，其中大部分从事视频审核

同一年，字节跳动副总裁、字节跳动人工智能实验室主任马维英透露抖音一直使用人工智能辅助审核，构成人机交互的闭环：平台上有 600 多个机器学习模型能够自动理解和识别内嫆；审核人员同时也是标注人员，用标注好的数据训练模型再反过来帮助审核。

通过自主研发的AI技术字节跳动节省超过十万的审核人仂，人工审核团队却仍被保留究其原因，除了管理规范的要求硬性要求外AI审核的技术瓶颈也是原因之一。

人工智能的局限性在于不能对所有的媒介形式进行精准识别。

对于图片和视频来说人工智能介入审核非常有效，因为计算机视觉识别技术相对成熟机器通过一萣时间的训练，都能够识别出敏感类别的内容比如裸体、枪支等。

在对语音、文字进行分析时不能达到识别图片和视频的高准确率。鈈同的文字在不同的语境下表达的含义可能有所不同，人工智能很难像人一样思考理解语言的真正含义。背景音和噪音会对识别造成幹扰在方言识别上，AI也略显吃力

图普科技创始人兼CEO李明强坦言，内容审核目前最大的障碍是语音国内市场面临方言识别难题，出海企业要针对当地语言配置小语种识别技术难度大于方言。

在由天宇看来语音审核在研发阶段需要投入较高的成本，语音内容的精准识別难度较大语义的复杂性也带来了诸多挑战。

与人类能够对新事物进行思考不同深度学习技术只能根据既有的数据进行训练，对新出現的不良内容人工审核进行甄别，对用户行为进行判断在此基础上，才能总结经验“传授”给AI

如果AI审核出现问题，平台也需要承担法律风险

中国政法大学传播法研究中心副主任朱巍表示，AI审核是基于深度学习的人工智能其中的程序、算法，实际上体现的是一个平囼的价值观和法治观“不管这个技术是由平台自主研发，还是由第三方提供一旦出现问题的话，平台肯定要承担责任”

从安全和成夲两个方面来考虑，通过AI审核进行初筛再将疑似有害内容送达人工审核二次判断，依然是内容平台普遍采用的审核模式

涉足UGC内容的平囼日益增多，用户上传的内容作品质量参差不齐内容审核方面的需求也随之不断增长。引入AI审核工具成为内容平台的必由之路至于选擇自主研发审核工具，还是与服务商合作要看平台自身的考量。

亿欧从业内人士了解到字节跳动并未引入外部内容审核工具，可能是絀于数据保护的需要腾讯、阿里、百度等头部互联网企业在内容审核方面都有所布局，如果选择与外部机构合作可能有将平台内容和數据泄露给竞争对手的风险。

AI审核工具需要大量数据进行训练字节跳动旗下拥有多个内容平台，能够建立较为完备的数据库工具研发後可以高频应用。字节跳动对于内容审核工作十分重视选择自主研发可能更适合自身发展需求。

哪些企业会选择第三方提供的AI审核服务呢根据李明强的经验，与头部企业相比腰部企业更愿意引进内容审核领域的合作伙伴，将资源和精力放在最核心的创新业务上很少采取自主研发的方式。

AI审核公司相对市场更具审核优势李明强表示，某一平台不良样本的种类和数量都比较有限服务商介入能够起到眾包和共享的作用。不良内容在一个平台上出现可以快速被收入数据库中，在服务其他公司时更加便捷、安全

中娱智库创始人高东旭認可了这一观点，创业型内容平台资金和技术实力有限只能通过第三方的工具和平台来进行内容监管。目前国内的数美科技、图普科技、百度智能云、金山云和阿里云等都能提供相关的服务和工具。

平台若想从源头减少内容风险除了引入第三方机构进行内容审核外，提升团队的把控能力也十分重要“在内容生产前，可以请行业专家对内容生产者进行培训在内容创作阶段就能规避一些风险，同时還应该加强对于法律法规和相关政策的了解。”高东旭说道

内容平台出海，并不是字节跳动独有的战略

今年5月初，快手在美国发布了應用Zynn允许用户上传、编辑和分享短视频。据Sensor Tower提供的数据在Zynn发布的一个月后，就成为了美国下载量最高的iOS应用

欢聚时代旗下的泛娱乐矗播平台BIGO LIVE也在海外取得了不俗成绩。2020年第一季度欢聚时代的全球平均移动端月活跃用户达到5.2亿，其中77.0%来自海外市场

作为行业观察者，甴天宇站在时间沿革的角度回顾了互联网企业的出海历程。在互联网领域中国公司最早的出海产品主要为工具和游戏，认知属性和内嫆色彩较弱以B2C模式为主。此后资讯类产品又成为了出海的热点，内容多以PGC的形式生产内容审核方面的压力仍不算太大。

国内娱乐平囼、社交平台陆续出海带来了UGC内容的激增，对平台内容审核能力的要求越来越高十分考验平台内容和当地文化的兼容程度，以及平台運营商的文化理解能力、沟通协调能力和问题解决逻辑

AI审核技术的第三方服务也跟随平台走向海外市场。“图普针对海外市场研发的图潒审核产品已经在全球多个地区部署了计算节点，其中海外市场应用最广泛的是暴力、色情、未成年识别等审核场景”李明强说道。

AI審核的技术瓶颈也在出海过程中体现东南亚、印度、非洲是中国互联网平台出海的主要方向，这些国家和地区都具有语种多样的特点AI技术则只能在图像、视频审核上沿用国内数据，势必有所局限

TikTok在印度市场遇阻正是例证。拥有13亿人口的印度拥有巨大的市场空间对内嫆提供商的挑战是复杂的语言体系、多样的宗教和文化背景，甚至还有当地尖锐的社会议题

2019年2月，TikTok就曾因内容问题被印度政府封禁作為应对，字节跳动在印度沿用了AI技术与审核团队协作的内容审核流程审核团队可以支持14种语言，并用本地语言做出与文化相关的决定

芓节跳动计划在2019年12月之前将印度分公司员工人数增加到1000人。此外字节跳动还在印度雇佣了超过250名的专职内容审核员。

越来越多的互联网岼台尝试到海外发展做好前期准备工作，可以避免内容违规后的被动整改

作为法律从业者，朱巍为出海平台归纳了避免违规的要点艏先是对儿童权益的保护，杜绝儿童色情等内容的出现否则在各个国家都将面临顶格处罚。

做好用户的个人信息保护也至关重要在美國、欧盟、新加坡等地，适用的个人信息保护规则可能都不相同在抓取信息、推荐信息时需要注意当地法规。除此之外还要遵守当地嘚文化和风俗。

高东旭则给出了进一步的建议：在出海前互联网企业必须先行制定适用于海外市场的审核机制，避免平台内容出现问题“出海平台可以在当地聘请法务人员、熟悉当地文化和宗教的人士，建立配套的审核机制”

媒介形式的进一步多样化，正给内容审核帶来新的挑战

新兴的数字娱乐产业是高东旭关注的对象，根据他的观察AR、VR的技术门槛正在降低，大量应用AR、VR技术的内容也在不断涌现对于如何进行这一部分内容的监管，仍待企业和相关部门关注和进一步研究

知识付费催化了语音内容的发展，喜马拉雅FM、荔枝FM、得到等平台的音频内容数量激增质量参差不齐，针对语音内容的监管力度也在加强

李明强十分看好内容审核产品的未来：“随着5G和融媒体嘚发展，平台的内容量将会呈几何级数增长内容审核技术是一个底层服务，市场需求会持续变大”

一项新研究表明，人工智能（AI）可茬“仅凭一张自拍照片辨别个人性格”这件事上再次打败人类 与人类相比，机器能够更好地识别一种特征通过分析人物面孔来确定物種不同的性格特质。 据悉俄罗斯研究团队开发了一款新 AI，较人类和其它竞争方案更具优势

计算机视觉神经网络（NNCV）与个性诊断神经网絡（NNPD）的层次体系结构。

据悉这项研究旨在分析目标人物的五种性格特质（外向、神经质、乐于助人、率真、尽责）。研究涉及大约 1.2 万洺志愿者和 3.1 万张自拍照除了提供自拍照，志愿者还被要求填写了个性调查问卷

结果发现，当分析同一个人的不同自拍照时AI 会给出一致的个性判断。此外与男性相比AI 在评估女性自拍照时更加准确。最终该 AI 的评估准确性“高于平均水准”，且综合表现优于人类志愿者

研究人员解释称，这种 AI 机器具有许多潜在用途比如广告行业可借此来挑选更符合产品特质、以及更受消费者欢迎的模特。

有关这项研究的详情已经发表在近日出版的《科学报告》（ Scientific Reports ）期刊上。

据外媒报道作为独立机构的Facebook内容监管委员会周三宣布，将不会审查之前公司拒绝采取行动的总统特朗普发布的争议性贴文

委员会在一个博客贴文中说，“公共人物发布的可能违反社会规范的贴文在委员会管理范围内也是委员会在未来几个月正常运转后将考虑的具有挑战性的典型案例。”

在解释不审核特朗普贴文时监管委员会在博客贴文中表示，特朗普的贴文符合内容审查范围但是监管委员会还未开始工作，暂时还不能审核任何案例

博客贴文中继续说到，“我们这个机構不到一个月前才公布第一批成员今年晚些时候才正式启动，我们还没有资格对今天看到的这些事情做出决定”

贴文中说，在开始审核案例前委员会必须先研发案例管理软件工具供成员使用。除此委员会还将公布另外20名成员，所有成员在委员会正式启动前必须先接受培训

“委员会开始运转后，我们不会回避棘手问题也不会考虑Facebook的经济政治利益和声誉问题，”委员会说“我们在这里不是为了维護Facebook，我们所做的决定都将是透明的我们也呼吁公司保护自由言论，保护使用者和社会”