内容安全审核工作的本质是基于各大平台的相关标准，对平台内容创作者发布的文本、图片及音视频进行甄别。

目前在中国互联网和手机应用的高速发展背景下，网民数量的急剧增加、网络平台信息鱼龙混杂，对高质量信息内容的需求推动互联网内容审核工作的诞生。一方面，及时处理违禁违规信息，净化网络空间。另一方面，内容审核部门向平台本身负责，确保平台高质量信息的输出，提高平台用户的满意度。

基于各大平台对互联网安全信息的严格把控，平台内容创作者水平参差不齐、个别违规违法内容采取规避审核等问题，对内容审核提出了准确度更高、安全度更强、时效性更快的要求。

对此，内容安全审核平台应建立多类型、多体系的联动审核方式，是必须要面对的问题。

多类型：文本、图片、音视频

不同类型的内容需要不同的应对逻辑和审核方式，同时各种类型的内容也不仅是独立体现。高质量的文本必然需要配图，音视频内容搭配图片和文字简述的形式也十分普遍，这要求审核平台要做好对单方面类型特质的特殊要求，如文本要求把控内容整体导向的同时，需防控局部为规避审核的变体词；图片内容需特别关注色情低俗、恶意推广图片；音视频内容要求准确判断恶意口播、掺杂其他不良内容等。更要做到不能割裂各类型内容的整体性，提高机器识别性能以及培养审核人员对各类型内容的整体把握。配备整体分析能力，不遗漏，不误判，避免发生以偏概全的情况。

多体系：机器审核、人工审核、人机协同

机器审核是通过AI算法对违规内容进行识别过滤的一种审核机制，它的原理一般是在集纳大量数据和样本供机器学习的基础上，形成具有较为完善算法和运行机制的审核规则。机器审核效率极高，处理量级大，善于应对大批量文章的筛选和处理，但是缺乏精细度和准确度，完善机器算法需要大量的数据及人工训练，没有思考学习意识、判断能力有限的缺点局限了机器审核的作用，就目前情况来看，机器审核仅适用于在人工审核前，进行初审和初步风险过滤。

那么机器是如何进行初步风险过滤和安全审核的呢？

机器审核的算法处理以过滤词表和机审识别两项功能作为判断标准。首先是过滤词表，过滤词表由过滤词和过滤规则构成，通过过滤规则判断文章是否存在需要过滤的违规内容；单过滤词精准过滤，多过滤词组合匹配过滤，以此决定是否对该文章进行拦截。

关键过滤词入表时进行简繁、拼音变种、谐音代词等转化，进行全面统一风险过滤筛选。同时过滤词表需要添加关键词白名单，避免正常合规的内容被过滤误伤。比如仅将“性行为”添加为过滤词进行过滤，便会对“商用性行为”造成过滤误伤，所以将“商用性行为”添加为关键词白名单，即可避免对无违规风险内容的误伤。

过滤词可分为禁发词和审核词，对可能存在违规风险的内容可添加为审核词，命中审核词后，机器对其标记为审核提示词，可以作为人工审核时的参考，提高审核准确度。

人工审核

相较于机器审核，人工审核可以更好的平衡时效性和风险性的压力，统一审核标准，统一审核进度，通过人脑的优越性可以做到更准确、更安全的审核，但是在面对大量涌入的信息时，人工处理慢会影响时效性，人工审核团队如果管理不善也容易造成审核漏放和风险问题。

一个完善的人工审核团队需具备完善的团队配置、明确的职级分工、精细的管理制度、专业的业务培训体系。

人工审核团队需要完善的审核流程、清晰的审核标准和完善的风控体系。清晰的审核标准是基础；完善的审核流程则需要根据内容风险等级划分人工一审、二审、三审；质检抽检；高热内容召回复审，层层回查保证内容无风险安全，保证平台的安全以及高质量。

完善的风控体系包括重大事件预警、日常监控、专项防控、客服联动等部分。在重大事件预警上做到舆情监测，有效避险；在日常监控上做到巡查质检，双重保障；在专项防控上做到重大事件立项，团队协同保证生态安全；在客服联动上做到接受用户反馈，集体共同维护平台安全。

人机协同

面对风险和用户的双重压力，仅依靠机器审核或人工审核是不现实的。机器审核效率快会有误伤，人工审核准确度高时效较低，只有人机协同才能形成完善的审核方式。人机协同的审核方式体现在多个方面，人工添加关键词，机器给人工增加审核提示；机器初审人工复审；先发后审机制等。通过人工与机器算法相结合，达到内容审核安全稳定的目的。

审核方式对于搭建完善的审核体系，是非常重要的根基。只有把根基扎稳，才能确保平台的安全，从而提升内容的质量，维护平台的安全与稳定。