添加内容审核设置/任务
七牛云存储内容审核提供七牛云存储空间内容审核功能,针对您七牛云存储空间中的图片/视频进行是否涉黄、涉暴恐和包含敏感人物检测服务。目前支持的区域包括华东、华南和华北,其中增量视频仅支持华东区域。
您可以对指定的七牛云存储中的指定图片(或视频)启用增量内容检测,并根据检测结果执行相应处理;也可以对七牛云存储空间中的指定图片(或视频)进行存量内容一次性检测,等待执行完成后,直接查看审核结果,并执行相应处理。
七牛云内容审核目前控制台支持用户直接设置图片、视频的机器智能审核功能。
注意: 存量审核,请联系技术支持开通或者提交工单。
内容审核入口
七牛云控制台有2个入口,可以进入到内容审核页面。
1.七牛云资源主页
点击“内容审核”模块的“立即添加”按钮,进入到内容审核页面;
2.七牛云存储空间->空间设置页面
图片审核
启用图片增量设置
参照如下步骤,对指定七牛云存储空间启用图片增量审核设置:
1.点击如上两个入口的“添加设置/任务”按钮,进入到添加任务/配置页面,
2.在“存储空间名称”的下拉列表中,选择需要启用设置的存储空间,
- 生效范围:
您可以根据审核需要设置审核生效的前缀,不填就代表对整个 Bucket 生效;填了前缀(例如:“images/content”),则表示仅审核 images/content 前缀的文件
3.在“审核范围”中,选择“增量”,如下设置表示对于增量图片,进行鉴黄、鉴暴恐和政治人物识别的智能机器审核,
- 审核类型:
请选择审核类型,必须至少选择一个。三个检测服务是分开计费的,例如,一张图片选择鉴黄、鉴暴恐和政治人物识别,则会分别计入鉴黄、鉴暴恐和政治人物识别的计费。
4.在高级设置中,用户可以对增量违规文件开启“自动禁用违规文件”。当用户开启自动禁用违规文件,内容审核结果是违规的文件会被自动禁用。禁用后的文件不能被公开访问处,只能通过签发 Token 的方式访问。如果依然要访问被禁用文件,请见文档私有资源下载。
- 回调地址(选填)
接收增量图片审核结果的地址。一张图片回调一次。
图片文件回调格式
旧的图片文件回调格式
为了兼容老用户的使用,我们保留了旧的图片文件回调格式。
{
"id": "z0.5b6bb27938b9f324a587e7c8",
"pipeline": "0.default",
"code": 0,
"desc": "The fop was completed successfully",
"reqid": "InkAAF_K_UoOGUkV",
"inputBucket": "netback",
"inputKey": "pulp-2018-04-04T04-09-27-XZ498IU50WTbUB_u91bHyw==.jpg",
"items": [
{
"cmd": "image-censor/pulp|bucket-inspect/v1/tpulp/0.6|notify-filter/true/http%3A%2F%2Fargus-ccp.xs.cg.dora-internal.qiniu.io%3A5001%2Fv1%2Fmsg%2Fpfop%2F1380827137%2F23c26dae-6856-4ca7-85bd-33a6fc22a5a8%2Fimage",
"code": 0,
"desc": "The fop was completed successfully",
"result": {
"disable": false,
"result": {
"code": 0,
"message": "",
"result": {
"details": [
{
"label": 2,
"review": false,
"score": 0.94214475,
"type": "pulp"
}
],
"label": 0,
"review": false,
"score": 0.94214475
}
}
},
"returnOld": 0
}
]
}
新的图片文件回调格式
{
"id": "z0.5b8911ea38b9f324a5734c32",
"pipeline": "0.default",
"code": 0,
"desc": "The fop was completed successfully",
"reqid": "mH0AAOWK5yLQ708V",
"inputBucket": "netback",
"inputKey": "Image-2016-09-08-00-50-1632.jpg",
"items": [
{
"cmd": "image-censor/v2/pulp/terror/politician|bucket-inspect/v2/true|notify-filter/true/http%3A%2F%2Fargus-ccp.xs.cg.dora-internal.qiniu.io%3A5001%2Fv1%2Fmsg%2Fpfop%2F1380827137%2Fe7db1a97-8cf8-4bb7-8664-7d5d8fb7bd53%2Fimage",
"code": 0,
"desc": "The fop was completed successfully",
"result": {
"disable": true,
"result": {
"code": 200,
"message": "OK",
"scenes": {
"politician": {
"result": {
"faces": [
{
"bounding_box": {
"pts": [
[
277,
37
],
[
340,
37
],
[
340,
124
],
[
277,
124
]
],
"score": 0.99987173
}
}
],
"label": "face"
},
"suggestion": "pass"
},
"pulp": {
"result": {
"label": "pulp",
"score": 0.98557895
},
"suggestion": "block"
},
"terror": {
"result": {
"label": "normal",
"score": 0.96237665
},
"suggestion": "pass"
}
},
"suggestion": "block"
}
},
"returnOld": 0
}
]
}
视频文件回调格式
{
"id":"z0.5ba33a7838b9f349c890494e",
"pipeline":"0.default",
"code":0,
"desc":"The fop was completed successfully",
"reqid":"mHIAADaYZi76BlYV",
"inputBucket":"netback",
"inputKey":"alicia_love_summer-2018-06-11-4.mp4",
"items":[
{
"cmd":"video-censor/v1/pulp/terror/politician/save/eyJidWNrZXQiOiJndW9qdW4iLCJwcmVmaXgiOiJyZXN1bHQwMiJ9/vframe/eyJtb2RlIjowLCJpbnRlcnZhbCI6MX0=|bucket-inspect/v2/true|notify-filter/true/http%3A%2F%2Fargus-ccp.xs.cg.dora-internal.qiniu.io%3A5001%2Fv1%2Fmsg%2Fpfop%2F1380827137%2F6b21bf0d-487f-4482-ac84-0eacaa84fdd1%2Fvideo",
"code":0,
"desc":"The fop was completed successfully",
"result":{
"disable":true,
"result":{
"scenes":{
"politician":{
"segments":[
{
"cuts":[
{
"offset":0,
"result":{
"faces":[
{
"bounding_box":{
"pts":[
[
373,
0
],
[
621,
0
],
[
621,
201
],
[
373,
201
]
],
"score":0.999931
}
}
],
"label":"face"
},
"suggestion":"pass",
"uri":"qiniu://1380827137@/guojun/result02/qiniu_censor_tmp/CAAAAAatfi36BlYV/0"
}
],
"offset_begin":0,
"offset_end":0,
"suggestion":"pass"
}
],
"suggestion":"pass"
},
"pulp":{
"segments":[
{
"cuts":[
{
"offset":0,
"result":{
"label":"pulp",
"score":0.99717283
},
"suggestion":"block",
"uri":"qiniu://1380827137@/guojun/result02/qiniu_censor_tmp/CAAAAAatfi36BlYV/0"
},
{
"offset":1000,
"result":{
"label":"pulp",
"score":0.9972186
},
"suggestion":"block",
"uri":"qiniu://1380827137@/guojun/result02/qiniu_censor_tmp/CAAAAAatfi36BlYV/1000"
},
{
"offset":2000,
"result":{
"label":"pulp",
"score":0.9977402
},
"suggestion":"block",
"uri":"qiniu://1380827137@/guojun/result02/qiniu_censor_tmp/CAAAAAatfi36BlYV/2000"
},
{
"offset":3000,
"result":{
"label":"pulp",
"score":0.99914116
},
"suggestion":"block",
"uri":"qiniu://1380827137@/guojun/result02/qiniu_censor_tmp/CAAAAAatfi36BlYV/3000"
},
{
"offset":4000,
"result":{
"label":"pulp",
"score":0.9995518
},
"suggestion":"block",
"uri":"qiniu://1380827137@/guojun/result02/qiniu_censor_tmp/CAAAAAatfi36BlYV/4000"
},
{
"offset":5000,
"result":{
"label":"pulp",
"score":0.99918985
},
"suggestion":"block",
"uri":"qiniu://1380827137@/guojun/result02/qiniu_censor_tmp/CAAAAAatfi36BlYV/5000"
},
{
"offset":6000,
"result":{
"label":"pulp",
"score":0.9961891
},
"suggestion":"block",
"uri":"qiniu://1380827137@/guojun/result02/qiniu_censor_tmp/CAAAAAatfi36BlYV/6000"
},
{
"offset":7000,
"result":{
"label":"pulp",
"score":0.9980135
},
"suggestion":"block",
"uri":"qiniu://1380827137@/guojun/result02/qiniu_censor_tmp/CAAAAAatfi36BlYV/7000"
},
{
"offset":8000,
"result":{
"label":"pulp",
"score":0.9989619
},
"suggestion":"block",
"uri":"qiniu://1380827137@/guojun/result02/qiniu_censor_tmp/CAAAAAatfi36BlYV/8000"
},
{
"offset":9000,
"result":{
"label":"pulp",
"score":0.99891454
},
"suggestion":"block",
"uri":"qiniu://1380827137@/guojun/result02/qiniu_censor_tmp/CAAAAAatfi36BlYV/9000"
}
],
"offset_begin":0,
"offset_end":9000,
"suggestion":"block"
}
],
"suggestion":"block"
},
"terror":{
"segments":[
{
"cuts":[
{
"offset":0,
"result":{
"label":"normal",
"score":0.99140936
},
"suggestion":"pass",
"uri":"qiniu://1380827137@/guojun/result02/qiniu_censor_tmp/CAAAAAatfi36BlYV/0"
},
{
"offset":1000,
"result":{
"label":"normal",
"score":0.9995901
},
"suggestion":"pass",
"uri":"qiniu://1380827137@/guojun/result02/qiniu_censor_tmp/CAAAAAatfi36BlYV/1000"
},
{
"offset":2000,
"result":{
"label":"normal",
"score":0.9995938
},
"suggestion":"pass",
"uri":"qiniu://1380827137@/guojun/result02/qiniu_censor_tmp/CAAAAAatfi36BlYV/2000"
},
{
"offset":3000,
"result":{
"label":"normal",
"score":0.9969735
},
"suggestion":"pass",
"uri":"qiniu://1380827137@/guojun/result02/qiniu_censor_tmp/CAAAAAatfi36BlYV/3000"
},
{
"offset":4000,
"result":{
"label":"normal",
"score":0.99999845
},
"suggestion":"pass",
"uri":"qiniu://1380827137@/guojun/result02/qiniu_censor_tmp/CAAAAAatfi36BlYV/4000"
},
{
"offset":5000,
"result":{
"label":"normal",
"score":1
},
"suggestion":"pass",
"uri":"qiniu://1380827137@/guojun/result02/qiniu_censor_tmp/CAAAAAatfi36BlYV/5000"
},
{
"offset":6000,
"result":{
"label":"normal",
"score":0.99997556
},
"suggestion":"pass",
"uri":"qiniu://1380827137@/guojun/result02/qiniu_censor_tmp/CAAAAAatfi36BlYV/6000"
},
{
"offset":7000,
"result":{
"label":"normal",
"score":0.9999733
},
"suggestion":"pass",
"uri":"qiniu://1380827137@/guojun/result02/qiniu_censor_tmp/CAAAAAatfi36BlYV/7000"
},
{
"offset":8000,
"result":{
"label":"normal",
"score":0.9999771
},
"suggestion":"pass",
"uri":"qiniu://1380827137@/guojun/result02/qiniu_censor_tmp/CAAAAAatfi36BlYV/8000"
},
{
"offset":9000,
"result":{
"label":"normal",
"score":0.9999926
},
"suggestion":"pass",
"uri":"qiniu://1380827137@/guojun/result02/qiniu_censor_tmp/CAAAAAatfi36BlYV/9000"
}
],
"offset_begin":0,
"offset_end":9000,
"suggestion":"pass"
}
],
"suggestion":"pass"
}
},
"suggestion":"block"
}
},
"returnOld":0
}
]
}
视频文件回调格式中,返回结果result
的字段说明:
参数 | 类型 | 说明 |
---|---|---|
disable |
bool | 文件是否被禁用的标识,true 表示文件已被禁用,false 表示文件没有被禁用。如果用户在增量设置中开启了“自动禁用违规文件”,那么增量违规文件就会被自动禁用,此时该字段就显示为true 。 |
result.result.suggestion |
string | suggestion 是针对文件级别的管控建议,取值包括:[“block”,”review”,”pass”],请参考本文档后面的审核结果管控建议说明部分,查看管控建议详细说明。这个值主要取决于单个审核类型的管控建议值result.result.scenes.op.suggestion ,如果单个审核类型中存在 block 的值,那么文件级别的管控建议值一定是block ;如果单个审核类型中不存在 block 的值,但是存在review 的值,那么文件级别的管控建议值一定是review ;如果单个审核类型中都是 normal 的值,那么文件级别的管控建议值一定是normal 。 |
result.result.scenes.op.segments |
interface | op 显示审核设置中勾选的审核类型,pulp 是涉黄识别的检测结果、terror 是暴恐识别的检测结果、politician 是敏感人物识别的检测结果。 |
result.result.scenes.op.suggestion |
string | suggestion 是各种审核类型的对应的管控建议,取值包括:[“block”,”review”,”pass”],请参考本文档后面的审核结果管控建议说明部分,查看管控建议详细说明。 |
op.segments.cuts |
interface | 每种审核类型下的视频片段结果。例如pulp.segments.cuts 表示pulp 是涉黄识别的一个视频片段的审核结果。 |
op.segments.offset_begin |
int | 视频片段起始的时间位置,单位为毫秒。 |
op.segments.offset_end |
int | 视频片段结束的时间位置,单位为毫秒。 |
op.segments.cuts.offset |
int | 视频片段中,视频截帧的时间位置,单位为毫秒。 |
op.segments.cuts.result |
interface | 视频截帧得到的图片的检测标签,结果与具体的命令有关,里面包含op.segments.cuts.resul.label 和op.segments.cuts.resul.score 。例如,视频鉴黄的命令pulp 的label有normal 正常, terror 。 |
op.segments.cuts.resul.label |
string | 视频截帧所属的标签,一个视频截帧只会有一个标签。 |
op.segments.cuts.resul.score |
float | 视频截帧所属标签的置信度。 |
op.segments.cuts.suggestion |
string | 视频截帧的管控建议值,取值包括:[“block”,”review”,”pass”]。 |
op.segments.cuts.uri |
string | 视频截帧的保存路径,增量的保存路径是用户在审核设置中填入的视频截帧地址。 |
- 处理队列
为了保证服务处理速度,建议指定队列,如果没有队列,可以直接新建队列,有关队列请详见文档 音视频处理队列
5.单击开始审核保存内容审核设置。保存成功后,增量审核设置立刻生效。
设置成功后,系统会按照设置,自动对已选择的七牛云存储空间进行图片审核。
创建图片存量任务
注意: 存量审核,请联系技术支持开通或者提交工单。
对七牛云存储空间中的指定图片(或视频)进行存量内容一次性检测,等待执行完成后,直接查看审核结果,并执行相应处理。
参照如下步骤,对指定七牛云存储空间创建图片存量审核任务:
1.点击如上两个入口的“添加设置/任务”按钮,进入到添加任务/配置页面,
2.在“存储空间名称”的下拉列表中,选择需要创建存量审核任务的存储空间,
3.在“审核范围”中,选择“存量”,如下设置表示对于增量图片,进行鉴黄、鉴暴恐和政治人物识别的智能机器审核。
4.在高级设置中,用户可以添加一些存量的设置,
- 审核结果另存为
存量审核的结果将会存回到用户的存储空间中,并使用用户设置的前缀作为结果文件的前缀。文件是压缩文件,下载完毕后请添加后缀.zip,再解压后打开。
存量图片审核结果的格式:
qiniu://z0/qichezhijia/ChcCP1uQi06AX7OiAAC2Pp4BDBQ180.jpg {"code":200,"mimetype":"image","result":{"code":200,"message":"OK","suggestion":"review","scenes":{"politician":{"suggestion":"review","result":{"label":"politician","faces":[{"bounding_box":{"pts":[[472,84],[587,84],[587,213],[472,213]],"score":0.99994993},"faces":[{"name":"吾尔开希","score":0.44415295,"group":"anti_china_people","sample":{"url":"http://peps.ai.qiniuapi.com/img-aa364788ee89d336b43f0209af2a015a.png","pts":[[167,158],[417,158],[417,488],[167,488]]}}]},{"bounding_box":{"pts":[[163,55],[284,55],[284,216],[163,216]],"score":0.999858}},{"bounding_box":{"pts":[[284,41],[341,41],[341,117],[284,117]],"score":0.99929}}]}},"pulp":{"suggestion":"pass","result":{"label":"normal","score":0.9976187}},"terror":{"suggestion":"pass","result":{"label":"normal","score":0.98538}}}}}
qiniu://z0/qichezhijia/ChcCQ1uQB3mAeOriAAFlvwotFpE649.jpg {"code":200,"mimetype":"image","result":{"code":200,"message":"OK","suggestion":"review","scenes":{"politician":{"suggestion":"pass","result":{"label":"face","faces":[{"bounding_box":{"pts":[[386,52],[435,52],[435,105],[386,105]],"score":0.99958926}},{"bounding_box":{"pts":[[436,186],[471,186],[471,231],[436,231]],"score":0.8297943}}]}},"pulp":{"suggestion":"pass","result":{"label":"normal","score":0.99934524}},"terror":{"suggestion":"review","result":{"label":"fight_person","score":0.81138784}}}}}
...
视频审核
启用视频增量设置
增量视频内容审核暂只支持华东的存储空间
参照如下步骤,对指定七牛云存储空间启用视频增量审核设置:
1.点击如上两个入口的“添加设置/任务”按钮,进入到添加任务/配置页面,
2.审核范围选择“增量”,文件类型选择“视频”,这里大部分字段的设置与图片设置一样,仅如下两个设置是增量视频特殊需要的。
3.“视频截帧设置”:因为视频的审核是对视频进行截帧后,对截帧进行图片审核,所以需要进行视频截帧设置,可以设置多少秒截取一桢,这里最小值为1,最大值为60。
4.“视频截帧地址”:增量视频的截帧需要存储到用户指定的存储空间,以便用户可以在结果自助复核页面,对视频审核的结果进行复核。建议视频截帧图片不要存放在业务存储空间中,因为如果存放在业务存储空间,而该存储空间开启了增量图片审核,可能会把这些截帧再次进行图片审核操作,浪费您的费用,如果您的这个存储空间的增量图片审核还开启了自动禁用,更可能会导致截帧的图片在结果自助复核页面无法查看。
5.单击开始审核保存内容审核设置。保存成功后,增量视频审核设置立刻生效。
设置成功后,系统会按照设置,自动对已选择的七牛云存储空间进行增量视频审核。
添加视频存量任务
注意:存量审核,请联系技术支持开通或者提交工单。
1.点击如上两个入口的“添加设置/任务”按钮,进入到添加任务/配置页面,
2.审核范围选择“存量”,文件类型选择“视频”,这里大部分字段的设置与图片设置一样。
3.“视频截帧设置”:因为视频的审核是对视频进行截帧后,对截帧进行图片审核,所以需要进行视频截帧设置,可以设置多少秒截取一桢,这里最小值为1,最大值为60。
4.“存量审核结果地址”:存量审核的结果将会存回到用户的存储空间中,并使用用户设置的前缀作为结果文件的前缀。文件是压缩文件,下载完毕后请解压再打开。
5.单击开始审核保存内容审核设置。保存成功后,增量视频审核设置立刻生效。
设置成功后,系统会按照设置,自动对已选择的七牛云存储空间进行存量视频审核。
存量视频审核结果的格式:
qiniu://z0/bk-video-dataset2/bk-video-clip-unlabeled/0/Pianist.mp4 {"code":200,"mimetype":"video","result":{"suggestion":"review","scenes":{"politician":{"suggestion":"pass"},"pulp":{"suggestion":"pass","segments":[{"offset_begin":0,"offset_end":0,"suggestion":"pass","cuts":[{"offset":0,"uri":"qiniu://1381102897@/argus-ccp/CCP_TMP/cWluaXU6Ly96MC9iay12aWRlby1kYXRhc2V0Mi9iay12aWRlby1jbGlwLXVubGFiZWxlZC8wL-mSoueQtOWuti5UaGUuUGlhbmlzdC4yMDAyLkJEUmlwLjJBdWRpby5NaW5pU0QtVExGXzQ3NTguN180NzU5LjUubXA0/pulp/0","suggestion":"pass","result":{"label":"normal","score":0.99753606}}]}]},"terror":{"suggestion":"review","segments":[{"offset_begin":0,"offset_end":0,"suggestion":"review","cuts":[{"offset":0,"uri":"qiniu://1381102897@/argus-ccp/CCP_TMP/cWluaXU6Ly96MC9iay12aWRlby1kYXRhc2V0Mi9iay12aWRlby1jbGlwLXVubGFiZWxlZC8wL-mSoueQtOWuti5UaGUuUGlhbmlzdC4yMDAyLkJEUmlwLjJBdWRpby5NaW5pU0QtVExGXzQ3NTguN180NzU5LjUubXA0/terror/0","suggestion":"review","result":{"label":"normal","score":0.5651511}}]}]}}}}
...
审核结果管控建议说明
根据内容审核中各种检测任务的返回结果,系统会将检测结果转换成对应的管控建议,取值包括:[“block”,”review”,”pass”]。
suggestion=block:表示系统确认审核内容违规,建议您将其删除。
suggestion=review:表示系统无法确认审核内容是否违规,建议您进行人工复核。
suggestion=pass:表示系统确认审核内容正常,建议您忽略该文件。
在scenes部分,展示了不同审核类型的对应结果。而在结果的最外层,根据不同的审核类型合成为针对这个图片的管控建议结果。
审核文件适用规格
可处理的图片文件:
- 图片大小不超过10M
- 图片尺寸不小于32x32,不超过4999x4999
- RGB通道数为3和3以内的图片,不能包含alpha通道
- 图片格式支持 png、jpg、jpeg、bmp、webp 和 gif
可处理的视频文件:
- 视频长度超过40分钟不能处理