113 lines
2.1 KiB
JSON
113 lines
2.1 KiB
JSON
|
{
|
||
|
|
"$schema": "https://json-schema.org/draft/2020-12/schema",
|
||
|
|
"$id": "whetstone-rsa/gate-evidence-v0",
|
||
|
|
"title": "GateEvidence",
|
||
|
|
"type": "object",
|
||
|
|
"additionalProperties": false,
|
||
|
|
"required": [
|
||
|
|
"gate_id",
|
||
|
|
"model_tier"
|
||
|
|
],
|
||
|
|
"properties": {
|
||
|
|
"gate_id": {
|
||
|
|
"type": "string",
|
||
|
|
"minLength": 1
|
||
|
|
},
|
||
|
|
"model_tier": {
|
||
|
|
"type": "string",
|
||
|
|
"minLength": 1
|
||
|
|
},
|
||
|
|
"raw_accuracy": {
|
||
|
|
"type": "number",
|
||
|
|
"minimum": 0,
|
||
|
|
"maximum": 1
|
||
|
|
},
|
||
|
|
"accept_rate": {
|
||
|
|
"type": "number",
|
||
|
|
"minimum": 0,
|
||
|
|
"maximum": 1
|
||
|
|
},
|
||
|
|
"accuracy_on_accepted": {
|
||
|
|
"type": "number",
|
||
|
|
"minimum": 0,
|
||
|
|
"maximum": 1
|
||
|
|
},
|
||
|
|
"abstain_rate": {
|
||
|
|
"type": "number",
|
||
|
|
"minimum": 0,
|
||
|
|
"maximum": 1
|
||
|
|
},
|
||
|
|
"retry_recovery_rate": {
|
||
|
|
"type": "number",
|
||
|
|
"minimum": 0,
|
||
|
|
"maximum": 1
|
||
|
|
},
|
||
|
|
"escalation_rate": {
|
||
|
|
"type": "number",
|
||
|
|
"minimum": 0,
|
||
|
|
"maximum": 1
|
||
|
|
},
|
||
|
|
"silent_error_rate": {
|
||
|
|
"type": "number",
|
||
|
|
"minimum": 0,
|
||
|
|
"maximum": 1
|
||
|
|
},
|
||
|
|
"calibration": {
|
||
|
|
"type": "object",
|
||
|
|
"additionalProperties": false,
|
||
|
|
"properties": {
|
||
|
|
"ece": {
|
||
|
|
"type": "number",
|
||
|
|
"minimum": 0,
|
||
|
|
"maximum": 1
|
||
|
|
}
|
||
|
|
}
|
||
|
|
},
|
||
|
|
"confusion_summary": {
|
||
|
|
"type": "array",
|
||
|
|
"items": {
|
||
|
|
"$ref": "#/$defs/confusionItem"
|
||
|
|
}
|
||
|
|
},
|
||
|
|
"latency_ms": {
|
||
|
|
"type": "number",
|
||
|
|
"minimum": 0
|
||
|
|
},
|
||
|
|
"compute_cost": {
|
||
|
|
"type": "number",
|
||
|
|
"minimum": 0
|
||
|
|
},
|
||
|
|
"notes": {
|
||
|
|
"type": "array",
|
||
|
|
"items": {
|
||
|
|
"type": "string"
|
||
|
|
}
|
||
|
|
}
|
||
|
|
},
|
||
|
|
"$defs": {
|
||
|
|
"confusionItem": {
|
||
|
|
"type": "object",
|
||
|
|
"additionalProperties": false,
|
||
|
|
"required": [
|
||
|
|
"actual",
|
||
|
|
"predicted",
|
||
|
|
"count"
|
||
|
|
],
|
||
|
|
"properties": {
|
||
|
|
"actual": {
|
||
|
|
"type": "string",
|
||
|
|
"minLength": 1
|
||
|
|
},
|
||
|
|
"predicted": {
|
||
|
|
"type": "string",
|
||
|
|
"minLength": 1
|
||
|
|
},
|
||
|
|
"count": {
|
||
|
|
"type": "integer",
|
||
|
|
"minimum": 0
|
||
|
|
}
|
||
|
|
}
|
||
|
|
}
|
||
|
|
}
|
||
|
|
}
|