{
 "config": {
  "months": 6,
  "noisy_month": 5,
  "noise_rate": 0.4,
  "gt_budget": 6000,
  "min_per_intent": 60,
  "min_quality": 0.6666666666666666,
  "suite_drop_limit": 0.02,
  "psi_warn": 0.1,
  "psi_alert": 0.25,
  "boot": 1000,
  "suite_sizes": {
   "alarms & reminders": 91,
   "smart home": 120,
   "calendar": 120,
   "music & audio": 120,
   "food ordering (new)": 97
  },
  "gt0": 4000,
  "batch_size": 800,
  "live_size": 400
 },
 "pipelines": {
  "naive": {
   "months": [
    {
     "month": 1,
     "drift": {
      "psi_pred_vs_gt": 0.06972909404538152,
      "psi_true_vs_gt": 0.04269649206300526,
      "psi_null_p95": 0.05706176591395919,
      "oov_rate": 0.07844723008491711,
      "mean_conf_live": 0.6941562506155963,
      "mean_conf_gt": 0.8807457232397101,
      "low_conf_share": 0.265
     },
     "prod_live_acc": [
      0.82,
      0.7825,
      0.8575
     ],
     "refresh": {},
     "gt": {
      "version": 2,
      "n_active": 4800,
      "hash": "3cd54b201370"
     },
     "cand_live_acc": [
      0.83,
      0.7925,
      0.865
     ],
     "live_diff": [
      0.010000000000000009,
      -0.0050000000000000044,
      0.025000000000000022
     ],
     "suites": {
      "alarms & reminders": {
       "cand": 0.8351648351648352,
       "prod": 0.8461538461538461,
       "diff": [
        -0.01098901098901095,
        -0.04395604395604402,
        0.02197802197802201
       ]
      },
      "smart home": {
       "cand": 0.8916666666666667,
       "prod": 0.8583333333333333,
       "diff": [
        0.03333333333333344,
        0.008333333333333304,
        0.06666666666666676
       ]
      },
      "calendar": {
       "cand": 0.9083333333333333,
       "prod": 0.8916666666666667,
       "diff": [
        0.016666666666666607,
        -0.016666666666666607,
        0.050000000000000044
       ]
      },
      "music & audio": {
       "cand": 0.8333333333333334,
       "prod": 0.8416666666666667,
       "diff": [
        -0.008333333333333304,
        -0.033333333333333326,
        0.01666666666666672
       ]
      },
      "food ordering (new)": {
       "cand": 0.0,
       "prod": 0.0,
       "diff": [
        0.0,
        0.0,
        0.0
       ]
      }
     },
     "gate": {
      "promote": true,
      "gate_pass": true,
      "failed_suites": [],
      "live_regression": false
     },
     "prod_version_after": 2
    },
    {
     "month": 2,
     "drift": {
      "psi_pred_vs_gt": 0.04915829565135972,
      "psi_true_vs_gt": 0.04544861368607522,
      "psi_null_p95": 0.057150428146269146,
      "oov_rate": 0.07842372220054623,
      "mean_conf_live": 0.7126953266299327,
      "mean_conf_gt": 0.8856156200960136,
      "low_conf_share": 0.245
     },
     "prod_live_acc": [
      0.825,
      0.7875,
      0.8625
     ],
     "refresh": {},
     "gt": {
      "version": 3,
      "n_active": 5600,
      "hash": "d7187c941b46"
     },
     "cand_live_acc": [
      0.8325,
      0.795,
      0.8675
     ],
     "live_diff": [
      0.007500000000000062,
      -0.0050000000000000044,
      0.020000000000000018
     ],
     "suites": {
      "alarms & reminders": {
       "cand": 0.8571428571428571,
       "prod": 0.8351648351648352,
       "diff": [
        0.0219780219780219,
        0.0,
        0.05494505494505497
       ]
      },
      "smart home": {
       "cand": 0.8833333333333333,
       "prod": 0.8916666666666667,
       "diff": [
        -0.008333333333333415,
        -0.025000000000000022,
        0.0
       ]
      },
      "calendar": {
       "cand": 0.925,
       "prod": 0.9083333333333333,
       "diff": [
        0.01666666666666672,
        -0.02499999999999991,
        0.05833333333333335
       ]
      },
      "music & audio": {
       "cand": 0.825,
       "prod": 0.8333333333333334,
       "diff": [
        -0.008333333333333415,
        -0.025000000000000022,
        0.0
       ]
      },
      "food ordering (new)": {
       "cand": 0.0,
       "prod": 0.0,
       "diff": [
        0.0,
        0.0,
        0.0
       ]
      }
     },
     "gate": {
      "promote": true,
      "gate_pass": true,
      "failed_suites": [],
      "live_regression": false
     },
     "prod_version_after": 3
    },
    {
     "month": 3,
     "drift": {
      "psi_pred_vs_gt": 0.07798037652361944,
      "psi_true_vs_gt": 0.42609119952032376,
      "psi_null_p95": 0.06062156211471366,
      "oov_rate": 0.08508914100486224,
      "mean_conf_live": 0.7259897612630867,
      "mean_conf_gt": 0.8904820350708457,
      "low_conf_share": 0.2325
     },
     "prod_live_acc": [
      0.7775,
      0.74,
      0.815
     ],
     "refresh": {},
     "gt": {
      "version": 4,
      "n_active": 6400,
      "hash": "8acc7757eaaa"
     },
     "cand_live_acc": [
      0.7975,
      0.76,
      0.835
     ],
     "live_diff": [
      0.020000000000000018,
      0.0050000000000000044,
      0.03749999999999998
     ],
     "suites": {
      "alarms & reminders": {
       "cand": 0.8681318681318682,
       "prod": 0.8571428571428571,
       "diff": [
        0.010989010989011061,
        -0.02197802197802201,
        0.05494505494505486
       ]
      },
      "smart home": {
       "cand": 0.9083333333333333,
       "prod": 0.8833333333333333,
       "diff": [
        0.025000000000000022,
        0.0,
        0.05833333333333335
       ]
      },
      "calendar": {
       "cand": 0.9333333333333333,
       "prod": 0.925,
       "diff": [
        0.008333333333333304,
        -0.033333333333333326,
        0.04166666666666674
       ]
      },
      "music & audio": {
       "cand": 0.85,
       "prod": 0.825,
       "diff": [
        0.025000000000000022,
        0.0,
        0.05833333333333335
       ]
      },
      "food ordering (new)": {
       "cand": 0.0,
       "prod": 0.0,
       "diff": [
        0.0,
        0.0,
        0.0
       ]
      }
     },
     "gate": {
      "promote": true,
      "gate_pass": true,
      "failed_suites": [],
      "live_regression": false
     },
     "prod_version_after": 4
    },
    {
     "month": 4,
     "drift": {
      "psi_pred_vs_gt": 0.06983432132810774,
      "psi_true_vs_gt": 0.6663585967219444,
      "psi_null_p95": 0.060358174598788325,
      "oov_rate": 0.08811475409836066,
      "mean_conf_live": 0.7329381762652193,
      "mean_conf_gt": 0.8915235910257756,
      "low_conf_share": 0.2425
     },
     "prod_live_acc": [
      0.76,
      0.7174375000000001,
      0.8
     ],
     "refresh": {},
     "gt": {
      "version": 5,
      "n_active": 7200,
      "hash": "dc5075f94708"
     },
     "cand_live_acc": [
      0.84,
      0.805,
      0.875
     ],
     "live_diff": [
      0.07999999999999996,
      0.05249999999999999,
      0.1050000000000001
     ],
     "suites": {
      "alarms & reminders": {
       "cand": 0.8791208791208791,
       "prod": 0.8681318681318682,
       "diff": [
        0.01098901098901095,
        0.0,
        0.03296703296703296
       ]
      },
      "smart home": {
       "cand": 0.9083333333333333,
       "prod": 0.9083333333333333,
       "diff": [
        0.0,
        -0.025000000000000022,
        0.025000000000000022
       ]
      },
      "calendar": {
       "cand": 0.9416666666666667,
       "prod": 0.9333333333333333,
       "diff": [
        0.008333333333333304,
        0.0,
        0.025000000000000022
       ]
      },
      "music & audio": {
       "cand": 0.8583333333333333,
       "prod": 0.85,
       "diff": [
        0.008333333333333304,
        0.0,
        0.025000000000000022
       ]
      },
      "food ordering (new)": {
       "cand": 0.9484536082474226,
       "prod": 0.0,
       "diff": [
        0.9484536082474226,
        0.8969072164948454,
        0.9896907216494846
       ]
      }
     },
     "gate": {
      "promote": true,
      "gate_pass": true,
      "failed_suites": [],
      "live_regression": false
     },
     "prod_version_after": 5
    },
    {
     "month": 5,
     "drift": {
      "psi_pred_vs_gt": 0.09097339818640347,
      "psi_true_vs_gt": 0.11421938255082847,
      "psi_null_p95": 0.07030541437267461,
      "oov_rate": 0.06491437674233373,
      "mean_conf_live": 0.7485223069450746,
      "mean_conf_gt": 0.8911681588614507,
      "low_conf_share": 0.19
     },
     "prod_live_acc": [
      0.8475,
      0.8099375000000001,
      0.88
     ],
     "refresh": {},
     "gt": {
      "version": 6,
      "n_active": 8000,
      "hash": "8c2a9c3e7f4f"
     },
     "cand_live_acc": [
      0.8275,
      0.79,
      0.865
     ],
     "live_diff": [
      -0.020000000000000018,
      -0.04249999999999998,
      0.0024999999999999467
     ],
     "suites": {
      "alarms & reminders": {
       "cand": 0.8791208791208791,
       "prod": 0.8791208791208791,
       "diff": [
        0.0,
        -0.04395604395604391,
        0.04395604395604391
       ]
      },
      "smart home": {
       "cand": 0.9166666666666666,
       "prod": 0.9083333333333333,
       "diff": [
        0.008333333333333304,
        -0.025000000000000022,
        0.04166666666666663
       ]
      },
      "calendar": {
       "cand": 0.9166666666666666,
       "prod": 0.9416666666666667,
       "diff": [
        -0.025000000000000022,
        -0.06666666666666665,
        0.008333333333333304
       ]
      },
      "music & audio": {
       "cand": 0.8583333333333333,
       "prod": 0.8583333333333333,
       "diff": [
        0.0,
        -0.033333333333333326,
        0.033333333333333326
       ]
      },
      "food ordering (new)": {
       "cand": 0.8969072164948454,
       "prod": 0.9484536082474226,
       "diff": [
        -0.05154639175257725,
        -0.09278350515463918,
        -0.010309278350515538
       ]
      }
     },
     "gate": {
      "promote": true,
      "gate_pass": true,
      "failed_suites": [],
      "live_regression": false
     },
     "prod_version_after": 6
    },
    {
     "month": 6,
     "drift": {
      "psi_pred_vs_gt": 0.13893105798815436,
      "psi_true_vs_gt": 0.1565985230409881,
      "psi_null_p95": 0.06569830296987096,
      "oov_rate": 0.056483691328560064,
      "mean_conf_live": 0.7281543169424279,
      "mean_conf_gt": 0.87841093720211,
      "low_conf_share": 0.235
     },
     "prod_live_acc": [
      0.81,
      0.77,
      0.8475
     ],
     "refresh": {},
     "gt": {
      "version": 7,
      "n_active": 8768,
      "hash": "ccc465590946"
     },
     "cand_live_acc": [
      0.815,
      0.7775,
      0.8525
     ],
     "live_diff": [
      0.004999999999999893,
      -0.010000000000000009,
      0.01999999999999991
     ],
     "suites": {
      "alarms & reminders": {
       "cand": 0.9010989010989011,
       "prod": 0.8791208791208791,
       "diff": [
        0.02197802197802201,
        0.0,
        0.05494505494505497
       ]
      },
      "smart home": {
       "cand": 0.9333333333333333,
       "prod": 0.9166666666666666,
       "diff": [
        0.01666666666666672,
        0.0,
        0.04166666666666674
       ]
      },
      "calendar": {
       "cand": 0.925,
       "prod": 0.9166666666666666,
       "diff": [
        0.008333333333333415,
        0.0,
        0.025000000000000022
       ]
      },
      "music & audio": {
       "cand": 0.8416666666666667,
       "prod": 0.8583333333333333,
       "diff": [
        -0.016666666666666607,
        -0.05833333333333335,
        0.025000000000000022
       ]
      },
      "food ordering (new)": {
       "cand": 0.9278350515463918,
       "prod": 0.8969072164948454,
       "diff": [
        0.030927835051546393,
        -0.010309278350515538,
        0.07216494845360832
       ]
      }
     },
     "gate": {
      "promote": true,
      "gate_pass": true,
      "failed_suites": [],
      "live_regression": false
     },
     "prod_version_after": 7
    }
   ],
   "final_suites": {
    "alarms & reminders": [
     0.9010989010989011,
     0.8351648351648352,
     0.9560439560439561
    ],
    "smart home": [
     0.9333333333333333,
     0.8833333333333333,
     0.975
    ],
    "calendar": [
     0.925,
     0.875,
     0.9666666666666667
    ],
    "music & audio": [
     0.8416666666666667,
     0.783125,
     0.9
    ],
    "food ordering (new)": [
     0.9278350515463918,
     0.8762886597938144,
     0.9693298969072163
    ]
   }
  },
  "gated": {
   "months": [
    {
     "month": 1,
     "drift": {
      "psi_pred_vs_gt": 0.06972909404538152,
      "psi_true_vs_gt": 0.04269649206300526,
      "psi_null_p95": 0.05970887373022218,
      "oov_rate": 0.07844723008491711,
      "mean_conf_live": 0.6941562506155963,
      "mean_conf_gt": 0.8807457232397101,
      "low_conf_share": 0.265
     },
     "prod_live_acc": [
      0.82,
      0.78,
      0.855
     ],
     "screen": {
      "flagged": 28,
      "rate": 0.035,
      "injected": 0,
      "true_positives": 0,
      "action": "28 records quarantined"
     },
     "refresh": {
      "retired_quality": 243,
      "retired_age": 0,
      "protected_intents": 31
     },
     "gt": {
      "version": 2,
      "n_active": 4529,
      "hash": "803422394fef"
     },
     "cand_live_acc": [
      0.84,
      0.8025,
      0.875
     ],
     "live_diff": [
      0.020000000000000018,
      0.0,
      0.040000000000000036
     ],
     "suites": {
      "alarms & reminders": {
       "cand": 0.8681318681318682,
       "prod": 0.8461538461538461,
       "diff": [
        0.02197802197802201,
        0.0,
        0.05494505494505497
       ]
      },
      "smart home": {
       "cand": 0.875,
       "prod": 0.8583333333333333,
       "diff": [
        0.01666666666666672,
        0.0,
        0.04166666666666674
       ]
      },
      "calendar": {
       "cand": 0.9,
       "prod": 0.8916666666666667,
       "diff": [
        0.008333333333333304,
        -0.033333333333333326,
        0.050000000000000044
       ]
      },
      "music & audio": {
       "cand": 0.825,
       "prod": 0.8416666666666667,
       "diff": [
        -0.01666666666666672,
        -0.050000000000000044,
        0.016666666666666607
       ]
      },
      "food ordering (new)": {
       "cand": 0.0,
       "prod": 0.0,
       "diff": [
        0.0,
        0.0,
        0.0
       ]
      }
     },
     "gate": {
      "promote": true,
      "gate_pass": true,
      "failed_suites": [],
      "live_regression": false
     },
     "prod_version_after": 2
    },
    {
     "month": 2,
     "drift": {
      "psi_pred_vs_gt": 0.045260765751921124,
      "psi_true_vs_gt": 0.04473376476567193,
      "psi_null_p95": 0.06177935229651716,
      "oov_rate": 0.0795942255169723,
      "mean_conf_live": 0.7171215982701107,
      "mean_conf_gt": 0.8940914263378403,
      "low_conf_share": 0.25
     },
     "prod_live_acc": [
      0.825,
      0.7875,
      0.8625
     ],
     "screen": {
      "flagged": 30,
      "rate": 0.0375,
      "injected": 0,
      "true_positives": 0,
      "action": "30 records quarantined"
     },
     "refresh": {
      "retired_quality": 30,
      "retired_age": 0,
      "protected_intents": 26
     },
     "gt": {
      "version": 3,
      "n_active": 5269,
      "hash": "c263d3d2e8ea"
     },
     "cand_live_acc": [
      0.8325,
      0.795,
      0.8675
     ],
     "live_diff": [
      0.007500000000000062,
      -0.0025000000000000577,
      0.020000000000000018
     ],
     "suites": {
      "alarms & reminders": {
       "cand": 0.8681318681318682,
       "prod": 0.8681318681318682,
       "diff": [
        0.0,
        0.0,
        0.0
       ]
      },
      "smart home": {
       "cand": 0.875,
       "prod": 0.875,
       "diff": [
        0.0,
        0.0,
        0.0
       ]
      },
      "calendar": {
       "cand": 0.9166666666666666,
       "prod": 0.9,
       "diff": [
        0.016666666666666607,
        -0.016666666666666607,
        0.050000000000000044
       ]
      },
      "music & audio": {
       "cand": 0.825,
       "prod": 0.825,
       "diff": [
        0.0,
        0.0,
        0.0
       ]
      },
      "food ordering (new)": {
       "cand": 0.0,
       "prod": 0.0,
       "diff": [
        0.0,
        0.0,
        0.0
       ]
      }
     },
     "gate": {
      "promote": true,
      "gate_pass": true,
      "failed_suites": [],
      "live_regression": false
     },
     "prod_version_after": 3
    },
    {
     "month": 3,
     "drift": {
      "psi_pred_vs_gt": 0.0928911744083689,
      "psi_true_vs_gt": 0.4275088046336948,
      "psi_null_p95": 0.0588534426915487,
      "oov_rate": 0.08833063209076175,
      "mean_conf_live": 0.7260225674872572,
      "mean_conf_gt": 0.8997432181784488,
      "low_conf_share": 0.2325
     },
     "prod_live_acc": [
      0.755,
      0.7124375000000001,
      0.795
     ],
     "screen": {
      "flagged": 31,
      "rate": 0.03875,
      "injected": 0,
      "true_positives": 0,
      "action": "31 records quarantined"
     },
     "refresh": {
      "retired_quality": 26,
      "retired_age": 12,
      "protected_intents": 22
     },
     "gt": {
      "version": 4,
      "n_active": 6000,
      "hash": "2bade762a9d1"
     },
     "cand_live_acc": [
      0.77,
      0.7275,
      0.8125
     ],
     "live_diff": [
      0.015000000000000013,
      0.0050000000000000044,
      0.02750000000000008
     ],
     "suites": {
      "alarms & reminders": {
       "cand": 0.8791208791208791,
       "prod": 0.8681318681318682,
       "diff": [
        0.01098901098901095,
        0.0,
        0.03296703296703296
       ]
      },
      "smart home": {
       "cand": 0.8916666666666667,
       "prod": 0.875,
       "diff": [
        0.01666666666666672,
        0.0,
        0.04166666666666674
       ]
      },
      "calendar": {
       "cand": 0.9416666666666667,
       "prod": 0.9166666666666666,
       "diff": [
        0.025000000000000022,
        0.0,
        0.05833333333333324
       ]
      },
      "music & audio": {
       "cand": 0.8333333333333334,
       "prod": 0.825,
       "diff": [
        0.008333333333333415,
        0.0,
        0.025000000000000022
       ]
      },
      "food ordering (new)": {
       "cand": 0.0,
       "prod": 0.0,
       "diff": [
        0.0,
        0.0,
        0.0
       ]
      }
     },
     "gate": {
      "promote": true,
      "gate_pass": true,
      "failed_suites": [],
      "live_regression": false
     },
     "prod_version_after": 4
    },
    {
     "month": 4,
     "drift": {
      "psi_pred_vs_gt": 0.06826725378942868,
      "psi_true_vs_gt": 0.665809030468095,
      "psi_null_p95": 0.060229231862067974,
      "oov_rate": 0.09098360655737706,
      "mean_conf_live": 0.7353942115234835,
      "mean_conf_gt": 0.9026860738968222,
      "low_conf_share": 0.2475
     },
     "prod_live_acc": [
      0.7475,
      0.705,
      0.79
     ],
     "screen": {
      "flagged": 64,
      "rate": 0.08,
      "injected": 0,
      "true_positives": 0,
      "action": "64 records quarantined"
     },
     "refresh": {
      "retired_quality": 35,
      "retired_age": 701,
      "protected_intents": 21
     },
     "gt": {
      "version": 5,
      "n_active": 6000,
      "hash": "2e4bc77938ad"
     },
     "cand_live_acc": [
      0.835,
      0.7974375,
      0.8675
     ],
     "live_diff": [
      0.08749999999999991,
      0.057499999999999996,
      0.11749999999999994
     ],
     "suites": {
      "alarms & reminders": {
       "cand": 0.8901098901098901,
       "prod": 0.8791208791208791,
       "diff": [
        0.01098901098901095,
        0.0,
        0.03296703296703307
       ]
      },
      "smart home": {
       "cand": 0.9,
       "prod": 0.8916666666666667,
       "diff": [
        0.008333333333333304,
        -0.01666666666666672,
        0.04166666666666663
       ]
      },
      "calendar": {
       "cand": 0.9333333333333333,
       "prod": 0.9416666666666667,
       "diff": [
        -0.008333333333333304,
        -0.04166666666666663,
        0.01666666666666672
       ]
      },
      "music & audio": {
       "cand": 0.825,
       "prod": 0.8333333333333334,
       "diff": [
        -0.008333333333333415,
        -0.04166666666666663,
        0.01666666666666672
       ]
      },
      "food ordering (new)": {
       "cand": 0.9175257731958762,
       "prod": 0.0,
       "diff": [
        0.9175257731958762,
        0.8556701030927835,
        0.9690721649484536
       ]
      }
     },
     "gate": {
      "promote": true,
      "gate_pass": true,
      "failed_suites": [],
      "live_regression": false
     },
     "prod_version_after": 5
    },
    {
     "month": 5,
     "drift": {
      "psi_pred_vs_gt": 0.10662810495066895,
      "psi_true_vs_gt": 0.13070998058265693,
      "psi_null_p95": 0.06803139257545425,
      "oov_rate": 0.07407407407407407,
      "mean_conf_live": 0.7338575521845745,
      "mean_conf_gt": 0.8934348363624653,
      "low_conf_share": 0.22
     },
     "prod_live_acc": [
      0.8325,
      0.7975,
      0.8675
     ],
     "screen": {
      "flagged": 235,
      "rate": 0.29375,
      "injected": 297,
      "true_positives": 212,
      "action": "batch quarantined for curator review"
     },
     "refresh": {
      "retired_quality": 0,
      "retired_age": 0,
      "protected_intents": 21
     },
     "gt": {
      "version": 6,
      "n_active": 6000,
      "hash": "2e4bc77938ad"
     },
     "cand_live_acc": [
      0.8325,
      0.7975,
      0.8675625
     ],
     "live_diff": [
      0.0,
      0.0,
      0.0
     ],
     "suites": {
      "alarms & reminders": {
       "cand": 0.8901098901098901,
       "prod": 0.8901098901098901,
       "diff": [
        0.0,
        0.0,
        0.0
       ]
      },
      "smart home": {
       "cand": 0.9,
       "prod": 0.9,
       "diff": [
        0.0,
        0.0,
        0.0
       ]
      },
      "calendar": {
       "cand": 0.9333333333333333,
       "prod": 0.9333333333333333,
       "diff": [
        0.0,
        0.0,
        0.0
       ]
      },
      "music & audio": {
       "cand": 0.825,
       "prod": 0.825,
       "diff": [
        0.0,
        0.0,
        0.0
       ]
      },
      "food ordering (new)": {
       "cand": 0.9175257731958762,
       "prod": 0.9175257731958762,
       "diff": [
        0.0,
        0.0,
        0.0
       ]
      }
     },
     "gate": {
      "promote": true,
      "gate_pass": true,
      "failed_suites": [],
      "live_regression": false
     },
     "prod_version_after": 6
    },
    {
     "month": 6,
     "drift": {
      "psi_pred_vs_gt": 0.20299888992862347,
      "psi_true_vs_gt": 0.22637740418201632,
      "psi_null_p95": 0.06340065479224649,
      "oov_rate": 0.07000795544948289,
      "mean_conf_live": 0.7362768578302734,
      "mean_conf_gt": 0.8934348363624653,
      "low_conf_share": 0.24
     },
     "prod_live_acc": [
      0.82,
      0.7825,
      0.855
     ],
     "screen": {
      "flagged": 45,
      "rate": 0.05859375,
      "injected": 0,
      "true_positives": 0,
      "action": "45 records quarantined"
     },
     "refresh": {
      "retired_quality": 25,
      "retired_age": 698,
      "protected_intents": 17
     },
     "gt": {
      "version": 7,
      "n_active": 6000,
      "hash": "bba6e8543718"
     },
     "cand_live_acc": [
      0.835,
      0.7999375000000001,
      0.8675
     ],
     "live_diff": [
      0.015000000000000013,
      -0.0025000000000000577,
      0.03500000000000003
     ],
     "suites": {
      "alarms & reminders": {
       "cand": 0.8901098901098901,
       "prod": 0.8901098901098901,
       "diff": [
        0.0,
        -0.03296703296703296,
        0.03296703296703296
       ]
      },
      "smart home": {
       "cand": 0.9,
       "prod": 0.9,
       "diff": [
        0.0,
        0.0,
        0.0
       ]
      },
      "calendar": {
       "cand": 0.8916666666666667,
       "prod": 0.9333333333333333,
       "diff": [
        -0.04166666666666663,
        -0.08333333333333326,
        -0.008333333333333304
       ]
      },
      "music & audio": {
       "cand": 0.825,
       "prod": 0.825,
       "diff": [
        0.0,
        -0.025000000000000022,
        0.025000000000000022
       ]
      },
      "food ordering (new)": {
       "cand": 0.9484536082474226,
       "prod": 0.9175257731958762,
       "diff": [
        0.030927835051546393,
        0.0,
        0.07216494845360821
       ]
      }
     },
     "gate": {
      "promote": true,
      "gate_pass": true,
      "failed_suites": [],
      "live_regression": false
     },
     "prod_version_after": 7
    }
   ],
   "final_suites": {
    "alarms & reminders": [
     0.8901098901098901,
     0.8241758241758241,
     0.945054945054945
    ],
    "smart home": [
     0.9,
     0.8416666666666667,
     0.95
    ],
    "calendar": [
     0.8916666666666667,
     0.8333333333333334,
     0.9416666666666667
    ],
    "music & audio": [
     0.825,
     0.7583333333333333,
     0.8916666666666667
    ],
    "food ordering (new)": [
     0.9484536082474226,
     0.8969072164948454,
     0.9896907216494846
    ]
   }
  }
 }
}