{
 "alpha": 0.05,
 "margin": 1.0,
 "separated": [
  {
   "a": "mm-claude-opus-4.5-highthinking",
   "b": "mm-deepseek-v3.1",
   "n": 95,
   "diff": 6.397798245614035,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-claude-opus-4.5-highthinking",
   "b": "mm-deepseek-v3.2",
   "n": 95,
   "diff": 11.00278947368421,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-claude-opus-4.5-highthinking",
   "b": "mm-gemini-2.5-pro",
   "n": 95,
   "diff": 5.02377485380117,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-claude-opus-4.5-highthinking",
   "b": "mm-grok-4.1",
   "n": 95,
   "diff": 8.637853801169591,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-claude-opus-4.5-lowthinking",
   "b": "mm-deepseek-v3.1",
   "n": 95,
   "diff": 6.626049707602338,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-claude-opus-4.5-lowthinking",
   "b": "mm-deepseek-v3.2",
   "n": 95,
   "diff": 11.231040935672514,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-claude-opus-4.5-lowthinking",
   "b": "mm-gemini-2.5-pro",
   "n": 95,
   "diff": 5.252026315789473,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-claude-opus-4.5-lowthinking",
   "b": "mm-grok-4.1",
   "n": 95,
   "diff": 8.866105263157893,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-claude-sonnet-4.5",
   "b": "mm-deepseek-v3.1",
   "n": 95,
   "diff": 4.933377192982457,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-claude-sonnet-4.5",
   "b": "mm-deepseek-v3.2",
   "n": 95,
   "diff": 9.538368421052631,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-claude-sonnet-4.5",
   "b": "mm-gemini-2.5-pro",
   "n": 95,
   "diff": 3.5593538011695913,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-gpt-5.1",
   "b": "mm-claude-sonnet-4.5",
   "n": 95,
   "diff": 2.0232426900584786,
   "p": 0.00105,
   "holm": 0.0231
  },
  {
   "a": "mm-claude-sonnet-4.5",
   "b": "mm-grok-4.1",
   "n": 95,
   "diff": 7.173432748538012,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-minimax-m2-her",
   "b": "mm-claude-sonnet-4.5",
   "n": 95,
   "diff": 4.185327485380117,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-deepseek-v3.1",
   "b": "mm-deepseek-v3.2",
   "n": 95,
   "diff": 4.604991228070175,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-doubao-1.5-pro",
   "b": "mm-deepseek-v3.1",
   "n": 95,
   "diff": 7.8426959064327475,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-gemini-3-pro",
   "b": "mm-deepseek-v3.1",
   "n": 95,
   "diff": 6.53646783625731,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-gpt-5.1",
   "b": "mm-deepseek-v3.1",
   "n": 95,
   "diff": 6.956619883040935,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-minimax-m2-her",
   "b": "mm-deepseek-v3.1",
   "n": 95,
   "diff": 9.118704678362572,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-doubao-1.5-pro",
   "b": "mm-deepseek-v3.2",
   "n": 95,
   "diff": 12.447687134502923,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-gemini-2.5-pro",
   "b": "mm-deepseek-v3.2",
   "n": 95,
   "diff": 5.97901461988304,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-gemini-3-pro",
   "b": "mm-deepseek-v3.2",
   "n": 95,
   "diff": 11.141459064327485,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-gpt-5.1",
   "b": "mm-deepseek-v3.2",
   "n": 95,
   "diff": 11.56161111111111,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-minimax-m2-her",
   "b": "mm-deepseek-v3.2",
   "n": 95,
   "diff": 13.723695906432749,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-doubao-1.5-pro",
   "b": "mm-gemini-2.5-pro",
   "n": 95,
   "diff": 6.468672514619882,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-doubao-1.5-pro",
   "b": "mm-grok-4.1",
   "n": 95,
   "diff": 10.082751461988304,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-gemini-3-pro",
   "b": "mm-gemini-2.5-pro",
   "n": 95,
   "diff": 5.162444444444445,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-gpt-5.1",
   "b": "mm-gemini-2.5-pro",
   "n": 95,
   "diff": 5.5825964912280694,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-gemini-2.5-pro",
   "b": "mm-grok-4.1",
   "n": 95,
   "diff": 3.614078947368421,
   "p": 0.00055,
   "holm": 0.0132
  },
  {
   "a": "mm-minimax-m2-her",
   "b": "mm-gemini-2.5-pro",
   "n": 95,
   "diff": 7.744681286549707,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-gemini-3-pro",
   "b": "mm-grok-4.1",
   "n": 95,
   "diff": 8.776523391812866,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-minimax-m2-her",
   "b": "mm-gemini-3-pro",
   "n": 95,
   "diff": 2.5822368421052633,
   "p": 0.00065,
   "holm": 0.01495
  },
  {
   "a": "mm-gpt-5.1",
   "b": "mm-grok-4.1",
   "n": 95,
   "diff": 9.196675438596492,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-minimax-m2-her",
   "b": "mm-grok-4.1",
   "n": 95,
   "diff": 11.35876023391813,
   "p": 0.0,
   "holm": 0.0
  }
 ],
 "all_pairs": [
  {
   "a": "mm-claude-opus-4.5-lowthinking",
   "b": "mm-claude-opus-4.5-highthinking",
   "n": 95,
   "diff": 0.22825146198830318,
   "p": 0.67175,
   "holm": 1.0
  },
  {
   "a": "mm-claude-opus-4.5-highthinking",
   "b": "mm-claude-sonnet-4.5",
   "n": 95,
   "diff": 1.4644210526315782,
   "p": 0.04205,
   "holm": 0.54665
  },
  {
   "a": "mm-claude-opus-4.5-highthinking",
   "b": "mm-deepseek-v3.1",
   "n": 95,
   "diff": 6.397798245614035,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-claude-opus-4.5-highthinking",
   "b": "mm-deepseek-v3.2",
   "n": 95,
   "diff": 11.00278947368421,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-doubao-1.5-pro",
   "b": "mm-claude-opus-4.5-highthinking",
   "n": 95,
   "diff": 1.4448976608187125,
   "p": 0.3049,
   "holm": 1.0
  },
  {
   "a": "mm-claude-opus-4.5-highthinking",
   "b": "mm-gemini-2.5-pro",
   "n": 95,
   "diff": 5.02377485380117,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-gemini-3-pro",
   "b": "mm-claude-opus-4.5-highthinking",
   "n": 95,
   "diff": 0.1386695906432749,
   "p": 0.8658,
   "holm": 1.0
  },
  {
   "a": "mm-gpt-5.1",
   "b": "mm-claude-opus-4.5-highthinking",
   "n": 95,
   "diff": 0.5588216374269003,
   "p": 0.5218,
   "holm": 1.0
  },
  {
   "a": "mm-claude-opus-4.5-highthinking",
   "b": "mm-grok-4.1",
   "n": 95,
   "diff": 8.637853801169591,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-minimax-m2-her",
   "b": "mm-claude-opus-4.5-highthinking",
   "n": 95,
   "diff": 2.720906432748538,
   "p": 0.00665,
   "holm": 0.1197
  },
  {
   "a": "mm-claude-opus-4.5-lowthinking",
   "b": "mm-claude-sonnet-4.5",
   "n": 95,
   "diff": 1.6926725146198813,
   "p": 0.0089,
   "holm": 0.1513
  },
  {
   "a": "mm-claude-opus-4.5-lowthinking",
   "b": "mm-deepseek-v3.1",
   "n": 95,
   "diff": 6.626049707602338,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-claude-opus-4.5-lowthinking",
   "b": "mm-deepseek-v3.2",
   "n": 95,
   "diff": 11.231040935672514,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-doubao-1.5-pro",
   "b": "mm-claude-opus-4.5-lowthinking",
   "n": 95,
   "diff": 1.2166461988304094,
   "p": 0.40725,
   "holm": 1.0
  },
  {
   "a": "mm-claude-opus-4.5-lowthinking",
   "b": "mm-gemini-2.5-pro",
   "n": 95,
   "diff": 5.252026315789473,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-claude-opus-4.5-lowthinking",
   "b": "mm-gemini-3-pro",
   "n": 95,
   "diff": 0.08958187134502829,
   "p": 0.9034,
   "holm": 1.0
  },
  {
   "a": "mm-gpt-5.1",
   "b": "mm-claude-opus-4.5-lowthinking",
   "n": 95,
   "diff": 0.3305701754385971,
   "p": 0.67735,
   "holm": 1.0
  },
  {
   "a": "mm-claude-opus-4.5-lowthinking",
   "b": "mm-grok-4.1",
   "n": 95,
   "diff": 8.866105263157893,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-minimax-m2-her",
   "b": "mm-claude-opus-4.5-lowthinking",
   "n": 95,
   "diff": 2.4926549707602352,
   "p": 0.01295,
   "holm": 0.19425
  },
  {
   "a": "mm-claude-sonnet-4.5",
   "b": "mm-deepseek-v3.1",
   "n": 95,
   "diff": 4.933377192982457,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-claude-sonnet-4.5",
   "b": "mm-deepseek-v3.2",
   "n": 95,
   "diff": 9.538368421052631,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-doubao-1.5-pro",
   "b": "mm-claude-sonnet-4.5",
   "n": 95,
   "diff": 2.9093187134502907,
   "p": 0.0034,
   "holm": 0.06459999999999999
  },
  {
   "a": "mm-claude-sonnet-4.5",
   "b": "mm-gemini-2.5-pro",
   "n": 95,
   "diff": 3.5593538011695913,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-gemini-3-pro",
   "b": "mm-claude-sonnet-4.5",
   "n": 95,
   "diff": 1.603090643274853,
   "p": 0.01185,
   "holm": 0.1896
  },
  {
   "a": "mm-gpt-5.1",
   "b": "mm-claude-sonnet-4.5",
   "n": 95,
   "diff": 2.0232426900584786,
   "p": 0.00105,
   "holm": 0.0231
  },
  {
   "a": "mm-claude-sonnet-4.5",
   "b": "mm-grok-4.1",
   "n": 95,
   "diff": 7.173432748538012,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-minimax-m2-her",
   "b": "mm-claude-sonnet-4.5",
   "n": 95,
   "diff": 4.185327485380117,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-deepseek-v3.1",
   "b": "mm-deepseek-v3.2",
   "n": 95,
   "diff": 4.604991228070175,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-doubao-1.5-pro",
   "b": "mm-deepseek-v3.1",
   "n": 95,
   "diff": 7.8426959064327475,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-gemini-2.5-pro",
   "b": "mm-deepseek-v3.1",
   "n": 95,
   "diff": 1.3740233918128653,
   "p": 0.05135,
   "holm": 0.6162
  },
  {
   "a": "mm-gemini-3-pro",
   "b": "mm-deepseek-v3.1",
   "n": 95,
   "diff": 6.53646783625731,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-gpt-5.1",
   "b": "mm-deepseek-v3.1",
   "n": 95,
   "diff": 6.956619883040935,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-deepseek-v3.1",
   "b": "mm-grok-4.1",
   "n": 95,
   "diff": 2.2400555555555557,
   "p": 0.0031,
   "holm": 0.062
  },
  {
   "a": "mm-minimax-m2-her",
   "b": "mm-deepseek-v3.1",
   "n": 95,
   "diff": 9.118704678362572,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-doubao-1.5-pro",
   "b": "mm-deepseek-v3.2",
   "n": 95,
   "diff": 12.447687134502923,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-gemini-2.5-pro",
   "b": "mm-deepseek-v3.2",
   "n": 95,
   "diff": 5.97901461988304,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-gemini-3-pro",
   "b": "mm-deepseek-v3.2",
   "n": 95,
   "diff": 11.141459064327485,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-gpt-5.1",
   "b": "mm-deepseek-v3.2",
   "n": 95,
   "diff": 11.56161111111111,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-grok-4.1",
   "b": "mm-deepseek-v3.2",
   "n": 95,
   "diff": 2.3649356725146196,
   "p": 0.01985,
   "holm": 0.2779
  },
  {
   "a": "mm-minimax-m2-her",
   "b": "mm-deepseek-v3.2",
   "n": 95,
   "diff": 13.723695906432749,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-doubao-1.5-pro",
   "b": "mm-gemini-2.5-pro",
   "n": 95,
   "diff": 6.468672514619882,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-doubao-1.5-pro",
   "b": "mm-gemini-3-pro",
   "n": 95,
   "diff": 1.3062280701754376,
   "p": 0.27875,
   "holm": 1.0
  },
  {
   "a": "mm-doubao-1.5-pro",
   "b": "mm-gpt-5.1",
   "n": 95,
   "diff": 0.8860760233918121,
   "p": 0.5505,
   "holm": 1.0
  },
  {
   "a": "mm-doubao-1.5-pro",
   "b": "mm-grok-4.1",
   "n": 95,
   "diff": 10.082751461988304,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-minimax-m2-her",
   "b": "mm-doubao-1.5-pro",
   "n": 95,
   "diff": 1.2760087719298256,
   "p": 0.2845,
   "holm": 1.0
  },
  {
   "a": "mm-gemini-3-pro",
   "b": "mm-gemini-2.5-pro",
   "n": 95,
   "diff": 5.162444444444445,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-gpt-5.1",
   "b": "mm-gemini-2.5-pro",
   "n": 95,
   "diff": 5.5825964912280694,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-gemini-2.5-pro",
   "b": "mm-grok-4.1",
   "n": 95,
   "diff": 3.614078947368421,
   "p": 0.00055,
   "holm": 0.0132
  },
  {
   "a": "mm-minimax-m2-her",
   "b": "mm-gemini-2.5-pro",
   "n": 95,
   "diff": 7.744681286549707,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-gpt-5.1",
   "b": "mm-gemini-3-pro",
   "n": 95,
   "diff": 0.4201520467836254,
   "p": 0.4911,
   "holm": 1.0
  },
  {
   "a": "mm-gemini-3-pro",
   "b": "mm-grok-4.1",
   "n": 95,
   "diff": 8.776523391812866,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-minimax-m2-her",
   "b": "mm-gemini-3-pro",
   "n": 95,
   "diff": 2.5822368421052633,
   "p": 0.00065,
   "holm": 0.01495
  },
  {
   "a": "mm-gpt-5.1",
   "b": "mm-grok-4.1",
   "n": 95,
   "diff": 9.196675438596492,
   "p": 0.0,
   "holm": 0.0
  },
  {
   "a": "mm-minimax-m2-her",
   "b": "mm-gpt-5.1",
   "n": 95,
   "diff": 2.162084795321638,
   "p": 0.0024,
   "holm": 0.05039999999999999
  },
  {
   "a": "mm-minimax-m2-her",
   "b": "mm-grok-4.1",
   "n": 95,
   "diff": 11.35876023391813,
   "p": 0.0,
   "holm": 0.0
  }
 ],
 "candidates": [
  {
   "name": "screening panel on MiniMax dialogues",
   "layer": "judge",
   "verdict": "undecided",
   "gap_retention": 1.4398878269376247,
   "pairs": [
    {
     "a": "mm-claude-opus-4.5-highthinking",
     "b": "mm-deepseek-v3.1",
     "n": 10,
     "ref_diff_95": 6.397798245614035,
     "ref_diff_same": 5.497916666666664,
     "cand_diff": 12.333333333333336,
     "cand_ci": [
      8.066666666666674,
      17.191666666666666
     ],
     "cand_lower95_one_sided": 8.600000000000001,
     "gap_change": 6.835416666666672,
     "gap_change_ci": [
      -0.24791666666666146,
      13.608333333333333
     ],
     "p_cand": 0.001953125,
     "p_gap": 0.099609375,
     "p_cand_holm": 0.06640625,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-claude-opus-4.5-highthinking",
     "b": "mm-deepseek-v3.2",
     "n": 10,
     "ref_diff_95": 11.00278947368421,
     "ref_diff_same": 12.533333333333331,
     "cand_diff": 19.53333333333333,
     "cand_ci": [
      15.50833333333333,
      23.4875
     ],
     "cand_lower95_one_sided": 16.104166666666668,
     "gap_change": 7.000000000000002,
     "gap_change_ci": [
      -0.8166666666666671,
      15.000000000000004
     ],
     "p_cand": 0.001953125,
     "p_gap": 0.138671875,
     "p_cand_holm": 0.06640625,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-claude-opus-4.5-highthinking",
     "b": "mm-gemini-2.5-pro",
     "n": 10,
     "ref_diff_95": 5.02377485380117,
     "ref_diff_same": 6.796666666666664,
     "cand_diff": 5.358333333333332,
     "cand_ci": [
      1.7208333333333328,
      8.75833333333333
     ],
     "cand_lower95_one_sided": 2.1833333333333327,
     "gap_change": -1.4383333333333326,
     "gap_change_ci": [
      -9.189999999999996,
      5.299999999999997
     ],
     "p_cand": 0.03125,
     "p_gap": 0.7265625,
     "p_cand_holm": 0.28125,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-claude-opus-4.5-highthinking",
     "b": "mm-grok-4.1",
     "n": 10,
     "ref_diff_95": 8.637853801169591,
     "ref_diff_same": 5.946666666666665,
     "cand_diff": 15.491666666666667,
     "cand_ci": [
      11.479166666666664,
      20.208333333333332
     ],
     "cand_lower95_one_sided": 11.970833333333333,
     "gap_change": 9.545000000000002,
     "gap_change_ci": [
      3.1166666666666663,
      15.961666666666675
     ],
     "p_cand": 0.001953125,
     "p_gap": 0.0234375,
     "p_cand_holm": 0.06640625,
     "p_gap_holm": 0.75,
     "status": "direction kept"
    },
    {
     "a": "mm-claude-opus-4.5-lowthinking",
     "b": "mm-deepseek-v3.1",
     "n": 10,
     "ref_diff_95": 6.626049707602338,
     "ref_diff_same": 3.7825833333333305,
     "cand_diff": 10.45416666666667,
     "cand_ci": [
      5.5833333333333375,
      15.645833333333336
     ],
     "cand_lower95_one_sided": 6.229166666666671,
     "gap_change": 6.67158333333334,
     "gap_change_ci": [
      0.8424166666666807,
      12.175000000000002
     ],
     "p_cand": 0.00390625,
     "p_gap": 0.060546875,
     "p_cand_holm": 0.0703125,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-claude-opus-4.5-lowthinking",
     "b": "mm-deepseek-v3.2",
     "n": 10,
     "ref_diff_95": 11.231040935672514,
     "ref_diff_same": 10.817999999999998,
     "cand_diff": 17.65416666666667,
     "cand_ci": [
      13.862499999999994,
      21.166666666666664
     ],
     "cand_lower95_one_sided": 14.379166666666666,
     "gap_change": 6.836166666666669,
     "gap_change_ci": [
      2.3069999999999995,
      11.873666666666665
     ],
     "p_cand": 0.001953125,
     "p_gap": 0.0234375,
     "p_cand_holm": 0.06640625,
     "p_gap_holm": 0.75,
     "status": "direction kept"
    },
    {
     "a": "mm-claude-opus-4.5-lowthinking",
     "b": "mm-gemini-2.5-pro",
     "n": 10,
     "ref_diff_95": 5.252026315789473,
     "ref_diff_same": 5.081333333333331,
     "cand_diff": 3.4791666666666656,
     "cand_ci": [
      0.5291666666666643,
      6.391666666666668
     ],
     "cand_lower95_one_sided": 0.99583333333333,
     "gap_change": -1.6021666666666647,
     "gap_change_ci": [
      -10.832999999999995,
      6.19033333333333
     ],
     "p_cand": 0.05859375,
     "p_gap": 0.73046875,
     "p_cand_holm": 0.46875,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-claude-opus-4.5-lowthinking",
     "b": "mm-grok-4.1",
     "n": 10,
     "ref_diff_95": 8.866105263157893,
     "ref_diff_same": 4.231333333333332,
     "cand_diff": 13.6125,
     "cand_ci": [
      9.408333333333335,
      18.395833333333332
     ],
     "cand_lower95_one_sided": 10.075000000000005,
     "gap_change": 9.381166666666669,
     "gap_change_ci": [
      2.2916666666666705,
      15.1185
     ],
     "p_cand": 0.001953125,
     "p_gap": 0.03125,
     "p_cand_holm": 0.06640625,
     "p_gap_holm": 0.9375,
     "status": "direction kept"
    },
    {
     "a": "mm-claude-sonnet-4.5",
     "b": "mm-deepseek-v3.1",
     "n": 10,
     "ref_diff_95": 4.933377192982457,
     "ref_diff_same": 2.0492499999999962,
     "cand_diff": 6.329166666666671,
     "cand_ci": [
      -0.4291666666666572,
      13.929166666666667
     ],
     "cand_lower95_one_sided": 0.46666666666667,
     "gap_change": 4.279916666666675,
     "gap_change_ci": [
      -1.7928333333333129,
      10.527833333333334
     ],
     "p_cand": 0.13671875,
     "p_gap": 0.224609375,
     "p_cand_holm": 0.7734375,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-claude-sonnet-4.5",
     "b": "mm-deepseek-v3.2",
     "n": 10,
     "ref_diff_95": 9.538368421052631,
     "ref_diff_same": 9.084666666666664,
     "cand_diff": 13.529166666666669,
     "cand_ci": [
      7.700000000000003,
      19.574999999999996
     ],
     "cand_lower95_one_sided": 8.629166666666674,
     "gap_change": 4.444500000000005,
     "gap_change_ci": [
      -2.13333333333333,
      11.24033333333333
     ],
     "p_cand": 0.001953125,
     "p_gap": 0.25,
     "p_cand_holm": 0.06640625,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-claude-sonnet-4.5",
     "b": "mm-gemini-2.5-pro",
     "n": 10,
     "ref_diff_95": 3.5593538011695913,
     "ref_diff_same": 3.3479999999999963,
     "cand_diff": -0.6458333333333328,
     "cand_ci": [
      -6.0124999999999975,
      4.979166666666666
     ],
     "cand_lower95_one_sided": -5.216666666666666,
     "gap_change": -3.993833333333329,
     "gap_change_ci": [
      -12.168999999999992,
      3.2458333333333327
     ],
     "p_cand": 0.830078125,
     "p_gap": 0.390625,
     "p_cand_holm": 0.90625,
     "p_gap_holm": 1.0,
     "status": "reversed, not significant"
    },
    {
     "a": "mm-gpt-5.1",
     "b": "mm-claude-sonnet-4.5",
     "n": 10,
     "ref_diff_95": 2.0232426900584786,
     "ref_diff_same": 6.273666666666671,
     "cand_diff": 3.4749999999999988,
     "cand_ci": [
      0.1833333333333343,
      6.508333333333331
     ],
     "cand_lower95_one_sided": 0.8125,
     "gap_change": -2.798666666666672,
     "gap_change_ci": [
      -6.7875,
      1.5263333333333164
     ],
     "p_cand": 0.06640625,
     "p_gap": 0.236328125,
     "p_cand_holm": 0.46875,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-claude-sonnet-4.5",
     "b": "mm-grok-4.1",
     "n": 10,
     "ref_diff_95": 7.173432748538012,
     "ref_diff_same": 2.4979999999999976,
     "cand_diff": 9.487500000000002,
     "cand_ci": [
      5.033333333333337,
      14.075000000000001
     ],
     "cand_lower95_one_sided": 5.67083333333334,
     "gap_change": 6.989500000000005,
     "gap_change_ci": [
      -0.5174999999999926,
      12.496500000000003
     ],
     "p_cand": 0.005859375,
     "p_gap": 0.08203125,
     "p_cand_holm": 0.087890625,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-minimax-m2-her",
     "b": "mm-claude-sonnet-4.5",
     "n": 10,
     "ref_diff_95": 4.185327485380117,
     "ref_diff_same": 3.6861666666666664,
     "cand_diff": 6.1541666666666615,
     "cand_ci": [
      1.93333333333333,
      10.379166666666656
     ],
     "cand_lower95_one_sided": 2.7333333333333316,
     "gap_change": 2.467999999999995,
     "gap_change_ci": [
      -4.21666666666667,
      10.59983333333332
     ],
     "p_cand": 0.0234375,
     "p_gap": 0.53515625,
     "p_cand_holm": 0.234375,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-deepseek-v3.1",
     "b": "mm-deepseek-v3.2",
     "n": 10,
     "ref_diff_95": 4.604991228070175,
     "ref_diff_same": 7.035416666666667,
     "cand_diff": 7.1999999999999975,
     "cand_ci": [
      2.5916666666666672,
      12.649999999999997
     ],
     "cand_lower95_one_sided": 3.37083333333333,
     "gap_change": 0.16458333333333003,
     "gap_change_ci": [
      -5.670833333333337,
      6.568749999999994
     ],
     "p_cand": 0.01953125,
     "p_gap": 0.96875,
     "p_cand_holm": 0.21484375,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-doubao-1.5-pro",
     "b": "mm-deepseek-v3.1",
     "n": 10,
     "ref_diff_95": 7.8426959064327475,
     "ref_diff_same": 9.23625,
     "cand_diff": 10.045833333333336,
     "cand_ci": [
      5.970833333333336,
      15.070833333333336
     ],
     "cand_lower95_one_sided": 6.441666666666667,
     "gap_change": 0.809583333333336,
     "gap_change_ci": [
      -3.87583333333333,
      5.714999999999999
     ],
     "p_cand": 0.001953125,
     "p_gap": 0.7578125,
     "p_cand_holm": 0.06640625,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-gemini-3-pro",
     "b": "mm-deepseek-v3.1",
     "n": 10,
     "ref_diff_95": 6.53646783625731,
     "ref_diff_same": 6.309583333333333,
     "cand_diff": 10.620833333333334,
     "cand_ci": [
      6.237500000000007,
      14.799999999999995
     ],
     "cand_lower95_one_sided": 6.8875000000000055,
     "gap_change": 4.311249999999999,
     "gap_change_ci": [
      -0.013750000000001705,
      9.131666666666664
     ],
     "p_cand": 0.00390625,
     "p_gap": 0.12109375,
     "p_cand_holm": 0.0703125,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-gpt-5.1",
     "b": "mm-deepseek-v3.1",
     "n": 10,
     "ref_diff_95": 6.956619883040935,
     "ref_diff_same": 8.322916666666668,
     "cand_diff": 9.80416666666667,
     "cand_ci": [
      3.620833333333337,
      15.92916666666667
     ],
     "cand_lower95_one_sided": 4.67916666666667,
     "gap_change": 1.4812500000000028,
     "gap_change_ci": [
      -4.2875,
      7.822916666666666
     ],
     "p_cand": 0.017578125,
     "p_gap": 0.671875,
     "p_cand_holm": 0.2109375,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-minimax-m2-her",
     "b": "mm-deepseek-v3.1",
     "n": 10,
     "ref_diff_95": 9.118704678362572,
     "ref_diff_same": 5.735416666666663,
     "cand_diff": 12.483333333333333,
     "cand_ci": [
      9.004166666666668,
      16.699999999999996
     ],
     "cand_lower95_one_sided": 9.42083333333333,
     "gap_change": 6.74791666666667,
     "gap_change_ci": [
      -0.1729166666666629,
      14.075
     ],
     "p_cand": 0.001953125,
     "p_gap": 0.119140625,
     "p_cand_holm": 0.06640625,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-doubao-1.5-pro",
     "b": "mm-deepseek-v3.2",
     "n": 10,
     "ref_diff_95": 12.447687134502923,
     "ref_diff_same": 16.27166666666667,
     "cand_diff": 17.245833333333334,
     "cand_ci": [
      11.608333333333334,
      22.887499999999992
     ],
     "cand_lower95_one_sided": 12.458333333333334,
     "gap_change": 0.974166666666666,
     "gap_change_ci": [
      -5.938333333333337,
      8.104166666666668
     ],
     "p_cand": 0.00390625,
     "p_gap": 0.798828125,
     "p_cand_holm": 0.0703125,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-gemini-2.5-pro",
     "b": "mm-deepseek-v3.2",
     "n": 10,
     "ref_diff_95": 5.97901461988304,
     "ref_diff_same": 5.736666666666667,
     "cand_diff": 14.175,
     "cand_ci": [
      10.04583333333333,
      18.791666666666668
     ],
     "cand_lower95_one_sided": 10.470833333333335,
     "gap_change": 8.438333333333334,
     "gap_change_ci": [
      -0.9908333333333289,
      18.22666666666667
     ],
     "p_cand": 0.001953125,
     "p_gap": 0.138671875,
     "p_cand_holm": 0.06640625,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-gemini-3-pro",
     "b": "mm-deepseek-v3.2",
     "n": 10,
     "ref_diff_95": 11.141459064327485,
     "ref_diff_same": 13.345,
     "cand_diff": 17.82083333333333,
     "cand_ci": [
      12.67083333333333,
      23.099999999999994
     ],
     "cand_lower95_one_sided": 13.541666666666663,
     "gap_change": 4.4758333333333296,
     "gap_change_ci": [
      -2.950000000000003,
      12.445833333333324
     ],
     "p_cand": 0.001953125,
     "p_gap": 0.328125,
     "p_cand_holm": 0.06640625,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-gpt-5.1",
     "b": "mm-deepseek-v3.2",
     "n": 10,
     "ref_diff_95": 11.56161111111111,
     "ref_diff_same": 15.358333333333334,
     "cand_diff": 17.004166666666666,
     "cand_ci": [
      11.758333333333331,
      21.912499999999998
     ],
     "cand_lower95_one_sided": 12.424999999999999,
     "gap_change": 1.6458333333333328,
     "gap_change_ci": [
      -6.65416666666667,
      9.608333333333338
     ],
     "p_cand": 0.001953125,
     "p_gap": 0.703125,
     "p_cand_holm": 0.06640625,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-minimax-m2-her",
     "b": "mm-deepseek-v3.2",
     "n": 10,
     "ref_diff_95": 13.723695906432749,
     "ref_diff_same": 12.77083333333333,
     "cand_diff": 19.68333333333333,
     "cand_ci": [
      15.62083333333333,
      24.38333333333333
     ],
     "cand_lower95_one_sided": 16.24583333333333,
     "gap_change": 6.9125,
     "gap_change_ci": [
      -0.15416666666666573,
      15.23333333333334
     ],
     "p_cand": 0.001953125,
     "p_gap": 0.134765625,
     "p_cand_holm": 0.06640625,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-doubao-1.5-pro",
     "b": "mm-gemini-2.5-pro",
     "n": 10,
     "ref_diff_95": 6.468672514619882,
     "ref_diff_same": 10.535,
     "cand_diff": 3.0708333333333315,
     "cand_ci": [
      -1.5166666666666686,
      7.495833333333333
     ],
     "cand_lower95_one_sided": -0.80416666666667,
     "gap_change": -7.464166666666668,
     "gap_change_ci": [
      -13.09,
      -2.318333333333341
     ],
     "p_cand": 0.236328125,
     "p_gap": 0.01953125,
     "p_cand_holm": 0.90625,
     "p_gap_holm": 0.6640625,
     "status": "direction kept"
    },
    {
     "a": "mm-doubao-1.5-pro",
     "b": "mm-grok-4.1",
     "n": 10,
     "ref_diff_95": 10.082751461988304,
     "ref_diff_same": 9.685,
     "cand_diff": 13.204166666666666,
     "cand_ci": [
      7.341666666666669,
      20.158333333333335
     ],
     "cand_lower95_one_sided": 8.050000000000002,
     "gap_change": 3.5191666666666657,
     "gap_change_ci": [
      -4.325833333333335,
      10.256666666666668
     ],
     "p_cand": 0.001953125,
     "p_gap": 0.408203125,
     "p_cand_holm": 0.06640625,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-gemini-3-pro",
     "b": "mm-gemini-2.5-pro",
     "n": 10,
     "ref_diff_95": 5.162444444444445,
     "ref_diff_same": 7.6083333333333325,
     "cand_diff": 3.6458333333333286,
     "cand_ci": [
      -0.39583333333333715,
      7.583333333333327
     ],
     "cand_lower95_one_sided": 0.18333333333333285,
     "gap_change": -3.9625000000000044,
     "gap_change_ci": [
      -10.625833333333336,
      2.8083333333333242
     ],
     "p_cand": 0.12890625,
     "p_gap": 0.302734375,
     "p_cand_holm": 0.7734375,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-gpt-5.1",
     "b": "mm-gemini-2.5-pro",
     "n": 10,
     "ref_diff_95": 5.5825964912280694,
     "ref_diff_same": 9.621666666666666,
     "cand_diff": 2.8291666666666657,
     "cand_ci": [
      -1.3333333333333344,
      6.6625
     ],
     "cand_lower95_one_sided": -0.6750000000000014,
     "gap_change": -6.792500000000001,
     "gap_change_ci": [
      -11.539166666666663,
      -2.3125
     ],
     "p_cand": 0.2265625,
     "p_gap": 0.021484375,
     "p_cand_holm": 0.90625,
     "p_gap_holm": 0.708984375,
     "status": "direction kept"
    },
    {
     "a": "mm-gemini-2.5-pro",
     "b": "mm-grok-4.1",
     "n": 10,
     "ref_diff_95": 3.614078947368421,
     "ref_diff_same": -0.8499999999999985,
     "cand_diff": 10.133333333333335,
     "cand_ci": [
      4.4208333333333325,
      16.64166666666667
     ],
     "cand_lower95_one_sided": 5.3125,
     "gap_change": 10.983333333333334,
     "gap_change_ci": [
      0.2999999999999929,
      22.768333333333334
     ],
     "p_cand": 0.009765625,
     "p_gap": 0.091796875,
     "p_cand_holm": 0.13671875,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-minimax-m2-her",
     "b": "mm-gemini-2.5-pro",
     "n": 10,
     "ref_diff_95": 7.744681286549707,
     "ref_diff_same": 7.034166666666662,
     "cand_diff": 5.508333333333328,
     "cand_ci": [
      2.2083333333333286,
      8.054166666666662
     ],
     "cand_lower95_one_sided": 2.77083333333333,
     "gap_change": -1.525833333333334,
     "gap_change_ci": [
      -9.080833333333334,
      6.449999999999998
     ],
     "p_cand": 0.01171875,
     "p_gap": 0.70703125,
     "p_cand_holm": 0.15234375,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-gemini-3-pro",
     "b": "mm-grok-4.1",
     "n": 10,
     "ref_diff_95": 8.776523391812866,
     "ref_diff_same": 6.758333333333335,
     "cand_diff": 13.779166666666663,
     "cand_ci": [
      7.2875,
      21.22916666666666
     ],
     "cand_lower95_one_sided": 8.183333333333328,
     "gap_change": 7.0208333333333295,
     "gap_change_ci": [
      -2.3266666666666693,
      14.888333333333328
     ],
     "p_cand": 0.001953125,
     "p_gap": 0.1640625,
     "p_cand_holm": 0.06640625,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-minimax-m2-her",
     "b": "mm-gemini-3-pro",
     "n": 10,
     "ref_diff_95": 2.5822368421052633,
     "ref_diff_same": -0.5741666666666703,
     "cand_diff": 1.8625,
     "cand_ci": [
      -1.699999999999997,
      5.645833333333333
     ],
     "cand_lower95_one_sided": -1.2874999999999972,
     "gap_change": 2.43666666666667,
     "gap_change_ci": [
      -4.567499999999991,
      10.320833333333336
     ],
     "p_cand": 0.390625,
     "p_gap": 0.572265625,
     "p_cand_holm": 0.90625,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-gpt-5.1",
     "b": "mm-grok-4.1",
     "n": 10,
     "ref_diff_95": 9.196675438596492,
     "ref_diff_same": 8.771666666666668,
     "cand_diff": 12.9625,
     "cand_ci": [
      8.308333333333332,
      18.183333333333337
     ],
     "cand_lower95_one_sided": 8.841666666666669,
     "gap_change": 4.190833333333332,
     "gap_change_ci": [
      -3.7383333333333413,
      12.02833333333334
     ],
     "p_cand": 0.001953125,
     "p_gap": 0.341796875,
     "p_cand_holm": 0.06640625,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-minimax-m2-her",
     "b": "mm-grok-4.1",
     "n": 10,
     "ref_diff_95": 11.35876023391813,
     "ref_diff_same": 6.184166666666664,
     "cand_diff": 15.641666666666664,
     "cand_ci": [
      10.22916666666667,
      22.24166666666666
     ],
     "cand_lower95_one_sided": 10.85833333333333,
     "gap_change": 9.4575,
     "gap_change_ci": [
      -1.0625000000000049,
      20.29333333333334
     ],
     "p_cand": 0.001953125,
     "p_gap": 0.14453125,
     "p_cand_holm": 0.06640625,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    }
   ]
  },
  {
   "name": "official panel on MiniMax dialogues",
   "layer": "judge",
   "verdict": "undecided",
   "gap_retention": 1.5611610177004234,
   "pairs": [
    {
     "a": "mm-claude-opus-4.5-highthinking",
     "b": "mm-deepseek-v3.1",
     "n": 4,
     "ref_diff_95": 6.397798245614035,
     "ref_diff_same": 10.723958333333332,
     "cand_diff": 16.895833333333336,
     "cand_ci": [
      6.53125,
      23.927083333333336
     ],
     "cand_lower95_one_sided": 7.697916666666664,
     "gap_change": 6.1718750000000036,
     "gap_change_ci": [
      -3.786458333333318,
      16.385416666666664
     ],
     "p_cand": 0.125,
     "p_gap": 0.5,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-claude-opus-4.5-highthinking",
     "b": "mm-deepseek-v3.2",
     "n": 4,
     "ref_diff_95": 11.00278947368421,
     "ref_diff_same": 16.052083333333332,
     "cand_diff": 22.760416666666668,
     "cand_ci": [
      19.66666666666666,
      25.520833333333336
     ],
     "cand_lower95_one_sided": 20.71875,
     "gap_change": 6.708333333333336,
     "gap_change_ci": [
      -2.9947916666666607,
      19.119791666666668
     ],
     "p_cand": 0.125,
     "p_gap": 0.5,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-claude-opus-4.5-highthinking",
     "b": "mm-gemini-2.5-pro",
     "n": 4,
     "ref_diff_95": 5.02377485380117,
     "ref_diff_same": 12.1375,
     "cand_diff": 2.0520833333333357,
     "cand_ci": [
      -6.25,
      10.354166666666671
     ],
     "cand_lower95_one_sided": -5.4375,
     "gap_change": -10.085416666666664,
     "gap_change_ci": [
      -23.7125,
      4.190624999999994
     ],
     "p_cand": 0.75,
     "p_gap": 0.375,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-claude-opus-4.5-highthinking",
     "b": "mm-grok-4.1",
     "n": 4,
     "ref_diff_95": 8.637853801169591,
     "ref_diff_same": 4.9083333333333385,
     "cand_diff": 14.515624999999998,
     "cand_ci": [
      10.260416666666664,
      19.020833333333336
     ],
     "cand_lower95_one_sided": 10.380208333333332,
     "gap_change": 9.60729166666666,
     "gap_change_ci": [
      5.138541666666658,
      16.802083333333336
     ],
     "p_cand": 0.125,
     "p_gap": 0.125,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-claude-opus-4.5-lowthinking",
     "b": "mm-deepseek-v3.1",
     "n": 4,
     "ref_diff_95": 6.626049707602338,
     "ref_diff_same": 10.008541666666662,
     "cand_diff": 16.35416666666667,
     "cand_ci": [
      5.713541666666668,
      23.97395833333334
     ],
     "cand_lower95_one_sided": 6.916666666666668,
     "gap_change": 6.345625000000009,
     "gap_change_ci": [
      -5.005208333333329,
      16.468750000000007
     ],
     "p_cand": 0.125,
     "p_gap": 0.375,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-claude-opus-4.5-lowthinking",
     "b": "mm-deepseek-v3.2",
     "n": 4,
     "ref_diff_95": 11.231040935672514,
     "ref_diff_same": 15.336666666666662,
     "cand_diff": 22.218750000000004,
     "cand_ci": [
      18.05729166666667,
      24.703125000000004
     ],
     "cand_lower95_one_sided": 18.29166666666667,
     "gap_change": 6.882083333333341,
     "gap_change_ci": [
      3.1145833333333464,
      10.590416666666666
     ],
     "p_cand": 0.125,
     "p_gap": 0.125,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-claude-opus-4.5-lowthinking",
     "b": "mm-gemini-2.5-pro",
     "n": 4,
     "ref_diff_95": 5.252026315789473,
     "ref_diff_same": 11.42208333333333,
     "cand_diff": 1.5104166666666714,
     "cand_ci": [
      -6.552083333333336,
      9.572916666666679
     ],
     "cand_lower95_one_sided": -6.255208333333332,
     "gap_change": -9.911666666666658,
     "gap_change_ci": [
      -26.18791666666666,
      6.364583333333343
     ],
     "p_cand": 0.75,
     "p_gap": 0.5,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-claude-opus-4.5-lowthinking",
     "b": "mm-grok-4.1",
     "n": 4,
     "ref_diff_95": 8.866105263157893,
     "ref_diff_same": 4.192916666666669,
     "cand_diff": 13.973958333333334,
     "cand_ci": [
      9.40625,
      18.541666666666668
     ],
     "cand_lower95_one_sided": 9.526041666666671,
     "gap_change": 9.781041666666665,
     "gap_change_ci": [
      2.947916666666675,
      16.614166666666655
     ],
     "p_cand": 0.125,
     "p_gap": 0.125,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-claude-sonnet-4.5",
     "b": "mm-deepseek-v3.1",
     "n": 4,
     "ref_diff_95": 4.933377192982457,
     "ref_diff_same": 4.977291666666659,
     "cand_diff": 9.609375,
     "cand_ci": [
      -2.2864583333333286,
      19.45833333333333
     ],
     "cand_lower95_one_sided": 0.1770833333333357,
     "gap_change": 4.632083333333341,
     "gap_change_ci": [
      -5.402499999999982,
      14.666666666666664
     ],
     "p_cand": 0.25,
     "p_gap": 0.625,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-claude-sonnet-4.5",
     "b": "mm-deepseek-v3.2",
     "n": 4,
     "ref_diff_95": 9.538368421052631,
     "ref_diff_same": 10.305416666666659,
     "cand_diff": 15.473958333333332,
     "cand_ci": [
      11.442708333333329,
      18.906249999999996
     ],
     "cand_lower95_one_sided": 12.145833333333329,
     "gap_change": 5.168541666666673,
     "gap_change_ci": [
      -2.5833333333333286,
      12.920416666666675
     ],
     "p_cand": 0.125,
     "p_gap": 0.5,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-claude-sonnet-4.5",
     "b": "mm-gemini-2.5-pro",
     "n": 4,
     "ref_diff_95": 3.5593538011695913,
     "ref_diff_same": 6.390833333333326,
     "cand_diff": -5.234375,
     "cand_ci": [
      -14.84375,
      4.375
     ],
     "cand_lower95_one_sided": -14.255208333333329,
     "gap_change": -11.625208333333326,
     "gap_change_ci": [
      -27.812916666666652,
      4.5625
     ],
     "p_cand": 0.5,
     "p_gap": 0.5,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "reversed, not significant"
    },
    {
     "a": "mm-gpt-5.1",
     "b": "mm-claude-sonnet-4.5",
     "n": 4,
     "ref_diff_95": 2.0232426900584786,
     "ref_diff_same": 4.142500000000009,
     "cand_diff": 3.9218749999999964,
     "cand_ci": [
      -0.6302083333333321,
      6.8333333333333215
     ],
     "cand_lower95_one_sided": -0.29687500000000355,
     "gap_change": -0.2206250000000125,
     "gap_change_ci": [
      -5.656250000000007,
      5.223541666666648
     ],
     "p_cand": 0.25,
     "p_gap": 0.875,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-claude-sonnet-4.5",
     "b": "mm-grok-4.1",
     "n": 4,
     "ref_diff_95": 7.173432748538012,
     "ref_diff_same": -0.8383333333333347,
     "cand_diff": 7.2291666666666625,
     "cand_ci": [
      1.687499999999993,
      12.770833333333332
     ],
     "cand_lower95_one_sided": 2.3854166666666607,
     "gap_change": 8.067499999999997,
     "gap_change_ci": [
      0.49791666666665435,
      14.454166666666652
     ],
     "p_cand": 0.125,
     "p_gap": 0.25,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-minimax-m2-her",
     "b": "mm-claude-sonnet-4.5",
     "n": 4,
     "ref_diff_95": 4.185327485380117,
     "ref_diff_same": -0.086666666666666,
     "cand_diff": 7.010416666666671,
     "cand_ci": [
      0.1250000000000071,
      13.989583333333329
     ],
     "cand_lower95_one_sided": 0.3750000000000071,
     "gap_change": 7.097083333333337,
     "gap_change_ci": [
      -2.3541666666666536,
      17.89541666666666
     ],
     "p_cand": 0.25,
     "p_gap": 0.375,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-deepseek-v3.1",
     "b": "mm-deepseek-v3.2",
     "n": 4,
     "ref_diff_95": 4.604991228070175,
     "ref_diff_same": 5.328125,
     "cand_diff": 5.864583333333332,
     "cand_ci": [
      -1.7083333333333357,
      18.067708333333336
     ],
     "cand_lower95_one_sided": -1.5312500000000036,
     "gap_change": 0.5364583333333321,
     "gap_change_ci": [
      -10.48958333333334,
      13.765625000000007
     ],
     "p_cand": 0.625,
     "p_gap": 0.875,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-doubao-1.5-pro",
     "b": "mm-deepseek-v3.1",
     "n": 4,
     "ref_diff_95": 7.8426959064327475,
     "ref_diff_same": 11.921874999999996,
     "cand_diff": 14.682291666666664,
     "cand_ci": [
      10.406249999999993,
      19.359375
     ],
     "cand_lower95_one_sided": 10.635416666666657,
     "gap_change": 2.760416666666668,
     "gap_change_ci": [
      -2.7395833333333357,
      8.260416666666671
     ],
     "p_cand": 0.125,
     "p_gap": 0.5,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-gemini-3-pro",
     "b": "mm-deepseek-v3.1",
     "n": 4,
     "ref_diff_95": 6.53646783625731,
     "ref_diff_same": 9.932291666666668,
     "cand_diff": 19.46354166666667,
     "cand_ci": [
      12.098958333333332,
      26.583333333333346
     ],
     "cand_lower95_one_sided": 14.552083333333329,
     "gap_change": 9.531250000000004,
     "gap_change_ci": [
      3.395833333333343,
      15.666666666666664
     ],
     "p_cand": 0.125,
     "p_gap": 0.125,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-gpt-5.1",
     "b": "mm-deepseek-v3.1",
     "n": 4,
     "ref_diff_95": 6.956619883040935,
     "ref_diff_same": 9.119791666666668,
     "cand_diff": 13.531249999999996,
     "cand_ci": [
      4.817708333333329,
      19.020833333333336
     ],
     "cand_lower95_one_sided": 8.041666666666657,
     "gap_change": 4.411458333333329,
     "gap_change_ci": [
      -0.1875,
      12.213541666666654
     ],
     "p_cand": 0.125,
     "p_gap": 0.375,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-minimax-m2-her",
     "b": "mm-deepseek-v3.1",
     "n": 4,
     "ref_diff_95": 9.118704678362572,
     "ref_diff_same": 4.890624999999993,
     "cand_diff": 16.61979166666667,
     "cand_ci": [
      12.1875,
      21.052083333333343
     ],
     "cand_lower95_one_sided": 12.656249999999996,
     "gap_change": 11.729166666666679,
     "gap_change_ci": [
      4.729166666666686,
      16.66666666666668
     ],
     "p_cand": 0.125,
     "p_gap": 0.125,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-doubao-1.5-pro",
     "b": "mm-deepseek-v3.2",
     "n": 4,
     "ref_diff_95": 12.447687134502923,
     "ref_diff_same": 17.249999999999996,
     "cand_diff": 20.546874999999996,
     "cand_ci": [
      12.567708333333332,
      29.624999999999993
     ],
     "cand_lower95_one_sided": 14.1875,
     "gap_change": 3.296875,
     "gap_change_ci": [
      -5.260416666666664,
      13.124999999999996
     ],
     "p_cand": 0.125,
     "p_gap": 0.75,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-gemini-2.5-pro",
     "b": "mm-deepseek-v3.2",
     "n": 4,
     "ref_diff_95": 5.97901461988304,
     "ref_diff_same": 3.914583333333333,
     "cand_diff": 20.708333333333332,
     "cand_ci": [
      10.499999999999993,
      30.91666666666667
     ],
     "cand_lower95_one_sided": 11.97916666666666,
     "gap_change": 16.79375,
     "gap_change_ci": [
      0.4583333333333286,
      35.037499999999994
     ],
     "p_cand": 0.125,
     "p_gap": 0.25,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-gemini-3-pro",
     "b": "mm-deepseek-v3.2",
     "n": 4,
     "ref_diff_95": 11.141459064327485,
     "ref_diff_same": 15.260416666666668,
     "cand_diff": 25.328125000000004,
     "cand_ci": [
      18.0,
      32.65625000000001
     ],
     "cand_lower95_one_sided": 18.11458333333333,
     "gap_change": 10.067708333333336,
     "gap_change_ci": [
      2.3333333333333286,
      17.880208333333343
     ],
     "p_cand": 0.125,
     "p_gap": 0.25,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-gpt-5.1",
     "b": "mm-deepseek-v3.2",
     "n": 4,
     "ref_diff_95": 11.56161111111111,
     "ref_diff_same": 14.447916666666668,
     "cand_diff": 19.39583333333333,
     "cand_ci": [
      15.947916666666657,
      22.92708333333333
     ],
     "cand_lower95_one_sided": 16.104166666666657,
     "gap_change": 4.947916666666661,
     "gap_change_ci": [
      -6.651041666666675,
      15.374999999999993
     ],
     "p_cand": 0.125,
     "p_gap": 0.5,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-minimax-m2-her",
     "b": "mm-deepseek-v3.2",
     "n": 4,
     "ref_diff_95": 13.723695906432749,
     "ref_diff_same": 10.218749999999993,
     "cand_diff": 22.484375000000004,
     "cand_ci": [
      15.0,
      30.546875
     ],
     "cand_lower95_one_sided": 15.718750000000004,
     "gap_change": 12.26562500000001,
     "gap_change_ci": [
      3.1666666666666785,
      26.255208333333346
     ],
     "p_cand": 0.125,
     "p_gap": 0.125,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-doubao-1.5-pro",
     "b": "mm-gemini-2.5-pro",
     "n": 4,
     "ref_diff_95": 6.468672514619882,
     "ref_diff_same": 13.335416666666664,
     "cand_diff": -0.1614583333333357,
     "cand_ci": [
      -8.708333333333343,
      8.807291666666671
     ],
     "cand_lower95_one_sided": -7.958333333333336,
     "gap_change": -13.496875,
     "gap_change_ci": [
      -25.150000000000006,
      -1.843749999999993
     ],
     "p_cand": 1.0,
     "p_gap": 0.125,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "reversed, not significant"
    },
    {
     "a": "mm-doubao-1.5-pro",
     "b": "mm-grok-4.1",
     "n": 4,
     "ref_diff_95": 10.082751461988304,
     "ref_diff_same": 6.106250000000003,
     "cand_diff": 12.302083333333327,
     "cand_ci": [
      3.416666666666657,
      22.213541666666657
     ],
     "cand_lower95_one_sided": 3.666666666666657,
     "gap_change": 6.195833333333324,
     "gap_change_ci": [
      -2.726041666666678,
      12.171874999999998
     ],
     "p_cand": 0.125,
     "p_gap": 0.25,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-gemini-3-pro",
     "b": "mm-gemini-2.5-pro",
     "n": 4,
     "ref_diff_95": 5.162444444444445,
     "ref_diff_same": 11.345833333333335,
     "cand_diff": 4.619791666666671,
     "cand_ci": [
      1.390625000000007,
      8.78125
     ],
     "cand_lower95_one_sided": 1.7395833333333357,
     "gap_change": -6.726041666666664,
     "gap_change_ci": [
      -19.014583333333327,
      5.5625
     ],
     "p_cand": 0.125,
     "p_gap": 0.5,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-gpt-5.1",
     "b": "mm-gemini-2.5-pro",
     "n": 4,
     "ref_diff_95": 5.5825964912280694,
     "ref_diff_same": 10.533333333333335,
     "cand_diff": -1.3125000000000036,
     "cand_ci": [
      -8.072916666666671,
      5.447916666666664
     ],
     "cand_lower95_one_sided": -7.151041666666671,
     "gap_change": -11.845833333333339,
     "gap_change_ci": [
      -22.59791666666667,
      -1.093750000000007
     ],
     "p_cand": 0.875,
     "p_gap": 0.25,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "reversed, not significant"
    },
    {
     "a": "mm-gemini-2.5-pro",
     "b": "mm-grok-4.1",
     "n": 4,
     "ref_diff_95": 3.614078947368421,
     "ref_diff_same": -7.229166666666661,
     "cand_diff": 12.463541666666663,
     "cand_ci": [
      3.791666666666657,
      21.135416666666668
     ],
     "cand_lower95_one_sided": 4.9374999999999964,
     "gap_change": 19.69270833333332,
     "gap_change_ci": [
      2.1458333333333144,
      37.23958333333333
     ],
     "p_cand": 0.125,
     "p_gap": 0.25,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-minimax-m2-her",
     "b": "mm-gemini-2.5-pro",
     "n": 4,
     "ref_diff_95": 7.744681286549707,
     "ref_diff_same": 6.30416666666666,
     "cand_diff": 1.7760416666666714,
     "cand_ci": [
      -3.3906249999999964,
      4.791666666666675
     ],
     "cand_lower95_one_sided": -0.9583333333333286,
     "gap_change": -4.528124999999989,
     "gap_change_ci": [
      -14.597916666666656,
      5.5416666666666785
     ],
     "p_cand": 0.625,
     "p_gap": 0.625,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-gemini-3-pro",
     "b": "mm-grok-4.1",
     "n": 4,
     "ref_diff_95": 8.776523391812866,
     "ref_diff_same": 4.116666666666674,
     "cand_diff": 17.083333333333336,
     "cand_ci": [
      11.291666666666664,
      24.723958333333336
     ],
     "cand_lower95_one_sided": 11.562499999999996,
     "gap_change": 12.96666666666666,
     "gap_change_ci": [
      4.036458333333323,
      18.498958333333324
     ],
     "p_cand": 0.125,
     "p_gap": 0.25,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-minimax-m2-her",
     "b": "mm-gemini-3-pro",
     "n": 4,
     "ref_diff_95": 2.5822368421052633,
     "ref_diff_same": -5.041666666666675,
     "cand_diff": -2.84375,
     "cand_ci": [
      -5.927083333333329,
      0.2395833333333286
     ],
     "cand_lower95_one_sided": -5.765624999999993,
     "gap_change": 2.197916666666675,
     "gap_change_ci": [
      -4.031249999999993,
      8.427083333333343
     ],
     "p_cand": 0.375,
     "p_gap": 0.75,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "reversed, not significant"
    },
    {
     "a": "mm-gpt-5.1",
     "b": "mm-grok-4.1",
     "n": 4,
     "ref_diff_95": 9.196675438596492,
     "ref_diff_same": 3.3041666666666742,
     "cand_diff": 11.151041666666659,
     "cand_ci": [
      7.249999999999993,
      16.822916666666664
     ],
     "cand_lower95_one_sided": 7.390624999999993,
     "gap_change": 7.846874999999985,
     "gap_change_ci": [
      -5.064583333333353,
      14.641666666666662
     ],
     "p_cand": 0.125,
     "p_gap": 0.25,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    },
    {
     "a": "mm-minimax-m2-her",
     "b": "mm-grok-4.1",
     "n": 4,
     "ref_diff_95": 11.35876023391813,
     "ref_diff_same": -0.9250000000000007,
     "cand_diff": 14.239583333333334,
     "cand_ci": [
      7.291666666666671,
      25.010416666666664
     ],
     "cand_lower95_one_sided": 8.291666666666664,
     "gap_change": 15.164583333333335,
     "gap_change_ci": [
      7.195833333333329,
      24.76041666666668
     ],
     "p_cand": 0.125,
     "p_gap": 0.125,
     "p_cand_holm": 1.0,
     "p_gap_holm": 1.0,
     "status": "direction kept"
    }
   ]
  },
  {
   "name": "platform v6 protocol (simulated user), screening panel",
   "layer": "protocol",
   "verdict": "undecided",
   "gap_retention": 0.3201388409304504,
   "pairs": [
    {
     "a": "mm-deepseek-v3.1",
     "b": "mm-deepseek-v3.2",
     "n": 10,
     "ref_diff_95": 4.604991228070175,
     "ref_diff_same": 5.972916666666667,
     "cand_diff": 5.008333333333331,
     "cand_ci": [
      -0.8958333333333343,
      10.774999999999995
     ],
     "cand_lower95_one_sided": -0.09166666666666856,
     "gap_change": -0.9645833333333357,
     "gap_change_ci": [
      -6.905750000000003,
      6.1418888888888805
     ],
     "p_cand": 0.1484375,
     "p_gap": 0.796875,
     "p_cand_holm": 0.59375,
     "p_gap_holm": 0.796875,
     "status": "direction kept"
    },
    {
     "a": "mm-gpt-5.1",
     "b": "mm-deepseek-v3.1",
     "n": 10,
     "ref_diff_95": 6.956619883040935,
     "ref_diff_same": 7.5259722222222205,
     "cand_diff": -1.5374999999999985,
     "cand_ci": [
      -3.9499999999999984,
      1.4916666666666658
     ],
     "cand_lower95_one_sided": -3.6416666666666644,
     "gap_change": -9.06347222222222,
     "gap_change_ci": [
      -13.870666666666661,
      -3.8348055555555574
     ],
     "p_cand": 0.31640625,
     "p_gap": 0.013671875,
     "p_cand_holm": 0.837890625,
     "p_gap_holm": 0.068359375,
     "status": "reversed, not significant"
    },
    {
     "a": "mm-minimax-m2-her",
     "b": "mm-deepseek-v3.1",
     "n": 10,
     "ref_diff_95": 9.118704678362572,
     "ref_diff_same": 6.642638888888888,
     "cand_diff": 1.4291666666666685,
     "cand_ci": [
      -3.541666666666663,
      6.6999999999999975
     ],
     "cand_lower95_one_sided": -2.483333333333327,
     "gap_change": -5.21347222222222,
     "gap_change_ci": [
      -10.719555555555548,
      1.1409166666666664
     ],
     "p_cand": 0.640625,
     "p_gap": 0.130859375,
     "p_cand_holm": 0.837890625,
     "p_gap_holm": 0.26171875,
     "status": "direction kept"
    },
    {
     "a": "mm-gpt-5.1",
     "b": "mm-deepseek-v3.2",
     "n": 10,
     "ref_diff_95": 11.56161111111111,
     "ref_diff_same": 13.498888888888889,
     "cand_diff": 3.4708333333333328,
     "cand_ci": [
      -2.2916666666666643,
      9.091666666666665
     ],
     "cand_lower95_one_sided": -1.2124999999999986,
     "gap_change": -10.028055555555556,
     "gap_change_ci": [
      -16.207222222222217,
      -3.812777777777781
     ],
     "p_cand": 0.279296875,
     "p_gap": 0.01953125,
     "p_cand_holm": 0.837890625,
     "p_gap_holm": 0.078125,
     "status": "direction kept"
    },
    {
     "a": "mm-minimax-m2-her",
     "b": "mm-deepseek-v3.2",
     "n": 10,
     "ref_diff_95": 13.723695906432749,
     "ref_diff_same": 12.615555555555556,
     "cand_diff": 6.4375,
     "cand_ci": [
      2.00416666666667,
      11.666666666666666
     ],
     "cand_lower95_one_sided": 2.5375,
     "gap_change": -6.178055555555555,
     "gap_change_ci": [
      -10.40305555555555,
      -1.7800000000000054
     ],
     "p_cand": 0.013671875,
     "p_gap": 0.03515625,
     "p_cand_holm": 0.068359375,
     "p_gap_holm": 0.10546875,
     "status": "direction kept"
    }
   ]
  }
 ]
}