{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 3.0,
  "eval_steps": 500,
  "global_step": 1125,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.0026666666666666666,
      "grad_norm": 0.31795796751976013,
      "learning_rate": 5e-06,
      "loss": 0.9198,
      "step": 1
    },
    {
      "epoch": 0.005333333333333333,
      "grad_norm": 0.2965499460697174,
      "learning_rate": 1e-05,
      "loss": 0.7987,
      "step": 2
    },
    {
      "epoch": 0.008,
      "grad_norm": 0.3073004186153412,
      "learning_rate": 1.5e-05,
      "loss": 0.8705,
      "step": 3
    },
    {
      "epoch": 0.010666666666666666,
      "grad_norm": 0.31582117080688477,
      "learning_rate": 2e-05,
      "loss": 0.897,
      "step": 4
    },
    {
      "epoch": 0.013333333333333334,
      "grad_norm": 0.32552069425582886,
      "learning_rate": 2.5e-05,
      "loss": 0.8281,
      "step": 5
    },
    {
      "epoch": 0.016,
      "grad_norm": 0.3633013069629669,
      "learning_rate": 3e-05,
      "loss": 0.8817,
      "step": 6
    },
    {
      "epoch": 0.018666666666666668,
      "grad_norm": 0.30820131301879883,
      "learning_rate": 3.5e-05,
      "loss": 0.7883,
      "step": 7
    },
    {
      "epoch": 0.021333333333333333,
      "grad_norm": 0.2991103529930115,
      "learning_rate": 4e-05,
      "loss": 0.8451,
      "step": 8
    },
    {
      "epoch": 0.024,
      "grad_norm": 0.26918885111808777,
      "learning_rate": 4.5e-05,
      "loss": 0.703,
      "step": 9
    },
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 0.2952805161476135,
      "learning_rate": 5e-05,
      "loss": 0.8525,
      "step": 10
    },
    {
      "epoch": 0.029333333333333333,
      "grad_norm": 0.158904567360878,
      "learning_rate": 5.500000000000001e-05,
      "loss": 0.4532,
      "step": 11
    },
    {
      "epoch": 0.032,
      "grad_norm": 0.24053733050823212,
      "learning_rate": 6e-05,
      "loss": 0.7278,
      "step": 12
    },
    {
      "epoch": 0.034666666666666665,
      "grad_norm": 0.27588018774986267,
      "learning_rate": 6.500000000000001e-05,
      "loss": 0.809,
      "step": 13
    },
    {
      "epoch": 0.037333333333333336,
      "grad_norm": 0.23301595449447632,
      "learning_rate": 7e-05,
      "loss": 0.6729,
      "step": 14
    },
    {
      "epoch": 0.04,
      "grad_norm": 0.28395819664001465,
      "learning_rate": 7.500000000000001e-05,
      "loss": 0.6929,
      "step": 15
    },
    {
      "epoch": 0.042666666666666665,
      "grad_norm": 0.22508470714092255,
      "learning_rate": 8e-05,
      "loss": 0.5131,
      "step": 16
    },
    {
      "epoch": 0.04533333333333334,
      "grad_norm": 0.24023814499378204,
      "learning_rate": 8.5e-05,
      "loss": 0.5204,
      "step": 17
    },
    {
      "epoch": 0.048,
      "grad_norm": 0.2793164551258087,
      "learning_rate": 9e-05,
      "loss": 0.6796,
      "step": 18
    },
    {
      "epoch": 0.050666666666666665,
      "grad_norm": 0.2434774488210678,
      "learning_rate": 9.5e-05,
      "loss": 0.5698,
      "step": 19
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 0.2483493834733963,
      "learning_rate": 0.0001,
      "loss": 0.6554,
      "step": 20
    },
    {
      "epoch": 0.056,
      "grad_norm": 0.18770429491996765,
      "learning_rate": 0.000105,
      "loss": 0.5123,
      "step": 21
    },
    {
      "epoch": 0.058666666666666666,
      "grad_norm": 0.1788586527109146,
      "learning_rate": 0.00011000000000000002,
      "loss": 0.4737,
      "step": 22
    },
    {
      "epoch": 0.06133333333333333,
      "grad_norm": 0.19754257798194885,
      "learning_rate": 0.00011499999999999999,
      "loss": 0.4892,
      "step": 23
    },
    {
      "epoch": 0.064,
      "grad_norm": 0.1977739930152893,
      "learning_rate": 0.00012,
      "loss": 0.5444,
      "step": 24
    },
    {
      "epoch": 0.06666666666666667,
      "grad_norm": 0.17434217035770416,
      "learning_rate": 0.000125,
      "loss": 0.4982,
      "step": 25
    },
    {
      "epoch": 0.06933333333333333,
      "grad_norm": 0.18169911205768585,
      "learning_rate": 0.00013000000000000002,
      "loss": 0.5444,
      "step": 26
    },
    {
      "epoch": 0.072,
      "grad_norm": 0.13374541699886322,
      "learning_rate": 0.00013500000000000003,
      "loss": 0.3858,
      "step": 27
    },
    {
      "epoch": 0.07466666666666667,
      "grad_norm": 0.23194445669651031,
      "learning_rate": 0.00014,
      "loss": 0.5971,
      "step": 28
    },
    {
      "epoch": 0.07733333333333334,
      "grad_norm": 0.226721853017807,
      "learning_rate": 0.000145,
      "loss": 0.5912,
      "step": 29
    },
    {
      "epoch": 0.08,
      "grad_norm": 0.20221616327762604,
      "learning_rate": 0.00015000000000000001,
      "loss": 0.5778,
      "step": 30
    },
    {
      "epoch": 0.08266666666666667,
      "grad_norm": 0.20439280569553375,
      "learning_rate": 0.000155,
      "loss": 0.5955,
      "step": 31
    },
    {
      "epoch": 0.08533333333333333,
      "grad_norm": 0.1792367696762085,
      "learning_rate": 0.00016,
      "loss": 0.4539,
      "step": 32
    },
    {
      "epoch": 0.088,
      "grad_norm": 0.15801019966602325,
      "learning_rate": 0.000165,
      "loss": 0.4281,
      "step": 33
    },
    {
      "epoch": 0.09066666666666667,
      "grad_norm": 0.18995234370231628,
      "learning_rate": 0.00017,
      "loss": 0.4919,
      "step": 34
    },
    {
      "epoch": 0.09333333333333334,
      "grad_norm": 0.18301232159137726,
      "learning_rate": 0.000175,
      "loss": 0.4698,
      "step": 35
    },
    {
      "epoch": 0.096,
      "grad_norm": 0.1516425907611847,
      "learning_rate": 0.00018,
      "loss": 0.4706,
      "step": 36
    },
    {
      "epoch": 0.09866666666666667,
      "grad_norm": 0.15232552587985992,
      "learning_rate": 0.00018500000000000002,
      "loss": 0.4412,
      "step": 37
    },
    {
      "epoch": 0.10133333333333333,
      "grad_norm": 0.18981625139713287,
      "learning_rate": 0.00019,
      "loss": 0.5323,
      "step": 38
    },
    {
      "epoch": 0.104,
      "grad_norm": 0.19589070975780487,
      "learning_rate": 0.000195,
      "loss": 0.5426,
      "step": 39
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 0.14144787192344666,
      "learning_rate": 0.0002,
      "loss": 0.3534,
      "step": 40
    },
    {
      "epoch": 0.10933333333333334,
      "grad_norm": 0.15018980205059052,
      "learning_rate": 0.00019981566820276498,
      "loss": 0.4385,
      "step": 41
    },
    {
      "epoch": 0.112,
      "grad_norm": 0.18116328120231628,
      "learning_rate": 0.00019963133640552995,
      "loss": 0.4677,
      "step": 42
    },
    {
      "epoch": 0.11466666666666667,
      "grad_norm": 0.21125923097133636,
      "learning_rate": 0.00019944700460829492,
      "loss": 0.5415,
      "step": 43
    },
    {
      "epoch": 0.11733333333333333,
      "grad_norm": 0.194460928440094,
      "learning_rate": 0.00019926267281105992,
      "loss": 0.5013,
      "step": 44
    },
    {
      "epoch": 0.12,
      "grad_norm": 0.17403055727481842,
      "learning_rate": 0.0001990783410138249,
      "loss": 0.5035,
      "step": 45
    },
    {
      "epoch": 0.12266666666666666,
      "grad_norm": 0.18710163235664368,
      "learning_rate": 0.00019889400921658986,
      "loss": 0.5231,
      "step": 46
    },
    {
      "epoch": 0.12533333333333332,
      "grad_norm": 0.17051705718040466,
      "learning_rate": 0.00019870967741935483,
      "loss": 0.4854,
      "step": 47
    },
    {
      "epoch": 0.128,
      "grad_norm": 0.17382238805294037,
      "learning_rate": 0.0001985253456221198,
      "loss": 0.5179,
      "step": 48
    },
    {
      "epoch": 0.13066666666666665,
      "grad_norm": 0.15307123959064484,
      "learning_rate": 0.0001983410138248848,
      "loss": 0.4356,
      "step": 49
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 0.16687354445457458,
      "learning_rate": 0.00019815668202764977,
      "loss": 0.4648,
      "step": 50
    },
    {
      "epoch": 0.136,
      "grad_norm": 0.17127734422683716,
      "learning_rate": 0.00019797235023041477,
      "loss": 0.4643,
      "step": 51
    },
    {
      "epoch": 0.13866666666666666,
      "grad_norm": 0.19123542308807373,
      "learning_rate": 0.00019778801843317974,
      "loss": 0.4997,
      "step": 52
    },
    {
      "epoch": 0.14133333333333334,
      "grad_norm": 0.1482383906841278,
      "learning_rate": 0.00019760368663594472,
      "loss": 0.4334,
      "step": 53
    },
    {
      "epoch": 0.144,
      "grad_norm": 0.19939680397510529,
      "learning_rate": 0.00019741935483870969,
      "loss": 0.5257,
      "step": 54
    },
    {
      "epoch": 0.14666666666666667,
      "grad_norm": 0.17752857506275177,
      "learning_rate": 0.00019723502304147466,
      "loss": 0.4896,
      "step": 55
    },
    {
      "epoch": 0.14933333333333335,
      "grad_norm": 0.17946895956993103,
      "learning_rate": 0.00019705069124423966,
      "loss": 0.4847,
      "step": 56
    },
    {
      "epoch": 0.152,
      "grad_norm": 0.15529927611351013,
      "learning_rate": 0.00019686635944700463,
      "loss": 0.4338,
      "step": 57
    },
    {
      "epoch": 0.15466666666666667,
      "grad_norm": 0.18879836797714233,
      "learning_rate": 0.0001966820276497696,
      "loss": 0.5359,
      "step": 58
    },
    {
      "epoch": 0.15733333333333333,
      "grad_norm": 0.12355278432369232,
      "learning_rate": 0.00019649769585253457,
      "loss": 0.3539,
      "step": 59
    },
    {
      "epoch": 0.16,
      "grad_norm": 0.1591000109910965,
      "learning_rate": 0.00019631336405529954,
      "loss": 0.436,
      "step": 60
    },
    {
      "epoch": 0.16266666666666665,
      "grad_norm": 0.19238081574440002,
      "learning_rate": 0.0001961290322580645,
      "loss": 0.5082,
      "step": 61
    },
    {
      "epoch": 0.16533333333333333,
      "grad_norm": 0.12826350331306458,
      "learning_rate": 0.0001959447004608295,
      "loss": 0.3597,
      "step": 62
    },
    {
      "epoch": 0.168,
      "grad_norm": 0.16202542185783386,
      "learning_rate": 0.00019576036866359448,
      "loss": 0.4477,
      "step": 63
    },
    {
      "epoch": 0.17066666666666666,
      "grad_norm": 0.1811097115278244,
      "learning_rate": 0.00019557603686635945,
      "loss": 0.486,
      "step": 64
    },
    {
      "epoch": 0.17333333333333334,
      "grad_norm": 0.1537872850894928,
      "learning_rate": 0.00019539170506912442,
      "loss": 0.3969,
      "step": 65
    },
    {
      "epoch": 0.176,
      "grad_norm": 0.16730304062366486,
      "learning_rate": 0.0001952073732718894,
      "loss": 0.4754,
      "step": 66
    },
    {
      "epoch": 0.17866666666666667,
      "grad_norm": 0.15688396990299225,
      "learning_rate": 0.00019502304147465436,
      "loss": 0.4211,
      "step": 67
    },
    {
      "epoch": 0.18133333333333335,
      "grad_norm": 0.15763093531131744,
      "learning_rate": 0.00019483870967741936,
      "loss": 0.4411,
      "step": 68
    },
    {
      "epoch": 0.184,
      "grad_norm": 0.17456284165382385,
      "learning_rate": 0.00019465437788018433,
      "loss": 0.5103,
      "step": 69
    },
    {
      "epoch": 0.18666666666666668,
      "grad_norm": 0.13075074553489685,
      "learning_rate": 0.00019447004608294933,
      "loss": 0.3768,
      "step": 70
    },
    {
      "epoch": 0.18933333333333333,
      "grad_norm": 0.14194084703922272,
      "learning_rate": 0.0001942857142857143,
      "loss": 0.4023,
      "step": 71
    },
    {
      "epoch": 0.192,
      "grad_norm": 0.1684679538011551,
      "learning_rate": 0.00019410138248847927,
      "loss": 0.4368,
      "step": 72
    },
    {
      "epoch": 0.19466666666666665,
      "grad_norm": 0.1637965440750122,
      "learning_rate": 0.00019391705069124425,
      "loss": 0.4172,
      "step": 73
    },
    {
      "epoch": 0.19733333333333333,
      "grad_norm": 0.13393600285053253,
      "learning_rate": 0.00019373271889400924,
      "loss": 0.3464,
      "step": 74
    },
    {
      "epoch": 0.2,
      "grad_norm": 0.160029336810112,
      "learning_rate": 0.00019354838709677422,
      "loss": 0.4253,
      "step": 75
    },
    {
      "epoch": 0.20266666666666666,
      "grad_norm": 0.14201787114143372,
      "learning_rate": 0.00019336405529953919,
      "loss": 0.3711,
      "step": 76
    },
    {
      "epoch": 0.20533333333333334,
      "grad_norm": 0.1976029872894287,
      "learning_rate": 0.00019317972350230416,
      "loss": 0.5179,
      "step": 77
    },
    {
      "epoch": 0.208,
      "grad_norm": 0.1669568419456482,
      "learning_rate": 0.00019299539170506913,
      "loss": 0.435,
      "step": 78
    },
    {
      "epoch": 0.21066666666666667,
      "grad_norm": 0.15705814957618713,
      "learning_rate": 0.0001928110599078341,
      "loss": 0.4277,
      "step": 79
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 0.171238973736763,
      "learning_rate": 0.0001926267281105991,
      "loss": 0.4447,
      "step": 80
    },
    {
      "epoch": 0.216,
      "grad_norm": 0.18211324512958527,
      "learning_rate": 0.00019244239631336407,
      "loss": 0.4871,
      "step": 81
    },
    {
      "epoch": 0.21866666666666668,
      "grad_norm": 0.17166893184185028,
      "learning_rate": 0.00019225806451612904,
      "loss": 0.4585,
      "step": 82
    },
    {
      "epoch": 0.22133333333333333,
      "grad_norm": 0.13666407763957977,
      "learning_rate": 0.000192073732718894,
      "loss": 0.3296,
      "step": 83
    },
    {
      "epoch": 0.224,
      "grad_norm": 0.14897605776786804,
      "learning_rate": 0.00019188940092165898,
      "loss": 0.419,
      "step": 84
    },
    {
      "epoch": 0.22666666666666666,
      "grad_norm": 0.18019717931747437,
      "learning_rate": 0.00019170506912442395,
      "loss": 0.4178,
      "step": 85
    },
    {
      "epoch": 0.22933333333333333,
      "grad_norm": 0.11701514571905136,
      "learning_rate": 0.00019152073732718895,
      "loss": 0.2964,
      "step": 86
    },
    {
      "epoch": 0.232,
      "grad_norm": 0.178730309009552,
      "learning_rate": 0.00019133640552995392,
      "loss": 0.44,
      "step": 87
    },
    {
      "epoch": 0.23466666666666666,
      "grad_norm": 0.19901369512081146,
      "learning_rate": 0.0001911520737327189,
      "loss": 0.4994,
      "step": 88
    },
    {
      "epoch": 0.23733333333333334,
      "grad_norm": 0.17634202539920807,
      "learning_rate": 0.0001909677419354839,
      "loss": 0.4579,
      "step": 89
    },
    {
      "epoch": 0.24,
      "grad_norm": 0.1528671830892563,
      "learning_rate": 0.00019078341013824886,
      "loss": 0.4276,
      "step": 90
    },
    {
      "epoch": 0.24266666666666667,
      "grad_norm": 0.17885848879814148,
      "learning_rate": 0.00019059907834101383,
      "loss": 0.4692,
      "step": 91
    },
    {
      "epoch": 0.24533333333333332,
      "grad_norm": 0.18216568231582642,
      "learning_rate": 0.00019041474654377883,
      "loss": 0.4661,
      "step": 92
    },
    {
      "epoch": 0.248,
      "grad_norm": 0.14913441240787506,
      "learning_rate": 0.0001902304147465438,
      "loss": 0.4069,
      "step": 93
    },
    {
      "epoch": 0.25066666666666665,
      "grad_norm": 0.14006248116493225,
      "learning_rate": 0.00019004608294930877,
      "loss": 0.3241,
      "step": 94
    },
    {
      "epoch": 0.25333333333333335,
      "grad_norm": 0.17819872498512268,
      "learning_rate": 0.00018986175115207375,
      "loss": 0.4391,
      "step": 95
    },
    {
      "epoch": 0.256,
      "grad_norm": 0.14914186298847198,
      "learning_rate": 0.00018967741935483872,
      "loss": 0.3717,
      "step": 96
    },
    {
      "epoch": 0.25866666666666666,
      "grad_norm": 0.16637903451919556,
      "learning_rate": 0.0001894930875576037,
      "loss": 0.4084,
      "step": 97
    },
    {
      "epoch": 0.2613333333333333,
      "grad_norm": 0.17099635303020477,
      "learning_rate": 0.00018930875576036869,
      "loss": 0.4276,
      "step": 98
    },
    {
      "epoch": 0.264,
      "grad_norm": 0.16819758713245392,
      "learning_rate": 0.00018912442396313366,
      "loss": 0.4467,
      "step": 99
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 0.16596156358718872,
      "learning_rate": 0.00018894009216589863,
      "loss": 0.4514,
      "step": 100
    },
    {
      "epoch": 0.2693333333333333,
      "grad_norm": 0.16137051582336426,
      "learning_rate": 0.0001887557603686636,
      "loss": 0.4481,
      "step": 101
    },
    {
      "epoch": 0.272,
      "grad_norm": 0.17070400714874268,
      "learning_rate": 0.00018857142857142857,
      "loss": 0.4799,
      "step": 102
    },
    {
      "epoch": 0.27466666666666667,
      "grad_norm": 0.1253652125597,
      "learning_rate": 0.00018838709677419354,
      "loss": 0.3078,
      "step": 103
    },
    {
      "epoch": 0.2773333333333333,
      "grad_norm": 0.16735614836215973,
      "learning_rate": 0.0001882027649769585,
      "loss": 0.4204,
      "step": 104
    },
    {
      "epoch": 0.28,
      "grad_norm": 0.16524048149585724,
      "learning_rate": 0.0001880184331797235,
      "loss": 0.4001,
      "step": 105
    },
    {
      "epoch": 0.2826666666666667,
      "grad_norm": 0.1721852570772171,
      "learning_rate": 0.00018783410138248848,
      "loss": 0.4256,
      "step": 106
    },
    {
      "epoch": 0.2853333333333333,
      "grad_norm": 0.18015016615390778,
      "learning_rate": 0.00018764976958525345,
      "loss": 0.4357,
      "step": 107
    },
    {
      "epoch": 0.288,
      "grad_norm": 0.11961845308542252,
      "learning_rate": 0.00018746543778801845,
      "loss": 0.3225,
      "step": 108
    },
    {
      "epoch": 0.2906666666666667,
      "grad_norm": 0.15067099034786224,
      "learning_rate": 0.00018728110599078342,
      "loss": 0.3627,
      "step": 109
    },
    {
      "epoch": 0.29333333333333333,
      "grad_norm": 0.15339131653308868,
      "learning_rate": 0.0001870967741935484,
      "loss": 0.3721,
      "step": 110
    },
    {
      "epoch": 0.296,
      "grad_norm": 0.18400989472866058,
      "learning_rate": 0.0001869124423963134,
      "loss": 0.4597,
      "step": 111
    },
    {
      "epoch": 0.2986666666666667,
      "grad_norm": 0.16479958593845367,
      "learning_rate": 0.00018672811059907836,
      "loss": 0.4118,
      "step": 112
    },
    {
      "epoch": 0.30133333333333334,
      "grad_norm": 0.17011751234531403,
      "learning_rate": 0.00018654377880184333,
      "loss": 0.4262,
      "step": 113
    },
    {
      "epoch": 0.304,
      "grad_norm": 0.1493382602930069,
      "learning_rate": 0.0001863594470046083,
      "loss": 0.3703,
      "step": 114
    },
    {
      "epoch": 0.30666666666666664,
      "grad_norm": 0.1860666126012802,
      "learning_rate": 0.00018617511520737328,
      "loss": 0.4457,
      "step": 115
    },
    {
      "epoch": 0.30933333333333335,
      "grad_norm": 0.1524077206850052,
      "learning_rate": 0.00018599078341013825,
      "loss": 0.3729,
      "step": 116
    },
    {
      "epoch": 0.312,
      "grad_norm": 0.17037904262542725,
      "learning_rate": 0.00018580645161290325,
      "loss": 0.4107,
      "step": 117
    },
    {
      "epoch": 0.31466666666666665,
      "grad_norm": 0.18302559852600098,
      "learning_rate": 0.00018562211981566822,
      "loss": 0.4487,
      "step": 118
    },
    {
      "epoch": 0.31733333333333336,
      "grad_norm": 0.17528630793094635,
      "learning_rate": 0.0001854377880184332,
      "loss": 0.4688,
      "step": 119
    },
    {
      "epoch": 0.32,
      "grad_norm": 0.14254267513751984,
      "learning_rate": 0.00018525345622119816,
      "loss": 0.3642,
      "step": 120
    },
    {
      "epoch": 0.32266666666666666,
      "grad_norm": 0.15180109441280365,
      "learning_rate": 0.00018506912442396313,
      "loss": 0.4103,
      "step": 121
    },
    {
      "epoch": 0.3253333333333333,
      "grad_norm": 0.17394393682479858,
      "learning_rate": 0.0001848847926267281,
      "loss": 0.431,
      "step": 122
    },
    {
      "epoch": 0.328,
      "grad_norm": 0.17153407633304596,
      "learning_rate": 0.0001847004608294931,
      "loss": 0.4114,
      "step": 123
    },
    {
      "epoch": 0.33066666666666666,
      "grad_norm": 0.1269201636314392,
      "learning_rate": 0.00018451612903225807,
      "loss": 0.3106,
      "step": 124
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 0.17708918452262878,
      "learning_rate": 0.00018433179723502304,
      "loss": 0.425,
      "step": 125
    },
    {
      "epoch": 0.336,
      "grad_norm": 0.14768198132514954,
      "learning_rate": 0.000184147465437788,
      "loss": 0.3671,
      "step": 126
    },
    {
      "epoch": 0.33866666666666667,
      "grad_norm": 0.14497029781341553,
      "learning_rate": 0.000183963133640553,
      "loss": 0.3541,
      "step": 127
    },
    {
      "epoch": 0.3413333333333333,
      "grad_norm": 0.16288724541664124,
      "learning_rate": 0.00018377880184331798,
      "loss": 0.401,
      "step": 128
    },
    {
      "epoch": 0.344,
      "grad_norm": 0.16115567088127136,
      "learning_rate": 0.00018359447004608298,
      "loss": 0.3901,
      "step": 129
    },
    {
      "epoch": 0.3466666666666667,
      "grad_norm": 0.1626514345407486,
      "learning_rate": 0.00018341013824884795,
      "loss": 0.3974,
      "step": 130
    },
    {
      "epoch": 0.34933333333333333,
      "grad_norm": 0.17566069960594177,
      "learning_rate": 0.00018322580645161292,
      "loss": 0.4441,
      "step": 131
    },
    {
      "epoch": 0.352,
      "grad_norm": 0.15314380824565887,
      "learning_rate": 0.0001830414746543779,
      "loss": 0.3879,
      "step": 132
    },
    {
      "epoch": 0.3546666666666667,
      "grad_norm": 0.17474164068698883,
      "learning_rate": 0.00018285714285714286,
      "loss": 0.4216,
      "step": 133
    },
    {
      "epoch": 0.35733333333333334,
      "grad_norm": 0.16597336530685425,
      "learning_rate": 0.00018267281105990784,
      "loss": 0.4064,
      "step": 134
    },
    {
      "epoch": 0.36,
      "grad_norm": 0.1585386097431183,
      "learning_rate": 0.00018248847926267283,
      "loss": 0.3648,
      "step": 135
    },
    {
      "epoch": 0.3626666666666667,
      "grad_norm": 0.15614689886569977,
      "learning_rate": 0.0001823041474654378,
      "loss": 0.3763,
      "step": 136
    },
    {
      "epoch": 0.36533333333333334,
      "grad_norm": 0.17746753990650177,
      "learning_rate": 0.00018211981566820278,
      "loss": 0.4342,
      "step": 137
    },
    {
      "epoch": 0.368,
      "grad_norm": 0.14107246696949005,
      "learning_rate": 0.00018193548387096775,
      "loss": 0.3201,
      "step": 138
    },
    {
      "epoch": 0.37066666666666664,
      "grad_norm": 0.18644823133945465,
      "learning_rate": 0.00018175115207373272,
      "loss": 0.4427,
      "step": 139
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 0.1781357079744339,
      "learning_rate": 0.0001815668202764977,
      "loss": 0.4406,
      "step": 140
    },
    {
      "epoch": 0.376,
      "grad_norm": 0.19284285604953766,
      "learning_rate": 0.0001813824884792627,
      "loss": 0.4717,
      "step": 141
    },
    {
      "epoch": 0.37866666666666665,
      "grad_norm": 0.17701680958271027,
      "learning_rate": 0.00018119815668202766,
      "loss": 0.4465,
      "step": 142
    },
    {
      "epoch": 0.38133333333333336,
      "grad_norm": 0.15814925730228424,
      "learning_rate": 0.00018101382488479263,
      "loss": 0.3935,
      "step": 143
    },
    {
      "epoch": 0.384,
      "grad_norm": 0.18513131141662598,
      "learning_rate": 0.0001808294930875576,
      "loss": 0.4571,
      "step": 144
    },
    {
      "epoch": 0.38666666666666666,
      "grad_norm": 0.1542840451002121,
      "learning_rate": 0.00018064516129032257,
      "loss": 0.3723,
      "step": 145
    },
    {
      "epoch": 0.3893333333333333,
      "grad_norm": 0.18084360659122467,
      "learning_rate": 0.00018046082949308757,
      "loss": 0.4772,
      "step": 146
    },
    {
      "epoch": 0.392,
      "grad_norm": 0.16495780646800995,
      "learning_rate": 0.00018027649769585254,
      "loss": 0.4235,
      "step": 147
    },
    {
      "epoch": 0.39466666666666667,
      "grad_norm": 0.17143410444259644,
      "learning_rate": 0.00018009216589861754,
      "loss": 0.412,
      "step": 148
    },
    {
      "epoch": 0.3973333333333333,
      "grad_norm": 0.15966279804706573,
      "learning_rate": 0.0001799078341013825,
      "loss": 0.3773,
      "step": 149
    },
    {
      "epoch": 0.4,
      "grad_norm": 0.17885254323482513,
      "learning_rate": 0.00017972350230414748,
      "loss": 0.4526,
      "step": 150
    },
    {
      "epoch": 0.4026666666666667,
      "grad_norm": 0.14771834015846252,
      "learning_rate": 0.00017953917050691245,
      "loss": 0.3577,
      "step": 151
    },
    {
      "epoch": 0.4053333333333333,
      "grad_norm": 0.19173817336559296,
      "learning_rate": 0.00017935483870967742,
      "loss": 0.4465,
      "step": 152
    },
    {
      "epoch": 0.408,
      "grad_norm": 0.15796253085136414,
      "learning_rate": 0.00017917050691244242,
      "loss": 0.389,
      "step": 153
    },
    {
      "epoch": 0.4106666666666667,
      "grad_norm": 0.19969353079795837,
      "learning_rate": 0.0001789861751152074,
      "loss": 0.4537,
      "step": 154
    },
    {
      "epoch": 0.41333333333333333,
      "grad_norm": 0.17320533096790314,
      "learning_rate": 0.00017880184331797236,
      "loss": 0.4191,
      "step": 155
    },
    {
      "epoch": 0.416,
      "grad_norm": 0.13411633670330048,
      "learning_rate": 0.00017861751152073734,
      "loss": 0.3375,
      "step": 156
    },
    {
      "epoch": 0.4186666666666667,
      "grad_norm": 0.15305060148239136,
      "learning_rate": 0.0001784331797235023,
      "loss": 0.3905,
      "step": 157
    },
    {
      "epoch": 0.42133333333333334,
      "grad_norm": 0.1757674217224121,
      "learning_rate": 0.00017824884792626728,
      "loss": 0.4461,
      "step": 158
    },
    {
      "epoch": 0.424,
      "grad_norm": 0.17182041704654694,
      "learning_rate": 0.00017806451612903228,
      "loss": 0.4341,
      "step": 159
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 0.16976647078990936,
      "learning_rate": 0.00017788018433179725,
      "loss": 0.4369,
      "step": 160
    },
    {
      "epoch": 0.42933333333333334,
      "grad_norm": 0.15003015100955963,
      "learning_rate": 0.00017769585253456222,
      "loss": 0.3677,
      "step": 161
    },
    {
      "epoch": 0.432,
      "grad_norm": 0.15240909159183502,
      "learning_rate": 0.0001775115207373272,
      "loss": 0.3564,
      "step": 162
    },
    {
      "epoch": 0.43466666666666665,
      "grad_norm": 0.12969525158405304,
      "learning_rate": 0.00017732718894009216,
      "loss": 0.306,
      "step": 163
    },
    {
      "epoch": 0.43733333333333335,
      "grad_norm": 0.18351611495018005,
      "learning_rate": 0.00017714285714285713,
      "loss": 0.4116,
      "step": 164
    },
    {
      "epoch": 0.44,
      "grad_norm": 0.1526956856250763,
      "learning_rate": 0.00017695852534562213,
      "loss": 0.3528,
      "step": 165
    },
    {
      "epoch": 0.44266666666666665,
      "grad_norm": 0.15024355053901672,
      "learning_rate": 0.0001767741935483871,
      "loss": 0.3712,
      "step": 166
    },
    {
      "epoch": 0.44533333333333336,
      "grad_norm": 0.15281909704208374,
      "learning_rate": 0.0001765898617511521,
      "loss": 0.3551,
      "step": 167
    },
    {
      "epoch": 0.448,
      "grad_norm": 0.1667689085006714,
      "learning_rate": 0.00017640552995391707,
      "loss": 0.3865,
      "step": 168
    },
    {
      "epoch": 0.45066666666666666,
      "grad_norm": 0.103152796626091,
      "learning_rate": 0.00017622119815668204,
      "loss": 0.2435,
      "step": 169
    },
    {
      "epoch": 0.4533333333333333,
      "grad_norm": 0.1343197375535965,
      "learning_rate": 0.000176036866359447,
      "loss": 0.3289,
      "step": 170
    },
    {
      "epoch": 0.456,
      "grad_norm": 0.1691158562898636,
      "learning_rate": 0.00017585253456221198,
      "loss": 0.3897,
      "step": 171
    },
    {
      "epoch": 0.45866666666666667,
      "grad_norm": 0.16926874220371246,
      "learning_rate": 0.00017566820276497698,
      "loss": 0.4109,
      "step": 172
    },
    {
      "epoch": 0.4613333333333333,
      "grad_norm": 0.14672289788722992,
      "learning_rate": 0.00017548387096774195,
      "loss": 0.3582,
      "step": 173
    },
    {
      "epoch": 0.464,
      "grad_norm": 0.17479246854782104,
      "learning_rate": 0.00017529953917050692,
      "loss": 0.4371,
      "step": 174
    },
    {
      "epoch": 0.4666666666666667,
      "grad_norm": 0.15855465829372406,
      "learning_rate": 0.0001751152073732719,
      "loss": 0.3856,
      "step": 175
    },
    {
      "epoch": 0.4693333333333333,
      "grad_norm": 0.14391499757766724,
      "learning_rate": 0.00017493087557603687,
      "loss": 0.3245,
      "step": 176
    },
    {
      "epoch": 0.472,
      "grad_norm": 0.16085828840732574,
      "learning_rate": 0.00017474654377880184,
      "loss": 0.366,
      "step": 177
    },
    {
      "epoch": 0.4746666666666667,
      "grad_norm": 0.19197571277618408,
      "learning_rate": 0.00017456221198156684,
      "loss": 0.4311,
      "step": 178
    },
    {
      "epoch": 0.47733333333333333,
      "grad_norm": 0.17153812944889069,
      "learning_rate": 0.0001743778801843318,
      "loss": 0.4236,
      "step": 179
    },
    {
      "epoch": 0.48,
      "grad_norm": 0.17264418303966522,
      "learning_rate": 0.00017419354838709678,
      "loss": 0.4349,
      "step": 180
    },
    {
      "epoch": 0.4826666666666667,
      "grad_norm": 0.1292308270931244,
      "learning_rate": 0.00017400921658986175,
      "loss": 0.3148,
      "step": 181
    },
    {
      "epoch": 0.48533333333333334,
      "grad_norm": 0.16159938275814056,
      "learning_rate": 0.00017382488479262672,
      "loss": 0.418,
      "step": 182
    },
    {
      "epoch": 0.488,
      "grad_norm": 0.16956357657909393,
      "learning_rate": 0.0001736405529953917,
      "loss": 0.4,
      "step": 183
    },
    {
      "epoch": 0.49066666666666664,
      "grad_norm": 0.18391053378582,
      "learning_rate": 0.0001734562211981567,
      "loss": 0.4406,
      "step": 184
    },
    {
      "epoch": 0.49333333333333335,
      "grad_norm": 0.1496499478816986,
      "learning_rate": 0.00017327188940092166,
      "loss": 0.378,
      "step": 185
    },
    {
      "epoch": 0.496,
      "grad_norm": 0.1665787696838379,
      "learning_rate": 0.00017308755760368666,
      "loss": 0.3853,
      "step": 186
    },
    {
      "epoch": 0.49866666666666665,
      "grad_norm": 0.20489759743213654,
      "learning_rate": 0.00017290322580645163,
      "loss": 0.4377,
      "step": 187
    },
    {
      "epoch": 0.5013333333333333,
      "grad_norm": 0.14827361702919006,
      "learning_rate": 0.0001727188940092166,
      "loss": 0.3546,
      "step": 188
    },
    {
      "epoch": 0.504,
      "grad_norm": 0.15462061762809753,
      "learning_rate": 0.00017253456221198157,
      "loss": 0.349,
      "step": 189
    },
    {
      "epoch": 0.5066666666666667,
      "grad_norm": 0.15933746099472046,
      "learning_rate": 0.00017235023041474657,
      "loss": 0.3949,
      "step": 190
    },
    {
      "epoch": 0.5093333333333333,
      "grad_norm": 0.1423114538192749,
      "learning_rate": 0.00017216589861751154,
      "loss": 0.3282,
      "step": 191
    },
    {
      "epoch": 0.512,
      "grad_norm": 0.15322059392929077,
      "learning_rate": 0.0001719815668202765,
      "loss": 0.3708,
      "step": 192
    },
    {
      "epoch": 0.5146666666666667,
      "grad_norm": 0.14829488098621368,
      "learning_rate": 0.00017179723502304148,
      "loss": 0.3686,
      "step": 193
    },
    {
      "epoch": 0.5173333333333333,
      "grad_norm": 0.18233701586723328,
      "learning_rate": 0.00017161290322580645,
      "loss": 0.4355,
      "step": 194
    },
    {
      "epoch": 0.52,
      "grad_norm": 0.1339682787656784,
      "learning_rate": 0.00017142857142857143,
      "loss": 0.3366,
      "step": 195
    },
    {
      "epoch": 0.5226666666666666,
      "grad_norm": 0.19841143488883972,
      "learning_rate": 0.00017124423963133642,
      "loss": 0.4227,
      "step": 196
    },
    {
      "epoch": 0.5253333333333333,
      "grad_norm": 0.14212489128112793,
      "learning_rate": 0.0001710599078341014,
      "loss": 0.3427,
      "step": 197
    },
    {
      "epoch": 0.528,
      "grad_norm": 0.173259899020195,
      "learning_rate": 0.00017087557603686637,
      "loss": 0.3791,
      "step": 198
    },
    {
      "epoch": 0.5306666666666666,
      "grad_norm": 0.15233451128005981,
      "learning_rate": 0.00017069124423963134,
      "loss": 0.3414,
      "step": 199
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 0.17846983671188354,
      "learning_rate": 0.0001705069124423963,
      "loss": 0.4373,
      "step": 200
    },
    {
      "epoch": 0.536,
      "grad_norm": 0.1585446149110794,
      "learning_rate": 0.00017032258064516128,
      "loss": 0.3765,
      "step": 201
    },
    {
      "epoch": 0.5386666666666666,
      "grad_norm": 0.13464581966400146,
      "learning_rate": 0.00017013824884792628,
      "loss": 0.3006,
      "step": 202
    },
    {
      "epoch": 0.5413333333333333,
      "grad_norm": 0.14662134647369385,
      "learning_rate": 0.00016995391705069125,
      "loss": 0.3567,
      "step": 203
    },
    {
      "epoch": 0.544,
      "grad_norm": 0.15118283033370972,
      "learning_rate": 0.00016976958525345622,
      "loss": 0.3475,
      "step": 204
    },
    {
      "epoch": 0.5466666666666666,
      "grad_norm": 0.17972949147224426,
      "learning_rate": 0.00016958525345622122,
      "loss": 0.4418,
      "step": 205
    },
    {
      "epoch": 0.5493333333333333,
      "grad_norm": 0.14408893883228302,
      "learning_rate": 0.0001694009216589862,
      "loss": 0.3507,
      "step": 206
    },
    {
      "epoch": 0.552,
      "grad_norm": 0.13158614933490753,
      "learning_rate": 0.00016921658986175116,
      "loss": 0.3166,
      "step": 207
    },
    {
      "epoch": 0.5546666666666666,
      "grad_norm": 0.15383560955524445,
      "learning_rate": 0.00016903225806451616,
      "loss": 0.329,
      "step": 208
    },
    {
      "epoch": 0.5573333333333333,
      "grad_norm": 0.15465512871742249,
      "learning_rate": 0.00016884792626728113,
      "loss": 0.3615,
      "step": 209
    },
    {
      "epoch": 0.56,
      "grad_norm": 0.15681861340999603,
      "learning_rate": 0.0001686635944700461,
      "loss": 0.3466,
      "step": 210
    },
    {
      "epoch": 0.5626666666666666,
      "grad_norm": 0.1434970200061798,
      "learning_rate": 0.00016847926267281107,
      "loss": 0.3278,
      "step": 211
    },
    {
      "epoch": 0.5653333333333334,
      "grad_norm": 0.15641628205776215,
      "learning_rate": 0.00016829493087557604,
      "loss": 0.3569,
      "step": 212
    },
    {
      "epoch": 0.568,
      "grad_norm": 0.1346403956413269,
      "learning_rate": 0.000168110599078341,
      "loss": 0.3148,
      "step": 213
    },
    {
      "epoch": 0.5706666666666667,
      "grad_norm": 0.15052050352096558,
      "learning_rate": 0.000167926267281106,
      "loss": 0.366,
      "step": 214
    },
    {
      "epoch": 0.5733333333333334,
      "grad_norm": 0.1652543991804123,
      "learning_rate": 0.00016774193548387098,
      "loss": 0.378,
      "step": 215
    },
    {
      "epoch": 0.576,
      "grad_norm": 0.1317535787820816,
      "learning_rate": 0.00016755760368663595,
      "loss": 0.3063,
      "step": 216
    },
    {
      "epoch": 0.5786666666666667,
      "grad_norm": 0.16040165722370148,
      "learning_rate": 0.00016737327188940092,
      "loss": 0.3696,
      "step": 217
    },
    {
      "epoch": 0.5813333333333334,
      "grad_norm": 0.16351503133773804,
      "learning_rate": 0.0001671889400921659,
      "loss": 0.3619,
      "step": 218
    },
    {
      "epoch": 0.584,
      "grad_norm": 0.1512780487537384,
      "learning_rate": 0.00016700460829493087,
      "loss": 0.3553,
      "step": 219
    },
    {
      "epoch": 0.5866666666666667,
      "grad_norm": 0.1684075891971588,
      "learning_rate": 0.00016682027649769587,
      "loss": 0.4111,
      "step": 220
    },
    {
      "epoch": 0.5893333333333334,
      "grad_norm": 0.17556628584861755,
      "learning_rate": 0.00016663594470046084,
      "loss": 0.3937,
      "step": 221
    },
    {
      "epoch": 0.592,
      "grad_norm": 0.1315503865480423,
      "learning_rate": 0.0001664516129032258,
      "loss": 0.2994,
      "step": 222
    },
    {
      "epoch": 0.5946666666666667,
      "grad_norm": 0.1683577597141266,
      "learning_rate": 0.00016626728110599078,
      "loss": 0.3825,
      "step": 223
    },
    {
      "epoch": 0.5973333333333334,
      "grad_norm": 0.13307073712348938,
      "learning_rate": 0.00016608294930875578,
      "loss": 0.3101,
      "step": 224
    },
    {
      "epoch": 0.6,
      "grad_norm": 0.182749941945076,
      "learning_rate": 0.00016589861751152075,
      "loss": 0.4399,
      "step": 225
    },
    {
      "epoch": 0.6026666666666667,
      "grad_norm": 0.13908226788043976,
      "learning_rate": 0.00016571428571428575,
      "loss": 0.2907,
      "step": 226
    },
    {
      "epoch": 0.6053333333333333,
      "grad_norm": 0.1431780457496643,
      "learning_rate": 0.00016552995391705072,
      "loss": 0.3256,
      "step": 227
    },
    {
      "epoch": 0.608,
      "grad_norm": 0.1415647268295288,
      "learning_rate": 0.0001653456221198157,
      "loss": 0.3539,
      "step": 228
    },
    {
      "epoch": 0.6106666666666667,
      "grad_norm": 0.16500137746334076,
      "learning_rate": 0.00016516129032258066,
      "loss": 0.3995,
      "step": 229
    },
    {
      "epoch": 0.6133333333333333,
      "grad_norm": 0.14294126629829407,
      "learning_rate": 0.00016497695852534563,
      "loss": 0.3516,
      "step": 230
    },
    {
      "epoch": 0.616,
      "grad_norm": 0.16912704706192017,
      "learning_rate": 0.0001647926267281106,
      "loss": 0.3701,
      "step": 231
    },
    {
      "epoch": 0.6186666666666667,
      "grad_norm": 0.171602264046669,
      "learning_rate": 0.00016460829493087557,
      "loss": 0.3902,
      "step": 232
    },
    {
      "epoch": 0.6213333333333333,
      "grad_norm": 0.139840230345726,
      "learning_rate": 0.00016442396313364057,
      "loss": 0.3207,
      "step": 233
    },
    {
      "epoch": 0.624,
      "grad_norm": 0.1817532330751419,
      "learning_rate": 0.00016423963133640554,
      "loss": 0.3992,
      "step": 234
    },
    {
      "epoch": 0.6266666666666667,
      "grad_norm": 0.15684981644153595,
      "learning_rate": 0.0001640552995391705,
      "loss": 0.3728,
      "step": 235
    },
    {
      "epoch": 0.6293333333333333,
      "grad_norm": 0.1692310869693756,
      "learning_rate": 0.00016387096774193548,
      "loss": 0.3749,
      "step": 236
    },
    {
      "epoch": 0.632,
      "grad_norm": 0.15905971825122833,
      "learning_rate": 0.00016368663594470046,
      "loss": 0.3447,
      "step": 237
    },
    {
      "epoch": 0.6346666666666667,
      "grad_norm": 0.1193050667643547,
      "learning_rate": 0.00016350230414746543,
      "loss": 0.2671,
      "step": 238
    },
    {
      "epoch": 0.6373333333333333,
      "grad_norm": 0.15694352984428406,
      "learning_rate": 0.00016331797235023042,
      "loss": 0.3459,
      "step": 239
    },
    {
      "epoch": 0.64,
      "grad_norm": 0.17581601440906525,
      "learning_rate": 0.0001631336405529954,
      "loss": 0.3871,
      "step": 240
    },
    {
      "epoch": 0.6426666666666667,
      "grad_norm": 0.15232494473457336,
      "learning_rate": 0.00016294930875576037,
      "loss": 0.3693,
      "step": 241
    },
    {
      "epoch": 0.6453333333333333,
      "grad_norm": 0.1606399416923523,
      "learning_rate": 0.00016276497695852534,
      "loss": 0.381,
      "step": 242
    },
    {
      "epoch": 0.648,
      "grad_norm": 0.1719520092010498,
      "learning_rate": 0.00016258064516129034,
      "loss": 0.3592,
      "step": 243
    },
    {
      "epoch": 0.6506666666666666,
      "grad_norm": 0.16019819676876068,
      "learning_rate": 0.0001623963133640553,
      "loss": 0.3744,
      "step": 244
    },
    {
      "epoch": 0.6533333333333333,
      "grad_norm": 0.17567366361618042,
      "learning_rate": 0.0001622119815668203,
      "loss": 0.3805,
      "step": 245
    },
    {
      "epoch": 0.656,
      "grad_norm": 0.14169426262378693,
      "learning_rate": 0.00016202764976958528,
      "loss": 0.3137,
      "step": 246
    },
    {
      "epoch": 0.6586666666666666,
      "grad_norm": 0.14895136654376984,
      "learning_rate": 0.00016184331797235025,
      "loss": 0.3569,
      "step": 247
    },
    {
      "epoch": 0.6613333333333333,
      "grad_norm": 0.16148167848587036,
      "learning_rate": 0.00016165898617511522,
      "loss": 0.3638,
      "step": 248
    },
    {
      "epoch": 0.664,
      "grad_norm": 0.16838644444942474,
      "learning_rate": 0.0001614746543778802,
      "loss": 0.388,
      "step": 249
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 0.15224848687648773,
      "learning_rate": 0.00016129032258064516,
      "loss": 0.3545,
      "step": 250
    },
    {
      "epoch": 0.6693333333333333,
      "grad_norm": 0.16191022098064423,
      "learning_rate": 0.00016110599078341016,
      "loss": 0.3816,
      "step": 251
    },
    {
      "epoch": 0.672,
      "grad_norm": 0.1257759928703308,
      "learning_rate": 0.00016092165898617513,
      "loss": 0.2883,
      "step": 252
    },
    {
      "epoch": 0.6746666666666666,
      "grad_norm": 0.15058423578739166,
      "learning_rate": 0.0001607373271889401,
      "loss": 0.3538,
      "step": 253
    },
    {
      "epoch": 0.6773333333333333,
      "grad_norm": 0.16297395527362823,
      "learning_rate": 0.00016055299539170507,
      "loss": 0.3149,
      "step": 254
    },
    {
      "epoch": 0.68,
      "grad_norm": 0.13175536692142487,
      "learning_rate": 0.00016036866359447004,
      "loss": 0.2967,
      "step": 255
    },
    {
      "epoch": 0.6826666666666666,
      "grad_norm": 0.1673828512430191,
      "learning_rate": 0.00016018433179723501,
      "loss": 0.3832,
      "step": 256
    },
    {
      "epoch": 0.6853333333333333,
      "grad_norm": 0.1622629463672638,
      "learning_rate": 0.00016,
      "loss": 0.3682,
      "step": 257
    },
    {
      "epoch": 0.688,
      "grad_norm": 0.16801975667476654,
      "learning_rate": 0.00015981566820276498,
      "loss": 0.3816,
      "step": 258
    },
    {
      "epoch": 0.6906666666666667,
      "grad_norm": 0.16025444865226746,
      "learning_rate": 0.00015963133640552996,
      "loss": 0.4015,
      "step": 259
    },
    {
      "epoch": 0.6933333333333334,
      "grad_norm": 0.15624813735485077,
      "learning_rate": 0.00015944700460829493,
      "loss": 0.3423,
      "step": 260
    },
    {
      "epoch": 0.696,
      "grad_norm": 0.15024392306804657,
      "learning_rate": 0.0001592626728110599,
      "loss": 0.3559,
      "step": 261
    },
    {
      "epoch": 0.6986666666666667,
      "grad_norm": 0.13429264724254608,
      "learning_rate": 0.0001590783410138249,
      "loss": 0.3287,
      "step": 262
    },
    {
      "epoch": 0.7013333333333334,
      "grad_norm": 0.15059643983840942,
      "learning_rate": 0.00015889400921658987,
      "loss": 0.3721,
      "step": 263
    },
    {
      "epoch": 0.704,
      "grad_norm": 0.16725251078605652,
      "learning_rate": 0.00015870967741935487,
      "loss": 0.4083,
      "step": 264
    },
    {
      "epoch": 0.7066666666666667,
      "grad_norm": 0.17089051008224487,
      "learning_rate": 0.00015852534562211984,
      "loss": 0.3818,
      "step": 265
    },
    {
      "epoch": 0.7093333333333334,
      "grad_norm": 0.16191141307353973,
      "learning_rate": 0.0001583410138248848,
      "loss": 0.3877,
      "step": 266
    },
    {
      "epoch": 0.712,
      "grad_norm": 0.10652066022157669,
      "learning_rate": 0.00015815668202764978,
      "loss": 0.2472,
      "step": 267
    },
    {
      "epoch": 0.7146666666666667,
      "grad_norm": 0.14809884130954742,
      "learning_rate": 0.00015797235023041475,
      "loss": 0.3437,
      "step": 268
    },
    {
      "epoch": 0.7173333333333334,
      "grad_norm": 0.15298527479171753,
      "learning_rate": 0.00015778801843317975,
      "loss": 0.3451,
      "step": 269
    },
    {
      "epoch": 0.72,
      "grad_norm": 0.16368281841278076,
      "learning_rate": 0.00015760368663594472,
      "loss": 0.3707,
      "step": 270
    },
    {
      "epoch": 0.7226666666666667,
      "grad_norm": 0.16910625994205475,
      "learning_rate": 0.0001574193548387097,
      "loss": 0.3814,
      "step": 271
    },
    {
      "epoch": 0.7253333333333334,
      "grad_norm": 0.13161355257034302,
      "learning_rate": 0.00015723502304147466,
      "loss": 0.2906,
      "step": 272
    },
    {
      "epoch": 0.728,
      "grad_norm": 0.15623870491981506,
      "learning_rate": 0.00015705069124423963,
      "loss": 0.3569,
      "step": 273
    },
    {
      "epoch": 0.7306666666666667,
      "grad_norm": 0.1901761293411255,
      "learning_rate": 0.0001568663594470046,
      "loss": 0.4412,
      "step": 274
    },
    {
      "epoch": 0.7333333333333333,
      "grad_norm": 0.17372649908065796,
      "learning_rate": 0.0001566820276497696,
      "loss": 0.3818,
      "step": 275
    },
    {
      "epoch": 0.736,
      "grad_norm": 0.1698993593454361,
      "learning_rate": 0.00015649769585253457,
      "loss": 0.3946,
      "step": 276
    },
    {
      "epoch": 0.7386666666666667,
      "grad_norm": 0.1353125125169754,
      "learning_rate": 0.00015631336405529954,
      "loss": 0.3024,
      "step": 277
    },
    {
      "epoch": 0.7413333333333333,
      "grad_norm": 0.15039609372615814,
      "learning_rate": 0.00015612903225806451,
      "loss": 0.344,
      "step": 278
    },
    {
      "epoch": 0.744,
      "grad_norm": 0.14630864560604095,
      "learning_rate": 0.00015594470046082949,
      "loss": 0.3164,
      "step": 279
    },
    {
      "epoch": 0.7466666666666667,
      "grad_norm": 0.1768413931131363,
      "learning_rate": 0.00015576036866359446,
      "loss": 0.4039,
      "step": 280
    },
    {
      "epoch": 0.7493333333333333,
      "grad_norm": 0.18967677652835846,
      "learning_rate": 0.00015557603686635946,
      "loss": 0.3934,
      "step": 281
    },
    {
      "epoch": 0.752,
      "grad_norm": 0.1499478965997696,
      "learning_rate": 0.00015539170506912443,
      "loss": 0.3396,
      "step": 282
    },
    {
      "epoch": 0.7546666666666667,
      "grad_norm": 0.1615721583366394,
      "learning_rate": 0.00015520737327188942,
      "loss": 0.3923,
      "step": 283
    },
    {
      "epoch": 0.7573333333333333,
      "grad_norm": 0.18911497294902802,
      "learning_rate": 0.0001550230414746544,
      "loss": 0.4161,
      "step": 284
    },
    {
      "epoch": 0.76,
      "grad_norm": 0.1700778603553772,
      "learning_rate": 0.00015483870967741937,
      "loss": 0.3802,
      "step": 285
    },
    {
      "epoch": 0.7626666666666667,
      "grad_norm": 0.16611550748348236,
      "learning_rate": 0.00015465437788018434,
      "loss": 0.4055,
      "step": 286
    },
    {
      "epoch": 0.7653333333333333,
      "grad_norm": 0.11968239396810532,
      "learning_rate": 0.00015447004608294934,
      "loss": 0.2623,
      "step": 287
    },
    {
      "epoch": 0.768,
      "grad_norm": 0.14020052552223206,
      "learning_rate": 0.0001542857142857143,
      "loss": 0.3312,
      "step": 288
    },
    {
      "epoch": 0.7706666666666667,
      "grad_norm": 0.1645808219909668,
      "learning_rate": 0.00015410138248847928,
      "loss": 0.3723,
      "step": 289
    },
    {
      "epoch": 0.7733333333333333,
      "grad_norm": 0.14945979416370392,
      "learning_rate": 0.00015391705069124425,
      "loss": 0.3437,
      "step": 290
    },
    {
      "epoch": 0.776,
      "grad_norm": 0.15359844267368317,
      "learning_rate": 0.00015373271889400922,
      "loss": 0.3416,
      "step": 291
    },
    {
      "epoch": 0.7786666666666666,
      "grad_norm": 0.15382947027683258,
      "learning_rate": 0.0001535483870967742,
      "loss": 0.35,
      "step": 292
    },
    {
      "epoch": 0.7813333333333333,
      "grad_norm": 0.1751420497894287,
      "learning_rate": 0.0001533640552995392,
      "loss": 0.3934,
      "step": 293
    },
    {
      "epoch": 0.784,
      "grad_norm": 0.17973610758781433,
      "learning_rate": 0.00015317972350230416,
      "loss": 0.4028,
      "step": 294
    },
    {
      "epoch": 0.7866666666666666,
      "grad_norm": 0.13859035074710846,
      "learning_rate": 0.00015299539170506913,
      "loss": 0.2822,
      "step": 295
    },
    {
      "epoch": 0.7893333333333333,
      "grad_norm": 0.159519225358963,
      "learning_rate": 0.0001528110599078341,
      "loss": 0.3618,
      "step": 296
    },
    {
      "epoch": 0.792,
      "grad_norm": 0.1519719660282135,
      "learning_rate": 0.00015262672811059907,
      "loss": 0.3135,
      "step": 297
    },
    {
      "epoch": 0.7946666666666666,
      "grad_norm": 0.1638742834329605,
      "learning_rate": 0.00015244239631336405,
      "loss": 0.3436,
      "step": 298
    },
    {
      "epoch": 0.7973333333333333,
      "grad_norm": 0.16452346742153168,
      "learning_rate": 0.00015225806451612902,
      "loss": 0.3554,
      "step": 299
    },
    {
      "epoch": 0.8,
      "grad_norm": 0.1377478837966919,
      "learning_rate": 0.00015207373271889401,
      "loss": 0.316,
      "step": 300
    },
    {
      "epoch": 0.8026666666666666,
      "grad_norm": 0.14339123666286469,
      "learning_rate": 0.00015188940092165899,
      "loss": 0.3205,
      "step": 301
    },
    {
      "epoch": 0.8053333333333333,
      "grad_norm": 0.1550448089838028,
      "learning_rate": 0.00015170506912442398,
      "loss": 0.3596,
      "step": 302
    },
    {
      "epoch": 0.808,
      "grad_norm": 0.17551767826080322,
      "learning_rate": 0.00015152073732718895,
      "loss": 0.3962,
      "step": 303
    },
    {
      "epoch": 0.8106666666666666,
      "grad_norm": 0.12701982259750366,
      "learning_rate": 0.00015133640552995393,
      "loss": 0.3008,
      "step": 304
    },
    {
      "epoch": 0.8133333333333334,
      "grad_norm": 0.16174665093421936,
      "learning_rate": 0.0001511520737327189,
      "loss": 0.3806,
      "step": 305
    },
    {
      "epoch": 0.816,
      "grad_norm": 0.1501130908727646,
      "learning_rate": 0.0001509677419354839,
      "loss": 0.3329,
      "step": 306
    },
    {
      "epoch": 0.8186666666666667,
      "grad_norm": 0.1546219438314438,
      "learning_rate": 0.00015078341013824887,
      "loss": 0.35,
      "step": 307
    },
    {
      "epoch": 0.8213333333333334,
      "grad_norm": 0.15842264890670776,
      "learning_rate": 0.00015059907834101384,
      "loss": 0.3464,
      "step": 308
    },
    {
      "epoch": 0.824,
      "grad_norm": 0.15754717588424683,
      "learning_rate": 0.0001504147465437788,
      "loss": 0.3328,
      "step": 309
    },
    {
      "epoch": 0.8266666666666667,
      "grad_norm": 0.2010168433189392,
      "learning_rate": 0.00015023041474654378,
      "loss": 0.376,
      "step": 310
    },
    {
      "epoch": 0.8293333333333334,
      "grad_norm": 0.15599404275417328,
      "learning_rate": 0.00015004608294930875,
      "loss": 0.3522,
      "step": 311
    },
    {
      "epoch": 0.832,
      "grad_norm": 0.2657049298286438,
      "learning_rate": 0.00014986175115207375,
      "loss": 0.3294,
      "step": 312
    },
    {
      "epoch": 0.8346666666666667,
      "grad_norm": 0.16477878391742706,
      "learning_rate": 0.00014967741935483872,
      "loss": 0.3409,
      "step": 313
    },
    {
      "epoch": 0.8373333333333334,
      "grad_norm": 0.16392506659030914,
      "learning_rate": 0.0001494930875576037,
      "loss": 0.3374,
      "step": 314
    },
    {
      "epoch": 0.84,
      "grad_norm": 0.1208295077085495,
      "learning_rate": 0.00014930875576036866,
      "loss": 0.2801,
      "step": 315
    },
    {
      "epoch": 0.8426666666666667,
      "grad_norm": 0.12793493270874023,
      "learning_rate": 0.00014912442396313363,
      "loss": 0.2754,
      "step": 316
    },
    {
      "epoch": 0.8453333333333334,
      "grad_norm": 0.14537736773490906,
      "learning_rate": 0.0001489400921658986,
      "loss": 0.3408,
      "step": 317
    },
    {
      "epoch": 0.848,
      "grad_norm": 0.15252535045146942,
      "learning_rate": 0.0001487557603686636,
      "loss": 0.3493,
      "step": 318
    },
    {
      "epoch": 0.8506666666666667,
      "grad_norm": 0.14754997193813324,
      "learning_rate": 0.00014857142857142857,
      "loss": 0.324,
      "step": 319
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 0.15408839285373688,
      "learning_rate": 0.00014838709677419355,
      "loss": 0.3557,
      "step": 320
    },
    {
      "epoch": 0.856,
      "grad_norm": 0.15192221105098724,
      "learning_rate": 0.00014820276497695854,
      "loss": 0.335,
      "step": 321
    },
    {
      "epoch": 0.8586666666666667,
      "grad_norm": 0.12445574253797531,
      "learning_rate": 0.00014801843317972351,
      "loss": 0.2915,
      "step": 322
    },
    {
      "epoch": 0.8613333333333333,
      "grad_norm": 0.15413238108158112,
      "learning_rate": 0.00014783410138248849,
      "loss": 0.3332,
      "step": 323
    },
    {
      "epoch": 0.864,
      "grad_norm": 0.14998595416545868,
      "learning_rate": 0.00014764976958525348,
      "loss": 0.335,
      "step": 324
    },
    {
      "epoch": 0.8666666666666667,
      "grad_norm": 0.1280187964439392,
      "learning_rate": 0.00014746543778801845,
      "loss": 0.2979,
      "step": 325
    },
    {
      "epoch": 0.8693333333333333,
      "grad_norm": 0.16464708745479584,
      "learning_rate": 0.00014728110599078343,
      "loss": 0.3571,
      "step": 326
    },
    {
      "epoch": 0.872,
      "grad_norm": 0.15211057662963867,
      "learning_rate": 0.0001470967741935484,
      "loss": 0.3678,
      "step": 327
    },
    {
      "epoch": 0.8746666666666667,
      "grad_norm": 0.15790687501430511,
      "learning_rate": 0.00014691244239631337,
      "loss": 0.3479,
      "step": 328
    },
    {
      "epoch": 0.8773333333333333,
      "grad_norm": 0.17375443875789642,
      "learning_rate": 0.00014672811059907834,
      "loss": 0.404,
      "step": 329
    },
    {
      "epoch": 0.88,
      "grad_norm": 0.14624124765396118,
      "learning_rate": 0.00014654377880184334,
      "loss": 0.3035,
      "step": 330
    },
    {
      "epoch": 0.8826666666666667,
      "grad_norm": 0.12936308979988098,
      "learning_rate": 0.0001463594470046083,
      "loss": 0.2838,
      "step": 331
    },
    {
      "epoch": 0.8853333333333333,
      "grad_norm": 0.13163194060325623,
      "learning_rate": 0.00014617511520737328,
      "loss": 0.3032,
      "step": 332
    },
    {
      "epoch": 0.888,
      "grad_norm": 0.12900876998901367,
      "learning_rate": 0.00014599078341013825,
      "loss": 0.2964,
      "step": 333
    },
    {
      "epoch": 0.8906666666666667,
      "grad_norm": 0.1418975293636322,
      "learning_rate": 0.00014580645161290322,
      "loss": 0.325,
      "step": 334
    },
    {
      "epoch": 0.8933333333333333,
      "grad_norm": 0.15901930630207062,
      "learning_rate": 0.0001456221198156682,
      "loss": 0.3485,
      "step": 335
    },
    {
      "epoch": 0.896,
      "grad_norm": 0.12917467951774597,
      "learning_rate": 0.0001454377880184332,
      "loss": 0.3101,
      "step": 336
    },
    {
      "epoch": 0.8986666666666666,
      "grad_norm": 0.1307375133037567,
      "learning_rate": 0.00014525345622119816,
      "loss": 0.2692,
      "step": 337
    },
    {
      "epoch": 0.9013333333333333,
      "grad_norm": 0.15659134089946747,
      "learning_rate": 0.00014506912442396313,
      "loss": 0.3562,
      "step": 338
    },
    {
      "epoch": 0.904,
      "grad_norm": 0.1662200689315796,
      "learning_rate": 0.0001448847926267281,
      "loss": 0.3789,
      "step": 339
    },
    {
      "epoch": 0.9066666666666666,
      "grad_norm": 0.184801384806633,
      "learning_rate": 0.0001447004608294931,
      "loss": 0.4033,
      "step": 340
    },
    {
      "epoch": 0.9093333333333333,
      "grad_norm": 0.14836148917675018,
      "learning_rate": 0.00014451612903225807,
      "loss": 0.3323,
      "step": 341
    },
    {
      "epoch": 0.912,
      "grad_norm": 0.1291496455669403,
      "learning_rate": 0.00014433179723502307,
      "loss": 0.2878,
      "step": 342
    },
    {
      "epoch": 0.9146666666666666,
      "grad_norm": 0.1760437786579132,
      "learning_rate": 0.00014414746543778804,
      "loss": 0.4028,
      "step": 343
    },
    {
      "epoch": 0.9173333333333333,
      "grad_norm": 0.1543797254562378,
      "learning_rate": 0.00014396313364055301,
      "loss": 0.3523,
      "step": 344
    },
    {
      "epoch": 0.92,
      "grad_norm": 0.11840101331472397,
      "learning_rate": 0.00014377880184331799,
      "loss": 0.2498,
      "step": 345
    },
    {
      "epoch": 0.9226666666666666,
      "grad_norm": 0.17368434369564056,
      "learning_rate": 0.00014359447004608296,
      "loss": 0.4288,
      "step": 346
    },
    {
      "epoch": 0.9253333333333333,
      "grad_norm": 0.14866364002227783,
      "learning_rate": 0.00014341013824884793,
      "loss": 0.3427,
      "step": 347
    },
    {
      "epoch": 0.928,
      "grad_norm": 0.15044787526130676,
      "learning_rate": 0.00014322580645161293,
      "loss": 0.3048,
      "step": 348
    },
    {
      "epoch": 0.9306666666666666,
      "grad_norm": 0.17984692752361298,
      "learning_rate": 0.0001430414746543779,
      "loss": 0.3875,
      "step": 349
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 0.17136484384536743,
      "learning_rate": 0.00014285714285714287,
      "loss": 0.4113,
      "step": 350
    },
    {
      "epoch": 0.936,
      "grad_norm": 0.1462949514389038,
      "learning_rate": 0.00014267281105990784,
      "loss": 0.3223,
      "step": 351
    },
    {
      "epoch": 0.9386666666666666,
      "grad_norm": 0.13263173401355743,
      "learning_rate": 0.0001424884792626728,
      "loss": 0.2964,
      "step": 352
    },
    {
      "epoch": 0.9413333333333334,
      "grad_norm": 0.16512326896190643,
      "learning_rate": 0.00014230414746543778,
      "loss": 0.382,
      "step": 353
    },
    {
      "epoch": 0.944,
      "grad_norm": 0.15281005203723907,
      "learning_rate": 0.00014211981566820278,
      "loss": 0.3237,
      "step": 354
    },
    {
      "epoch": 0.9466666666666667,
      "grad_norm": 0.16622225940227509,
      "learning_rate": 0.00014193548387096775,
      "loss": 0.3476,
      "step": 355
    },
    {
      "epoch": 0.9493333333333334,
      "grad_norm": 0.14663656055927277,
      "learning_rate": 0.00014175115207373272,
      "loss": 0.3256,
      "step": 356
    },
    {
      "epoch": 0.952,
      "grad_norm": 0.14011381566524506,
      "learning_rate": 0.0001415668202764977,
      "loss": 0.2808,
      "step": 357
    },
    {
      "epoch": 0.9546666666666667,
      "grad_norm": 0.17868131399154663,
      "learning_rate": 0.00014138248847926266,
      "loss": 0.4023,
      "step": 358
    },
    {
      "epoch": 0.9573333333333334,
      "grad_norm": 0.14108337461948395,
      "learning_rate": 0.00014119815668202766,
      "loss": 0.2917,
      "step": 359
    },
    {
      "epoch": 0.96,
      "grad_norm": 0.14999185502529144,
      "learning_rate": 0.00014101382488479263,
      "loss": 0.3405,
      "step": 360
    },
    {
      "epoch": 0.9626666666666667,
      "grad_norm": 0.1410456895828247,
      "learning_rate": 0.00014082949308755763,
      "loss": 0.296,
      "step": 361
    },
    {
      "epoch": 0.9653333333333334,
      "grad_norm": 0.19141064584255219,
      "learning_rate": 0.0001406451612903226,
      "loss": 0.4072,
      "step": 362
    },
    {
      "epoch": 0.968,
      "grad_norm": 0.16611899435520172,
      "learning_rate": 0.00014046082949308757,
      "loss": 0.3783,
      "step": 363
    },
    {
      "epoch": 0.9706666666666667,
      "grad_norm": 0.16892562806606293,
      "learning_rate": 0.00014027649769585254,
      "loss": 0.392,
      "step": 364
    },
    {
      "epoch": 0.9733333333333334,
      "grad_norm": 0.14543844759464264,
      "learning_rate": 0.00014009216589861752,
      "loss": 0.3362,
      "step": 365
    },
    {
      "epoch": 0.976,
      "grad_norm": 0.1536979377269745,
      "learning_rate": 0.0001399078341013825,
      "loss": 0.3294,
      "step": 366
    },
    {
      "epoch": 0.9786666666666667,
      "grad_norm": 0.17454853653907776,
      "learning_rate": 0.00013972350230414749,
      "loss": 0.3937,
      "step": 367
    },
    {
      "epoch": 0.9813333333333333,
      "grad_norm": 0.13380491733551025,
      "learning_rate": 0.00013953917050691246,
      "loss": 0.3028,
      "step": 368
    },
    {
      "epoch": 0.984,
      "grad_norm": 0.18040022253990173,
      "learning_rate": 0.00013935483870967743,
      "loss": 0.3761,
      "step": 369
    },
    {
      "epoch": 0.9866666666666667,
      "grad_norm": 0.15009883046150208,
      "learning_rate": 0.0001391705069124424,
      "loss": 0.3319,
      "step": 370
    },
    {
      "epoch": 0.9893333333333333,
      "grad_norm": 0.18103910982608795,
      "learning_rate": 0.00013898617511520737,
      "loss": 0.402,
      "step": 371
    },
    {
      "epoch": 0.992,
      "grad_norm": 0.1751798838376999,
      "learning_rate": 0.00013880184331797234,
      "loss": 0.368,
      "step": 372
    },
    {
      "epoch": 0.9946666666666667,
      "grad_norm": 0.13354599475860596,
      "learning_rate": 0.00013861751152073734,
      "loss": 0.2981,
      "step": 373
    },
    {
      "epoch": 0.9973333333333333,
      "grad_norm": 0.1821356564760208,
      "learning_rate": 0.0001384331797235023,
      "loss": 0.3774,
      "step": 374
    },
    {
      "epoch": 1.0,
      "grad_norm": 0.17267672717571259,
      "learning_rate": 0.00013824884792626728,
      "loss": 0.3519,
      "step": 375
    },
    {
      "epoch": 1.0026666666666666,
      "grad_norm": 0.16836708784103394,
      "learning_rate": 0.00013806451612903225,
      "loss": 0.3253,
      "step": 376
    },
    {
      "epoch": 1.0053333333333334,
      "grad_norm": 0.17477719485759735,
      "learning_rate": 0.00013788018433179722,
      "loss": 0.3608,
      "step": 377
    },
    {
      "epoch": 1.008,
      "grad_norm": 0.1772724837064743,
      "learning_rate": 0.00013769585253456222,
      "loss": 0.3447,
      "step": 378
    },
    {
      "epoch": 1.0106666666666666,
      "grad_norm": 0.12257684767246246,
      "learning_rate": 0.0001375115207373272,
      "loss": 0.2177,
      "step": 379
    },
    {
      "epoch": 1.0133333333333334,
      "grad_norm": 0.16612914204597473,
      "learning_rate": 0.0001373271889400922,
      "loss": 0.29,
      "step": 380
    },
    {
      "epoch": 1.016,
      "grad_norm": 0.1659669578075409,
      "learning_rate": 0.00013714285714285716,
      "loss": 0.2863,
      "step": 381
    },
    {
      "epoch": 1.0186666666666666,
      "grad_norm": 0.10684580355882645,
      "learning_rate": 0.00013695852534562213,
      "loss": 0.2036,
      "step": 382
    },
    {
      "epoch": 1.0213333333333334,
      "grad_norm": 0.18086634576320648,
      "learning_rate": 0.0001367741935483871,
      "loss": 0.3264,
      "step": 383
    },
    {
      "epoch": 1.024,
      "grad_norm": 0.18370379507541656,
      "learning_rate": 0.00013658986175115208,
      "loss": 0.3345,
      "step": 384
    },
    {
      "epoch": 1.0266666666666666,
      "grad_norm": 0.12735684216022491,
      "learning_rate": 0.00013640552995391707,
      "loss": 0.2282,
      "step": 385
    },
    {
      "epoch": 1.0293333333333334,
      "grad_norm": 0.19155777990818024,
      "learning_rate": 0.00013622119815668204,
      "loss": 0.3451,
      "step": 386
    },
    {
      "epoch": 1.032,
      "grad_norm": 0.15170736610889435,
      "learning_rate": 0.00013603686635944702,
      "loss": 0.3117,
      "step": 387
    },
    {
      "epoch": 1.0346666666666666,
      "grad_norm": 0.1189170852303505,
      "learning_rate": 0.000135852534562212,
      "loss": 0.2301,
      "step": 388
    },
    {
      "epoch": 1.0373333333333334,
      "grad_norm": 0.18579140305519104,
      "learning_rate": 0.00013566820276497696,
      "loss": 0.35,
      "step": 389
    },
    {
      "epoch": 1.04,
      "grad_norm": 0.17958171665668488,
      "learning_rate": 0.00013548387096774193,
      "loss": 0.3784,
      "step": 390
    },
    {
      "epoch": 1.0426666666666666,
      "grad_norm": 0.14446499943733215,
      "learning_rate": 0.00013529953917050693,
      "loss": 0.2612,
      "step": 391
    },
    {
      "epoch": 1.0453333333333332,
      "grad_norm": 0.14457960426807404,
      "learning_rate": 0.0001351152073732719,
      "loss": 0.2652,
      "step": 392
    },
    {
      "epoch": 1.048,
      "grad_norm": 0.15731191635131836,
      "learning_rate": 0.00013493087557603687,
      "loss": 0.2775,
      "step": 393
    },
    {
      "epoch": 1.0506666666666666,
      "grad_norm": 0.16172131896018982,
      "learning_rate": 0.00013474654377880184,
      "loss": 0.306,
      "step": 394
    },
    {
      "epoch": 1.0533333333333332,
      "grad_norm": 0.14943663775920868,
      "learning_rate": 0.0001345622119815668,
      "loss": 0.2754,
      "step": 395
    },
    {
      "epoch": 1.056,
      "grad_norm": 0.15502700209617615,
      "learning_rate": 0.00013437788018433178,
      "loss": 0.2944,
      "step": 396
    },
    {
      "epoch": 1.0586666666666666,
      "grad_norm": 0.12555833160877228,
      "learning_rate": 0.00013419354838709678,
      "loss": 0.2273,
      "step": 397
    },
    {
      "epoch": 1.0613333333333332,
      "grad_norm": 0.18065771460533142,
      "learning_rate": 0.00013400921658986175,
      "loss": 0.3267,
      "step": 398
    },
    {
      "epoch": 1.064,
      "grad_norm": 0.18832246959209442,
      "learning_rate": 0.00013382488479262675,
      "loss": 0.3257,
      "step": 399
    },
    {
      "epoch": 1.0666666666666667,
      "grad_norm": 0.1641506552696228,
      "learning_rate": 0.00013364055299539172,
      "loss": 0.2909,
      "step": 400
    },
    {
      "epoch": 1.0693333333333332,
      "grad_norm": 0.1466669887304306,
      "learning_rate": 0.0001334562211981567,
      "loss": 0.2769,
      "step": 401
    },
    {
      "epoch": 1.072,
      "grad_norm": 0.19785748422145844,
      "learning_rate": 0.00013327188940092166,
      "loss": 0.3788,
      "step": 402
    },
    {
      "epoch": 1.0746666666666667,
      "grad_norm": 0.1749541014432907,
      "learning_rate": 0.00013308755760368666,
      "loss": 0.3467,
      "step": 403
    },
    {
      "epoch": 1.0773333333333333,
      "grad_norm": 0.1550755649805069,
      "learning_rate": 0.00013290322580645163,
      "loss": 0.3002,
      "step": 404
    },
    {
      "epoch": 1.08,
      "grad_norm": 0.1549319177865982,
      "learning_rate": 0.0001327188940092166,
      "loss": 0.265,
      "step": 405
    },
    {
      "epoch": 1.0826666666666667,
      "grad_norm": 0.1888841986656189,
      "learning_rate": 0.00013253456221198157,
      "loss": 0.3656,
      "step": 406
    },
    {
      "epoch": 1.0853333333333333,
      "grad_norm": 0.19269292056560516,
      "learning_rate": 0.00013235023041474655,
      "loss": 0.3399,
      "step": 407
    },
    {
      "epoch": 1.088,
      "grad_norm": 0.17310786247253418,
      "learning_rate": 0.00013216589861751152,
      "loss": 0.3404,
      "step": 408
    },
    {
      "epoch": 1.0906666666666667,
      "grad_norm": 0.17707963287830353,
      "learning_rate": 0.00013198156682027652,
      "loss": 0.3144,
      "step": 409
    },
    {
      "epoch": 1.0933333333333333,
      "grad_norm": 0.18884608149528503,
      "learning_rate": 0.0001317972350230415,
      "loss": 0.3545,
      "step": 410
    },
    {
      "epoch": 1.096,
      "grad_norm": 0.17003734409809113,
      "learning_rate": 0.00013161290322580646,
      "loss": 0.3041,
      "step": 411
    },
    {
      "epoch": 1.0986666666666667,
      "grad_norm": 0.15582703053951263,
      "learning_rate": 0.00013142857142857143,
      "loss": 0.2777,
      "step": 412
    },
    {
      "epoch": 1.1013333333333333,
      "grad_norm": 0.19669969379901886,
      "learning_rate": 0.0001312442396313364,
      "loss": 0.3497,
      "step": 413
    },
    {
      "epoch": 1.104,
      "grad_norm": 0.1748334765434265,
      "learning_rate": 0.00013105990783410137,
      "loss": 0.3194,
      "step": 414
    },
    {
      "epoch": 1.1066666666666667,
      "grad_norm": 0.13625746965408325,
      "learning_rate": 0.00013087557603686637,
      "loss": 0.2262,
      "step": 415
    },
    {
      "epoch": 1.1093333333333333,
      "grad_norm": 0.1757451295852661,
      "learning_rate": 0.00013069124423963134,
      "loss": 0.3111,
      "step": 416
    },
    {
      "epoch": 1.112,
      "grad_norm": 0.18365788459777832,
      "learning_rate": 0.0001305069124423963,
      "loss": 0.3498,
      "step": 417
    },
    {
      "epoch": 1.1146666666666667,
      "grad_norm": 0.15181052684783936,
      "learning_rate": 0.0001303225806451613,
      "loss": 0.2915,
      "step": 418
    },
    {
      "epoch": 1.1173333333333333,
      "grad_norm": 0.12344007194042206,
      "learning_rate": 0.00013013824884792628,
      "loss": 0.2209,
      "step": 419
    },
    {
      "epoch": 1.12,
      "grad_norm": 0.15274471044540405,
      "learning_rate": 0.00012995391705069125,
      "loss": 0.3069,
      "step": 420
    },
    {
      "epoch": 1.1226666666666667,
      "grad_norm": 0.18239013850688934,
      "learning_rate": 0.00012976958525345625,
      "loss": 0.3499,
      "step": 421
    },
    {
      "epoch": 1.1253333333333333,
      "grad_norm": 0.1746266633272171,
      "learning_rate": 0.00012958525345622122,
      "loss": 0.3441,
      "step": 422
    },
    {
      "epoch": 1.1280000000000001,
      "grad_norm": 0.18905861675739288,
      "learning_rate": 0.0001294009216589862,
      "loss": 0.3507,
      "step": 423
    },
    {
      "epoch": 1.1306666666666667,
      "grad_norm": 0.18351832032203674,
      "learning_rate": 0.00012921658986175116,
      "loss": 0.3473,
      "step": 424
    },
    {
      "epoch": 1.1333333333333333,
      "grad_norm": 0.1772531270980835,
      "learning_rate": 0.00012903225806451613,
      "loss": 0.3138,
      "step": 425
    },
    {
      "epoch": 1.1360000000000001,
      "grad_norm": 0.17047764360904694,
      "learning_rate": 0.0001288479262672811,
      "loss": 0.3033,
      "step": 426
    },
    {
      "epoch": 1.1386666666666667,
      "grad_norm": 0.16869769990444183,
      "learning_rate": 0.00012866359447004608,
      "loss": 0.31,
      "step": 427
    },
    {
      "epoch": 1.1413333333333333,
      "grad_norm": 0.17232246696949005,
      "learning_rate": 0.00012847926267281107,
      "loss": 0.3352,
      "step": 428
    },
    {
      "epoch": 1.144,
      "grad_norm": 0.18078351020812988,
      "learning_rate": 0.00012829493087557605,
      "loss": 0.3201,
      "step": 429
    },
    {
      "epoch": 1.1466666666666667,
      "grad_norm": 0.16152624785900116,
      "learning_rate": 0.00012811059907834102,
      "loss": 0.289,
      "step": 430
    },
    {
      "epoch": 1.1493333333333333,
      "grad_norm": 0.18361586332321167,
      "learning_rate": 0.000127926267281106,
      "loss": 0.3131,
      "step": 431
    },
    {
      "epoch": 1.152,
      "grad_norm": 0.1870482712984085,
      "learning_rate": 0.00012774193548387096,
      "loss": 0.3364,
      "step": 432
    },
    {
      "epoch": 1.1546666666666667,
      "grad_norm": 0.16466543078422546,
      "learning_rate": 0.00012755760368663593,
      "loss": 0.2986,
      "step": 433
    },
    {
      "epoch": 1.1573333333333333,
      "grad_norm": 0.16390617191791534,
      "learning_rate": 0.00012737327188940093,
      "loss": 0.2853,
      "step": 434
    },
    {
      "epoch": 1.16,
      "grad_norm": 0.1582307517528534,
      "learning_rate": 0.0001271889400921659,
      "loss": 0.3015,
      "step": 435
    },
    {
      "epoch": 1.1626666666666667,
      "grad_norm": 0.18881578743457794,
      "learning_rate": 0.00012700460829493087,
      "loss": 0.35,
      "step": 436
    },
    {
      "epoch": 1.1653333333333333,
      "grad_norm": 0.17530585825443268,
      "learning_rate": 0.00012682027649769587,
      "loss": 0.3165,
      "step": 437
    },
    {
      "epoch": 1.168,
      "grad_norm": 0.1683303713798523,
      "learning_rate": 0.00012663594470046084,
      "loss": 0.3147,
      "step": 438
    },
    {
      "epoch": 1.1706666666666667,
      "grad_norm": 0.15983852744102478,
      "learning_rate": 0.0001264516129032258,
      "loss": 0.2814,
      "step": 439
    },
    {
      "epoch": 1.1733333333333333,
      "grad_norm": 0.12463359534740448,
      "learning_rate": 0.0001262672811059908,
      "loss": 0.2101,
      "step": 440
    },
    {
      "epoch": 1.176,
      "grad_norm": 0.17620094120502472,
      "learning_rate": 0.00012608294930875578,
      "loss": 0.3078,
      "step": 441
    },
    {
      "epoch": 1.1786666666666668,
      "grad_norm": 0.15961304306983948,
      "learning_rate": 0.00012589861751152075,
      "loss": 0.2751,
      "step": 442
    },
    {
      "epoch": 1.1813333333333333,
      "grad_norm": 0.1611575037240982,
      "learning_rate": 0.00012571428571428572,
      "loss": 0.2848,
      "step": 443
    },
    {
      "epoch": 1.184,
      "grad_norm": 0.18253649771213531,
      "learning_rate": 0.0001255299539170507,
      "loss": 0.3026,
      "step": 444
    },
    {
      "epoch": 1.1866666666666668,
      "grad_norm": 0.16647040843963623,
      "learning_rate": 0.00012534562211981566,
      "loss": 0.2895,
      "step": 445
    },
    {
      "epoch": 1.1893333333333334,
      "grad_norm": 0.1810285449028015,
      "learning_rate": 0.00012516129032258066,
      "loss": 0.3118,
      "step": 446
    },
    {
      "epoch": 1.192,
      "grad_norm": 0.16052526235580444,
      "learning_rate": 0.00012497695852534563,
      "loss": 0.2812,
      "step": 447
    },
    {
      "epoch": 1.1946666666666665,
      "grad_norm": 0.14483848214149475,
      "learning_rate": 0.0001247926267281106,
      "loss": 0.2484,
      "step": 448
    },
    {
      "epoch": 1.1973333333333334,
      "grad_norm": 0.16969628632068634,
      "learning_rate": 0.00012460829493087558,
      "loss": 0.2916,
      "step": 449
    },
    {
      "epoch": 1.2,
      "grad_norm": 0.14120320975780487,
      "learning_rate": 0.00012442396313364055,
      "loss": 0.2576,
      "step": 450
    },
    {
      "epoch": 1.2026666666666666,
      "grad_norm": 0.19954310357570648,
      "learning_rate": 0.00012423963133640552,
      "loss": 0.3632,
      "step": 451
    },
    {
      "epoch": 1.2053333333333334,
      "grad_norm": 0.18150478601455688,
      "learning_rate": 0.00012405529953917052,
      "loss": 0.3408,
      "step": 452
    },
    {
      "epoch": 1.208,
      "grad_norm": 0.15250132977962494,
      "learning_rate": 0.0001238709677419355,
      "loss": 0.3005,
      "step": 453
    },
    {
      "epoch": 1.2106666666666666,
      "grad_norm": 0.17641334235668182,
      "learning_rate": 0.00012368663594470046,
      "loss": 0.3168,
      "step": 454
    },
    {
      "epoch": 1.2133333333333334,
      "grad_norm": 0.14669710397720337,
      "learning_rate": 0.00012350230414746543,
      "loss": 0.2718,
      "step": 455
    },
    {
      "epoch": 1.216,
      "grad_norm": 0.18148992955684662,
      "learning_rate": 0.00012331797235023043,
      "loss": 0.3446,
      "step": 456
    },
    {
      "epoch": 1.2186666666666666,
      "grad_norm": 0.19267897307872772,
      "learning_rate": 0.0001231336405529954,
      "loss": 0.3368,
      "step": 457
    },
    {
      "epoch": 1.2213333333333334,
      "grad_norm": 0.16317573189735413,
      "learning_rate": 0.00012294930875576037,
      "loss": 0.2787,
      "step": 458
    },
    {
      "epoch": 1.224,
      "grad_norm": 0.13813409209251404,
      "learning_rate": 0.00012276497695852537,
      "loss": 0.237,
      "step": 459
    },
    {
      "epoch": 1.2266666666666666,
      "grad_norm": 0.19543218612670898,
      "learning_rate": 0.00012258064516129034,
      "loss": 0.3286,
      "step": 460
    },
    {
      "epoch": 1.2293333333333334,
      "grad_norm": 0.16882073879241943,
      "learning_rate": 0.0001223963133640553,
      "loss": 0.2783,
      "step": 461
    },
    {
      "epoch": 1.232,
      "grad_norm": 0.16801773011684418,
      "learning_rate": 0.00012221198156682028,
      "loss": 0.3018,
      "step": 462
    },
    {
      "epoch": 1.2346666666666666,
      "grad_norm": 0.17224004864692688,
      "learning_rate": 0.00012202764976958525,
      "loss": 0.2982,
      "step": 463
    },
    {
      "epoch": 1.2373333333333334,
      "grad_norm": 0.15956328809261322,
      "learning_rate": 0.00012184331797235025,
      "loss": 0.3058,
      "step": 464
    },
    {
      "epoch": 1.24,
      "grad_norm": 0.17795439064502716,
      "learning_rate": 0.00012165898617511522,
      "loss": 0.3429,
      "step": 465
    },
    {
      "epoch": 1.2426666666666666,
      "grad_norm": 0.1681850105524063,
      "learning_rate": 0.0001214746543778802,
      "loss": 0.2932,
      "step": 466
    },
    {
      "epoch": 1.2453333333333334,
      "grad_norm": 0.14882837235927582,
      "learning_rate": 0.00012129032258064516,
      "loss": 0.2772,
      "step": 467
    },
    {
      "epoch": 1.248,
      "grad_norm": 0.1865171641111374,
      "learning_rate": 0.00012110599078341014,
      "loss": 0.3526,
      "step": 468
    },
    {
      "epoch": 1.2506666666666666,
      "grad_norm": 0.1419881284236908,
      "learning_rate": 0.00012092165898617511,
      "loss": 0.2556,
      "step": 469
    },
    {
      "epoch": 1.2533333333333334,
      "grad_norm": 0.1949879229068756,
      "learning_rate": 0.0001207373271889401,
      "loss": 0.3512,
      "step": 470
    },
    {
      "epoch": 1.256,
      "grad_norm": 0.1851123869419098,
      "learning_rate": 0.00012055299539170508,
      "loss": 0.3119,
      "step": 471
    },
    {
      "epoch": 1.2586666666666666,
      "grad_norm": 0.16903844475746155,
      "learning_rate": 0.00012036866359447006,
      "loss": 0.2964,
      "step": 472
    },
    {
      "epoch": 1.2613333333333334,
      "grad_norm": 0.15738247334957123,
      "learning_rate": 0.00012018433179723503,
      "loss": 0.3073,
      "step": 473
    },
    {
      "epoch": 1.264,
      "grad_norm": 0.18394124507904053,
      "learning_rate": 0.00012,
      "loss": 0.3529,
      "step": 474
    },
    {
      "epoch": 1.2666666666666666,
      "grad_norm": 0.16276584565639496,
      "learning_rate": 0.00011981566820276497,
      "loss": 0.2824,
      "step": 475
    },
    {
      "epoch": 1.2693333333333334,
      "grad_norm": 0.19218119978904724,
      "learning_rate": 0.00011963133640552997,
      "loss": 0.3145,
      "step": 476
    },
    {
      "epoch": 1.272,
      "grad_norm": 0.1617254912853241,
      "learning_rate": 0.00011944700460829494,
      "loss": 0.3048,
      "step": 477
    },
    {
      "epoch": 1.2746666666666666,
      "grad_norm": 0.18363742530345917,
      "learning_rate": 0.00011926267281105991,
      "loss": 0.3495,
      "step": 478
    },
    {
      "epoch": 1.2773333333333334,
      "grad_norm": 0.18322618305683136,
      "learning_rate": 0.00011907834101382489,
      "loss": 0.323,
      "step": 479
    },
    {
      "epoch": 1.28,
      "grad_norm": 0.19018413126468658,
      "learning_rate": 0.00011889400921658986,
      "loss": 0.3239,
      "step": 480
    },
    {
      "epoch": 1.2826666666666666,
      "grad_norm": 0.18414224684238434,
      "learning_rate": 0.00011870967741935484,
      "loss": 0.3221,
      "step": 481
    },
    {
      "epoch": 1.2853333333333334,
      "grad_norm": 0.1773815155029297,
      "learning_rate": 0.00011852534562211983,
      "loss": 0.2895,
      "step": 482
    },
    {
      "epoch": 1.288,
      "grad_norm": 0.1861986517906189,
      "learning_rate": 0.00011834101382488481,
      "loss": 0.3544,
      "step": 483
    },
    {
      "epoch": 1.2906666666666666,
      "grad_norm": 0.16993744671344757,
      "learning_rate": 0.00011815668202764978,
      "loss": 0.2809,
      "step": 484
    },
    {
      "epoch": 1.2933333333333334,
      "grad_norm": 0.19634485244750977,
      "learning_rate": 0.00011797235023041475,
      "loss": 0.351,
      "step": 485
    },
    {
      "epoch": 1.296,
      "grad_norm": 0.146186962723732,
      "learning_rate": 0.00011778801843317972,
      "loss": 0.2947,
      "step": 486
    },
    {
      "epoch": 1.2986666666666666,
      "grad_norm": 0.1496630311012268,
      "learning_rate": 0.0001176036866359447,
      "loss": 0.24,
      "step": 487
    },
    {
      "epoch": 1.3013333333333335,
      "grad_norm": 0.15881465375423431,
      "learning_rate": 0.00011741935483870967,
      "loss": 0.2679,
      "step": 488
    },
    {
      "epoch": 1.304,
      "grad_norm": 0.14850527048110962,
      "learning_rate": 0.00011723502304147466,
      "loss": 0.2729,
      "step": 489
    },
    {
      "epoch": 1.3066666666666666,
      "grad_norm": 0.18087144196033478,
      "learning_rate": 0.00011705069124423964,
      "loss": 0.3167,
      "step": 490
    },
    {
      "epoch": 1.3093333333333335,
      "grad_norm": 0.18573027849197388,
      "learning_rate": 0.00011686635944700462,
      "loss": 0.3389,
      "step": 491
    },
    {
      "epoch": 1.312,
      "grad_norm": 0.1348046511411667,
      "learning_rate": 0.00011668202764976959,
      "loss": 0.2417,
      "step": 492
    },
    {
      "epoch": 1.3146666666666667,
      "grad_norm": 0.1142662763595581,
      "learning_rate": 0.00011649769585253456,
      "loss": 0.2001,
      "step": 493
    },
    {
      "epoch": 1.3173333333333335,
      "grad_norm": 0.16688582301139832,
      "learning_rate": 0.00011631336405529953,
      "loss": 0.3011,
      "step": 494
    },
    {
      "epoch": 1.32,
      "grad_norm": 0.13561463356018066,
      "learning_rate": 0.00011612903225806453,
      "loss": 0.2247,
      "step": 495
    },
    {
      "epoch": 1.3226666666666667,
      "grad_norm": 0.1808239072561264,
      "learning_rate": 0.0001159447004608295,
      "loss": 0.3396,
      "step": 496
    },
    {
      "epoch": 1.3253333333333333,
      "grad_norm": 0.1843968629837036,
      "learning_rate": 0.00011576036866359447,
      "loss": 0.3445,
      "step": 497
    },
    {
      "epoch": 1.328,
      "grad_norm": 0.18581481277942657,
      "learning_rate": 0.00011557603686635945,
      "loss": 0.3435,
      "step": 498
    },
    {
      "epoch": 1.3306666666666667,
      "grad_norm": 0.12895582616329193,
      "learning_rate": 0.00011539170506912442,
      "loss": 0.2209,
      "step": 499
    },
    {
      "epoch": 1.3333333333333333,
      "grad_norm": 0.19537444412708282,
      "learning_rate": 0.0001152073732718894,
      "loss": 0.3652,
      "step": 500
    },
    {
      "epoch": 1.336,
      "grad_norm": 0.19190914928913116,
      "learning_rate": 0.00011502304147465439,
      "loss": 0.3434,
      "step": 501
    },
    {
      "epoch": 1.3386666666666667,
      "grad_norm": 0.191707044839859,
      "learning_rate": 0.00011483870967741937,
      "loss": 0.3358,
      "step": 502
    },
    {
      "epoch": 1.3413333333333333,
      "grad_norm": 0.2067241668701172,
      "learning_rate": 0.00011465437788018434,
      "loss": 0.34,
      "step": 503
    },
    {
      "epoch": 1.3439999999999999,
      "grad_norm": 0.2064065933227539,
      "learning_rate": 0.00011447004608294931,
      "loss": 0.3692,
      "step": 504
    },
    {
      "epoch": 1.3466666666666667,
      "grad_norm": 0.1637248992919922,
      "learning_rate": 0.00011428571428571428,
      "loss": 0.2737,
      "step": 505
    },
    {
      "epoch": 1.3493333333333333,
      "grad_norm": 0.15855838358402252,
      "learning_rate": 0.00011410138248847925,
      "loss": 0.2843,
      "step": 506
    },
    {
      "epoch": 1.3519999999999999,
      "grad_norm": 0.16639956831932068,
      "learning_rate": 0.00011391705069124425,
      "loss": 0.2998,
      "step": 507
    },
    {
      "epoch": 1.3546666666666667,
      "grad_norm": 0.20358127355575562,
      "learning_rate": 0.00011373271889400922,
      "loss": 0.3536,
      "step": 508
    },
    {
      "epoch": 1.3573333333333333,
      "grad_norm": 0.17078451812267303,
      "learning_rate": 0.0001135483870967742,
      "loss": 0.2982,
      "step": 509
    },
    {
      "epoch": 1.3599999999999999,
      "grad_norm": 0.15411201119422913,
      "learning_rate": 0.00011336405529953918,
      "loss": 0.2828,
      "step": 510
    },
    {
      "epoch": 1.3626666666666667,
      "grad_norm": 0.1941250115633011,
      "learning_rate": 0.00011317972350230415,
      "loss": 0.3128,
      "step": 511
    },
    {
      "epoch": 1.3653333333333333,
      "grad_norm": 0.15264247357845306,
      "learning_rate": 0.00011299539170506912,
      "loss": 0.2604,
      "step": 512
    },
    {
      "epoch": 1.3679999999999999,
      "grad_norm": 0.15597917139530182,
      "learning_rate": 0.00011281105990783412,
      "loss": 0.2838,
      "step": 513
    },
    {
      "epoch": 1.3706666666666667,
      "grad_norm": 0.1368638128042221,
      "learning_rate": 0.00011262672811059909,
      "loss": 0.2389,
      "step": 514
    },
    {
      "epoch": 1.3733333333333333,
      "grad_norm": 0.16181014478206635,
      "learning_rate": 0.00011244239631336406,
      "loss": 0.2864,
      "step": 515
    },
    {
      "epoch": 1.376,
      "grad_norm": 0.18805274367332458,
      "learning_rate": 0.00011225806451612903,
      "loss": 0.3248,
      "step": 516
    },
    {
      "epoch": 1.3786666666666667,
      "grad_norm": 0.19181305170059204,
      "learning_rate": 0.000112073732718894,
      "loss": 0.354,
      "step": 517
    },
    {
      "epoch": 1.3813333333333333,
      "grad_norm": 0.18321382999420166,
      "learning_rate": 0.00011188940092165898,
      "loss": 0.3424,
      "step": 518
    },
    {
      "epoch": 1.384,
      "grad_norm": 0.18562433123588562,
      "learning_rate": 0.00011170506912442397,
      "loss": 0.3392,
      "step": 519
    },
    {
      "epoch": 1.3866666666666667,
      "grad_norm": 0.18313543498516083,
      "learning_rate": 0.00011152073732718894,
      "loss": 0.3298,
      "step": 520
    },
    {
      "epoch": 1.3893333333333333,
      "grad_norm": 0.18686257302761078,
      "learning_rate": 0.00011133640552995393,
      "loss": 0.3415,
      "step": 521
    },
    {
      "epoch": 1.392,
      "grad_norm": 0.19380803406238556,
      "learning_rate": 0.0001111520737327189,
      "loss": 0.3455,
      "step": 522
    },
    {
      "epoch": 1.3946666666666667,
      "grad_norm": 0.19642230868339539,
      "learning_rate": 0.00011096774193548387,
      "loss": 0.3242,
      "step": 523
    },
    {
      "epoch": 1.3973333333333333,
      "grad_norm": 0.1258707344532013,
      "learning_rate": 0.00011078341013824884,
      "loss": 0.2052,
      "step": 524
    },
    {
      "epoch": 1.4,
      "grad_norm": 0.16860158741474152,
      "learning_rate": 0.00011059907834101384,
      "loss": 0.2946,
      "step": 525
    },
    {
      "epoch": 1.4026666666666667,
      "grad_norm": 0.16111595928668976,
      "learning_rate": 0.00011041474654377881,
      "loss": 0.2961,
      "step": 526
    },
    {
      "epoch": 1.4053333333333333,
      "grad_norm": 0.1360962837934494,
      "learning_rate": 0.00011023041474654378,
      "loss": 0.2351,
      "step": 527
    },
    {
      "epoch": 1.408,
      "grad_norm": 0.182793989777565,
      "learning_rate": 0.00011004608294930875,
      "loss": 0.3364,
      "step": 528
    },
    {
      "epoch": 1.4106666666666667,
      "grad_norm": 0.15777157247066498,
      "learning_rate": 0.00010986175115207374,
      "loss": 0.2962,
      "step": 529
    },
    {
      "epoch": 1.4133333333333333,
      "grad_norm": 0.16440604627132416,
      "learning_rate": 0.00010967741935483871,
      "loss": 0.2881,
      "step": 530
    },
    {
      "epoch": 1.416,
      "grad_norm": 0.12915076315402985,
      "learning_rate": 0.00010949308755760371,
      "loss": 0.2443,
      "step": 531
    },
    {
      "epoch": 1.4186666666666667,
      "grad_norm": 0.15730984508991241,
      "learning_rate": 0.00010930875576036868,
      "loss": 0.2861,
      "step": 532
    },
    {
      "epoch": 1.4213333333333333,
      "grad_norm": 0.16304659843444824,
      "learning_rate": 0.00010912442396313365,
      "loss": 0.285,
      "step": 533
    },
    {
      "epoch": 1.424,
      "grad_norm": 0.17006252706050873,
      "learning_rate": 0.00010894009216589862,
      "loss": 0.3,
      "step": 534
    },
    {
      "epoch": 1.4266666666666667,
      "grad_norm": 0.17501677572727203,
      "learning_rate": 0.00010875576036866359,
      "loss": 0.3288,
      "step": 535
    },
    {
      "epoch": 1.4293333333333333,
      "grad_norm": 0.1846413016319275,
      "learning_rate": 0.00010857142857142856,
      "loss": 0.3176,
      "step": 536
    },
    {
      "epoch": 1.432,
      "grad_norm": 0.16259899735450745,
      "learning_rate": 0.00010838709677419356,
      "loss": 0.2782,
      "step": 537
    },
    {
      "epoch": 1.4346666666666668,
      "grad_norm": 0.12844997644424438,
      "learning_rate": 0.00010820276497695853,
      "loss": 0.2297,
      "step": 538
    },
    {
      "epoch": 1.4373333333333334,
      "grad_norm": 0.18608011305332184,
      "learning_rate": 0.0001080184331797235,
      "loss": 0.3139,
      "step": 539
    },
    {
      "epoch": 1.44,
      "grad_norm": 0.18185369670391083,
      "learning_rate": 0.00010783410138248849,
      "loss": 0.3294,
      "step": 540
    },
    {
      "epoch": 1.4426666666666668,
      "grad_norm": 0.1800394356250763,
      "learning_rate": 0.00010764976958525346,
      "loss": 0.309,
      "step": 541
    },
    {
      "epoch": 1.4453333333333334,
      "grad_norm": 0.1457604616880417,
      "learning_rate": 0.00010746543778801843,
      "loss": 0.2472,
      "step": 542
    },
    {
      "epoch": 1.448,
      "grad_norm": 0.19006659090518951,
      "learning_rate": 0.00010728110599078343,
      "loss": 0.3275,
      "step": 543
    },
    {
      "epoch": 1.4506666666666668,
      "grad_norm": 0.14114591479301453,
      "learning_rate": 0.0001070967741935484,
      "loss": 0.2403,
      "step": 544
    },
    {
      "epoch": 1.4533333333333334,
      "grad_norm": 0.18253850936889648,
      "learning_rate": 0.00010691244239631337,
      "loss": 0.3201,
      "step": 545
    },
    {
      "epoch": 1.456,
      "grad_norm": 0.19325825572013855,
      "learning_rate": 0.00010672811059907834,
      "loss": 0.3354,
      "step": 546
    },
    {
      "epoch": 1.4586666666666668,
      "grad_norm": 0.1377699226140976,
      "learning_rate": 0.00010654377880184331,
      "loss": 0.2348,
      "step": 547
    },
    {
      "epoch": 1.4613333333333334,
      "grad_norm": 0.16220860183238983,
      "learning_rate": 0.0001063594470046083,
      "loss": 0.2667,
      "step": 548
    },
    {
      "epoch": 1.464,
      "grad_norm": 0.2003559172153473,
      "learning_rate": 0.00010617511520737328,
      "loss": 0.3381,
      "step": 549
    },
    {
      "epoch": 1.4666666666666668,
      "grad_norm": 0.19134390354156494,
      "learning_rate": 0.00010599078341013827,
      "loss": 0.3281,
      "step": 550
    },
    {
      "epoch": 1.4693333333333334,
      "grad_norm": 0.16237686574459076,
      "learning_rate": 0.00010580645161290324,
      "loss": 0.2751,
      "step": 551
    },
    {
      "epoch": 1.472,
      "grad_norm": 0.1640011966228485,
      "learning_rate": 0.00010562211981566821,
      "loss": 0.2776,
      "step": 552
    },
    {
      "epoch": 1.4746666666666668,
      "grad_norm": 0.1785988211631775,
      "learning_rate": 0.00010543778801843318,
      "loss": 0.3145,
      "step": 553
    },
    {
      "epoch": 1.4773333333333334,
      "grad_norm": 0.17735683917999268,
      "learning_rate": 0.00010525345622119815,
      "loss": 0.3242,
      "step": 554
    },
    {
      "epoch": 1.48,
      "grad_norm": 0.18513281643390656,
      "learning_rate": 0.00010506912442396312,
      "loss": 0.3,
      "step": 555
    },
    {
      "epoch": 1.4826666666666668,
      "grad_norm": 0.14868293702602386,
      "learning_rate": 0.00010488479262672812,
      "loss": 0.2623,
      "step": 556
    },
    {
      "epoch": 1.4853333333333334,
      "grad_norm": 0.17301423847675323,
      "learning_rate": 0.00010470046082949309,
      "loss": 0.3056,
      "step": 557
    },
    {
      "epoch": 1.488,
      "grad_norm": 0.1782805174589157,
      "learning_rate": 0.00010451612903225806,
      "loss": 0.2882,
      "step": 558
    },
    {
      "epoch": 1.4906666666666666,
      "grad_norm": 0.20248663425445557,
      "learning_rate": 0.00010433179723502305,
      "loss": 0.3328,
      "step": 559
    },
    {
      "epoch": 1.4933333333333334,
      "grad_norm": 0.1364714354276657,
      "learning_rate": 0.00010414746543778802,
      "loss": 0.2335,
      "step": 560
    },
    {
      "epoch": 1.496,
      "grad_norm": 0.2028850018978119,
      "learning_rate": 0.00010396313364055299,
      "loss": 0.3421,
      "step": 561
    },
    {
      "epoch": 1.4986666666666666,
      "grad_norm": 0.13244207203388214,
      "learning_rate": 0.00010377880184331799,
      "loss": 0.2093,
      "step": 562
    },
    {
      "epoch": 1.5013333333333332,
      "grad_norm": 0.15112577378749847,
      "learning_rate": 0.00010359447004608296,
      "loss": 0.2585,
      "step": 563
    },
    {
      "epoch": 1.504,
      "grad_norm": 0.1993844211101532,
      "learning_rate": 0.00010341013824884793,
      "loss": 0.3446,
      "step": 564
    },
    {
      "epoch": 1.5066666666666668,
      "grad_norm": 0.20823368430137634,
      "learning_rate": 0.0001032258064516129,
      "loss": 0.3542,
      "step": 565
    },
    {
      "epoch": 1.5093333333333332,
      "grad_norm": 0.1457061916589737,
      "learning_rate": 0.00010304147465437787,
      "loss": 0.2666,
      "step": 566
    },
    {
      "epoch": 1.512,
      "grad_norm": 0.16721977293491364,
      "learning_rate": 0.00010285714285714286,
      "loss": 0.2924,
      "step": 567
    },
    {
      "epoch": 1.5146666666666668,
      "grad_norm": 0.14939866960048676,
      "learning_rate": 0.00010267281105990784,
      "loss": 0.2576,
      "step": 568
    },
    {
      "epoch": 1.5173333333333332,
      "grad_norm": 0.17903192341327667,
      "learning_rate": 0.00010248847926267283,
      "loss": 0.3046,
      "step": 569
    },
    {
      "epoch": 1.52,
      "grad_norm": 0.1892293095588684,
      "learning_rate": 0.0001023041474654378,
      "loss": 0.3295,
      "step": 570
    },
    {
      "epoch": 1.5226666666666666,
      "grad_norm": 0.1555367410182953,
      "learning_rate": 0.00010211981566820277,
      "loss": 0.2896,
      "step": 571
    },
    {
      "epoch": 1.5253333333333332,
      "grad_norm": 0.17118369042873383,
      "learning_rate": 0.00010193548387096774,
      "loss": 0.2932,
      "step": 572
    },
    {
      "epoch": 1.528,
      "grad_norm": 0.16877052187919617,
      "learning_rate": 0.00010175115207373271,
      "loss": 0.2812,
      "step": 573
    },
    {
      "epoch": 1.5306666666666666,
      "grad_norm": 0.16168168187141418,
      "learning_rate": 0.00010156682027649771,
      "loss": 0.2816,
      "step": 574
    },
    {
      "epoch": 1.5333333333333332,
      "grad_norm": 0.15879429876804352,
      "learning_rate": 0.00010138248847926268,
      "loss": 0.2616,
      "step": 575
    },
    {
      "epoch": 1.536,
      "grad_norm": 0.19214673340320587,
      "learning_rate": 0.00010119815668202765,
      "loss": 0.3212,
      "step": 576
    },
    {
      "epoch": 1.5386666666666666,
      "grad_norm": 0.17753440141677856,
      "learning_rate": 0.00010101382488479262,
      "loss": 0.3123,
      "step": 577
    },
    {
      "epoch": 1.5413333333333332,
      "grad_norm": 0.19256196916103363,
      "learning_rate": 0.00010082949308755761,
      "loss": 0.3378,
      "step": 578
    },
    {
      "epoch": 1.544,
      "grad_norm": 0.1846749186515808,
      "learning_rate": 0.00010064516129032258,
      "loss": 0.3174,
      "step": 579
    },
    {
      "epoch": 1.5466666666666666,
      "grad_norm": 0.1619987040758133,
      "learning_rate": 0.00010046082949308758,
      "loss": 0.2987,
      "step": 580
    },
    {
      "epoch": 1.5493333333333332,
      "grad_norm": 0.19737540185451508,
      "learning_rate": 0.00010027649769585255,
      "loss": 0.3267,
      "step": 581
    },
    {
      "epoch": 1.552,
      "grad_norm": 0.16259047389030457,
      "learning_rate": 0.00010009216589861752,
      "loss": 0.2758,
      "step": 582
    },
    {
      "epoch": 1.5546666666666666,
      "grad_norm": 0.14038518071174622,
      "learning_rate": 9.990783410138249e-05,
      "loss": 0.2349,
      "step": 583
    },
    {
      "epoch": 1.5573333333333332,
      "grad_norm": 0.16080236434936523,
      "learning_rate": 9.972350230414746e-05,
      "loss": 0.271,
      "step": 584
    },
    {
      "epoch": 1.56,
      "grad_norm": 0.15984351933002472,
      "learning_rate": 9.953917050691245e-05,
      "loss": 0.2751,
      "step": 585
    },
    {
      "epoch": 1.5626666666666666,
      "grad_norm": 0.1513066291809082,
      "learning_rate": 9.935483870967742e-05,
      "loss": 0.2554,
      "step": 586
    },
    {
      "epoch": 1.5653333333333332,
      "grad_norm": 0.1554606407880783,
      "learning_rate": 9.91705069124424e-05,
      "loss": 0.2765,
      "step": 587
    },
    {
      "epoch": 1.568,
      "grad_norm": 0.12512949109077454,
      "learning_rate": 9.898617511520739e-05,
      "loss": 0.2205,
      "step": 588
    },
    {
      "epoch": 1.5706666666666667,
      "grad_norm": 0.20193611085414886,
      "learning_rate": 9.880184331797236e-05,
      "loss": 0.3534,
      "step": 589
    },
    {
      "epoch": 1.5733333333333333,
      "grad_norm": 0.15636083483695984,
      "learning_rate": 9.861751152073733e-05,
      "loss": 0.2636,
      "step": 590
    },
    {
      "epoch": 1.576,
      "grad_norm": 0.14711397886276245,
      "learning_rate": 9.843317972350231e-05,
      "loss": 0.2547,
      "step": 591
    },
    {
      "epoch": 1.5786666666666667,
      "grad_norm": 0.17024989426136017,
      "learning_rate": 9.824884792626728e-05,
      "loss": 0.2756,
      "step": 592
    },
    {
      "epoch": 1.5813333333333333,
      "grad_norm": 0.19781805574893951,
      "learning_rate": 9.806451612903226e-05,
      "loss": 0.3388,
      "step": 593
    },
    {
      "epoch": 1.584,
      "grad_norm": 0.15408025681972504,
      "learning_rate": 9.788018433179724e-05,
      "loss": 0.2663,
      "step": 594
    },
    {
      "epoch": 1.5866666666666667,
      "grad_norm": 0.16658498346805573,
      "learning_rate": 9.769585253456221e-05,
      "loss": 0.289,
      "step": 595
    },
    {
      "epoch": 1.5893333333333333,
      "grad_norm": 0.16545739769935608,
      "learning_rate": 9.751152073732718e-05,
      "loss": 0.2704,
      "step": 596
    },
    {
      "epoch": 1.592,
      "grad_norm": 0.15740670263767242,
      "learning_rate": 9.732718894009217e-05,
      "loss": 0.2761,
      "step": 597
    },
    {
      "epoch": 1.5946666666666667,
      "grad_norm": 0.1478232592344284,
      "learning_rate": 9.714285714285715e-05,
      "loss": 0.2421,
      "step": 598
    },
    {
      "epoch": 1.5973333333333333,
      "grad_norm": 0.16017423570156097,
      "learning_rate": 9.695852534562212e-05,
      "loss": 0.2824,
      "step": 599
    },
    {
      "epoch": 1.6,
      "grad_norm": 0.15008029341697693,
      "learning_rate": 9.677419354838711e-05,
      "loss": 0.2515,
      "step": 600
    },
    {
      "epoch": 1.6026666666666667,
      "grad_norm": 0.12063463777303696,
      "learning_rate": 9.658986175115208e-05,
      "loss": 0.2345,
      "step": 601
    },
    {
      "epoch": 1.6053333333333333,
      "grad_norm": 0.17059485614299774,
      "learning_rate": 9.640552995391705e-05,
      "loss": 0.2789,
      "step": 602
    },
    {
      "epoch": 1.608,
      "grad_norm": 0.16321353614330292,
      "learning_rate": 9.622119815668203e-05,
      "loss": 0.2656,
      "step": 603
    },
    {
      "epoch": 1.6106666666666667,
      "grad_norm": 0.18542960286140442,
      "learning_rate": 9.6036866359447e-05,
      "loss": 0.3115,
      "step": 604
    },
    {
      "epoch": 1.6133333333333333,
      "grad_norm": 0.16153669357299805,
      "learning_rate": 9.585253456221198e-05,
      "loss": 0.2717,
      "step": 605
    },
    {
      "epoch": 1.616,
      "grad_norm": 0.16640391945838928,
      "learning_rate": 9.566820276497696e-05,
      "loss": 0.2856,
      "step": 606
    },
    {
      "epoch": 1.6186666666666667,
      "grad_norm": 0.18094532191753387,
      "learning_rate": 9.548387096774195e-05,
      "loss": 0.3096,
      "step": 607
    },
    {
      "epoch": 1.6213333333333333,
      "grad_norm": 0.20450171828269958,
      "learning_rate": 9.529953917050692e-05,
      "loss": 0.3556,
      "step": 608
    },
    {
      "epoch": 1.624,
      "grad_norm": 0.15509480237960815,
      "learning_rate": 9.51152073732719e-05,
      "loss": 0.258,
      "step": 609
    },
    {
      "epoch": 1.6266666666666667,
      "grad_norm": 0.13771817088127136,
      "learning_rate": 9.493087557603687e-05,
      "loss": 0.2276,
      "step": 610
    },
    {
      "epoch": 1.6293333333333333,
      "grad_norm": 0.18167224526405334,
      "learning_rate": 9.474654377880184e-05,
      "loss": 0.3353,
      "step": 611
    },
    {
      "epoch": 1.6320000000000001,
      "grad_norm": 0.16570347547531128,
      "learning_rate": 9.456221198156683e-05,
      "loss": 0.3024,
      "step": 612
    },
    {
      "epoch": 1.6346666666666667,
      "grad_norm": 0.1634126901626587,
      "learning_rate": 9.43778801843318e-05,
      "loss": 0.2634,
      "step": 613
    },
    {
      "epoch": 1.6373333333333333,
      "grad_norm": 0.14047156274318695,
      "learning_rate": 9.419354838709677e-05,
      "loss": 0.2543,
      "step": 614
    },
    {
      "epoch": 1.6400000000000001,
      "grad_norm": 0.17529445886611938,
      "learning_rate": 9.400921658986176e-05,
      "loss": 0.3066,
      "step": 615
    },
    {
      "epoch": 1.6426666666666667,
      "grad_norm": 0.16540557146072388,
      "learning_rate": 9.382488479262673e-05,
      "loss": 0.2781,
      "step": 616
    },
    {
      "epoch": 1.6453333333333333,
      "grad_norm": 0.136048823595047,
      "learning_rate": 9.364055299539171e-05,
      "loss": 0.2245,
      "step": 617
    },
    {
      "epoch": 1.6480000000000001,
      "grad_norm": 0.1329638659954071,
      "learning_rate": 9.34562211981567e-05,
      "loss": 0.2233,
      "step": 618
    },
    {
      "epoch": 1.6506666666666665,
      "grad_norm": 0.18866053223609924,
      "learning_rate": 9.327188940092167e-05,
      "loss": 0.324,
      "step": 619
    },
    {
      "epoch": 1.6533333333333333,
      "grad_norm": 0.1663501262664795,
      "learning_rate": 9.308755760368664e-05,
      "loss": 0.2974,
      "step": 620
    },
    {
      "epoch": 1.6560000000000001,
      "grad_norm": 0.18084169924259186,
      "learning_rate": 9.290322580645162e-05,
      "loss": 0.3094,
      "step": 621
    },
    {
      "epoch": 1.6586666666666665,
      "grad_norm": 0.1708952784538269,
      "learning_rate": 9.27188940092166e-05,
      "loss": 0.2672,
      "step": 622
    },
    {
      "epoch": 1.6613333333333333,
      "grad_norm": 0.19692790508270264,
      "learning_rate": 9.253456221198156e-05,
      "loss": 0.3145,
      "step": 623
    },
    {
      "epoch": 1.6640000000000001,
      "grad_norm": 0.1638392060995102,
      "learning_rate": 9.235023041474655e-05,
      "loss": 0.2395,
      "step": 624
    },
    {
      "epoch": 1.6666666666666665,
      "grad_norm": 0.1826392114162445,
      "learning_rate": 9.216589861751152e-05,
      "loss": 0.3002,
      "step": 625
    },
    {
      "epoch": 1.6693333333333333,
      "grad_norm": 0.18710032105445862,
      "learning_rate": 9.19815668202765e-05,
      "loss": 0.3199,
      "step": 626
    },
    {
      "epoch": 1.6720000000000002,
      "grad_norm": 0.19243071973323822,
      "learning_rate": 9.179723502304149e-05,
      "loss": 0.3389,
      "step": 627
    },
    {
      "epoch": 1.6746666666666665,
      "grad_norm": 0.18418751657009125,
      "learning_rate": 9.161290322580646e-05,
      "loss": 0.3178,
      "step": 628
    },
    {
      "epoch": 1.6773333333333333,
      "grad_norm": 0.13324792683124542,
      "learning_rate": 9.142857142857143e-05,
      "loss": 0.2232,
      "step": 629
    },
    {
      "epoch": 1.6800000000000002,
      "grad_norm": 0.1462545096874237,
      "learning_rate": 9.124423963133642e-05,
      "loss": 0.2511,
      "step": 630
    },
    {
      "epoch": 1.6826666666666665,
      "grad_norm": 0.16245612502098083,
      "learning_rate": 9.105990783410139e-05,
      "loss": 0.2857,
      "step": 631
    },
    {
      "epoch": 1.6853333333333333,
      "grad_norm": 0.19199031591415405,
      "learning_rate": 9.087557603686636e-05,
      "loss": 0.3476,
      "step": 632
    },
    {
      "epoch": 1.688,
      "grad_norm": 0.17788994312286377,
      "learning_rate": 9.069124423963134e-05,
      "loss": 0.3118,
      "step": 633
    },
    {
      "epoch": 1.6906666666666665,
      "grad_norm": 0.1903950423002243,
      "learning_rate": 9.050691244239631e-05,
      "loss": 0.3225,
      "step": 634
    },
    {
      "epoch": 1.6933333333333334,
      "grad_norm": 0.18649978935718536,
      "learning_rate": 9.032258064516129e-05,
      "loss": 0.3162,
      "step": 635
    },
    {
      "epoch": 1.696,
      "grad_norm": 0.16254623234272003,
      "learning_rate": 9.013824884792627e-05,
      "loss": 0.2781,
      "step": 636
    },
    {
      "epoch": 1.6986666666666665,
      "grad_norm": 0.19232486188411713,
      "learning_rate": 8.995391705069126e-05,
      "loss": 0.3199,
      "step": 637
    },
    {
      "epoch": 1.7013333333333334,
      "grad_norm": 0.18568578362464905,
      "learning_rate": 8.976958525345623e-05,
      "loss": 0.2928,
      "step": 638
    },
    {
      "epoch": 1.704,
      "grad_norm": 0.16008365154266357,
      "learning_rate": 8.958525345622121e-05,
      "loss": 0.2833,
      "step": 639
    },
    {
      "epoch": 1.7066666666666666,
      "grad_norm": 0.17495164275169373,
      "learning_rate": 8.940092165898618e-05,
      "loss": 0.2905,
      "step": 640
    },
    {
      "epoch": 1.7093333333333334,
      "grad_norm": 0.1815049946308136,
      "learning_rate": 8.921658986175115e-05,
      "loss": 0.307,
      "step": 641
    },
    {
      "epoch": 1.712,
      "grad_norm": 0.1830923706293106,
      "learning_rate": 8.903225806451614e-05,
      "loss": 0.3206,
      "step": 642
    },
    {
      "epoch": 1.7146666666666666,
      "grad_norm": 0.1680733859539032,
      "learning_rate": 8.884792626728111e-05,
      "loss": 0.2792,
      "step": 643
    },
    {
      "epoch": 1.7173333333333334,
      "grad_norm": 0.18931952118873596,
      "learning_rate": 8.866359447004608e-05,
      "loss": 0.3304,
      "step": 644
    },
    {
      "epoch": 1.72,
      "grad_norm": 0.1606740653514862,
      "learning_rate": 8.847926267281106e-05,
      "loss": 0.2717,
      "step": 645
    },
    {
      "epoch": 1.7226666666666666,
      "grad_norm": 0.35692843794822693,
      "learning_rate": 8.829493087557605e-05,
      "loss": 0.2815,
      "step": 646
    },
    {
      "epoch": 1.7253333333333334,
      "grad_norm": 0.16885492205619812,
      "learning_rate": 8.811059907834102e-05,
      "loss": 0.2884,
      "step": 647
    },
    {
      "epoch": 1.728,
      "grad_norm": 0.1640160083770752,
      "learning_rate": 8.792626728110599e-05,
      "loss": 0.2812,
      "step": 648
    },
    {
      "epoch": 1.7306666666666666,
      "grad_norm": 0.1976490169763565,
      "learning_rate": 8.774193548387098e-05,
      "loss": 0.3546,
      "step": 649
    },
    {
      "epoch": 1.7333333333333334,
      "grad_norm": 0.2002202719449997,
      "learning_rate": 8.755760368663595e-05,
      "loss": 0.3298,
      "step": 650
    },
    {
      "epoch": 1.736,
      "grad_norm": 0.15389132499694824,
      "learning_rate": 8.737327188940092e-05,
      "loss": 0.269,
      "step": 651
    },
    {
      "epoch": 1.7386666666666666,
      "grad_norm": 0.18483757972717285,
      "learning_rate": 8.71889400921659e-05,
      "loss": 0.3109,
      "step": 652
    },
    {
      "epoch": 1.7413333333333334,
      "grad_norm": 0.20180675387382507,
      "learning_rate": 8.700460829493087e-05,
      "loss": 0.3371,
      "step": 653
    },
    {
      "epoch": 1.744,
      "grad_norm": 0.18638424575328827,
      "learning_rate": 8.682027649769585e-05,
      "loss": 0.3345,
      "step": 654
    },
    {
      "epoch": 1.7466666666666666,
      "grad_norm": 0.1799522340297699,
      "learning_rate": 8.663594470046083e-05,
      "loss": 0.3144,
      "step": 655
    },
    {
      "epoch": 1.7493333333333334,
      "grad_norm": 0.16704382002353668,
      "learning_rate": 8.645161290322581e-05,
      "loss": 0.2767,
      "step": 656
    },
    {
      "epoch": 1.752,
      "grad_norm": 0.14942538738250732,
      "learning_rate": 8.626728110599079e-05,
      "loss": 0.261,
      "step": 657
    },
    {
      "epoch": 1.7546666666666666,
      "grad_norm": 0.16195400059223175,
      "learning_rate": 8.608294930875577e-05,
      "loss": 0.2732,
      "step": 658
    },
    {
      "epoch": 1.7573333333333334,
      "grad_norm": 0.1898159235715866,
      "learning_rate": 8.589861751152074e-05,
      "loss": 0.3006,
      "step": 659
    },
    {
      "epoch": 1.76,
      "grad_norm": 0.1874152570962906,
      "learning_rate": 8.571428571428571e-05,
      "loss": 0.3053,
      "step": 660
    },
    {
      "epoch": 1.7626666666666666,
      "grad_norm": 0.14272183179855347,
      "learning_rate": 8.55299539170507e-05,
      "loss": 0.2385,
      "step": 661
    },
    {
      "epoch": 1.7653333333333334,
      "grad_norm": 0.17654938995838165,
      "learning_rate": 8.534562211981567e-05,
      "loss": 0.2819,
      "step": 662
    },
    {
      "epoch": 1.768,
      "grad_norm": 0.1853097826242447,
      "learning_rate": 8.516129032258064e-05,
      "loss": 0.2927,
      "step": 663
    },
    {
      "epoch": 1.7706666666666666,
      "grad_norm": 0.18819859623908997,
      "learning_rate": 8.497695852534562e-05,
      "loss": 0.3356,
      "step": 664
    },
    {
      "epoch": 1.7733333333333334,
      "grad_norm": 0.1614430546760559,
      "learning_rate": 8.479262672811061e-05,
      "loss": 0.2602,
      "step": 665
    },
    {
      "epoch": 1.776,
      "grad_norm": 0.15915413200855255,
      "learning_rate": 8.460829493087558e-05,
      "loss": 0.2595,
      "step": 666
    },
    {
      "epoch": 1.7786666666666666,
      "grad_norm": 0.1936057060956955,
      "learning_rate": 8.442396313364056e-05,
      "loss": 0.3432,
      "step": 667
    },
    {
      "epoch": 1.7813333333333334,
      "grad_norm": 0.17287862300872803,
      "learning_rate": 8.423963133640554e-05,
      "loss": 0.2871,
      "step": 668
    },
    {
      "epoch": 1.784,
      "grad_norm": 0.18533234298229218,
      "learning_rate": 8.40552995391705e-05,
      "loss": 0.3259,
      "step": 669
    },
    {
      "epoch": 1.7866666666666666,
      "grad_norm": 0.15584254264831543,
      "learning_rate": 8.387096774193549e-05,
      "loss": 0.2626,
      "step": 670
    },
    {
      "epoch": 1.7893333333333334,
      "grad_norm": 0.1861247420310974,
      "learning_rate": 8.368663594470046e-05,
      "loss": 0.2885,
      "step": 671
    },
    {
      "epoch": 1.792,
      "grad_norm": 0.17717666923999786,
      "learning_rate": 8.350230414746543e-05,
      "loss": 0.3124,
      "step": 672
    },
    {
      "epoch": 1.7946666666666666,
      "grad_norm": 0.16185526549816132,
      "learning_rate": 8.331797235023042e-05,
      "loss": 0.2706,
      "step": 673
    },
    {
      "epoch": 1.7973333333333334,
      "grad_norm": 0.16284199059009552,
      "learning_rate": 8.313364055299539e-05,
      "loss": 0.2698,
      "step": 674
    },
    {
      "epoch": 1.8,
      "grad_norm": 0.1703667789697647,
      "learning_rate": 8.294930875576037e-05,
      "loss": 0.274,
      "step": 675
    },
    {
      "epoch": 1.8026666666666666,
      "grad_norm": 0.17197850346565247,
      "learning_rate": 8.276497695852536e-05,
      "loss": 0.2875,
      "step": 676
    },
    {
      "epoch": 1.8053333333333335,
      "grad_norm": 0.19215679168701172,
      "learning_rate": 8.258064516129033e-05,
      "loss": 0.3228,
      "step": 677
    },
    {
      "epoch": 1.808,
      "grad_norm": 0.16802360117435455,
      "learning_rate": 8.23963133640553e-05,
      "loss": 0.2952,
      "step": 678
    },
    {
      "epoch": 1.8106666666666666,
      "grad_norm": 0.13980096578598022,
      "learning_rate": 8.221198156682029e-05,
      "loss": 0.2353,
      "step": 679
    },
    {
      "epoch": 1.8133333333333335,
      "grad_norm": 0.1700064092874527,
      "learning_rate": 8.202764976958526e-05,
      "loss": 0.2796,
      "step": 680
    },
    {
      "epoch": 1.8159999999999998,
      "grad_norm": 0.1647680103778839,
      "learning_rate": 8.184331797235023e-05,
      "loss": 0.266,
      "step": 681
    },
    {
      "epoch": 1.8186666666666667,
      "grad_norm": 0.16847248375415802,
      "learning_rate": 8.165898617511521e-05,
      "loss": 0.2782,
      "step": 682
    },
    {
      "epoch": 1.8213333333333335,
      "grad_norm": 0.17646561563014984,
      "learning_rate": 8.147465437788018e-05,
      "loss": 0.303,
      "step": 683
    },
    {
      "epoch": 1.8239999999999998,
      "grad_norm": 0.18398386240005493,
      "learning_rate": 8.129032258064517e-05,
      "loss": 0.3125,
      "step": 684
    },
    {
      "epoch": 1.8266666666666667,
      "grad_norm": 0.13090087473392487,
      "learning_rate": 8.110599078341015e-05,
      "loss": 0.2142,
      "step": 685
    },
    {
      "epoch": 1.8293333333333335,
      "grad_norm": 0.1671331375837326,
      "learning_rate": 8.092165898617512e-05,
      "loss": 0.2859,
      "step": 686
    },
    {
      "epoch": 1.8319999999999999,
      "grad_norm": 0.17385636270046234,
      "learning_rate": 8.07373271889401e-05,
      "loss": 0.2696,
      "step": 687
    },
    {
      "epoch": 1.8346666666666667,
      "grad_norm": 0.1418769508600235,
      "learning_rate": 8.055299539170508e-05,
      "loss": 0.2291,
      "step": 688
    },
    {
      "epoch": 1.8373333333333335,
      "grad_norm": 0.16654452681541443,
      "learning_rate": 8.036866359447005e-05,
      "loss": 0.2612,
      "step": 689
    },
    {
      "epoch": 1.8399999999999999,
      "grad_norm": 0.18424147367477417,
      "learning_rate": 8.018433179723502e-05,
      "loss": 0.2876,
      "step": 690
    },
    {
      "epoch": 1.8426666666666667,
      "grad_norm": 0.1604059934616089,
      "learning_rate": 8e-05,
      "loss": 0.2753,
      "step": 691
    },
    {
      "epoch": 1.8453333333333335,
      "grad_norm": 0.13489925861358643,
      "learning_rate": 7.981566820276498e-05,
      "loss": 0.2152,
      "step": 692
    },
    {
      "epoch": 1.8479999999999999,
      "grad_norm": 0.19340185821056366,
      "learning_rate": 7.963133640552995e-05,
      "loss": 0.324,
      "step": 693
    },
    {
      "epoch": 1.8506666666666667,
      "grad_norm": 0.14436614513397217,
      "learning_rate": 7.944700460829493e-05,
      "loss": 0.2469,
      "step": 694
    },
    {
      "epoch": 1.8533333333333335,
      "grad_norm": 0.12829948961734772,
      "learning_rate": 7.926267281105992e-05,
      "loss": 0.1984,
      "step": 695
    },
    {
      "epoch": 1.8559999999999999,
      "grad_norm": 0.1294345259666443,
      "learning_rate": 7.907834101382489e-05,
      "loss": 0.2003,
      "step": 696
    },
    {
      "epoch": 1.8586666666666667,
      "grad_norm": 0.17007410526275635,
      "learning_rate": 7.889400921658987e-05,
      "loss": 0.2927,
      "step": 697
    },
    {
      "epoch": 1.8613333333333333,
      "grad_norm": 0.19229468703269958,
      "learning_rate": 7.870967741935484e-05,
      "loss": 0.3052,
      "step": 698
    },
    {
      "epoch": 1.8639999999999999,
      "grad_norm": 0.15960730612277985,
      "learning_rate": 7.852534562211982e-05,
      "loss": 0.2567,
      "step": 699
    },
    {
      "epoch": 1.8666666666666667,
      "grad_norm": 0.16838312149047852,
      "learning_rate": 7.83410138248848e-05,
      "loss": 0.2666,
      "step": 700
    },
    {
      "epoch": 1.8693333333333333,
      "grad_norm": 0.1703864485025406,
      "learning_rate": 7.815668202764977e-05,
      "loss": 0.2814,
      "step": 701
    },
    {
      "epoch": 1.8719999999999999,
      "grad_norm": 0.18116213381290436,
      "learning_rate": 7.797235023041474e-05,
      "loss": 0.2945,
      "step": 702
    },
    {
      "epoch": 1.8746666666666667,
      "grad_norm": 0.16404111683368683,
      "learning_rate": 7.778801843317973e-05,
      "loss": 0.2628,
      "step": 703
    },
    {
      "epoch": 1.8773333333333333,
      "grad_norm": 0.1620422750711441,
      "learning_rate": 7.760368663594471e-05,
      "loss": 0.2602,
      "step": 704
    },
    {
      "epoch": 1.88,
      "grad_norm": 0.18525472283363342,
      "learning_rate": 7.741935483870968e-05,
      "loss": 0.297,
      "step": 705
    },
    {
      "epoch": 1.8826666666666667,
      "grad_norm": 0.1908557265996933,
      "learning_rate": 7.723502304147467e-05,
      "loss": 0.3101,
      "step": 706
    },
    {
      "epoch": 1.8853333333333333,
      "grad_norm": 0.14785411953926086,
      "learning_rate": 7.705069124423964e-05,
      "loss": 0.2466,
      "step": 707
    },
    {
      "epoch": 1.888,
      "grad_norm": 0.16629411280155182,
      "learning_rate": 7.686635944700461e-05,
      "loss": 0.2686,
      "step": 708
    },
    {
      "epoch": 1.8906666666666667,
      "grad_norm": 0.1894264668226242,
      "learning_rate": 7.66820276497696e-05,
      "loss": 0.3015,
      "step": 709
    },
    {
      "epoch": 1.8933333333333333,
      "grad_norm": 0.19332143664360046,
      "learning_rate": 7.649769585253457e-05,
      "loss": 0.321,
      "step": 710
    },
    {
      "epoch": 1.896,
      "grad_norm": 0.19467511773109436,
      "learning_rate": 7.631336405529954e-05,
      "loss": 0.329,
      "step": 711
    },
    {
      "epoch": 1.8986666666666667,
      "grad_norm": 0.18550783395767212,
      "learning_rate": 7.612903225806451e-05,
      "loss": 0.3076,
      "step": 712
    },
    {
      "epoch": 1.9013333333333333,
      "grad_norm": 0.17345988750457764,
      "learning_rate": 7.594470046082949e-05,
      "loss": 0.2648,
      "step": 713
    },
    {
      "epoch": 1.904,
      "grad_norm": 0.1728450208902359,
      "learning_rate": 7.576036866359448e-05,
      "loss": 0.2763,
      "step": 714
    },
    {
      "epoch": 1.9066666666666667,
      "grad_norm": 0.18159735202789307,
      "learning_rate": 7.557603686635945e-05,
      "loss": 0.2853,
      "step": 715
    },
    {
      "epoch": 1.9093333333333333,
      "grad_norm": 0.17829135060310364,
      "learning_rate": 7.539170506912443e-05,
      "loss": 0.2922,
      "step": 716
    },
    {
      "epoch": 1.912,
      "grad_norm": 0.15726618468761444,
      "learning_rate": 7.52073732718894e-05,
      "loss": 0.281,
      "step": 717
    },
    {
      "epoch": 1.9146666666666667,
      "grad_norm": 0.1958702802658081,
      "learning_rate": 7.502304147465438e-05,
      "loss": 0.3326,
      "step": 718
    },
    {
      "epoch": 1.9173333333333333,
      "grad_norm": 0.1737392097711563,
      "learning_rate": 7.483870967741936e-05,
      "loss": 0.2976,
      "step": 719
    },
    {
      "epoch": 1.92,
      "grad_norm": 0.12855935096740723,
      "learning_rate": 7.465437788018433e-05,
      "loss": 0.203,
      "step": 720
    },
    {
      "epoch": 1.9226666666666667,
      "grad_norm": 0.13673973083496094,
      "learning_rate": 7.44700460829493e-05,
      "loss": 0.2099,
      "step": 721
    },
    {
      "epoch": 1.9253333333333333,
      "grad_norm": 0.1838173270225525,
      "learning_rate": 7.428571428571429e-05,
      "loss": 0.2997,
      "step": 722
    },
    {
      "epoch": 1.928,
      "grad_norm": 0.17235301434993744,
      "learning_rate": 7.410138248847927e-05,
      "loss": 0.2945,
      "step": 723
    },
    {
      "epoch": 1.9306666666666668,
      "grad_norm": 0.13796474039554596,
      "learning_rate": 7.391705069124424e-05,
      "loss": 0.2097,
      "step": 724
    },
    {
      "epoch": 1.9333333333333333,
      "grad_norm": 0.15858563780784607,
      "learning_rate": 7.373271889400923e-05,
      "loss": 0.2575,
      "step": 725
    },
    {
      "epoch": 1.936,
      "grad_norm": 0.15040184557437897,
      "learning_rate": 7.35483870967742e-05,
      "loss": 0.234,
      "step": 726
    },
    {
      "epoch": 1.9386666666666668,
      "grad_norm": 0.17520880699157715,
      "learning_rate": 7.336405529953917e-05,
      "loss": 0.272,
      "step": 727
    },
    {
      "epoch": 1.9413333333333334,
      "grad_norm": 0.17100732028484344,
      "learning_rate": 7.317972350230415e-05,
      "loss": 0.2852,
      "step": 728
    },
    {
      "epoch": 1.944,
      "grad_norm": 0.17124292254447937,
      "learning_rate": 7.299539170506913e-05,
      "loss": 0.2772,
      "step": 729
    },
    {
      "epoch": 1.9466666666666668,
      "grad_norm": 0.16319064795970917,
      "learning_rate": 7.28110599078341e-05,
      "loss": 0.2668,
      "step": 730
    },
    {
      "epoch": 1.9493333333333334,
      "grad_norm": 0.20069065690040588,
      "learning_rate": 7.262672811059908e-05,
      "loss": 0.3414,
      "step": 731
    },
    {
      "epoch": 1.952,
      "grad_norm": 0.1877623200416565,
      "learning_rate": 7.244239631336405e-05,
      "loss": 0.3266,
      "step": 732
    },
    {
      "epoch": 1.9546666666666668,
      "grad_norm": 0.18862102925777435,
      "learning_rate": 7.225806451612904e-05,
      "loss": 0.3233,
      "step": 733
    },
    {
      "epoch": 1.9573333333333334,
      "grad_norm": 0.15602558851242065,
      "learning_rate": 7.207373271889402e-05,
      "loss": 0.2475,
      "step": 734
    },
    {
      "epoch": 1.96,
      "grad_norm": 0.18717564642429352,
      "learning_rate": 7.188940092165899e-05,
      "loss": 0.3177,
      "step": 735
    },
    {
      "epoch": 1.9626666666666668,
      "grad_norm": 0.17257076501846313,
      "learning_rate": 7.170506912442396e-05,
      "loss": 0.2856,
      "step": 736
    },
    {
      "epoch": 1.9653333333333334,
      "grad_norm": 0.19978205859661102,
      "learning_rate": 7.152073732718895e-05,
      "loss": 0.3055,
      "step": 737
    },
    {
      "epoch": 1.968,
      "grad_norm": 0.15286576747894287,
      "learning_rate": 7.133640552995392e-05,
      "loss": 0.2541,
      "step": 738
    },
    {
      "epoch": 1.9706666666666668,
      "grad_norm": 0.14955423772335052,
      "learning_rate": 7.115207373271889e-05,
      "loss": 0.2388,
      "step": 739
    },
    {
      "epoch": 1.9733333333333334,
      "grad_norm": 0.16089631617069244,
      "learning_rate": 7.096774193548388e-05,
      "loss": 0.2674,
      "step": 740
    },
    {
      "epoch": 1.976,
      "grad_norm": 0.15343688428401947,
      "learning_rate": 7.078341013824885e-05,
      "loss": 0.2409,
      "step": 741
    },
    {
      "epoch": 1.9786666666666668,
      "grad_norm": 0.20841974020004272,
      "learning_rate": 7.059907834101383e-05,
      "loss": 0.3221,
      "step": 742
    },
    {
      "epoch": 1.9813333333333332,
      "grad_norm": 0.13493113219738007,
      "learning_rate": 7.041474654377882e-05,
      "loss": 0.2305,
      "step": 743
    },
    {
      "epoch": 1.984,
      "grad_norm": 0.19111666083335876,
      "learning_rate": 7.023041474654379e-05,
      "loss": 0.317,
      "step": 744
    },
    {
      "epoch": 1.9866666666666668,
      "grad_norm": 0.1622893363237381,
      "learning_rate": 7.004608294930876e-05,
      "loss": 0.2782,
      "step": 745
    },
    {
      "epoch": 1.9893333333333332,
      "grad_norm": 0.19591489434242249,
      "learning_rate": 6.986175115207374e-05,
      "loss": 0.3153,
      "step": 746
    },
    {
      "epoch": 1.992,
      "grad_norm": 0.17614838480949402,
      "learning_rate": 6.967741935483871e-05,
      "loss": 0.2765,
      "step": 747
    },
    {
      "epoch": 1.9946666666666668,
      "grad_norm": 0.16772747039794922,
      "learning_rate": 6.949308755760368e-05,
      "loss": 0.2801,
      "step": 748
    },
    {
      "epoch": 1.9973333333333332,
      "grad_norm": 0.1799980103969574,
      "learning_rate": 6.930875576036867e-05,
      "loss": 0.2761,
      "step": 749
    },
    {
      "epoch": 2.0,
      "grad_norm": 0.17077715694904327,
      "learning_rate": 6.912442396313364e-05,
      "loss": 0.2639,
      "step": 750
    },
    {
      "epoch": 2.002666666666667,
      "grad_norm": 0.1633124053478241,
      "learning_rate": 6.894009216589861e-05,
      "loss": 0.2513,
      "step": 751
    },
    {
      "epoch": 2.005333333333333,
      "grad_norm": 0.1429387778043747,
      "learning_rate": 6.87557603686636e-05,
      "loss": 0.2027,
      "step": 752
    },
    {
      "epoch": 2.008,
      "grad_norm": 0.16289448738098145,
      "learning_rate": 6.857142857142858e-05,
      "loss": 0.2562,
      "step": 753
    },
    {
      "epoch": 2.010666666666667,
      "grad_norm": 0.1556294858455658,
      "learning_rate": 6.838709677419355e-05,
      "loss": 0.2149,
      "step": 754
    },
    {
      "epoch": 2.013333333333333,
      "grad_norm": 0.1885160356760025,
      "learning_rate": 6.820276497695854e-05,
      "loss": 0.2674,
      "step": 755
    },
    {
      "epoch": 2.016,
      "grad_norm": 0.19256852567195892,
      "learning_rate": 6.801843317972351e-05,
      "loss": 0.2617,
      "step": 756
    },
    {
      "epoch": 2.018666666666667,
      "grad_norm": 0.1802372932434082,
      "learning_rate": 6.783410138248848e-05,
      "loss": 0.228,
      "step": 757
    },
    {
      "epoch": 2.021333333333333,
      "grad_norm": 0.16299250721931458,
      "learning_rate": 6.764976958525346e-05,
      "loss": 0.2062,
      "step": 758
    },
    {
      "epoch": 2.024,
      "grad_norm": 0.19721713662147522,
      "learning_rate": 6.746543778801843e-05,
      "loss": 0.2525,
      "step": 759
    },
    {
      "epoch": 2.026666666666667,
      "grad_norm": 0.18933512270450592,
      "learning_rate": 6.72811059907834e-05,
      "loss": 0.2271,
      "step": 760
    },
    {
      "epoch": 2.029333333333333,
      "grad_norm": 0.20451472699642181,
      "learning_rate": 6.709677419354839e-05,
      "loss": 0.2562,
      "step": 761
    },
    {
      "epoch": 2.032,
      "grad_norm": 0.21521085500717163,
      "learning_rate": 6.691244239631338e-05,
      "loss": 0.2778,
      "step": 762
    },
    {
      "epoch": 2.034666666666667,
      "grad_norm": 0.20355567336082458,
      "learning_rate": 6.672811059907835e-05,
      "loss": 0.256,
      "step": 763
    },
    {
      "epoch": 2.037333333333333,
      "grad_norm": 0.16054679453372955,
      "learning_rate": 6.654377880184333e-05,
      "loss": 0.211,
      "step": 764
    },
    {
      "epoch": 2.04,
      "grad_norm": 0.14381106197834015,
      "learning_rate": 6.63594470046083e-05,
      "loss": 0.1887,
      "step": 765
    },
    {
      "epoch": 2.042666666666667,
      "grad_norm": 0.14563830196857452,
      "learning_rate": 6.617511520737327e-05,
      "loss": 0.1937,
      "step": 766
    },
    {
      "epoch": 2.0453333333333332,
      "grad_norm": 0.18439652025699615,
      "learning_rate": 6.599078341013826e-05,
      "loss": 0.2438,
      "step": 767
    },
    {
      "epoch": 2.048,
      "grad_norm": 0.1898227483034134,
      "learning_rate": 6.580645161290323e-05,
      "loss": 0.2817,
      "step": 768
    },
    {
      "epoch": 2.050666666666667,
      "grad_norm": 0.1713884174823761,
      "learning_rate": 6.56221198156682e-05,
      "loss": 0.2442,
      "step": 769
    },
    {
      "epoch": 2.0533333333333332,
      "grad_norm": 0.1894504874944687,
      "learning_rate": 6.543778801843318e-05,
      "loss": 0.2559,
      "step": 770
    },
    {
      "epoch": 2.056,
      "grad_norm": 0.16358236968517303,
      "learning_rate": 6.525345622119816e-05,
      "loss": 0.2433,
      "step": 771
    },
    {
      "epoch": 2.058666666666667,
      "grad_norm": 0.1549631506204605,
      "learning_rate": 6.506912442396314e-05,
      "loss": 0.2048,
      "step": 772
    },
    {
      "epoch": 2.0613333333333332,
      "grad_norm": 0.1814451813697815,
      "learning_rate": 6.488479262672812e-05,
      "loss": 0.2471,
      "step": 773
    },
    {
      "epoch": 2.064,
      "grad_norm": 0.19335006177425385,
      "learning_rate": 6.47004608294931e-05,
      "loss": 0.2539,
      "step": 774
    },
    {
      "epoch": 2.066666666666667,
      "grad_norm": 0.1451120376586914,
      "learning_rate": 6.451612903225807e-05,
      "loss": 0.1764,
      "step": 775
    },
    {
      "epoch": 2.0693333333333332,
      "grad_norm": 0.183383509516716,
      "learning_rate": 6.433179723502304e-05,
      "loss": 0.2498,
      "step": 776
    },
    {
      "epoch": 2.072,
      "grad_norm": 0.203846737742424,
      "learning_rate": 6.414746543778802e-05,
      "loss": 0.2632,
      "step": 777
    },
    {
      "epoch": 2.074666666666667,
      "grad_norm": 0.19181352853775024,
      "learning_rate": 6.3963133640553e-05,
      "loss": 0.2435,
      "step": 778
    },
    {
      "epoch": 2.0773333333333333,
      "grad_norm": 0.20587021112442017,
      "learning_rate": 6.377880184331797e-05,
      "loss": 0.2688,
      "step": 779
    },
    {
      "epoch": 2.08,
      "grad_norm": 0.15669092535972595,
      "learning_rate": 6.359447004608295e-05,
      "loss": 0.2011,
      "step": 780
    },
    {
      "epoch": 2.0826666666666664,
      "grad_norm": 0.2003069370985031,
      "learning_rate": 6.341013824884793e-05,
      "loss": 0.2603,
      "step": 781
    },
    {
      "epoch": 2.0853333333333333,
      "grad_norm": 0.20385725796222687,
      "learning_rate": 6.32258064516129e-05,
      "loss": 0.2776,
      "step": 782
    },
    {
      "epoch": 2.088,
      "grad_norm": 0.13983668386936188,
      "learning_rate": 6.304147465437789e-05,
      "loss": 0.187,
      "step": 783
    },
    {
      "epoch": 2.0906666666666665,
      "grad_norm": 0.201290100812912,
      "learning_rate": 6.285714285714286e-05,
      "loss": 0.2611,
      "step": 784
    },
    {
      "epoch": 2.0933333333333333,
      "grad_norm": 0.18335093557834625,
      "learning_rate": 6.267281105990783e-05,
      "loss": 0.2391,
      "step": 785
    },
    {
      "epoch": 2.096,
      "grad_norm": 0.20194748044013977,
      "learning_rate": 6.248847926267282e-05,
      "loss": 0.2538,
      "step": 786
    },
    {
      "epoch": 2.0986666666666665,
      "grad_norm": 0.19379591941833496,
      "learning_rate": 6.230414746543779e-05,
      "loss": 0.2501,
      "step": 787
    },
    {
      "epoch": 2.1013333333333333,
      "grad_norm": 0.20342446863651276,
      "learning_rate": 6.211981566820276e-05,
      "loss": 0.2662,
      "step": 788
    },
    {
      "epoch": 2.104,
      "grad_norm": 0.1956428438425064,
      "learning_rate": 6.193548387096774e-05,
      "loss": 0.2667,
      "step": 789
    },
    {
      "epoch": 2.1066666666666665,
      "grad_norm": 0.17669370770454407,
      "learning_rate": 6.175115207373272e-05,
      "loss": 0.2279,
      "step": 790
    },
    {
      "epoch": 2.1093333333333333,
      "grad_norm": 0.17823144793510437,
      "learning_rate": 6.15668202764977e-05,
      "loss": 0.232,
      "step": 791
    },
    {
      "epoch": 2.112,
      "grad_norm": 0.1824260950088501,
      "learning_rate": 6.138248847926268e-05,
      "loss": 0.2311,
      "step": 792
    },
    {
      "epoch": 2.1146666666666665,
      "grad_norm": 0.17422372102737427,
      "learning_rate": 6.119815668202766e-05,
      "loss": 0.2281,
      "step": 793
    },
    {
      "epoch": 2.1173333333333333,
      "grad_norm": 0.13453565537929535,
      "learning_rate": 6.1013824884792627e-05,
      "loss": 0.1645,
      "step": 794
    },
    {
      "epoch": 2.12,
      "grad_norm": 0.20188812911510468,
      "learning_rate": 6.082949308755761e-05,
      "loss": 0.2517,
      "step": 795
    },
    {
      "epoch": 2.1226666666666665,
      "grad_norm": 0.1845582127571106,
      "learning_rate": 6.064516129032258e-05,
      "loss": 0.2381,
      "step": 796
    },
    {
      "epoch": 2.1253333333333333,
      "grad_norm": 0.1728835552930832,
      "learning_rate": 6.0460829493087553e-05,
      "loss": 0.2357,
      "step": 797
    },
    {
      "epoch": 2.128,
      "grad_norm": 0.14682193100452423,
      "learning_rate": 6.027649769585254e-05,
      "loss": 0.2004,
      "step": 798
    },
    {
      "epoch": 2.1306666666666665,
      "grad_norm": 0.1783488243818283,
      "learning_rate": 6.0092165898617516e-05,
      "loss": 0.2211,
      "step": 799
    },
    {
      "epoch": 2.1333333333333333,
      "grad_norm": 0.1575060933828354,
      "learning_rate": 5.990783410138249e-05,
      "loss": 0.2036,
      "step": 800
    },
    {
      "epoch": 2.136,
      "grad_norm": 0.17132887244224548,
      "learning_rate": 5.972350230414747e-05,
      "loss": 0.2132,
      "step": 801
    },
    {
      "epoch": 2.1386666666666665,
      "grad_norm": 0.19641931354999542,
      "learning_rate": 5.953917050691244e-05,
      "loss": 0.2392,
      "step": 802
    },
    {
      "epoch": 2.1413333333333333,
      "grad_norm": 0.1785760372877121,
      "learning_rate": 5.935483870967742e-05,
      "loss": 0.2305,
      "step": 803
    },
    {
      "epoch": 2.144,
      "grad_norm": 0.1902862936258316,
      "learning_rate": 5.9170506912442405e-05,
      "loss": 0.2601,
      "step": 804
    },
    {
      "epoch": 2.1466666666666665,
      "grad_norm": 0.19646671414375305,
      "learning_rate": 5.8986175115207376e-05,
      "loss": 0.2677,
      "step": 805
    },
    {
      "epoch": 2.1493333333333333,
      "grad_norm": 0.17630285024642944,
      "learning_rate": 5.880184331797235e-05,
      "loss": 0.2344,
      "step": 806
    },
    {
      "epoch": 2.152,
      "grad_norm": 0.181659534573555,
      "learning_rate": 5.861751152073733e-05,
      "loss": 0.2417,
      "step": 807
    },
    {
      "epoch": 2.1546666666666665,
      "grad_norm": 0.18842129409313202,
      "learning_rate": 5.843317972350231e-05,
      "loss": 0.2484,
      "step": 808
    },
    {
      "epoch": 2.1573333333333333,
      "grad_norm": 0.2049228847026825,
      "learning_rate": 5.824884792626728e-05,
      "loss": 0.276,
      "step": 809
    },
    {
      "epoch": 2.16,
      "grad_norm": 0.17357228696346283,
      "learning_rate": 5.8064516129032266e-05,
      "loss": 0.2241,
      "step": 810
    },
    {
      "epoch": 2.1626666666666665,
      "grad_norm": 0.1905251294374466,
      "learning_rate": 5.788018433179724e-05,
      "loss": 0.2499,
      "step": 811
    },
    {
      "epoch": 2.1653333333333333,
      "grad_norm": 0.20603859424591064,
      "learning_rate": 5.769585253456221e-05,
      "loss": 0.2763,
      "step": 812
    },
    {
      "epoch": 2.168,
      "grad_norm": 0.17379043996334076,
      "learning_rate": 5.751152073732719e-05,
      "loss": 0.2302,
      "step": 813
    },
    {
      "epoch": 2.1706666666666665,
      "grad_norm": 0.18704932928085327,
      "learning_rate": 5.732718894009217e-05,
      "loss": 0.2562,
      "step": 814
    },
    {
      "epoch": 2.1733333333333333,
      "grad_norm": 0.16581858694553375,
      "learning_rate": 5.714285714285714e-05,
      "loss": 0.2051,
      "step": 815
    },
    {
      "epoch": 2.176,
      "grad_norm": 0.1519721895456314,
      "learning_rate": 5.6958525345622126e-05,
      "loss": 0.2044,
      "step": 816
    },
    {
      "epoch": 2.1786666666666665,
      "grad_norm": 0.21112124621868134,
      "learning_rate": 5.67741935483871e-05,
      "loss": 0.2724,
      "step": 817
    },
    {
      "epoch": 2.1813333333333333,
      "grad_norm": 0.1688368320465088,
      "learning_rate": 5.6589861751152075e-05,
      "loss": 0.2125,
      "step": 818
    },
    {
      "epoch": 2.184,
      "grad_norm": 0.14428474009037018,
      "learning_rate": 5.640552995391706e-05,
      "loss": 0.1864,
      "step": 819
    },
    {
      "epoch": 2.1866666666666665,
      "grad_norm": 0.19987855851650238,
      "learning_rate": 5.622119815668203e-05,
      "loss": 0.2616,
      "step": 820
    },
    {
      "epoch": 2.1893333333333334,
      "grad_norm": 0.1781335175037384,
      "learning_rate": 5.6036866359447e-05,
      "loss": 0.2172,
      "step": 821
    },
    {
      "epoch": 2.192,
      "grad_norm": 0.21375764906406403,
      "learning_rate": 5.585253456221199e-05,
      "loss": 0.2767,
      "step": 822
    },
    {
      "epoch": 2.1946666666666665,
      "grad_norm": 0.16845765709877014,
      "learning_rate": 5.5668202764976965e-05,
      "loss": 0.2116,
      "step": 823
    },
    {
      "epoch": 2.1973333333333334,
      "grad_norm": 0.16581523418426514,
      "learning_rate": 5.5483870967741936e-05,
      "loss": 0.2091,
      "step": 824
    },
    {
      "epoch": 2.2,
      "grad_norm": 0.14831623435020447,
      "learning_rate": 5.529953917050692e-05,
      "loss": 0.1929,
      "step": 825
    },
    {
      "epoch": 2.2026666666666666,
      "grad_norm": 0.19845634698867798,
      "learning_rate": 5.511520737327189e-05,
      "loss": 0.241,
      "step": 826
    },
    {
      "epoch": 2.2053333333333334,
      "grad_norm": 0.21646803617477417,
      "learning_rate": 5.493087557603687e-05,
      "loss": 0.272,
      "step": 827
    },
    {
      "epoch": 2.208,
      "grad_norm": 0.20370185375213623,
      "learning_rate": 5.4746543778801854e-05,
      "loss": 0.2581,
      "step": 828
    },
    {
      "epoch": 2.2106666666666666,
      "grad_norm": 0.19999898970127106,
      "learning_rate": 5.4562211981566825e-05,
      "loss": 0.2595,
      "step": 829
    },
    {
      "epoch": 2.2133333333333334,
      "grad_norm": 0.17947052419185638,
      "learning_rate": 5.4377880184331796e-05,
      "loss": 0.2322,
      "step": 830
    },
    {
      "epoch": 2.216,
      "grad_norm": 0.1837109476327896,
      "learning_rate": 5.419354838709678e-05,
      "loss": 0.2449,
      "step": 831
    },
    {
      "epoch": 2.2186666666666666,
      "grad_norm": 0.19303138554096222,
      "learning_rate": 5.400921658986175e-05,
      "loss": 0.2328,
      "step": 832
    },
    {
      "epoch": 2.2213333333333334,
      "grad_norm": 0.1741858273744583,
      "learning_rate": 5.382488479262673e-05,
      "loss": 0.2093,
      "step": 833
    },
    {
      "epoch": 2.224,
      "grad_norm": 0.1743488311767578,
      "learning_rate": 5.3640552995391715e-05,
      "loss": 0.2199,
      "step": 834
    },
    {
      "epoch": 2.2266666666666666,
      "grad_norm": 0.1816837638616562,
      "learning_rate": 5.3456221198156686e-05,
      "loss": 0.2231,
      "step": 835
    },
    {
      "epoch": 2.2293333333333334,
      "grad_norm": 0.21669088304042816,
      "learning_rate": 5.327188940092166e-05,
      "loss": 0.2814,
      "step": 836
    },
    {
      "epoch": 2.232,
      "grad_norm": 0.2027190774679184,
      "learning_rate": 5.308755760368664e-05,
      "loss": 0.2676,
      "step": 837
    },
    {
      "epoch": 2.2346666666666666,
      "grad_norm": 0.21678215265274048,
      "learning_rate": 5.290322580645162e-05,
      "loss": 0.2812,
      "step": 838
    },
    {
      "epoch": 2.2373333333333334,
      "grad_norm": 0.2116953581571579,
      "learning_rate": 5.271889400921659e-05,
      "loss": 0.252,
      "step": 839
    },
    {
      "epoch": 2.24,
      "grad_norm": 0.16538837552070618,
      "learning_rate": 5.253456221198156e-05,
      "loss": 0.2023,
      "step": 840
    },
    {
      "epoch": 2.2426666666666666,
      "grad_norm": 0.20609216392040253,
      "learning_rate": 5.2350230414746546e-05,
      "loss": 0.2567,
      "step": 841
    },
    {
      "epoch": 2.2453333333333334,
      "grad_norm": 0.19656263291835785,
      "learning_rate": 5.2165898617511524e-05,
      "loss": 0.2375,
      "step": 842
    },
    {
      "epoch": 2.248,
      "grad_norm": 0.1345873922109604,
      "learning_rate": 5.1981566820276495e-05,
      "loss": 0.164,
      "step": 843
    },
    {
      "epoch": 2.2506666666666666,
      "grad_norm": 0.2203885316848755,
      "learning_rate": 5.179723502304148e-05,
      "loss": 0.2648,
      "step": 844
    },
    {
      "epoch": 2.2533333333333334,
      "grad_norm": 0.14984656870365143,
      "learning_rate": 5.161290322580645e-05,
      "loss": 0.1788,
      "step": 845
    },
    {
      "epoch": 2.2560000000000002,
      "grad_norm": 0.1774144321680069,
      "learning_rate": 5.142857142857143e-05,
      "loss": 0.2132,
      "step": 846
    },
    {
      "epoch": 2.2586666666666666,
      "grad_norm": 0.18027524650096893,
      "learning_rate": 5.1244239631336414e-05,
      "loss": 0.219,
      "step": 847
    },
    {
      "epoch": 2.2613333333333334,
      "grad_norm": 0.19028416275978088,
      "learning_rate": 5.1059907834101385e-05,
      "loss": 0.2423,
      "step": 848
    },
    {
      "epoch": 2.2640000000000002,
      "grad_norm": 0.17942991852760315,
      "learning_rate": 5.0875576036866356e-05,
      "loss": 0.2256,
      "step": 849
    },
    {
      "epoch": 2.2666666666666666,
      "grad_norm": 0.20197415351867676,
      "learning_rate": 5.069124423963134e-05,
      "loss": 0.252,
      "step": 850
    },
    {
      "epoch": 2.2693333333333334,
      "grad_norm": 0.18713517487049103,
      "learning_rate": 5.050691244239631e-05,
      "loss": 0.225,
      "step": 851
    },
    {
      "epoch": 2.2720000000000002,
      "grad_norm": 0.1841951459646225,
      "learning_rate": 5.032258064516129e-05,
      "loss": 0.2431,
      "step": 852
    },
    {
      "epoch": 2.2746666666666666,
      "grad_norm": 0.15105000138282776,
      "learning_rate": 5.0138248847926274e-05,
      "loss": 0.1915,
      "step": 853
    },
    {
      "epoch": 2.2773333333333334,
      "grad_norm": 0.19592095911502838,
      "learning_rate": 4.9953917050691245e-05,
      "loss": 0.2614,
      "step": 854
    },
    {
      "epoch": 2.2800000000000002,
      "grad_norm": 0.1877017617225647,
      "learning_rate": 4.976958525345622e-05,
      "loss": 0.2327,
      "step": 855
    },
    {
      "epoch": 2.2826666666666666,
      "grad_norm": 0.18034368753433228,
      "learning_rate": 4.95852534562212e-05,
      "loss": 0.2277,
      "step": 856
    },
    {
      "epoch": 2.2853333333333334,
      "grad_norm": 0.16614337265491486,
      "learning_rate": 4.940092165898618e-05,
      "loss": 0.2111,
      "step": 857
    },
    {
      "epoch": 2.288,
      "grad_norm": 0.17970016598701477,
      "learning_rate": 4.921658986175116e-05,
      "loss": 0.2379,
      "step": 858
    },
    {
      "epoch": 2.2906666666666666,
      "grad_norm": 0.18170355260372162,
      "learning_rate": 4.903225806451613e-05,
      "loss": 0.2276,
      "step": 859
    },
    {
      "epoch": 2.2933333333333334,
      "grad_norm": 0.2110476791858673,
      "learning_rate": 4.8847926267281106e-05,
      "loss": 0.28,
      "step": 860
    },
    {
      "epoch": 2.296,
      "grad_norm": 0.187066912651062,
      "learning_rate": 4.8663594470046084e-05,
      "loss": 0.2414,
      "step": 861
    },
    {
      "epoch": 2.2986666666666666,
      "grad_norm": 0.20503658056259155,
      "learning_rate": 4.847926267281106e-05,
      "loss": 0.2541,
      "step": 862
    },
    {
      "epoch": 2.3013333333333335,
      "grad_norm": 0.2017541378736496,
      "learning_rate": 4.829493087557604e-05,
      "loss": 0.2718,
      "step": 863
    },
    {
      "epoch": 2.304,
      "grad_norm": 0.19818656146526337,
      "learning_rate": 4.811059907834102e-05,
      "loss": 0.2548,
      "step": 864
    },
    {
      "epoch": 2.3066666666666666,
      "grad_norm": 0.16166555881500244,
      "learning_rate": 4.792626728110599e-05,
      "loss": 0.2041,
      "step": 865
    },
    {
      "epoch": 2.3093333333333335,
      "grad_norm": 0.14913567900657654,
      "learning_rate": 4.774193548387097e-05,
      "loss": 0.199,
      "step": 866
    },
    {
      "epoch": 2.312,
      "grad_norm": 0.20874328911304474,
      "learning_rate": 4.755760368663595e-05,
      "loss": 0.2819,
      "step": 867
    },
    {
      "epoch": 2.3146666666666667,
      "grad_norm": 0.17748108506202698,
      "learning_rate": 4.737327188940092e-05,
      "loss": 0.2074,
      "step": 868
    },
    {
      "epoch": 2.3173333333333335,
      "grad_norm": 0.21842896938323975,
      "learning_rate": 4.71889400921659e-05,
      "loss": 0.2826,
      "step": 869
    },
    {
      "epoch": 2.32,
      "grad_norm": 0.1887705773115158,
      "learning_rate": 4.700460829493088e-05,
      "loss": 0.2449,
      "step": 870
    },
    {
      "epoch": 2.3226666666666667,
      "grad_norm": 0.22282104194164276,
      "learning_rate": 4.6820276497695856e-05,
      "loss": 0.2927,
      "step": 871
    },
    {
      "epoch": 2.3253333333333335,
      "grad_norm": 0.18185733258724213,
      "learning_rate": 4.6635944700460833e-05,
      "loss": 0.2146,
      "step": 872
    },
    {
      "epoch": 2.328,
      "grad_norm": 0.1490703970193863,
      "learning_rate": 4.645161290322581e-05,
      "loss": 0.1961,
      "step": 873
    },
    {
      "epoch": 2.3306666666666667,
      "grad_norm": 0.22330021858215332,
      "learning_rate": 4.626728110599078e-05,
      "loss": 0.3005,
      "step": 874
    },
    {
      "epoch": 2.3333333333333335,
      "grad_norm": 0.17974190413951874,
      "learning_rate": 4.608294930875576e-05,
      "loss": 0.2045,
      "step": 875
    },
    {
      "epoch": 2.336,
      "grad_norm": 0.2200198769569397,
      "learning_rate": 4.5898617511520745e-05,
      "loss": 0.2775,
      "step": 876
    },
    {
      "epoch": 2.3386666666666667,
      "grad_norm": 0.18184606730937958,
      "learning_rate": 4.5714285714285716e-05,
      "loss": 0.2342,
      "step": 877
    },
    {
      "epoch": 2.3413333333333335,
      "grad_norm": 0.17221882939338684,
      "learning_rate": 4.5529953917050694e-05,
      "loss": 0.197,
      "step": 878
    },
    {
      "epoch": 2.344,
      "grad_norm": 0.16531214118003845,
      "learning_rate": 4.534562211981567e-05,
      "loss": 0.194,
      "step": 879
    },
    {
      "epoch": 2.3466666666666667,
      "grad_norm": 0.19332168996334076,
      "learning_rate": 4.516129032258064e-05,
      "loss": 0.2434,
      "step": 880
    },
    {
      "epoch": 2.3493333333333335,
      "grad_norm": 0.17500852048397064,
      "learning_rate": 4.497695852534563e-05,
      "loss": 0.2248,
      "step": 881
    },
    {
      "epoch": 2.352,
      "grad_norm": 0.21124567091464996,
      "learning_rate": 4.4792626728110605e-05,
      "loss": 0.2718,
      "step": 882
    },
    {
      "epoch": 2.3546666666666667,
      "grad_norm": 0.217422217130661,
      "learning_rate": 4.4608294930875577e-05,
      "loss": 0.2611,
      "step": 883
    },
    {
      "epoch": 2.3573333333333335,
      "grad_norm": 0.18603922426700592,
      "learning_rate": 4.4423963133640554e-05,
      "loss": 0.2242,
      "step": 884
    },
    {
      "epoch": 2.36,
      "grad_norm": 0.20880885422229767,
      "learning_rate": 4.423963133640553e-05,
      "loss": 0.2487,
      "step": 885
    },
    {
      "epoch": 2.3626666666666667,
      "grad_norm": 0.1718357503414154,
      "learning_rate": 4.405529953917051e-05,
      "loss": 0.219,
      "step": 886
    },
    {
      "epoch": 2.3653333333333335,
      "grad_norm": 0.17314431071281433,
      "learning_rate": 4.387096774193549e-05,
      "loss": 0.2087,
      "step": 887
    },
    {
      "epoch": 2.368,
      "grad_norm": 0.1635102778673172,
      "learning_rate": 4.368663594470046e-05,
      "loss": 0.2035,
      "step": 888
    },
    {
      "epoch": 2.3706666666666667,
      "grad_norm": 0.20796184241771698,
      "learning_rate": 4.350230414746544e-05,
      "loss": 0.2579,
      "step": 889
    },
    {
      "epoch": 2.3733333333333335,
      "grad_norm": 0.20987685024738312,
      "learning_rate": 4.3317972350230415e-05,
      "loss": 0.264,
      "step": 890
    },
    {
      "epoch": 2.376,
      "grad_norm": 0.2164434939622879,
      "learning_rate": 4.313364055299539e-05,
      "loss": 0.275,
      "step": 891
    },
    {
      "epoch": 2.3786666666666667,
      "grad_norm": 0.13395971059799194,
      "learning_rate": 4.294930875576037e-05,
      "loss": 0.1686,
      "step": 892
    },
    {
      "epoch": 2.3813333333333335,
      "grad_norm": 0.17936541140079498,
      "learning_rate": 4.276497695852535e-05,
      "loss": 0.2244,
      "step": 893
    },
    {
      "epoch": 2.384,
      "grad_norm": 0.20712970197200775,
      "learning_rate": 4.258064516129032e-05,
      "loss": 0.2779,
      "step": 894
    },
    {
      "epoch": 2.3866666666666667,
      "grad_norm": 0.20002251863479614,
      "learning_rate": 4.2396313364055304e-05,
      "loss": 0.2728,
      "step": 895
    },
    {
      "epoch": 2.389333333333333,
      "grad_norm": 0.1540747731924057,
      "learning_rate": 4.221198156682028e-05,
      "loss": 0.1943,
      "step": 896
    },
    {
      "epoch": 2.392,
      "grad_norm": 0.21586114168167114,
      "learning_rate": 4.202764976958525e-05,
      "loss": 0.2682,
      "step": 897
    },
    {
      "epoch": 2.3946666666666667,
      "grad_norm": 0.20333416759967804,
      "learning_rate": 4.184331797235023e-05,
      "loss": 0.2434,
      "step": 898
    },
    {
      "epoch": 2.397333333333333,
      "grad_norm": 0.21139296889305115,
      "learning_rate": 4.165898617511521e-05,
      "loss": 0.2833,
      "step": 899
    },
    {
      "epoch": 2.4,
      "grad_norm": 0.21288971602916718,
      "learning_rate": 4.147465437788019e-05,
      "loss": 0.2474,
      "step": 900
    },
    {
      "epoch": 2.4026666666666667,
      "grad_norm": 0.19103677570819855,
      "learning_rate": 4.1290322580645165e-05,
      "loss": 0.2288,
      "step": 901
    },
    {
      "epoch": 2.405333333333333,
      "grad_norm": 0.17376349866390228,
      "learning_rate": 4.110599078341014e-05,
      "loss": 0.2106,
      "step": 902
    },
    {
      "epoch": 2.408,
      "grad_norm": 0.1701132208108902,
      "learning_rate": 4.0921658986175114e-05,
      "loss": 0.2051,
      "step": 903
    },
    {
      "epoch": 2.4106666666666667,
      "grad_norm": 0.21110019087791443,
      "learning_rate": 4.073732718894009e-05,
      "loss": 0.2508,
      "step": 904
    },
    {
      "epoch": 2.413333333333333,
      "grad_norm": 0.1796679049730301,
      "learning_rate": 4.0552995391705076e-05,
      "loss": 0.2193,
      "step": 905
    },
    {
      "epoch": 2.416,
      "grad_norm": 0.22056160867214203,
      "learning_rate": 4.036866359447005e-05,
      "loss": 0.2807,
      "step": 906
    },
    {
      "epoch": 2.4186666666666667,
      "grad_norm": 0.1826774775981903,
      "learning_rate": 4.0184331797235025e-05,
      "loss": 0.2211,
      "step": 907
    },
    {
      "epoch": 2.421333333333333,
      "grad_norm": 0.1666688472032547,
      "learning_rate": 4e-05,
      "loss": 0.2135,
      "step": 908
    },
    {
      "epoch": 2.424,
      "grad_norm": 0.18800964951515198,
      "learning_rate": 3.9815668202764974e-05,
      "loss": 0.2225,
      "step": 909
    },
    {
      "epoch": 2.4266666666666667,
      "grad_norm": 0.19935664534568787,
      "learning_rate": 3.963133640552996e-05,
      "loss": 0.2376,
      "step": 910
    },
    {
      "epoch": 2.429333333333333,
      "grad_norm": 0.17138448357582092,
      "learning_rate": 3.944700460829494e-05,
      "loss": 0.2089,
      "step": 911
    },
    {
      "epoch": 2.432,
      "grad_norm": 0.1743897944688797,
      "learning_rate": 3.926267281105991e-05,
      "loss": 0.1951,
      "step": 912
    },
    {
      "epoch": 2.4346666666666668,
      "grad_norm": 0.17688778042793274,
      "learning_rate": 3.9078341013824886e-05,
      "loss": 0.242,
      "step": 913
    },
    {
      "epoch": 2.437333333333333,
      "grad_norm": 0.21720516681671143,
      "learning_rate": 3.8894009216589864e-05,
      "loss": 0.2439,
      "step": 914
    },
    {
      "epoch": 2.44,
      "grad_norm": 0.1564093679189682,
      "learning_rate": 3.870967741935484e-05,
      "loss": 0.1977,
      "step": 915
    },
    {
      "epoch": 2.4426666666666668,
      "grad_norm": 0.20037341117858887,
      "learning_rate": 3.852534562211982e-05,
      "loss": 0.2764,
      "step": 916
    },
    {
      "epoch": 2.445333333333333,
      "grad_norm": 0.2075718194246292,
      "learning_rate": 3.83410138248848e-05,
      "loss": 0.2488,
      "step": 917
    },
    {
      "epoch": 2.448,
      "grad_norm": 0.21193648874759674,
      "learning_rate": 3.815668202764977e-05,
      "loss": 0.2591,
      "step": 918
    },
    {
      "epoch": 2.4506666666666668,
      "grad_norm": 0.20360888540744781,
      "learning_rate": 3.7972350230414746e-05,
      "loss": 0.247,
      "step": 919
    },
    {
      "epoch": 2.453333333333333,
      "grad_norm": 0.2143157422542572,
      "learning_rate": 3.7788018433179724e-05,
      "loss": 0.2698,
      "step": 920
    },
    {
      "epoch": 2.456,
      "grad_norm": 0.19040510058403015,
      "learning_rate": 3.76036866359447e-05,
      "loss": 0.2372,
      "step": 921
    },
    {
      "epoch": 2.458666666666667,
      "grad_norm": 0.18285666406154633,
      "learning_rate": 3.741935483870968e-05,
      "loss": 0.2211,
      "step": 922
    },
    {
      "epoch": 2.461333333333333,
      "grad_norm": 0.20220457017421722,
      "learning_rate": 3.723502304147465e-05,
      "loss": 0.2466,
      "step": 923
    },
    {
      "epoch": 2.464,
      "grad_norm": 0.15328292548656464,
      "learning_rate": 3.7050691244239636e-05,
      "loss": 0.1782,
      "step": 924
    },
    {
      "epoch": 2.466666666666667,
      "grad_norm": 0.1970095932483673,
      "learning_rate": 3.6866359447004614e-05,
      "loss": 0.2221,
      "step": 925
    },
    {
      "epoch": 2.469333333333333,
      "grad_norm": 0.1428355723619461,
      "learning_rate": 3.6682027649769585e-05,
      "loss": 0.1735,
      "step": 926
    },
    {
      "epoch": 2.472,
      "grad_norm": 0.16083119809627533,
      "learning_rate": 3.649769585253456e-05,
      "loss": 0.1959,
      "step": 927
    },
    {
      "epoch": 2.474666666666667,
      "grad_norm": 0.15381105244159698,
      "learning_rate": 3.631336405529954e-05,
      "loss": 0.1856,
      "step": 928
    },
    {
      "epoch": 2.477333333333333,
      "grad_norm": 0.2157757729291916,
      "learning_rate": 3.612903225806452e-05,
      "loss": 0.2459,
      "step": 929
    },
    {
      "epoch": 2.48,
      "grad_norm": 0.16414602100849152,
      "learning_rate": 3.5944700460829496e-05,
      "loss": 0.1991,
      "step": 930
    },
    {
      "epoch": 2.482666666666667,
      "grad_norm": 0.17288298904895782,
      "learning_rate": 3.5760368663594474e-05,
      "loss": 0.2145,
      "step": 931
    },
    {
      "epoch": 2.485333333333333,
      "grad_norm": 0.21028447151184082,
      "learning_rate": 3.5576036866359445e-05,
      "loss": 0.2544,
      "step": 932
    },
    {
      "epoch": 2.488,
      "grad_norm": 0.20613770186901093,
      "learning_rate": 3.539170506912442e-05,
      "loss": 0.2563,
      "step": 933
    },
    {
      "epoch": 2.490666666666667,
      "grad_norm": 0.1776965856552124,
      "learning_rate": 3.520737327188941e-05,
      "loss": 0.2262,
      "step": 934
    },
    {
      "epoch": 2.493333333333333,
      "grad_norm": 0.2085586041212082,
      "learning_rate": 3.502304147465438e-05,
      "loss": 0.2762,
      "step": 935
    },
    {
      "epoch": 2.496,
      "grad_norm": 0.19237564504146576,
      "learning_rate": 3.483870967741936e-05,
      "loss": 0.2315,
      "step": 936
    },
    {
      "epoch": 2.498666666666667,
      "grad_norm": 0.21122056245803833,
      "learning_rate": 3.4654377880184335e-05,
      "loss": 0.2505,
      "step": 937
    },
    {
      "epoch": 2.501333333333333,
      "grad_norm": 0.19145233929157257,
      "learning_rate": 3.4470046082949306e-05,
      "loss": 0.2419,
      "step": 938
    },
    {
      "epoch": 2.504,
      "grad_norm": 0.18055494129657745,
      "learning_rate": 3.428571428571429e-05,
      "loss": 0.2142,
      "step": 939
    },
    {
      "epoch": 2.506666666666667,
      "grad_norm": 0.21248942613601685,
      "learning_rate": 3.410138248847927e-05,
      "loss": 0.2635,
      "step": 940
    },
    {
      "epoch": 2.509333333333333,
      "grad_norm": 0.1798650324344635,
      "learning_rate": 3.391705069124424e-05,
      "loss": 0.2319,
      "step": 941
    },
    {
      "epoch": 2.512,
      "grad_norm": 0.2010336071252823,
      "learning_rate": 3.373271889400922e-05,
      "loss": 0.2508,
      "step": 942
    },
    {
      "epoch": 2.514666666666667,
      "grad_norm": 0.2169940322637558,
      "learning_rate": 3.3548387096774195e-05,
      "loss": 0.2535,
      "step": 943
    },
    {
      "epoch": 2.517333333333333,
      "grad_norm": 0.1709452122449875,
      "learning_rate": 3.336405529953917e-05,
      "loss": 0.2023,
      "step": 944
    },
    {
      "epoch": 2.52,
      "grad_norm": 0.1932317465543747,
      "learning_rate": 3.317972350230415e-05,
      "loss": 0.2381,
      "step": 945
    },
    {
      "epoch": 2.522666666666667,
      "grad_norm": 0.16008716821670532,
      "learning_rate": 3.299539170506913e-05,
      "loss": 0.1883,
      "step": 946
    },
    {
      "epoch": 2.525333333333333,
      "grad_norm": 0.1866675168275833,
      "learning_rate": 3.28110599078341e-05,
      "loss": 0.2264,
      "step": 947
    },
    {
      "epoch": 2.528,
      "grad_norm": 0.22268185019493103,
      "learning_rate": 3.262672811059908e-05,
      "loss": 0.2701,
      "step": 948
    },
    {
      "epoch": 2.530666666666667,
      "grad_norm": 0.1895384043455124,
      "learning_rate": 3.244239631336406e-05,
      "loss": 0.2323,
      "step": 949
    },
    {
      "epoch": 2.533333333333333,
      "grad_norm": 0.19184856116771698,
      "learning_rate": 3.2258064516129034e-05,
      "loss": 0.2307,
      "step": 950
    },
    {
      "epoch": 2.536,
      "grad_norm": 0.1593741774559021,
      "learning_rate": 3.207373271889401e-05,
      "loss": 0.1978,
      "step": 951
    },
    {
      "epoch": 2.538666666666667,
      "grad_norm": 0.21028544008731842,
      "learning_rate": 3.188940092165898e-05,
      "loss": 0.2517,
      "step": 952
    },
    {
      "epoch": 2.541333333333333,
      "grad_norm": 0.17770890891551971,
      "learning_rate": 3.170506912442397e-05,
      "loss": 0.2168,
      "step": 953
    },
    {
      "epoch": 2.544,
      "grad_norm": 0.21473906934261322,
      "learning_rate": 3.1520737327188945e-05,
      "loss": 0.259,
      "step": 954
    },
    {
      "epoch": 2.546666666666667,
      "grad_norm": 0.16704760491847992,
      "learning_rate": 3.1336405529953916e-05,
      "loss": 0.1952,
      "step": 955
    },
    {
      "epoch": 2.5493333333333332,
      "grad_norm": 0.19720260798931122,
      "learning_rate": 3.1152073732718894e-05,
      "loss": 0.2388,
      "step": 956
    },
    {
      "epoch": 2.552,
      "grad_norm": 0.19212587177753448,
      "learning_rate": 3.096774193548387e-05,
      "loss": 0.2425,
      "step": 957
    },
    {
      "epoch": 2.554666666666667,
      "grad_norm": 0.23281149566173553,
      "learning_rate": 3.078341013824885e-05,
      "loss": 0.2674,
      "step": 958
    },
    {
      "epoch": 2.5573333333333332,
      "grad_norm": 0.15486465394496918,
      "learning_rate": 3.059907834101383e-05,
      "loss": 0.1979,
      "step": 959
    },
    {
      "epoch": 2.56,
      "grad_norm": 0.1730332374572754,
      "learning_rate": 3.0414746543778806e-05,
      "loss": 0.2132,
      "step": 960
    },
    {
      "epoch": 2.562666666666667,
      "grad_norm": 0.15302078425884247,
      "learning_rate": 3.0230414746543777e-05,
      "loss": 0.1883,
      "step": 961
    },
    {
      "epoch": 2.5653333333333332,
      "grad_norm": 0.1920948028564453,
      "learning_rate": 3.0046082949308758e-05,
      "loss": 0.2335,
      "step": 962
    },
    {
      "epoch": 2.568,
      "grad_norm": 0.19951973855495453,
      "learning_rate": 2.9861751152073736e-05,
      "loss": 0.2308,
      "step": 963
    },
    {
      "epoch": 2.570666666666667,
      "grad_norm": 0.20758463442325592,
      "learning_rate": 2.967741935483871e-05,
      "loss": 0.2425,
      "step": 964
    },
    {
      "epoch": 2.5733333333333333,
      "grad_norm": 0.20747657120227814,
      "learning_rate": 2.9493087557603688e-05,
      "loss": 0.2539,
      "step": 965
    },
    {
      "epoch": 2.576,
      "grad_norm": 0.20756056904792786,
      "learning_rate": 2.9308755760368666e-05,
      "loss": 0.2335,
      "step": 966
    },
    {
      "epoch": 2.578666666666667,
      "grad_norm": 0.19419220089912415,
      "learning_rate": 2.912442396313364e-05,
      "loss": 0.2401,
      "step": 967
    },
    {
      "epoch": 2.5813333333333333,
      "grad_norm": 0.17146585881710052,
      "learning_rate": 2.894009216589862e-05,
      "loss": 0.2113,
      "step": 968
    },
    {
      "epoch": 2.584,
      "grad_norm": 0.23277591168880463,
      "learning_rate": 2.8755760368663596e-05,
      "loss": 0.2754,
      "step": 969
    },
    {
      "epoch": 2.586666666666667,
      "grad_norm": 0.18789474666118622,
      "learning_rate": 2.857142857142857e-05,
      "loss": 0.2352,
      "step": 970
    },
    {
      "epoch": 2.5893333333333333,
      "grad_norm": 0.2088879495859146,
      "learning_rate": 2.838709677419355e-05,
      "loss": 0.2717,
      "step": 971
    },
    {
      "epoch": 2.592,
      "grad_norm": 0.2042110413312912,
      "learning_rate": 2.820276497695853e-05,
      "loss": 0.239,
      "step": 972
    },
    {
      "epoch": 2.594666666666667,
      "grad_norm": 0.1706562489271164,
      "learning_rate": 2.80184331797235e-05,
      "loss": 0.1999,
      "step": 973
    },
    {
      "epoch": 2.5973333333333333,
      "grad_norm": 0.14103630185127258,
      "learning_rate": 2.7834101382488482e-05,
      "loss": 0.1716,
      "step": 974
    },
    {
      "epoch": 2.6,
      "grad_norm": 0.21575360000133514,
      "learning_rate": 2.764976958525346e-05,
      "loss": 0.2647,
      "step": 975
    },
    {
      "epoch": 2.602666666666667,
      "grad_norm": 0.18506750464439392,
      "learning_rate": 2.7465437788018435e-05,
      "loss": 0.2325,
      "step": 976
    },
    {
      "epoch": 2.6053333333333333,
      "grad_norm": 0.21291320025920868,
      "learning_rate": 2.7281105990783413e-05,
      "loss": 0.2477,
      "step": 977
    },
    {
      "epoch": 2.608,
      "grad_norm": 0.1804783195257187,
      "learning_rate": 2.709677419354839e-05,
      "loss": 0.2205,
      "step": 978
    },
    {
      "epoch": 2.610666666666667,
      "grad_norm": 0.1673409789800644,
      "learning_rate": 2.6912442396313365e-05,
      "loss": 0.2066,
      "step": 979
    },
    {
      "epoch": 2.6133333333333333,
      "grad_norm": 0.18242265284061432,
      "learning_rate": 2.6728110599078343e-05,
      "loss": 0.2267,
      "step": 980
    },
    {
      "epoch": 2.616,
      "grad_norm": 0.18229256570339203,
      "learning_rate": 2.654377880184332e-05,
      "loss": 0.2292,
      "step": 981
    },
    {
      "epoch": 2.618666666666667,
      "grad_norm": 0.16991081833839417,
      "learning_rate": 2.6359447004608295e-05,
      "loss": 0.2012,
      "step": 982
    },
    {
      "epoch": 2.6213333333333333,
      "grad_norm": 0.2170930951833725,
      "learning_rate": 2.6175115207373273e-05,
      "loss": 0.2554,
      "step": 983
    },
    {
      "epoch": 2.624,
      "grad_norm": 0.23414736986160278,
      "learning_rate": 2.5990783410138248e-05,
      "loss": 0.2678,
      "step": 984
    },
    {
      "epoch": 2.626666666666667,
      "grad_norm": 0.20255883038043976,
      "learning_rate": 2.5806451612903226e-05,
      "loss": 0.2276,
      "step": 985
    },
    {
      "epoch": 2.6293333333333333,
      "grad_norm": 0.21123245358467102,
      "learning_rate": 2.5622119815668207e-05,
      "loss": 0.2691,
      "step": 986
    },
    {
      "epoch": 2.632,
      "grad_norm": 0.1825953722000122,
      "learning_rate": 2.5437788018433178e-05,
      "loss": 0.2138,
      "step": 987
    },
    {
      "epoch": 2.634666666666667,
      "grad_norm": 0.17699141800403595,
      "learning_rate": 2.5253456221198156e-05,
      "loss": 0.2106,
      "step": 988
    },
    {
      "epoch": 2.6373333333333333,
      "grad_norm": 0.18593303859233856,
      "learning_rate": 2.5069124423963137e-05,
      "loss": 0.2108,
      "step": 989
    },
    {
      "epoch": 2.64,
      "grad_norm": 0.2082303762435913,
      "learning_rate": 2.488479262672811e-05,
      "loss": 0.2423,
      "step": 990
    },
    {
      "epoch": 2.642666666666667,
      "grad_norm": 0.17860785126686096,
      "learning_rate": 2.470046082949309e-05,
      "loss": 0.224,
      "step": 991
    },
    {
      "epoch": 2.6453333333333333,
      "grad_norm": 0.1743408441543579,
      "learning_rate": 2.4516129032258064e-05,
      "loss": 0.1911,
      "step": 992
    },
    {
      "epoch": 2.648,
      "grad_norm": 0.16802458465099335,
      "learning_rate": 2.4331797235023042e-05,
      "loss": 0.1942,
      "step": 993
    },
    {
      "epoch": 2.6506666666666665,
      "grad_norm": 0.20897972583770752,
      "learning_rate": 2.414746543778802e-05,
      "loss": 0.2459,
      "step": 994
    },
    {
      "epoch": 2.6533333333333333,
      "grad_norm": 0.19246900081634521,
      "learning_rate": 2.3963133640552994e-05,
      "loss": 0.223,
      "step": 995
    },
    {
      "epoch": 2.656,
      "grad_norm": 0.1829095482826233,
      "learning_rate": 2.3778801843317975e-05,
      "loss": 0.2105,
      "step": 996
    },
    {
      "epoch": 2.6586666666666665,
      "grad_norm": 0.21779794991016388,
      "learning_rate": 2.359447004608295e-05,
      "loss": 0.2497,
      "step": 997
    },
    {
      "epoch": 2.6613333333333333,
      "grad_norm": 0.16111710667610168,
      "learning_rate": 2.3410138248847928e-05,
      "loss": 0.1858,
      "step": 998
    },
    {
      "epoch": 2.664,
      "grad_norm": 0.20577044785022736,
      "learning_rate": 2.3225806451612906e-05,
      "loss": 0.2343,
      "step": 999
    },
    {
      "epoch": 2.6666666666666665,
      "grad_norm": 0.18634682893753052,
      "learning_rate": 2.304147465437788e-05,
      "loss": 0.2227,
      "step": 1000
    },
    {
      "epoch": 2.6693333333333333,
      "grad_norm": 0.17292581498622894,
      "learning_rate": 2.2857142857142858e-05,
      "loss": 0.1999,
      "step": 1001
    },
    {
      "epoch": 2.672,
      "grad_norm": 0.22535468637943268,
      "learning_rate": 2.2672811059907836e-05,
      "loss": 0.275,
      "step": 1002
    },
    {
      "epoch": 2.6746666666666665,
      "grad_norm": 0.2133495956659317,
      "learning_rate": 2.2488479262672814e-05,
      "loss": 0.2586,
      "step": 1003
    },
    {
      "epoch": 2.6773333333333333,
      "grad_norm": 0.1874510943889618,
      "learning_rate": 2.2304147465437788e-05,
      "loss": 0.2277,
      "step": 1004
    },
    {
      "epoch": 2.68,
      "grad_norm": 0.1860281080007553,
      "learning_rate": 2.2119815668202766e-05,
      "loss": 0.2337,
      "step": 1005
    },
    {
      "epoch": 2.6826666666666665,
      "grad_norm": 0.19864605367183685,
      "learning_rate": 2.1935483870967744e-05,
      "loss": 0.2359,
      "step": 1006
    },
    {
      "epoch": 2.6853333333333333,
      "grad_norm": 0.2221938669681549,
      "learning_rate": 2.175115207373272e-05,
      "loss": 0.3103,
      "step": 1007
    },
    {
      "epoch": 2.6879999999999997,
      "grad_norm": 0.17687197029590607,
      "learning_rate": 2.1566820276497696e-05,
      "loss": 0.2054,
      "step": 1008
    },
    {
      "epoch": 2.6906666666666665,
      "grad_norm": 0.2088635116815567,
      "learning_rate": 2.1382488479262674e-05,
      "loss": 0.2394,
      "step": 1009
    },
    {
      "epoch": 2.6933333333333334,
      "grad_norm": 0.1783912628889084,
      "learning_rate": 2.1198156682027652e-05,
      "loss": 0.2143,
      "step": 1010
    },
    {
      "epoch": 2.6959999999999997,
      "grad_norm": 0.16451089084148407,
      "learning_rate": 2.1013824884792627e-05,
      "loss": 0.1991,
      "step": 1011
    },
    {
      "epoch": 2.6986666666666665,
      "grad_norm": 0.1732214242219925,
      "learning_rate": 2.0829493087557605e-05,
      "loss": 0.1994,
      "step": 1012
    },
    {
      "epoch": 2.7013333333333334,
      "grad_norm": 0.154001846909523,
      "learning_rate": 2.0645161290322582e-05,
      "loss": 0.1894,
      "step": 1013
    },
    {
      "epoch": 2.7039999999999997,
      "grad_norm": 0.21132534742355347,
      "learning_rate": 2.0460829493087557e-05,
      "loss": 0.2614,
      "step": 1014
    },
    {
      "epoch": 2.7066666666666666,
      "grad_norm": 0.2212495058774948,
      "learning_rate": 2.0276497695852538e-05,
      "loss": 0.2734,
      "step": 1015
    },
    {
      "epoch": 2.7093333333333334,
      "grad_norm": 0.21257886290550232,
      "learning_rate": 2.0092165898617513e-05,
      "loss": 0.2502,
      "step": 1016
    },
    {
      "epoch": 2.7119999999999997,
      "grad_norm": 0.2010204941034317,
      "learning_rate": 1.9907834101382487e-05,
      "loss": 0.2473,
      "step": 1017
    },
    {
      "epoch": 2.7146666666666666,
      "grad_norm": 0.1727273017168045,
      "learning_rate": 1.972350230414747e-05,
      "loss": 0.2149,
      "step": 1018
    },
    {
      "epoch": 2.7173333333333334,
      "grad_norm": 0.2235029637813568,
      "learning_rate": 1.9539170506912443e-05,
      "loss": 0.2684,
      "step": 1019
    },
    {
      "epoch": 2.7199999999999998,
      "grad_norm": 0.17692206799983978,
      "learning_rate": 1.935483870967742e-05,
      "loss": 0.2115,
      "step": 1020
    },
    {
      "epoch": 2.7226666666666666,
      "grad_norm": 0.14756979048252106,
      "learning_rate": 1.91705069124424e-05,
      "loss": 0.1747,
      "step": 1021
    },
    {
      "epoch": 2.7253333333333334,
      "grad_norm": 0.17219822108745575,
      "learning_rate": 1.8986175115207373e-05,
      "loss": 0.1999,
      "step": 1022
    },
    {
      "epoch": 2.7279999999999998,
      "grad_norm": 0.21106815338134766,
      "learning_rate": 1.880184331797235e-05,
      "loss": 0.2626,
      "step": 1023
    },
    {
      "epoch": 2.7306666666666666,
      "grad_norm": 0.1658838987350464,
      "learning_rate": 1.8617511520737326e-05,
      "loss": 0.2067,
      "step": 1024
    },
    {
      "epoch": 2.7333333333333334,
      "grad_norm": 0.22568367421627045,
      "learning_rate": 1.8433179723502307e-05,
      "loss": 0.2689,
      "step": 1025
    },
    {
      "epoch": 2.7359999999999998,
      "grad_norm": 0.21281591057777405,
      "learning_rate": 1.824884792626728e-05,
      "loss": 0.2449,
      "step": 1026
    },
    {
      "epoch": 2.7386666666666666,
      "grad_norm": 0.2305043637752533,
      "learning_rate": 1.806451612903226e-05,
      "loss": 0.2683,
      "step": 1027
    },
    {
      "epoch": 2.7413333333333334,
      "grad_norm": 0.19869396090507507,
      "learning_rate": 1.7880184331797237e-05,
      "loss": 0.2343,
      "step": 1028
    },
    {
      "epoch": 2.7439999999999998,
      "grad_norm": 0.18491441011428833,
      "learning_rate": 1.769585253456221e-05,
      "loss": 0.2225,
      "step": 1029
    },
    {
      "epoch": 2.7466666666666666,
      "grad_norm": 0.2185884416103363,
      "learning_rate": 1.751152073732719e-05,
      "loss": 0.242,
      "step": 1030
    },
    {
      "epoch": 2.7493333333333334,
      "grad_norm": 0.2175767570734024,
      "learning_rate": 1.7327188940092167e-05,
      "loss": 0.2693,
      "step": 1031
    },
    {
      "epoch": 2.752,
      "grad_norm": 0.21260294318199158,
      "learning_rate": 1.7142857142857145e-05,
      "loss": 0.2393,
      "step": 1032
    },
    {
      "epoch": 2.7546666666666666,
      "grad_norm": 0.17641869187355042,
      "learning_rate": 1.695852534562212e-05,
      "loss": 0.2152,
      "step": 1033
    },
    {
      "epoch": 2.7573333333333334,
      "grad_norm": 0.18810798227787018,
      "learning_rate": 1.6774193548387098e-05,
      "loss": 0.2258,
      "step": 1034
    },
    {
      "epoch": 2.76,
      "grad_norm": 0.23104557394981384,
      "learning_rate": 1.6589861751152075e-05,
      "loss": 0.2627,
      "step": 1035
    },
    {
      "epoch": 2.7626666666666666,
      "grad_norm": 0.21564984321594238,
      "learning_rate": 1.640552995391705e-05,
      "loss": 0.2649,
      "step": 1036
    },
    {
      "epoch": 2.7653333333333334,
      "grad_norm": 0.22177806496620178,
      "learning_rate": 1.622119815668203e-05,
      "loss": 0.2517,
      "step": 1037
    },
    {
      "epoch": 2.768,
      "grad_norm": 0.1822693794965744,
      "learning_rate": 1.6036866359447006e-05,
      "loss": 0.2181,
      "step": 1038
    },
    {
      "epoch": 2.7706666666666666,
      "grad_norm": 0.19776242971420288,
      "learning_rate": 1.5852534562211984e-05,
      "loss": 0.2305,
      "step": 1039
    },
    {
      "epoch": 2.7733333333333334,
      "grad_norm": 0.2073931246995926,
      "learning_rate": 1.5668202764976958e-05,
      "loss": 0.2439,
      "step": 1040
    },
    {
      "epoch": 2.776,
      "grad_norm": 0.1732424795627594,
      "learning_rate": 1.5483870967741936e-05,
      "loss": 0.2088,
      "step": 1041
    },
    {
      "epoch": 2.7786666666666666,
      "grad_norm": 0.2119382917881012,
      "learning_rate": 1.5299539170506914e-05,
      "loss": 0.2546,
      "step": 1042
    },
    {
      "epoch": 2.7813333333333334,
      "grad_norm": 0.2035003900527954,
      "learning_rate": 1.5115207373271888e-05,
      "loss": 0.2295,
      "step": 1043
    },
    {
      "epoch": 2.784,
      "grad_norm": 0.20325753092765808,
      "learning_rate": 1.4930875576036868e-05,
      "loss": 0.2604,
      "step": 1044
    },
    {
      "epoch": 2.7866666666666666,
      "grad_norm": 0.21441249549388885,
      "learning_rate": 1.4746543778801844e-05,
      "loss": 0.2587,
      "step": 1045
    },
    {
      "epoch": 2.7893333333333334,
      "grad_norm": 0.19458211958408356,
      "learning_rate": 1.456221198156682e-05,
      "loss": 0.239,
      "step": 1046
    },
    {
      "epoch": 2.792,
      "grad_norm": 0.2018086016178131,
      "learning_rate": 1.4377880184331798e-05,
      "loss": 0.2406,
      "step": 1047
    },
    {
      "epoch": 2.7946666666666666,
      "grad_norm": 0.2204471081495285,
      "learning_rate": 1.4193548387096774e-05,
      "loss": 0.2644,
      "step": 1048
    },
    {
      "epoch": 2.7973333333333334,
      "grad_norm": 0.20601236820220947,
      "learning_rate": 1.400921658986175e-05,
      "loss": 0.2501,
      "step": 1049
    },
    {
      "epoch": 2.8,
      "grad_norm": 0.20629119873046875,
      "learning_rate": 1.382488479262673e-05,
      "loss": 0.2443,
      "step": 1050
    },
    {
      "epoch": 2.8026666666666666,
      "grad_norm": 0.15330874919891357,
      "learning_rate": 1.3640552995391706e-05,
      "loss": 0.1709,
      "step": 1051
    },
    {
      "epoch": 2.8053333333333335,
      "grad_norm": 0.18779538571834564,
      "learning_rate": 1.3456221198156683e-05,
      "loss": 0.2215,
      "step": 1052
    },
    {
      "epoch": 2.808,
      "grad_norm": 0.20751351118087769,
      "learning_rate": 1.327188940092166e-05,
      "loss": 0.2484,
      "step": 1053
    },
    {
      "epoch": 2.8106666666666666,
      "grad_norm": 0.18701356649398804,
      "learning_rate": 1.3087557603686637e-05,
      "loss": 0.2236,
      "step": 1054
    },
    {
      "epoch": 2.8133333333333335,
      "grad_norm": 0.17528961598873138,
      "learning_rate": 1.2903225806451613e-05,
      "loss": 0.2149,
      "step": 1055
    },
    {
      "epoch": 2.816,
      "grad_norm": 0.221915602684021,
      "learning_rate": 1.2718894009216589e-05,
      "loss": 0.2629,
      "step": 1056
    },
    {
      "epoch": 2.8186666666666667,
      "grad_norm": 0.19992965459823608,
      "learning_rate": 1.2534562211981569e-05,
      "loss": 0.2494,
      "step": 1057
    },
    {
      "epoch": 2.8213333333333335,
      "grad_norm": 0.22890964150428772,
      "learning_rate": 1.2350230414746545e-05,
      "loss": 0.256,
      "step": 1058
    },
    {
      "epoch": 2.824,
      "grad_norm": 0.18345974385738373,
      "learning_rate": 1.2165898617511521e-05,
      "loss": 0.209,
      "step": 1059
    },
    {
      "epoch": 2.8266666666666667,
      "grad_norm": 0.22195008397102356,
      "learning_rate": 1.1981566820276497e-05,
      "loss": 0.2662,
      "step": 1060
    },
    {
      "epoch": 2.8293333333333335,
      "grad_norm": 0.20280492305755615,
      "learning_rate": 1.1797235023041475e-05,
      "loss": 0.2319,
      "step": 1061
    },
    {
      "epoch": 2.832,
      "grad_norm": 0.17780129611492157,
      "learning_rate": 1.1612903225806453e-05,
      "loss": 0.2015,
      "step": 1062
    },
    {
      "epoch": 2.8346666666666667,
      "grad_norm": 0.2141536921262741,
      "learning_rate": 1.1428571428571429e-05,
      "loss": 0.2541,
      "step": 1063
    },
    {
      "epoch": 2.8373333333333335,
      "grad_norm": 0.20493169128894806,
      "learning_rate": 1.1244239631336407e-05,
      "loss": 0.2409,
      "step": 1064
    },
    {
      "epoch": 2.84,
      "grad_norm": 0.2049335092306137,
      "learning_rate": 1.1059907834101383e-05,
      "loss": 0.2405,
      "step": 1065
    },
    {
      "epoch": 2.8426666666666667,
      "grad_norm": 0.18142537772655487,
      "learning_rate": 1.087557603686636e-05,
      "loss": 0.2093,
      "step": 1066
    },
    {
      "epoch": 2.8453333333333335,
      "grad_norm": 0.17172765731811523,
      "learning_rate": 1.0691244239631337e-05,
      "loss": 0.2103,
      "step": 1067
    },
    {
      "epoch": 2.848,
      "grad_norm": 0.19257913529872894,
      "learning_rate": 1.0506912442396313e-05,
      "loss": 0.231,
      "step": 1068
    },
    {
      "epoch": 2.8506666666666667,
      "grad_norm": 0.20332762598991394,
      "learning_rate": 1.0322580645161291e-05,
      "loss": 0.2529,
      "step": 1069
    },
    {
      "epoch": 2.8533333333333335,
      "grad_norm": 0.22266137599945068,
      "learning_rate": 1.0138248847926269e-05,
      "loss": 0.2711,
      "step": 1070
    },
    {
      "epoch": 2.856,
      "grad_norm": 0.1876412332057953,
      "learning_rate": 9.953917050691244e-06,
      "loss": 0.2284,
      "step": 1071
    },
    {
      "epoch": 2.8586666666666667,
      "grad_norm": 0.18878604471683502,
      "learning_rate": 9.769585253456221e-06,
      "loss": 0.2321,
      "step": 1072
    },
    {
      "epoch": 2.8613333333333335,
      "grad_norm": 0.2148466259241104,
      "learning_rate": 9.5852534562212e-06,
      "loss": 0.2591,
      "step": 1073
    },
    {
      "epoch": 2.864,
      "grad_norm": 0.16964668035507202,
      "learning_rate": 9.400921658986176e-06,
      "loss": 0.1898,
      "step": 1074
    },
    {
      "epoch": 2.8666666666666667,
      "grad_norm": 0.17524507641792297,
      "learning_rate": 9.216589861751153e-06,
      "loss": 0.2157,
      "step": 1075
    },
    {
      "epoch": 2.8693333333333335,
      "grad_norm": 0.18534080684185028,
      "learning_rate": 9.03225806451613e-06,
      "loss": 0.2212,
      "step": 1076
    },
    {
      "epoch": 2.872,
      "grad_norm": 0.17894750833511353,
      "learning_rate": 8.847926267281106e-06,
      "loss": 0.2127,
      "step": 1077
    },
    {
      "epoch": 2.8746666666666667,
      "grad_norm": 0.1959470510482788,
      "learning_rate": 8.663594470046084e-06,
      "loss": 0.2411,
      "step": 1078
    },
    {
      "epoch": 2.8773333333333335,
      "grad_norm": 0.18759533762931824,
      "learning_rate": 8.47926267281106e-06,
      "loss": 0.2191,
      "step": 1079
    },
    {
      "epoch": 2.88,
      "grad_norm": 0.1770099252462387,
      "learning_rate": 8.294930875576038e-06,
      "loss": 0.2025,
      "step": 1080
    },
    {
      "epoch": 2.8826666666666667,
      "grad_norm": 0.2285805642604828,
      "learning_rate": 8.110599078341016e-06,
      "loss": 0.2711,
      "step": 1081
    },
    {
      "epoch": 2.8853333333333335,
      "grad_norm": 0.19250483810901642,
      "learning_rate": 7.926267281105992e-06,
      "loss": 0.2283,
      "step": 1082
    },
    {
      "epoch": 2.888,
      "grad_norm": 0.16648288071155548,
      "learning_rate": 7.741935483870968e-06,
      "loss": 0.1887,
      "step": 1083
    },
    {
      "epoch": 2.8906666666666667,
      "grad_norm": 0.18730421364307404,
      "learning_rate": 7.557603686635944e-06,
      "loss": 0.2315,
      "step": 1084
    },
    {
      "epoch": 2.8933333333333335,
      "grad_norm": 0.18976031243801117,
      "learning_rate": 7.373271889400922e-06,
      "loss": 0.2277,
      "step": 1085
    },
    {
      "epoch": 2.896,
      "grad_norm": 0.19229745864868164,
      "learning_rate": 7.188940092165899e-06,
      "loss": 0.2163,
      "step": 1086
    },
    {
      "epoch": 2.8986666666666667,
      "grad_norm": 0.18816886842250824,
      "learning_rate": 7.004608294930875e-06,
      "loss": 0.2393,
      "step": 1087
    },
    {
      "epoch": 2.9013333333333335,
      "grad_norm": 0.18578150868415833,
      "learning_rate": 6.820276497695853e-06,
      "loss": 0.2179,
      "step": 1088
    },
    {
      "epoch": 2.904,
      "grad_norm": 0.2083587795495987,
      "learning_rate": 6.63594470046083e-06,
      "loss": 0.2515,
      "step": 1089
    },
    {
      "epoch": 2.9066666666666667,
      "grad_norm": 0.22908279299736023,
      "learning_rate": 6.451612903225806e-06,
      "loss": 0.2657,
      "step": 1090
    },
    {
      "epoch": 2.9093333333333335,
      "grad_norm": 0.2060592770576477,
      "learning_rate": 6.267281105990784e-06,
      "loss": 0.2386,
      "step": 1091
    },
    {
      "epoch": 2.912,
      "grad_norm": 0.21622027456760406,
      "learning_rate": 6.0829493087557604e-06,
      "loss": 0.2654,
      "step": 1092
    },
    {
      "epoch": 2.9146666666666667,
      "grad_norm": 0.18219618499279022,
      "learning_rate": 5.8986175115207375e-06,
      "loss": 0.2014,
      "step": 1093
    },
    {
      "epoch": 2.9173333333333336,
      "grad_norm": 0.16209164261817932,
      "learning_rate": 5.7142857142857145e-06,
      "loss": 0.188,
      "step": 1094
    },
    {
      "epoch": 2.92,
      "grad_norm": 0.2103581577539444,
      "learning_rate": 5.5299539170506915e-06,
      "loss": 0.2643,
      "step": 1095
    },
    {
      "epoch": 2.9226666666666667,
      "grad_norm": 0.21437743306159973,
      "learning_rate": 5.345622119815669e-06,
      "loss": 0.2691,
      "step": 1096
    },
    {
      "epoch": 2.9253333333333336,
      "grad_norm": 0.2066657394170761,
      "learning_rate": 5.161290322580646e-06,
      "loss": 0.253,
      "step": 1097
    },
    {
      "epoch": 2.928,
      "grad_norm": 0.18037202954292297,
      "learning_rate": 4.976958525345622e-06,
      "loss": 0.214,
      "step": 1098
    },
    {
      "epoch": 2.9306666666666668,
      "grad_norm": 0.18680045008659363,
      "learning_rate": 4.7926267281106e-06,
      "loss": 0.2329,
      "step": 1099
    },
    {
      "epoch": 2.9333333333333336,
      "grad_norm": 0.21466372907161713,
      "learning_rate": 4.608294930875577e-06,
      "loss": 0.2434,
      "step": 1100
    },
    {
      "epoch": 2.936,
      "grad_norm": 0.166558176279068,
      "learning_rate": 4.423963133640553e-06,
      "loss": 0.1876,
      "step": 1101
    },
    {
      "epoch": 2.9386666666666668,
      "grad_norm": 0.22108784317970276,
      "learning_rate": 4.23963133640553e-06,
      "loss": 0.2651,
      "step": 1102
    },
    {
      "epoch": 2.9413333333333336,
      "grad_norm": 0.1992163211107254,
      "learning_rate": 4.055299539170508e-06,
      "loss": 0.2315,
      "step": 1103
    },
    {
      "epoch": 2.944,
      "grad_norm": 0.23224449157714844,
      "learning_rate": 3.870967741935484e-06,
      "loss": 0.2748,
      "step": 1104
    },
    {
      "epoch": 2.9466666666666668,
      "grad_norm": 0.21536001563072205,
      "learning_rate": 3.686635944700461e-06,
      "loss": 0.2466,
      "step": 1105
    },
    {
      "epoch": 2.9493333333333336,
      "grad_norm": 0.2141130566596985,
      "learning_rate": 3.5023041474654376e-06,
      "loss": 0.2478,
      "step": 1106
    },
    {
      "epoch": 2.952,
      "grad_norm": 0.15023496747016907,
      "learning_rate": 3.317972350230415e-06,
      "loss": 0.1743,
      "step": 1107
    },
    {
      "epoch": 2.9546666666666668,
      "grad_norm": 0.1586221605539322,
      "learning_rate": 3.133640552995392e-06,
      "loss": 0.1957,
      "step": 1108
    },
    {
      "epoch": 2.9573333333333336,
      "grad_norm": 0.21682856976985931,
      "learning_rate": 2.9493087557603687e-06,
      "loss": 0.2566,
      "step": 1109
    },
    {
      "epoch": 2.96,
      "grad_norm": 0.19096557796001434,
      "learning_rate": 2.7649769585253458e-06,
      "loss": 0.2202,
      "step": 1110
    },
    {
      "epoch": 2.962666666666667,
      "grad_norm": 0.21746596693992615,
      "learning_rate": 2.580645161290323e-06,
      "loss": 0.2344,
      "step": 1111
    },
    {
      "epoch": 2.9653333333333336,
      "grad_norm": 0.15653283894062042,
      "learning_rate": 2.3963133640553e-06,
      "loss": 0.1882,
      "step": 1112
    },
    {
      "epoch": 2.968,
      "grad_norm": 0.18830817937850952,
      "learning_rate": 2.2119815668202764e-06,
      "loss": 0.2101,
      "step": 1113
    },
    {
      "epoch": 2.970666666666667,
      "grad_norm": 0.15795008838176727,
      "learning_rate": 2.027649769585254e-06,
      "loss": 0.182,
      "step": 1114
    },
    {
      "epoch": 2.9733333333333336,
      "grad_norm": 0.2204478234052658,
      "learning_rate": 1.8433179723502305e-06,
      "loss": 0.2447,
      "step": 1115
    },
    {
      "epoch": 2.976,
      "grad_norm": 0.204703226685524,
      "learning_rate": 1.6589861751152075e-06,
      "loss": 0.2261,
      "step": 1116
    },
    {
      "epoch": 2.978666666666667,
      "grad_norm": 0.2186543494462967,
      "learning_rate": 1.4746543778801844e-06,
      "loss": 0.2494,
      "step": 1117
    },
    {
      "epoch": 2.981333333333333,
      "grad_norm": 0.18065595626831055,
      "learning_rate": 1.2903225806451614e-06,
      "loss": 0.2198,
      "step": 1118
    },
    {
      "epoch": 2.984,
      "grad_norm": 0.23505060374736786,
      "learning_rate": 1.1059907834101382e-06,
      "loss": 0.285,
      "step": 1119
    },
    {
      "epoch": 2.986666666666667,
      "grad_norm": 0.20345298945903778,
      "learning_rate": 9.216589861751153e-07,
      "loss": 0.2326,
      "step": 1120
    },
    {
      "epoch": 2.989333333333333,
      "grad_norm": 0.17036734521389008,
      "learning_rate": 7.373271889400922e-07,
      "loss": 0.2005,
      "step": 1121
    },
    {
      "epoch": 2.992,
      "grad_norm": 0.22150498628616333,
      "learning_rate": 5.529953917050691e-07,
      "loss": 0.2532,
      "step": 1122
    },
    {
      "epoch": 2.994666666666667,
      "grad_norm": 0.17782063782215118,
      "learning_rate": 3.686635944700461e-07,
      "loss": 0.212,
      "step": 1123
    },
    {
      "epoch": 2.997333333333333,
      "grad_norm": 0.20019815862178802,
      "learning_rate": 1.8433179723502305e-07,
      "loss": 0.2356,
      "step": 1124
    },
    {
      "epoch": 3.0,
      "grad_norm": 0.22706852853298187,
      "learning_rate": 0.0,
      "loss": 0.2505,
      "step": 1125
    }
  ],
  "logging_steps": 1,
  "max_steps": 1125,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 3,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 2.2306486123089838e+18,
  "train_batch_size": 4,
  "trial_name": null,
  "trial_params": null
}