对上述数据集的评测有几处疑问,麻烦帮忙解答下: (1)对aa_lcr/ifbench的推理模型,其中参数是否如首页所说使用temperature=1.0, top_p = 0.95, top_k = 40.? (2)对aa_lcr的裁判模型,是否仍使用minimax2.5模型进行judge?若是,minimax2.5无法关闭思考模式,实测会存在评判错误(temperature=1.0)。若不是,使用的裁判模型是哪个,麻烦告知下?
对上述数据集的评测有几处疑问,麻烦帮忙解答下:
(1)对aa_lcr/ifbench的推理模型,其中参数是否如首页所说使用temperature=1.0, top_p = 0.95, top_k = 40.?
(2)对aa_lcr的裁判模型,是否仍使用minimax2.5模型进行judge?若是,minimax2.5无法关闭思考模式,实测会存在评判错误(temperature=1.0)。若不是,使用的裁判模型是哪个,麻烦告知下?