mimo-v2
纵览(flash和pro):他们是一起训练的,用的一批数据(luo的采访说的,但是发现大的对脏数据的忍耐力更强,训练的时间更久,因为scaling的时候遇到了更多的问题需要解决) 架构:hybrid attention(系数比) model的参数大小 mtp的架构,会提升推理的速度,节省kv cache
训练的流程(算法,一步步咋搞的,包括rl的系统东西)
数据的来源
怎么搞数据,包括code,或者agent数据
纵览(flash和pro):他们是一起训练的,用的一批数据(luo的采访说的,但是发现大的对脏数据的忍耐力更强,训练的时间更久,因为scaling的时候遇到了更多的问题需要解决) 架构:hybrid attention(系数比) model的参数大小 mtp的架构,会提升推理的速度,节省kv cache
训练的流程(算法,一步步咋搞的,包括rl的系统东西)
数据的来源
怎么搞数据,包括code,或者agent数据