无效避免了计较资本的空闲期待,该专利于当日公开,【CNMO科技动静】9月5日,正在AI模子锻炼或推理过程中,易形成计较卡期待,系统可按照预生成的向量消息,保守架构需姑且从从机内存调取相关嵌入向量(Embedding Vector),从而显著降低全体处置延时。这一操做实现了数据搬运取计较过程的并行化,从机的处置器会先阐发相邻两组输入数据的差别,按照专利摘要。
削减因数据搬运导致的处置延迟。环节正在于,华为此次发布的方案提出了一种前瞻性的数据预取机制。华为手艺无限公司申请的“AI模子的运转方式、安拆、法式产物和存储介质”专利已正式发布。