精选文章||专家知识增强的机器学习建模在高强高导铜合金开发中的应用
精选文章||专家知识增强的机器学习建模在高强高导铜合金开发中的应用
gh_72df7adaeec6
工程科学学报网络宣传与推广
〢详细信息：
专家知识增强的机器学习建模在高强高导铜合金开发中的应用
苗海宾, 向朝建, 刘胜楠, 黄东男, 娄花芬
工程科学学报, 2023, 45(11): 1908
http://doi.org/10.13374/j.issn2095-9389.2022.09.19.0021
点击下方网站直达相应页面：
官网 ； 知网
〢摘 要：
材料领域数据具有小样本、噪声大、维度高、关系复杂、专家知识丰富的特点. 利用专家知识增强机器学习建模效果具有必要性和可行性. 本文通过计算自变量与因变量之间的秩相关系数，来定量描述成分状态因素与性能之间单调关系的强弱. 在模型训练过程中，将秩相关系数加入到神经网络损失函数，实时评估模型输出与专家知识的相符程度，得到了专家知识增强的机器学习模型. 对训练过程分析后发现，模型输出的合理性有显著提升，模型的输入输出规律与专家知识的相符程度达到了0.98以上（1.0为完全相符）. 基于所建模型，采用遗传算法进行了关于强度和导电率的多目标优化，找到了满足帕累托最优的高强高导铜合金成分并开展了实验验证. 实验结果表明，强度在高达637 MPa的同时，导电率仍能保持在77.5% IACS（国际退火铜标准）的水平；导电率高达80.2% IACS的同时，强度仍能保持在600 MPa的水平. 强度和导电率的预测值与实际值误差在5%以内.
高强高导铜合金广泛应用于半导体元器件和集成电路引线框架部件，需同时具备较高的强度和良好的导电性. 目前，铜合金框架材料占集成电路引线框架的80%以上，全球开发的铜合金引线框架材料主要有Cu–Fe–P、Cu–Cr–Zr、Cu–Ni–Si、Cu–Cr–Sn、Cu–Ni–Sn等系列. UTS（抗拉强度）为450 MPa～500 MPa，EC（导电率）为80% IACS（国际退火铜标准）的框架材料，可以满足集成电路的现实需要. 然而，随着集成电路封装向高密度方向发展，超大规模集成电路需要强度600 MPa以上、导电率75% IACS以上的铜合金. 但是，铜合金强度和导电率存在共同的微观结构机理，两者往往协同变化. 合金元素的添加通过钉扎位错提高强度的同时，会由于增加对电子的散射作用而降低材料的导电性，使得铜合金强度和导电率呈现此消彼长的关系. 所以，对强度和导电率的协同优化，是高强高导铜合金材料开发的关键.
当前，“经验+试错”的模式正在向数据驱动的研发模式转变，机器学习是实现新研发模式的重要手段. 长期以来，材料领域十分活跃，规模巨大的研究开发活动沉淀和积累了大量的数据，为机器学习在材料领域的广泛应用奠定了基础. 利用机器学习建立材料影响因素(如成分和工艺等)与目标量(如性能、显微组织、相组成等)间的映射关系，可以实现材料成分、结构、组织、工艺、性能的预测与新材料的发现. 机器学习还可以辅助材料科学家从不同尺度、不同维度深入认识材料的机理特征，理解材料问题的科学本质 [ 1 ] .
近年来，机器学习已经成为材料研究的前沿和热点 [ 2 − 5 ] . 在化学领域，机器学习可用于预测晶体制备策略，其准确率可超过经验丰富的化学家 [ 6 − 8 ] ；钙钛矿材料因其在燃料电池和电催化方面具有很多出色的性能而受到大量关注，由于其结构具有化学元素的多样性，理论上潜在的钙钛矿材料数目可达上万种，采用机器学习对钙钛矿的特征因子进行建模，可预测钙钛矿性质并发现新的钙钛矿材料 [ 9 − 11 ] ；由于单一的影响因素不足以全面解释非晶材料的玻璃形成能力，机器学习算法被引入非晶材料开发领域，在非晶结构分类、非晶结构–性能关联和非晶宏观性质的预测方面得到了广泛应用 [ 12 − 14 ] . 在高熵合金设计中，多元合金成分设计因具有巨大的成分参数空间而极具挑战，而且传统的试错实验成本较高，机器学习辅助的多元合金成分设计通过建立特征量与性能模型，筛选出原子半径差、比体积平均偏差、平均熔点等特征因子，可将优化效率提高百倍以上 [ 15 − 17 ] . 机器学习建模技术在高强高导铜合金开发中的应用也取得了良好的效果，北科大利用神经网络建立了性能–成分逆向设计模型，发现了一系列性能优良的高强高导铜合金 [ 18 ] ，并且利用元素筛选技术开发出了具有较大应用潜力的新型Cu–In合金 [ 19 ] . 此外，基于机器学习的材料基因工程方法在轧制、焊接、冲压、冶炼等方向的材料开发和工艺优化也获得了大量应用 [ 20 − 23 ] . 在此过程中，机器学习方法广泛用于成分–工艺–性能建模.
然而，与海量的互联网大数据不同，材料领域数据具有小样本、噪声大、维度高、关系复杂等特点 [ 24 ] ，并且已经积累了丰富的专家经验和理论知识. 这导致机器学习算法直接用于材料领域建模时，容易过拟合，并且常常会产生与领域专家认知不一致的结果. 所以，如何将专家经验和理论知识充分利用起来，将其与机器学习模型相结合，增强模型可靠性和泛化能力，是充分发挥机器学习建模技术优势的关键. 在损失函数中引入物理代数方程的正则项约束 [ 25 − 26 ] ，或者将知识图谱与神经网络耦合 [ 27 − 28 ] ，都可以一定程度实现专家知识增强机器学习模型的效果，二者分别在物理场重构领域和分类任务领域应用较多. 但是，尚无简洁有效的手段来描述材料领域定性规律并集成到机器学习模型. 因此，本文首先采用神经网络方法搭建铜合金强度和导电率模型，然后通过Spearman系数量化描述专家知识，以重构损失函数的方式将专家知识嵌入到机器学习算法，进而通过迭代优化网络权值来提升建模效果；最后，采用多目标优化技术，得到了性能优良的高强高导铜合金，开展了实验验证和机理分析.
1.1 数据集的描述性统计
本文数据集包含高强高导铜合金相关的牌号数据、实验数据、期刊专利数据共410组，涉及46个合金系列和15种合金元素. 另外还包含硬化程度、热处理方式等合金状态数据和抗拉强度、导电率等性能数据. 成分质量分数、性能描述性统计信息如 表1 .
表 1 成分质量分数与性能的描述统计
1.2 数据的标准化
采用z-score（标准分数）方法（如式（1））来对原始数据标准化. 经过该方法处理后，数据均值为0，标准差为1. 由于每一维变量的标准差都为1，所以每一个维度的变量在计算距离的时候重要程度相同，从而可以消除量纲的影响.
（1）
式中，x为原始数据， μ和 σ分别为原始数据的均值和标准差， x’为标准化后的值.
表 2 铜合金状态代号的编码映射表（部分）
2.1 神经网络结构优化
2.1 神经网络结构优化
由于神经网络具有强大的非线性拟合能力，并且构造灵活，所以此处采用神经网络来建模. 一般的BP神经网络主要由输入层、隐含层、输出层构成. 其中，输入和输出层的节点数是固定的，分别等于自变量和因变量的维度. 隐含层层数和节点数主要根据经验和试错来决定. 有研究指出，隐含层层数为2层时，搭配适当的激活函数可以表示任意精度的任意决策边界，隐含层大于2时，可用于自动特征工程等更复杂的描述（例如计算机视觉，自然语言处理）[29]. 所以，这里设定隐含层层数为2层，隐含层节点在[1,100]的区间进行优化，同时设置0.1的随机失活率（dropout rate）来减少过拟合. 每种结构的模型在整个数据集上做三折交叉验证，设置最大训练次数100次作为迭代停止条件，将三折交叉验证后的平均 R2值（式（2））作为模型优劣的指标.
（2）
其中， yi是第i个样本的真实值， y˜i是第i个样本的预测值， y¯是样本的均值， nsamples为样本数量.
不同网络结构下强度和导电率模型评分如图1所示. 可以看出，随着网络结构复杂度的提升，模型精度有显著提高，到一定程度之后，模型精度不再增加. 强度模型最高评分为93.2%，相应的模型网络为21–55–70–1（输入层–隐含层1–隐含层2–输出层）；导电率模型最高评分为96.4%，相应的模型网络为21-50-65-1（输入层–隐含层1–隐含层2–输出层）.
图 1 不同网络结构下强度和导电率模型评分. （a）强度模型；（b）导电率模型
2.2 专家知识嵌入
神经网络训练是通过优化网络权值来减小模型预测值与真实值之间差异的过程. 预测值与真实值之间差异以均方误差、平均绝对误差等损失函数来表征. 训练过程中，随着网络权值的不断优化，损失函数逐渐减小，直至满足所需的模型精度. 基于预测值与真实值误差设计的损失函数，只能保证模型输出与有限真实样本之间的误差足够小，但不能保证模型输出结果的规律符合材料领域的专家知识. 目前总结了关于强度的专家知识为：其他条件一样的情况下，S1—硬化程度越高，强度越高；S2—退火态铜合金强度比非退火态的强度小；S3—对于稀薄固溶体，某一溶质元素含量越高，强度越高. 关于导电率的专家知识为：其他条件一样的情况下，C1—硬化程度越高，导电率越低；C2—退火态铜合金导电率比非退火态下的导电率大；C3—某一合金元素含量越高，导电率越小. 可以看出，以上规则均表现为两个变量之间的单调关系，可以用式（3）所示的秩相关系数（Spearman系数， ρ）来表征，它可以衡量两个变量单调变化相关程度. Spearman相关系数取值范围为[−1,1]，取1和−1的时候说明两个变量呈现完全的正/负相关关系.
（3）
其中， ui是第i个样本在变量U中的大小排列次序， vi 是第i个样本在变量V中的大小排列次序， u¯和 v¯ 分别为变量U和V中样本排列的平均次序， nsamples 为样本数量.
所以，损失函数包含误差损失函数和专家知识函数两部分（如式（4）所示），分别用 R2系数和Spearman系数来表征，二者之和作为总的损失函数. 其中，误差损失函数通过计算模型预测值与实际值的误差得来. 单条专家知识函数以平均Spearman系数来表达，其计算方法如表3所示，通过生成自变量的大量正交数据，待考察的自变量在正交数据的基础上做单调变化，然后计算单调变化的自变量与预测值的平均Spearman系数. 所有待考察自变量的Spearman系数之和即为总专家知识函数值. 专家知识增强的模型训练策略如图2所示，将原始的成分状态数据输入网络得出预测值，结合训练数据的真实值计算出 R2系数，得到误差损失函数值；将校验数据输入网络得出预测值，按照上述专家知识规则计算待考察自变量与预测值的Spearman系数，得到专家知识函数值. 然后，朝总损失函数的最小化的方向更新优化网络权值，直至模型精度满足要求.
表 3 校验数据生成和平均Spearman系数计算示例(H: 硬化程度; P_EC: 导电率预测值)
图 2 专家知识增强的模型训练策略
（4）
式中，LosstotalLosstotal为的总损失函数，FuncerrorFuncerror 为误差损失函数， FuncexpertFuncexpert 为专家知识损失函数， ρi为一条以Spearman系数表达的专家知识函数，n为专家知识总条数.
专家知识增强的模型迭代过程如图3，可以看出，通过不断迭代，模型输出与专家知识相符程度有了较大提升. 最终，所建模型输入输出与专家知识的相符程度达到了0.98以上，且模型的预测精度（R2）均在0.9以上，这表明该建模方式同时保证了模型输出结果的合理性和准确性. 模型在测试集上的表现如图4，以R2衡量，强度模型精度=90.1%，导电率模型精度=94.2%，模型在测试集上同样获得了较高的精度.
图 3 专家知识增强的模型迭代过程. （a）强度模型；（b）导电率模型
2.3 关于强度和导电率的多目标性能寻优
由于强度和导电率之间常呈现此消彼长的关系，所以，需要进行多目标协同优化，来选择具有相对优势的强度和导电率组合. 此处基于所建立的合金成分–状态–强度与导电率机器学习模型，采用遗传算法来进行关于强度与导电率的多性能指标优化. 遗传算法是模拟自然界遗传和生物进化论而成的一种并行随机搜索最优化方法，通过对变量的选择、交叉、变异操作来不断迭代，直至满足要求. 设置如下：成分和硬化程度采用实数编码，热处理工艺采用二进制编码，将基于Pareto排序的个体支配数量作为适应度函数. 优化方向为：强度最大化，导电率最大化. 图5 给出了强度与导电率的匹配优化结果，是一系列相对最优解的组合. 根据超大规模集成电路对高强高导铜合金强度≥600 MPa，导电率≥75% IACS的需求区间，优选出三组匹配对，其成分及性能预测值如 表4 所示.
图 5 关于强度和导电率的多目标优化结果
表 4 优化出的高强高导铜合金成分及预测性能
3.1 实验结果
根据模型寻优结果开展制备实验，制备工艺为：熔铸—热轧（920 ℃/2 h，8 mm）—固溶（950 ℃/0.5 h）—冷轧1（2 mm）—时效1（490 ℃/4 h）—冷轧2（0.5 mm）—时效2（420 ℃/4 h）—冷轧3（0.2 mm）—应力消除（250 ℃/0.5 h）. 终态样品力学性能测试结果见 图6 ，性能测试结果与模型预测值对比如 图7 . 从图中可以看出，按照预测三组合金成分制备的样品强度均在600 MPa以上，导电率均在75% IACS以上. 合金1#强度在高达637 MPa的同时，导电率仍能保持在77.5% IACS的水平；合金3#导电率高达80.2% IACS的同时，强度仍能保持在600 MPa的水平，模型预测值和实际值误差均在5%以内. 优化出的成分可以满足超大规模集成电路对高强高导铜合金性能的要求.
图 6 三种合金样品的应力–应变曲线
图 7 不同成分下样品性能实验值与预测值对比
3.2 组织机理分析
Cu–Cr系高强高导合金为典型的析出强化合金，要获得最佳的强度和导电率的匹配，需要通过高温固溶处理获得过饱和固溶体，再在低温下时效析出微小、分布弥散、尺寸均匀的颗粒相，且基体中固溶原子析出越充分获得的导电率越高. 图8 、 图9 和 图10 分别为成分1#、2#、3#的铸态、成品态组织. 可以看出，1#合金铸态组织中存在少量粗大一次颗粒相，形状近球形，分布较为均匀，一次相没有沿着晶界分布；经固溶、冷变形、时效后，基体为典型的冷变形组织，晶粒转变为丝状，基体中析出颗粒相细小且分布均匀，这与1#合金成品具有较好的强度与导电率相互印证. 2#合金铸态组织中，除了基体中存在一次析出相外，在晶界同样存在连续分布的一次相；经固溶、冷变形、时效后，仍旧有尺寸较大的颗粒析出相在冷轧过程中拉长，呈线性分布，且还大量存在细小的析出相，尽管这种组织使合金具有较高的强度，但是导电率相对较低. 3#合金的组织演变规律与2#合金类似，所不同的是，3#合金铸态析出相尺寸较大且沿晶界连续分布，固溶原子的大量析出降低基体细小强化相的析出，减小了对合金的强化效果，因此合金的强度不高，但一次相不是拉长的线状，而是呈颗粒状线性分布，使得基体的导电率相对较高.
图 8 1#合金组织演变规律. （a）铸态；（b）成品态
图 9 2#合金组织演变规律. （a）铸态；（b）成品态
图 10 3#合金组织演变规律. （a）铸态；（b）成品态
综合1#、2#、3#三种合金组织演变规律可以看出，仅添加Mg、Ti元素时合金易于形成粗大的一次相，不利于强度的提高；进一步添加Fe/Sn元素可以有效提高合金的抗拉强度，但Sn元素同样形成粗大的一次相，一次相在后续的变形中形成拉长的线状组织分布于基体，降低合金的导电率，而添加Fe元素可使铸态一次相呈近球形，且分布弥散，后续冷轧回溶于基体，成品为细小弥散的析出相，确保合金同时具有较高的强度和导电率.
通过将专家知识量化描述后嵌入到神经网络损失函数，建立了专家知识增强的机器学习模型. 基于合金成分、状态、性能（强度与导电率）模型，采用遗传算法开展了关于强度和导电率的多目标优化. 依据帕累托原理，给出了高强高导合金成分及性能预测值，并且进行了实验验证和机理分析. 主要结论如下：
（1）建立了专家知识增强的机器学习模型. 以三折交叉验证后的 R 2 评分为指标，得出强度和导电率模型网络结构为：21–55–70–1和21–50–65–1. 以Spearman系数量化描述网络输入输出与专家知识的相符程度，将其嵌入到神经网络的损失函数，建立了专家知识增强的机器学习模型. 所建模型输入输出与专家知识的相符程度达到了0.98以上，模型的预测精度（ R 2 ）均在0.9以上.
（2）优选出了三组高强高导合金成分并进行了实验验证. 基于专家知识增强的合金成分、状态与强度&导电率机器学习模型，采用遗传算法进行了关于强度和导电率的多目标优化. 依据帕累托原理，确定了三组高强高导合金成分并预测了相应的性能. 实验结果表明，合金强度在高达637 MPa的同时，导电率仍能保持在77.5% IACS的水平；导电率高达80.2% IACS的同时，强度仍能保持在600 MPa的水平. 强度和导电率的预测值与实际值误差在5%以内.
（3）对合金组织演变过程进行了机理分析. 仅添加Mg、Ti元素时合金易于形成粗大的一次相，不利于强度的提高；Fe/Sn元素的添加可以有效提高合金的抗拉强度，但Sn元素同样形成粗大的一次相，一次相在后续的变形中形成拉长的线状组织分布于基体，降低合金的导电率，而添加Fe元素可使铸态一次相呈近球形，且分布弥散，后续冷轧回溶于基体，成品为细小弥散的析出相，确保合金同时具有较高的强度和导电率.
《工程科学学报》精选文章系列