- 丁鑫;邹荣金;潘志庚;
在深度学习中,“预训练+微调”范式是经典的模型领域适配技术,可有效将预训练模型的丰富知识迁移至新的任务中。然而,随着深度神经网络的规模不断增大,生成式大模型的参数规模往往动辄数十亿甚至数千亿。因此,本文指出在新任务中“全量微调”生成式大模型以实现领域适配不再具有可行性。接着,针对以上问题,本文介绍了一种“轻量化”的大模型领域适配技术——高效参数微调,并对三类主流算法进行综述,分析了算法的主要思想和优缺点。最后,本文借助两个成功案例展示了高效参数微调技术在生成式语言/视觉大模型上的应用效果,证明了高效参数调参技术仅需训练少量额外参数即可近似达到“全量微调”的领域适配效果。
2023年04期 1-9页 [查看摘要][在线阅读][下载 1590K] - 胡振生;杨瑞;朱嘉豪;廖芝美;方立;周毅;
本文对大语言模型技术在医学领域的研究与应用发展进行了全面综述分析。首先阐明了大语言模型的基本概念、发展脉络和典型模型,概述了它们在自然语言处理任务中的应用范式。其次,文章阐述了目前国内外开源的典型医学大语言模型实例,对当前医学大语言模型的数据集基础和模型评估方法进行了深入总结。最后,文章讨论了医学大语言模型的未来应用前景及面临的可解释性、隐私保护、伦理道德等挑战,给出了应对建议。本文通过全面综述大语言模型在医学领域的研究与应用,为该领域后续工作提供有价值的参考。
2023年04期 10-19页 [查看摘要][在线阅读][下载 1338K] - 唐申庚;修雪玉;郭丹;洪日昌;
随着智能生成技术的不断发展与应用,手语数字人技术的应用场景也在不断扩大。智能生成技术可以将文本、语音等不同形式的信息转化为手语数字人的形式,为聋哑人士提供更加多样化和便捷的交流方式。此外,智能生成技术还可以通过机器学习和人工智能算法不断优化手语识别和生成的准确性与速度,提高手语数字人技术的用户体验和应用效果。本文将从人工智能的发展历程出发,详细介绍基于智能生成技术的手语数字人发展现状、所遇到的挑战,以及未来发展趋势。
2023年04期 20-31页 [查看摘要][在线阅读][下载 1345K] - 刘聪;李鑫;殷兵;郑庆龄;卫萌;
大模型技术带来的“智能涌现”开启了机器自然语言交互式学习的“类人”新范式,也为各行各业带来了巨大的机遇。本文综述了国内外大模型技术与产业发展的现状,并介绍了科大讯飞在大模型方面的技术及应用实践。目前,大模型产业正处在探索期,亟待法律法规制定、行业标准规范与市场示范引导。为此,发展大模型应从加强数据隐私和安全保护,设立测评标准和标准测试集,发挥政府统筹调控作用,多场景应用示范及生态构建等方面开展工作,推动大模型技术与产业的可持续发展,实现数字经济的跨越式发展,为各个领域带来更广泛的应用价值。
2023年04期 32-42页 [查看摘要][在线阅读][下载 1144K] - 徐思彦;
在多重因素驱动下,AIGC成为近年来AI领域最具变革性的技术方向之一,近年来在各产业领域的应用逐渐兴起。本文旨在全面梳理生成式人工智能的发展演进、产业应用现状及前景。本文梳理了生成式人工智能发展的基础条件,并概述了其在文本生成、图像生成等八大领域的典型应用前景及产业机遇。同时,针对生成式人工智能在产业应用中面临的可解释性及安全伦理挑战进行了探讨。最后,本文展望了生成式人工智能在产业应用中的未来发展趋势,以期推动生成式人工智能在产业应用中的持续发展和创新。
2023年04期 43-50页 [查看摘要][在线阅读][下载 1104K] - 徐畅;杜欣泽;于凯迪;
随着ChatGPT的火爆出圈,能够自动生成文本、图像、音频、视频的人工智能生成内容（AI Generated Content,AIGC）引起学术界和产业界的广泛关注。AIGC领域的进步将改变人类的工作与生活方式,特别是设计行业从业者将大幅提升内容生成类工作的效率。本文以综述的形式,简述了AIGC的发展历程,介绍了AIGC在设计行业的实际应用,同时阐释了AIGC在应用中面临的问题与挑战,并提出了解决方法与应对策略,以期促进AIGC在设计领域的应用与发展。未来,AIGC将成为设计内容生成领域的重要形式,将在包括设计在内的多个行业广泛应用。
2023年04期 51-60页 [查看摘要][在线阅读][下载 1131K] - 罗钦雨;王宇;王慧;汪思哲;
本文针对个人或小型机构难以构建自己的搜索系统,使用互联网或特定大企业的平台导致的结果不全面、精度低等现状。基于语义理解和大模型在这方面的训练和应用。通过微量参数微调、主要开源模型生成式本地优化、引导性设计,构建了可边缘处理基准数据集的最精简部署,仅需不到20G的显存开销。通过理解信息源关系、引用位置准确性和回答特定任务的测试,测试结果表明此模型能在极短时间内给出高效、精确的回答。
2023年04期 61-70页 [查看摘要][在线阅读][下载 1371K]
- 李翰霖;牛少彰;王茂森;史成洁;安洪旭;
工业传感器监测产生海量时序数据,对异常检测带来了两个挑战。一是数据维度和数据量的增多提高了算法时间复杂度,不利于实时监测。为了实时监测数据,需要异常检测算法在有限时间内处理大量的数据。二是在数据采集过程中,噪声是不可避免的,检查噪声数据对异常检测算法性能的影响对于提高分类器学习算法的可靠性是必要的。因此,本文对数据进行分析挖掘,降低数据维度和数据量,提高异常检测实时性,并在图偏差网络上应用一维卷积,提取时间序列的高级特征,提高异常模型的抗噪能力。在六级水处理模型SWaT数据集上的实验结果表明,本文异常检测方法在测试集上精确率、召回率、F1值总体优于传统异常检测方法,且能有效避免噪声干扰,识别速度快,满足异常检测过程中的准确性和实时性,具有一定的应用价值。
2023年04期 71-81页 [查看摘要][在线阅读][下载 1720K] - 李旺;邹冬梅;曹旭;黄小莉;
本文利用胶质瘤病例的特点,将数据集的胶质瘤区域分为瘤周水肿区（P）、强化肿瘤区（T）、胶质瘤区域（ALL）,再对各区域提取对应的影像组学特征进行预建模特征筛选用以最终模型建立。在提取了各区域的不同图像类型的影像组学特征之后,对各区域的不同图像类型的特征进行预建模,预建模中在训练集上采用五折交叉验证。在特征筛选过程中,本文将预建模模型在验证集上AUC值前五的模型选中的特征筛选出来并做频次统计,统计出高频率出现的特征代入最终模型建立。最终共筛选出66个高频特征代入分.级模型,本文的两种胶质瘤分级模型在测试集的ROC曲线下面积（AUC）分别达到多区域预建模的模型有着较为明显的提高,对脑部胶质瘤分级研究有着一定意义。
2023年04期 82-90页 [查看摘要][在线阅读][下载 1530K]