{{ly_txt}}
{{bz_txt}}
{{fx_txt}}
{{yd_txt}}:0
近期,以DeepSeek为代表的国产大模型,让我们深刻领略到AI的魅力,也更加坚定了国产AI在国际舞台上大展拳脚的信心。随着国产大模型的崛起以及全球范围内大模型的迅猛发展,AI正以前所未有的速度改变着我们的工作和生活……今天,我们为大家分享数药智能在大模型应用于儿童能力成长领域的最新成果,该成果在2024年被中华医学会第二十九次儿科学大会录取,标志着我们在AI与医疗结合的道路上迈出了坚实的一步。
— 大模型与虚拟现实结合 开启儿童康复新篇章 —
数药智能的研究团队成功将大语言模型(LLMs)与虚拟现实(VR)技术相结合,开发出一套为孤独症谱系障碍(ASD)儿童在内的特需儿童设计的认知训练系统。这一系统不仅为儿童提供了一个沉浸式的训练环境,还通过个性化的训练内容,显著提升了儿童的认知和社交能力。

该系统架构包含多个功能模块,如虚拟现实场景构建、角色情感交互、语音交互、角色动作交互以及眼动追踪等。这些模块协同工作,形成一个集成的交互环境。例如,虚拟现实场景模块负责构建逼真的虚拟环境,为儿童提供丰富的视觉和听觉刺激。角色情感交互模块通过大语言模型(LLMs)促进与虚拟角色的情感交流,增强儿童的同理心和社交互动能力。同时,语音交互模块利用LLMs的自然语言处理能力,提供流畅的对话体验,促进儿童的语言表达和理解能力。此外,系统还集成了认知能力康复程序、社交能力康复程序以及相应的评估工具。这些程序和工具通过LLMs根据患者的基本信息和行为特征,生成个性化的训练内容和评估反馈。例如,认知能力评估模块可以分析儿童的反应模式,并提供针对性的认知训练建议。社交能力评估模块通过观察儿童在虚拟社交环境中的表现,评估其社交技能的发展。通过这些模块的协同工作,系统能够为儿童提供全面且系统的康复训练服务。— 研究成果亮点 —
- 个性化训练:系统根据每个儿童的具体情况,生成个性化的训练内容和反馈,确保每个孩子都能在最适合自己的环境中成长。
- 多维度能力提升:通过VR技术,系统模拟了多种真实生活场景,帮助儿童在认知、社交、语言沟通、生活技能等多个维度上得到全面提升。
- 高效评估与反馈:系统实时记录训练数据,生成详细的评估报告,帮助老师和家长及时了解儿童的训练进展,调整训练方案。

基于上述康复训练系统架构和多模态大语言模型(LLMs)的训练,我们设计了一系列涵盖认知、社交互动、运动感知、语言沟通和生活技能等多个能力维度的VR课程。例如,为了增强儿童的认知功能,我们开发了“字符匹配”课程,通过虚拟角色帮助儿童学习汉字并将其与图像匹配;针对儿童的社交功能,我们设计了“餐厅社交”课程,利用虚拟角色创建餐厅用餐聊天的社交场景,帮助儿童进行社交沟通训练;此外,为了培养儿童的生活技能,我们创建了“餐前洗手”课程,模拟餐厅洗手和上菜的生活场景,帮助儿童进行洗手这一生活技能的训练。以“字符匹配”课程为例,如图所示,系统通过虚拟教师和同学创建了一个虚拟社交场景,用于训练儿童的认知和社交功能。左侧插图展示了训练系统在学校校园中创建的教室场景,以及虚拟教师和学生模拟的课堂教学情境。左下角佩戴头戴式VR设备的是正在接受康复训练的儿童,而其他角色则是由LLMs驱动的虚拟角色。该图以第三人称视角展示,教师邀请学生回答问题,虚拟同学举手回答,为训练中的儿童提供适当的行为示范。右侧插图是该课程的另一个训练片段,以训练中儿童的第一人称视角展示。可以看到,当儿童在社交场景中正确回答教师的问题时,教师给予儿童社交奖励,强化了儿童的正确行为。除了上述“字符匹配”课程外,我们还设计并开发了一系列VR课程,包括“餐厅社交”、“餐前洗手”、“认知规则”、“击球游戏”等,为儿童提供涵盖认知、社交互动、生活技能和运动感知等多个维度的康复训练。
— 实际应用效果 —
在为期10周的VR训练中,参与研究的9名ASD儿童在认知和社交能力上均取得了显著进步。认知功能评估量表平均得分从11.75提升至12.94,社交技能评估中,小组指令表现平均得分从21.13提升至28.00,课堂常规表现平均得分从16.75提升至19.25。这些数据充分证明了该系统在儿童康复训练中的有效性。
— 未来展望 —
数药智能的这一研究成果不仅为包括孤独症症儿童在内的特需儿童的康复训练提供了新的解决方案,也为AI在医疗领域的应用开辟了新的道路。未来,我们将继续优化和扩展这一系统,探索其在更多儿童能力成长领域的应用潜力,为更多家庭带来希望和帮助。— 结语 —
AI技术的飞速发展正在改变世界,而数药智能正是这一变革的积极参与者和推动者。我们相信,随着技术的不断进步,AI将在更多领域发挥其巨大的潜力,为人类带来更多的福祉。让我们共同期待,AI与医疗的深度融合,将为儿童的健康成长开辟更加广阔的未来。