德克萨斯大学奥斯汀分校的研究人员开发了一种将大脑活动转化为文本的语义解码器。这个人工智能系统是非侵入性的,不需要手术植入,可以为那些无法说话的人提供一种新的交流方式。解码器是通过让参与者在fMRI扫描仪中听几个小时的播客来训练的,然后它可以仅根据大脑活动来生成文本。
一个被称为语义解码器的新人工智能系统可以将一个人的大脑活动--在听故事或默默想象讲故事时--翻译成连续的文本流。德克萨斯大学奥斯汀分校的研究人员开发的这个系统可能会帮助那些精神上有意识但身体上不能说话的人,例如那些因中风而衰弱的人,重新进行理解性的交流。
这项研究今天(5月1日)发表在《自然-神经科学》杂志上,由计算机科学博士生Jerry Tang和德克萨斯大学奥斯汀分校的神经科学和计算机科学助理教授Alex Huth领导。这项工作部分依赖于一个转化器模型,类似于为Open AI的ChatGPT和Google的Bard提供基础的模型。
(资料图)
与其他正在开发的语言解码系统不同,该系统不需要受试者进行手术植入,使这一过程不具有侵入性。参与者也不需要只使用规定列表中的单词。在对解码器进行广泛的训练后,使用fMRI扫描仪测量大脑活动,其中个人在扫描仪中听了几个小时的播客。之后,只要参与者愿意让他们的想法被解码,他们听一个新的故事或想象讲一个故事,机器就能仅通过大脑活动生成相应的文本。
研究人员Alex Huth(左)、Jerry Tang(右)和Shailee Jain(中)准备在德克萨斯大学奥斯汀分校的生物医学成像中心收集大脑活动数据。研究人员对实验室成员在fMRI扫描仪中收集的几十个小时的大脑活动数据进行了语义解码器的训练。Credit: Nolan Zunk/德克萨斯大学奥斯汀分校
Huth说:"对于一个非侵入性的方法来说,与以前所做的相比,这是一个真正的飞跃,以前所做的通常是单个单词或短句。我们正在让这个模型对复杂的想法进行长时间的连续语言解码。"
其结果不是逐字逐句的记录。相反,研究人员将其设计为捕捉正在说的或想的东西的要点,尽管并不完美。大约有一半的时间,当解码器经过训练以监测参与者的大脑活动时,机器产生的文本与原词的预期含义密切(有时甚至精确)。
例如,在实验中,参与者在听说话者说"我还没有驾照"时,他们的想法被翻译成:"她甚至还没有开始学习驾驶"。听了这句话,"我不知道是要尖叫、哭泣还是逃跑。相反,我说,"别管我!""被解码为,"开始尖叫和哭泣,然后她只是说,"我告诉你别管我"。"
这张图片显示了在用户听四个故事时收集的大脑记录的解码器预测。例子片段是人工选择和注释的,以展示典型的解码器行为。解码器准确地再现了一些单词和短语,并抓住了更多的要点。资料来源:德克萨斯大学奥斯汀分校
从作为预印本出现在网上的该论文的早期版本开始,研究人员解决了关于该技术可能被滥用的问题。该论文描述了解码是如何只对那些自愿参与训练解码器的合作参与者发挥作用的。没有接受过解码器训练的人的结果是无法理解的,如果接受过解码器训练的参与者后来进行了抵抗--例如,通过思考其他想法--结果同样是无法使用。
"我们非常认真地对待人们对它可能被用于不良目的的担忧,并努力避免这种情况,"唐说。"我们想确保人们只在他们想要的时候使用这些类型的技术,并且对他们有帮助。"
除了让参与者聆听或思考故事之外,研究人员还要求受试者在扫描仪中观看四个简短的无声视频。语义解码器能够利用他们的大脑活动来准确描述视频中的某些事件。
该系统目前在实验室外并不实用,因为它依赖于fMRI机器上的时间需求。但研究人员认为这项工作可以转移到其他更便携的大脑成像系统,如功能性近红外光谱(fNIRS)。
标签:
据彭博社5月31日报道,万达集团计划以10亿元人民币(约合1 41亿美元)出售其数字支付牌照,正在与包括字节
当月要点:1、拿地总额同比下降8 4%,降幅近一步收窄2、城市选择高度集中,民营房企加速回归3、从各城市群
5月31日北向资金增持20 22万股招商港口。近5个交易日中,获北向资金减持的有2天,累计净减持2 08万股。近20
1、一般有以下几种帐户:基本户。2、企业必须开基本户,否则不能开其他银行帐户,基本户可以存取现金、划
1、Aninter-miningMingyueforyourviewing,weaveacoolautu
来为大家解答以下的问题,面石膏板防火等级耐火时间,纸面石膏板防火等级这个很多人还不知道,现在让我们一
5月31日,国家统计局服务业调查中心和中国物流与采购联合会公布的数据显示,5月制造业采购经理指数(PMI)
马斯克又来上海了。上证报记者获悉,5月31日晚间,特斯拉CEO埃隆& 183;马斯克(ElonMusk)按计划抵达上海。
直播吧5月31日讯据意大利记者罗马诺透露,吉达联合为本泽马开出接近1亿欧的年薪,皇马正等待球员做出决定。
新华社杭州5月31日电(记者顾小立)记者31日从浙江省经信厅获悉,浙江将加快推进5G全连接工厂建设,进一步
同一部智能手机对于有着不同需求的使用者来说,意义可能大不相同。职场人心目中的理想型智能手机,应该是在
1、建议你不要买长安车,长安车怠速不好治。2、水温高也不好治,另外长安车便宜。3、建议你买车之前也去看
1,云南有许多不知名但却非常美的小城,这需要你去发现,而不是只要提起云南就是大理丽江,烦死了。老实说
澳大利亚昆士兰大学MBA秋季学期,申请截止于每年5月31日左右。春季学期,申请截止于每年11月30日左右。需要
《乘风2023》成团夜时间曝光,复活赛时间已定,3位姐姐有望复活,陈冰,复活赛,汪小敏,许靖韵,李莎旻子,乘风2023
这个是没有准确答案的,要根据自己的实际需求和经济能力来决定。江城安心保和百万医疗险都是比较优秀的医疗
现代快报网是由凤凰出版传媒集团旗下的现代快报倾力打造的江苏新闻门户网站,目前在南京、苏州、无锡、常州
含饴弄孙,颐养天年,这是很多退休老人的选择。可在江西省南昌市进贤县前坊镇太平村西湖李家村,有四位退休
前不久,万州区钟鼓楼街道棉花地社区多个小区停车难问题得以化解,楼院停车有序了、出行也方便了、邻里更和
迈尔斯为勇士王朝的建立付出了巨大的努力迈尔斯的离职对于勇士队而迈尔斯则不同除了在体育行业最受追捧之外
X 关闭
X 关闭