点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:AI换脸、声音克隆……人工智能的滥用到底怎么治?
首页> 地方频道> 文化 > 正文

AI换脸、声音克隆……人工智能的滥用到底怎么治?

来源:央视新闻客户端2025-08-25 09:15

  新闻周刊丨人工智能的滥用,到底怎么治?

  声音和形象被AI合成滥用的事儿正变得越来越多。比如本周,奥运冠军全红婵、王楚钦等人的声音被AI克隆,卖起了所谓的“土鸡蛋”。不少配音演员也站出来维权,因为他们赖以生存的声音,如今可以被AI一键复制,随意地使用。

  这不禁让我们越来越担心,当我们的声音和面容到了如此轻易被人挪用的地步,人与人之间的信任该如何维系?AI的发展速度正越来越快,我们该如何用监管和立法守住底线?《新闻周刊》本周关注:人工智能的滥用,到底怎么治?

  AI换脸、声音克隆等合成技术滥用

  让“耳听眼见”未必为实

  这是配音演员孙晨铭的原声,而这段,是某自媒体账号通过AI克隆其声音生成的配音作品。如果没有提示,谁能分辨出两者之间的差异呢?也是在最近,孙晨铭还发现,一家房产公司同样未经授权,就对他的配音作品进行了AI克隆,用在了公司的企业宣传片中。

  声音被AI克隆,并被用于各种各样的商业场景,对于孙晨铭和同行们来说,已经不是什么新鲜事儿。有人给孙晨铭发来民法典的法条,声音权和肖像权一样,是公民不可侵犯的权益。于是,不少配音演员自发到那条企业宣传片的评论区集体留言,压力之下,这家房产公司,向孙晨铭支付了版权费用。

  本周,本台也曝光了利用AI技术仿冒奥运冠军全红婵进行带货的案例。这种AI伪造技术,已让不少名人深受其害。微信平台今年1月的公告显示,一个月内,就处置了1.2万条利用AI仿冒名人进行违规拼接、不当营销和恶意博取流量的内容,关闭了3281个相关账号。

  近日,北京互联网法院也审结一起案件,被告擅自使用大学教师李女士的肖像和AI合成声音进行图书宣传,最终法院判定,该行为侵犯了李女士的肖像权和声音权益。

  北京互联网法院综合审判三庭(少年法庭)庭长颜君:往往这种案件的受侵害的一方都是有一定社会知名度的名人,因为他会带来相应的社会认可度、认知度,他的声音和他的肖像有一定的商业利用价值。更重要的是如果这个带货的内容,比如说带的是伪劣产品或者是虚假宣传的内容,有可能极大的消解这位名人他的社会认知度、认可度和信任度。

  这段AI视频,生成于两年前,当时的技术,人脸画面还显得僵硬与不自然;而到了去年7月,南京玄武区法院审理的案件中,一名男子通过AI换脸软件,就成功突破了某支付平台的人脸识别系统。人工智能技术的飞速发展,已经使真与假之间的界限,开始变得难以分辨。

  配音演员武扬:从今年开始,我确实发现一些宣传片,他们AI的训练可以达到以假乱真的程度,在70%到80%的平稳叙述的范畴里面,AI都是可以处理得很好的,甚至我本人去听也需要长时间辨别,是不是我本人录的。

  中国信通院人工智能所安全部高级业务主管陈文弢:其实对于生成一个肉眼分辨不出来的这种视频,在前几年来说,难度是比较高的,需要一定的技术门槛,但是这几年出现了一些这种简捷化的工具,可以从开源社区上直接下载。它可以用消费级的笔记本单机来部署,一张照片就能够完成实时换脸。

  耳听为虚,眼见为实,这句古话正面临巨大挑战。AI换脸、声音克隆等合成技术的滥用,让“耳听眼见”都未必为实。对于配音演员孙晨铭来说,AI滥用直接影响到他的生计,赖以谋生的声音,正成为被随意复制的免费素材。迎面而来的AI时代,让他看不清自己的未来将通向何方。

  我们正在进入“全民AI时代”

  监管能不能够跟得上呢?

  如今,AI合成视频已经能做到以假乱真,不得不需要新的技术来辨别。技术成熟的速度令人惊叹,而使用门槛也大幅降低。一部手机、几个软件,普通人就能轻松生成文字、图片、音频、视频等各类内容。可以说,我们正在进入一个“全民AI时代”。

  然而,技术的普及势必会带来AI的滥用:从人脸和声音被合成冒用,到各类低俗猎奇视频的传播,再到漫天谣言的背后,AI都成了核心“推手”。每隔一段时间,新的问题就会涌现。所以,在技术开始狂奔的局面下,我们需要关注监管,能不能够跟得上呢?

  精致的五官、灵动的眼神、流畅的动作,如果没有相关标注,你是否能分辨出,这是一个完全由AI生成的数字人?在短视频平台,类似的视频比比皆是,还有不少视频,直接提供免费的AI软件以及使用教程。

  一部手机、两三个 AI 软件,几分钟就能制作一段时长五秒左右的美女跳舞视频。AI生成合成技术的飞速发展,正在累积着治理风险。去年,抖音安全中心曾发布公告,表示已发现多种不当使用AI技术生成虚拟人物的行为,其中就包括利用AI生成俊男美女虚假形象,骗取互动,将用户导流至私人聊天工具,甚至进行诈骗。根据抖音平台本周五提供的数据,他们最近一周处置的AI虚假违规内容量,相比2025年第一周,增长了62%。

  事实上,从2023年开始,抖音等多家平台陆续要求,发布人工智能生成内容时,需添加“内容由AI生成”的标识,并且也会进行监测和处置。但是,执行效果并不尽如人意。并且有自媒体博主表示,一些平台的监测手段可以破解,比如一些AI工具配置有镜像文件,其一键生成的虚拟人像,就能规避平台的监测。

  自媒体博主:很少。你看我作品我十四个里面就一两个会有。如果它给你出判定为AI作品,你可以把作品下架,然后再重新发一个。

  中国信通院人工智能所安全部高级业务主管陈文弢:如果说打上了这个标识,你只看可能就觉得它是由AI生成的,可能就不是特别的可信,所以这是从用户的角度,他是不愿意打这个标的。从技术的这个角度来看,如果说想完全满足监管的这个要求,把所有的生成合成的视频都识别出来,这个其实难度还是很大的。

  相比视频、图像,在专家看来,AI生成的文字谣言,监管起来其实更加困难。去年,江西南昌就破获一起AI造谣案件,相关机构利用AI软件,一天最多能生成4000—7000篇谣言文章,工作量惊人。更让人担忧的是,AI算法还能匹配用户喜好,定制化的生成谣言,使AI谣言变得越来越真假难辨。今年3月,某自媒体账号发布全国首例“AI医疗误诊”诉讼案开庭的文章,时间、地点、人物甚至庭审争议焦点等细节满满,不过,经过记者与法院核实,所有内容都是AI编造的假信息。

  目前,尽管一些平台设置了相应“谣言库”,通过设置热点关键词来屏蔽谣言。但一些机构利用AI模型针对性地进行对抗训练,使用近义词或类似表达,就可以绕过筛查。

  今年4月以来,中央网信办开展了为期三个月的“清朗·整治AI技术滥用”专项行动,AI换脸拟声、AI内容标识缺失等乱象,都是整治重点。6月,网信办公布专项行动第一阶段成果,累计处置违规小程序、应用程序、智能体等AI产品3500余款,清理违法违规信息96万余条,处置账号3700余个。如今,三个月的专项行动已经结束,但监管与AI滥用之间的拉锯战,显然才刚刚开始。

  联合国高级别人工智能咨询机构中方专家 中国政法大学数据法治研究院教授张凌寒:我们可能更要设定一个目标,就是能够在AI应用爆发之后,我们在这几年要把整个AI滥用生成虚假内容实现在一个可控的范围之内。这个可控的范围是指说我们不能够让广大老百姓因为这个去发生重大的人身财产的损失,同时也要尽量减少这种AI的内容虚假宣传造成社会舆论的动荡。这是我们的一个红线和底线。

  “内容由AI生成”

  能改变AI滥用的现状吗?

  人工智能,正以前所未有的速度改变世界,它不仅是科技创新的前沿,更是国家间战略博弈的新高地。相关产业的发展固然重要,但通过监管和立法为它划定边界,也同样显得十分紧迫。因为科技的进步本身并不足以确保人类的进步,更重要的是通过规则为它校准方向。

  说到规则,关于AI合成内容,几天后的9月1日,网信办等四部门印发的《人工智能生成合成内容标识办法》将开始施行,它明确规定服务提供者,应当对文本、音频、图片、视频等生成合成内容,在适当位置添加显式标识,也就是说今后所有AI作品必须亮明身份,标注是AI生成。它的实施,能改变当下AI出现滥用的现状吗?

  在某短视频平台上,一条生成式视频的左下角“标注着”作者声明:内容由AI生成,而这样的标注义务,在即将于9月1日实施的《人工智能生成合成内容标识办法》中,得以进一步明确,在人工智能生成合成内容的全生命周期,都要履行标识义务。

  北京抖音信息服务有限公司副总编辑全森:这个标识办法要求AI技术服务提供者,对文件(元数据)内容进行隐式标识。这样一个核心的链路解决了最大的卡点,这个卡点就是技术服务平台与内容传播平台之间,数据难以互通的一个卡点。解决了这个卡点之后,我们预计很大程度上解决了这个AI难以识别的问题。

  马上就要实施的这个《标识办法》,从人工智能生成合成内容的生产、传播和使用等环节入手,对标识制度进行了系统性的细化和规范。而随着深度合成技术日益逼真,逃避审查的手段不断升级,人工识别的难度越来越高,相应的法规和机制,也需要不断应对挑战。

  推进生成式人工智能标识制度的建立,已经成为世界各国的共识。而在专家看来,中国在该领域的立法起步相对较早,2023年施行的《互联网信息服务深度合成管理规定》,就在世界范围内,在相关法规中首次明确提出生成式人工智能标识义务。

  在专家看来,即将实施的《标识办法》,还只是一个规范性文件,在整个立法体系中位阶较低。如果站在更高的维度观察人工智能立法,安全、隐私、公平等都是必须直面的核心问题。今年,人形机器人行业进入快车道,机器人逐渐与人实现面对面,甚至是接触式交流。在深圳的一家养老机构,养老机器人,不仅可以带老人跳舞,扶着走路,还能陪打乒乓球、递水等,可谓多才多艺。面对着养老新朋友,有老人既兴奋又担心,机器人真的安全吗?

  经过多年探索,我国已初步构建起涵盖多层次、多维度的人工智能法律框架,但仍需要一部具有统领性的人工智能高位阶立法,予以统一规范。在国务院公布的2024年度立法工作计划中,曾明确“预备提请全国人大常委会审议人工智能法草案”,而《全国人大常委会2025年度立法工作计划》的相关表述则是,“人工智能健康发展等方面的立法项目,由有关方面抓紧开展调研和起草工作,视情安排审议”,显然,一部中国的人工智能法,正在加紧推进之中。

  对于人工智能,有人把它比作是潘多拉魔盒,在释放出无限可能的同时,也会带来难以预知的风险。

  而前不久在上海举办的世界人工智能大会上,图灵奖得主辛顿的演讲,也在提醒所有人,要对AI保持足够的警觉。他把人类与AI的关系,比作饲养一只老虎,老虎长大后可能轻易超越人类,而且人类没有摆脱和消除它的选项,人类想要生存,必须找到办法训练AI。而如何训练出比人更聪明的“好AI”,是我们从来没有遇到过的巨大的机会和挑战。

  正如中国那句老话,“人无远虑,必有近忧”,在AI的问题上,我们必须要看得更远,才能走得更好。(来源:央视新闻客户端)

[ 责编:董大正 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 黑龙江“冰雪版图”加速扩容

  • 2026年的中东将向何处去?

独家策划

推荐阅读
当日9时34分,神舟二十号飞船返回舱在东风着陆场成功着陆。经现场检查确认,飞船返回舱外观总体正常,舱内下行物品状态良好,神舟二十号飞船返回任务取得圆满成功。
2026-01-19 11:36
血脑屏障横亘于血液与大脑之间,严格调控物质通行,将绝大多数药物拒之门外,这成为脑神经疾病新药研发面临的主要瓶颈之一。许多在实验室中表现优异的候选药物因无法有效透过血脑屏障,在临床试验阶段止步不前。
2026-01-19 03:10
随着国民健康意识的普遍觉醒与消费结构的深刻升级,以全谷物、豆类、薯类等为代表的杂粮,正悄然经历一场角色与意义的深刻变革。
2026-01-19 03:10
新年伊始,江苏无锡凯龙高科技股份有限公司的实验室内,一只机器人灵巧手在一个两米多高的透明检测设备中流畅地完成抓取、捏合、旋转等一连串精细动作,相关数据实时传出。这款具身智能机器人灵巧手全操作力智能检测平台于去年年底一经启动,便获得多张订单。
2026-01-19 03:10
日前,江苏徐圩核能供热发电厂1号机组核岛开始混凝土浇筑,标志着全球首个核能与石化产业大规模耦合项目进入主体工程建设阶段。这是今年我国开工建设的首台核电机组。
2026-01-19 03:10
为破解这一谜题,利用“中国天眼”的超高灵敏度优势,研究团队对重复快速射电暴FRB 20220529开展了2年多的持续监测。
2026-01-19 09:10
目前,依托DrugCLIP,团队完成了覆盖约1万个蛋白靶点、2万个蛋白口袋的虚拟筛选项目,分析筛选超过5亿个类药小分子,富集出超过200万个潜在活性分子,构建了目前已知最大规模的蛋白—配体筛选数据库。
2026-01-19 09:08
从中国地质调查局获悉,由该局广州海洋地质调查局自主研发的国内首台海底地层空间立体钻探与原位监测机器人,日前在南海1264米水深海域成功完成试验作业,各项性能全面达标,标志着我国深海勘探与地层原位监测技术取得重要突破。
2026-01-16 03:45
15日,国际学术期刊《自然》发表中国科研团队重大成果——由中国科学院大学主导、广西大学等多单位联合攻关的团队,首次直接观测到中子碰撞中的米格达尔效应,为人类搜寻轻暗物质粒子打开关键突破口,标志着我国在基础物理与探测器技术领域跻身国际前沿。
2026-01-16 03:45
15日12时01分,我国在酒泉卫星发射中心使用长征二号丙运载火箭成功将阿尔及利亚遥感三号卫星A星发射升空,卫星顺利进入预定轨道,发射任务取得圆满成功。
2026-01-16 03:45
进一步促进青年科技人才脱颖而出,需要凝聚多方合力、强化协同联动,从制度供给、环境营造、资源倾斜等方面精准施策、一体推进。
2026-01-16 03:45
展望未来,随着相关实践的不断普及和深化,数智赋能的流动公共服务将更加可及、公平普惠、精准高效,并为推进国家治理体系和治理能力现代化注入更多动能。
2026-01-16 03:45
中国医学科学院血液病医院(中国医学科学院血液学研究所)主任医师施均、研究员熊海清为通讯作者,博士后李若难、主治医师潘虹、主治医师张乐乐和研究生马佳秀为共同第一作者。
2026-01-16 09:04
他们提出一种全新多物理域融合计算系统,可利用后摩尔新器件支持傅里叶变换,使算力提升近4倍,为具身智能、通信系统等领域开辟新的可能。
2026-01-15 04:05
2025年11月,中国载人航天工程启动第一次应急发射任务,并取得圆满成功。此次任务,源于神舟二十号飞船疑似遭到空间微小碎片的撞击,返回任务被迫按下紧急“暂停键”。
2026-01-15 04:55
现代人工智能是先进计算的产物,也是赋能千行百业的技术。从早期符号主义在有限算力下的踯躅前行,到神经网络思想历经沉浮,直至大数据与图形处理器(GPU)的邂逅,
2026-01-15 04:55
项目骨干成员、中国科学院大学教授郑阳恒表示,团队还将与暗物质探测实验团队合作,将此次实验结果融入下一代探测器的研发中。
2026-01-15 09:03
对于娱乐及部分消费产业而言,当前的人形机器人还不适合作为长期自有资产,更适合通过“租赁+技术服务”的方式使用。
2026-01-15 09:02
最终,他们模拟出一种外形稳定的氰化氢晶体,其外形为顶端多面、底部圆润的圆柱体,长度约450纳米,整体形状类似切割后的宝石。
2026-01-15 09:00
从中国地震局获悉,近日,在离岸80千米的三峡江苏大丰海上风电场,全国首个海底综合地震电磁监测台站建成,这标志着我国地球物理场监测台网向海域拓展取得新进展。
2026-01-15 04:05
加载更多