点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:AI换脸、声音克隆……人工智能的滥用到底怎么治?
首页> 地方频道> 文化 > 正文

AI换脸、声音克隆……人工智能的滥用到底怎么治?

来源:央视新闻客户端2025-08-25 09:15

  新闻周刊丨人工智能的滥用,到底怎么治?

  声音和形象被AI合成滥用的事儿正变得越来越多。比如本周,奥运冠军全红婵、王楚钦等人的声音被AI克隆,卖起了所谓的“土鸡蛋”。不少配音演员也站出来维权,因为他们赖以生存的声音,如今可以被AI一键复制,随意地使用。

  这不禁让我们越来越担心,当我们的声音和面容到了如此轻易被人挪用的地步,人与人之间的信任该如何维系?AI的发展速度正越来越快,我们该如何用监管和立法守住底线?《新闻周刊》本周关注:人工智能的滥用,到底怎么治?

  AI换脸、声音克隆等合成技术滥用

  让“耳听眼见”未必为实

  这是配音演员孙晨铭的原声,而这段,是某自媒体账号通过AI克隆其声音生成的配音作品。如果没有提示,谁能分辨出两者之间的差异呢?也是在最近,孙晨铭还发现,一家房产公司同样未经授权,就对他的配音作品进行了AI克隆,用在了公司的企业宣传片中。

  声音被AI克隆,并被用于各种各样的商业场景,对于孙晨铭和同行们来说,已经不是什么新鲜事儿。有人给孙晨铭发来民法典的法条,声音权和肖像权一样,是公民不可侵犯的权益。于是,不少配音演员自发到那条企业宣传片的评论区集体留言,压力之下,这家房产公司,向孙晨铭支付了版权费用。

  本周,本台也曝光了利用AI技术仿冒奥运冠军全红婵进行带货的案例。这种AI伪造技术,已让不少名人深受其害。微信平台今年1月的公告显示,一个月内,就处置了1.2万条利用AI仿冒名人进行违规拼接、不当营销和恶意博取流量的内容,关闭了3281个相关账号。

  近日,北京互联网法院也审结一起案件,被告擅自使用大学教师李女士的肖像和AI合成声音进行图书宣传,最终法院判定,该行为侵犯了李女士的肖像权和声音权益。

  北京互联网法院综合审判三庭(少年法庭)庭长颜君:往往这种案件的受侵害的一方都是有一定社会知名度的名人,因为他会带来相应的社会认可度、认知度,他的声音和他的肖像有一定的商业利用价值。更重要的是如果这个带货的内容,比如说带的是伪劣产品或者是虚假宣传的内容,有可能极大的消解这位名人他的社会认知度、认可度和信任度。

  这段AI视频,生成于两年前,当时的技术,人脸画面还显得僵硬与不自然;而到了去年7月,南京玄武区法院审理的案件中,一名男子通过AI换脸软件,就成功突破了某支付平台的人脸识别系统。人工智能技术的飞速发展,已经使真与假之间的界限,开始变得难以分辨。

  配音演员武扬:从今年开始,我确实发现一些宣传片,他们AI的训练可以达到以假乱真的程度,在70%到80%的平稳叙述的范畴里面,AI都是可以处理得很好的,甚至我本人去听也需要长时间辨别,是不是我本人录的。

  中国信通院人工智能所安全部高级业务主管陈文弢:其实对于生成一个肉眼分辨不出来的这种视频,在前几年来说,难度是比较高的,需要一定的技术门槛,但是这几年出现了一些这种简捷化的工具,可以从开源社区上直接下载。它可以用消费级的笔记本单机来部署,一张照片就能够完成实时换脸。

  耳听为虚,眼见为实,这句古话正面临巨大挑战。AI换脸、声音克隆等合成技术的滥用,让“耳听眼见”都未必为实。对于配音演员孙晨铭来说,AI滥用直接影响到他的生计,赖以谋生的声音,正成为被随意复制的免费素材。迎面而来的AI时代,让他看不清自己的未来将通向何方。

  我们正在进入“全民AI时代”

  监管能不能够跟得上呢?

  如今,AI合成视频已经能做到以假乱真,不得不需要新的技术来辨别。技术成熟的速度令人惊叹,而使用门槛也大幅降低。一部手机、几个软件,普通人就能轻松生成文字、图片、音频、视频等各类内容。可以说,我们正在进入一个“全民AI时代”。

  然而,技术的普及势必会带来AI的滥用:从人脸和声音被合成冒用,到各类低俗猎奇视频的传播,再到漫天谣言的背后,AI都成了核心“推手”。每隔一段时间,新的问题就会涌现。所以,在技术开始狂奔的局面下,我们需要关注监管,能不能够跟得上呢?

  精致的五官、灵动的眼神、流畅的动作,如果没有相关标注,你是否能分辨出,这是一个完全由AI生成的数字人?在短视频平台,类似的视频比比皆是,还有不少视频,直接提供免费的AI软件以及使用教程。

  一部手机、两三个 AI 软件,几分钟就能制作一段时长五秒左右的美女跳舞视频。AI生成合成技术的飞速发展,正在累积着治理风险。去年,抖音安全中心曾发布公告,表示已发现多种不当使用AI技术生成虚拟人物的行为,其中就包括利用AI生成俊男美女虚假形象,骗取互动,将用户导流至私人聊天工具,甚至进行诈骗。根据抖音平台本周五提供的数据,他们最近一周处置的AI虚假违规内容量,相比2025年第一周,增长了62%。

  事实上,从2023年开始,抖音等多家平台陆续要求,发布人工智能生成内容时,需添加“内容由AI生成”的标识,并且也会进行监测和处置。但是,执行效果并不尽如人意。并且有自媒体博主表示,一些平台的监测手段可以破解,比如一些AI工具配置有镜像文件,其一键生成的虚拟人像,就能规避平台的监测。

  自媒体博主:很少。你看我作品我十四个里面就一两个会有。如果它给你出判定为AI作品,你可以把作品下架,然后再重新发一个。

  中国信通院人工智能所安全部高级业务主管陈文弢:如果说打上了这个标识,你只看可能就觉得它是由AI生成的,可能就不是特别的可信,所以这是从用户的角度,他是不愿意打这个标的。从技术的这个角度来看,如果说想完全满足监管的这个要求,把所有的生成合成的视频都识别出来,这个其实难度还是很大的。

  相比视频、图像,在专家看来,AI生成的文字谣言,监管起来其实更加困难。去年,江西南昌就破获一起AI造谣案件,相关机构利用AI软件,一天最多能生成4000—7000篇谣言文章,工作量惊人。更让人担忧的是,AI算法还能匹配用户喜好,定制化的生成谣言,使AI谣言变得越来越真假难辨。今年3月,某自媒体账号发布全国首例“AI医疗误诊”诉讼案开庭的文章,时间、地点、人物甚至庭审争议焦点等细节满满,不过,经过记者与法院核实,所有内容都是AI编造的假信息。

  目前,尽管一些平台设置了相应“谣言库”,通过设置热点关键词来屏蔽谣言。但一些机构利用AI模型针对性地进行对抗训练,使用近义词或类似表达,就可以绕过筛查。

  今年4月以来,中央网信办开展了为期三个月的“清朗·整治AI技术滥用”专项行动,AI换脸拟声、AI内容标识缺失等乱象,都是整治重点。6月,网信办公布专项行动第一阶段成果,累计处置违规小程序、应用程序、智能体等AI产品3500余款,清理违法违规信息96万余条,处置账号3700余个。如今,三个月的专项行动已经结束,但监管与AI滥用之间的拉锯战,显然才刚刚开始。

  联合国高级别人工智能咨询机构中方专家 中国政法大学数据法治研究院教授张凌寒:我们可能更要设定一个目标,就是能够在AI应用爆发之后,我们在这几年要把整个AI滥用生成虚假内容实现在一个可控的范围之内。这个可控的范围是指说我们不能够让广大老百姓因为这个去发生重大的人身财产的损失,同时也要尽量减少这种AI的内容虚假宣传造成社会舆论的动荡。这是我们的一个红线和底线。

  “内容由AI生成”

  能改变AI滥用的现状吗?

  人工智能,正以前所未有的速度改变世界,它不仅是科技创新的前沿,更是国家间战略博弈的新高地。相关产业的发展固然重要,但通过监管和立法为它划定边界,也同样显得十分紧迫。因为科技的进步本身并不足以确保人类的进步,更重要的是通过规则为它校准方向。

  说到规则,关于AI合成内容,几天后的9月1日,网信办等四部门印发的《人工智能生成合成内容标识办法》将开始施行,它明确规定服务提供者,应当对文本、音频、图片、视频等生成合成内容,在适当位置添加显式标识,也就是说今后所有AI作品必须亮明身份,标注是AI生成。它的实施,能改变当下AI出现滥用的现状吗?

  在某短视频平台上,一条生成式视频的左下角“标注着”作者声明:内容由AI生成,而这样的标注义务,在即将于9月1日实施的《人工智能生成合成内容标识办法》中,得以进一步明确,在人工智能生成合成内容的全生命周期,都要履行标识义务。

  北京抖音信息服务有限公司副总编辑全森:这个标识办法要求AI技术服务提供者,对文件(元数据)内容进行隐式标识。这样一个核心的链路解决了最大的卡点,这个卡点就是技术服务平台与内容传播平台之间,数据难以互通的一个卡点。解决了这个卡点之后,我们预计很大程度上解决了这个AI难以识别的问题。

  马上就要实施的这个《标识办法》,从人工智能生成合成内容的生产、传播和使用等环节入手,对标识制度进行了系统性的细化和规范。而随着深度合成技术日益逼真,逃避审查的手段不断升级,人工识别的难度越来越高,相应的法规和机制,也需要不断应对挑战。

  推进生成式人工智能标识制度的建立,已经成为世界各国的共识。而在专家看来,中国在该领域的立法起步相对较早,2023年施行的《互联网信息服务深度合成管理规定》,就在世界范围内,在相关法规中首次明确提出生成式人工智能标识义务。

  在专家看来,即将实施的《标识办法》,还只是一个规范性文件,在整个立法体系中位阶较低。如果站在更高的维度观察人工智能立法,安全、隐私、公平等都是必须直面的核心问题。今年,人形机器人行业进入快车道,机器人逐渐与人实现面对面,甚至是接触式交流。在深圳的一家养老机构,养老机器人,不仅可以带老人跳舞,扶着走路,还能陪打乒乓球、递水等,可谓多才多艺。面对着养老新朋友,有老人既兴奋又担心,机器人真的安全吗?

  经过多年探索,我国已初步构建起涵盖多层次、多维度的人工智能法律框架,但仍需要一部具有统领性的人工智能高位阶立法,予以统一规范。在国务院公布的2024年度立法工作计划中,曾明确“预备提请全国人大常委会审议人工智能法草案”,而《全国人大常委会2025年度立法工作计划》的相关表述则是,“人工智能健康发展等方面的立法项目,由有关方面抓紧开展调研和起草工作,视情安排审议”,显然,一部中国的人工智能法,正在加紧推进之中。

  对于人工智能,有人把它比作是潘多拉魔盒,在释放出无限可能的同时,也会带来难以预知的风险。

  而前不久在上海举办的世界人工智能大会上,图灵奖得主辛顿的演讲,也在提醒所有人,要对AI保持足够的警觉。他把人类与AI的关系,比作饲养一只老虎,老虎长大后可能轻易超越人类,而且人类没有摆脱和消除它的选项,人类想要生存,必须找到办法训练AI。而如何训练出比人更聪明的“好AI”,是我们从来没有遇到过的巨大的机会和挑战。

  正如中国那句老话,“人无远虑,必有近忧”,在AI的问题上,我们必须要看得更远,才能走得更好。(来源:央视新闻客户端)

[ 责编:董大正 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 历时14年我国为海外中国青铜器“建档”

  • 第139届广交会第一期到会境外采购商数量创历届新高

独家策划

推荐阅读
正值春耕关键期,河南滑县的万亩麦田里,种粮大户不再需要徒步巡查耕地,只需轻点手机,卫星遥感图便将田块边界、墒情分布与作物长势清晰呈现。
2026-04-20 09:51
在苏州大学江苏省先进负碳技术重点实验室,纳米科学技术学院博士生郁操正操作X射线光电子能谱仪,分析一块特殊的测试样品。张晓宏表示,学校将继续深化“学术大师+创新团队”模式,完善交叉课程体系,培养出更多能服务地方产业、对接国家战略、为新质生产力助力的拔尖创新人才。
2026-04-20 09:47
绿色设计不仅是实现碳达峰、碳中和目标的关键工具,更是推动产业转型升级、培育新质生产力的源头性驱动力。“十五五”规划纲要明确提出:“鼓励企业提高绿色设计和制造水平,降低产品全生命周期能源资源消耗和生态环境影响。
2026-04-20 09:44
当前,全球具身智能产业进入从实验室研发到产业化落地的关键跃升期,成为大国科技博弈的重点领域。具身智能产业横跨人工智能、高端制造、新材料、电子信息等多元领域,唯有系统集成、协同创新才能释放最大效能。
2026-04-20 09:43
飞机即将着陆,一位怀抱婴儿的年轻妈妈突然求助——她头晕、想吐。这本书是谭先杰沉淀十多年的健康传播实践心得,也是他投身医学科普以来,对“如何做好健康科普”进行的系统性梳理。
2026-04-20 09:54
4月10日,国家网信办、国家发展改革委、工业和信息化部、公安部、市场监管总局联合公布《人工智能拟人化互动服务管理暂行办法》,自2026年7月15日起施行。”  郑庆华表示,同济大学正在推进人工智能伦理、算法治理与安全测评研究,重点攻坚用户极端情境识别、情感边界引导、未成年人身份识别等关键技术。
2026-04-20 09:47
4月19日7时30分,2026北京亦庄半程马拉松暨人形机器人半程马拉松鸣枪开跑,人形机器人与人类跑者同时从起点出发。也有专家提醒,人形机器人正步入以场景落地为核心的攻坚期,大规模量产与普及仍面临诸多挑战。
2026-04-20 09:45
记者16日从中国科学院国家空间科学中心获悉,来自该中心等单位的科研人员,通过三维数值模拟首次揭示,月球内部的金属月核在“感受”到太空磁场突变时,会像电磁感应一样产生感应电流和感应磁场,这股力量会挤压月球周围的太阳风,在月球两侧边缘形成一道特殊的“压缩带”。这项研究不仅揭示了月球导电内核在太阳风与月球相互作用中的重要作用,也为未来探测月球内部结构提供了新依据。
2026-04-17 10:30
据中国载人航天工程办公室消息,北京时间2026年4月17日01时36分,经过约5.5小时的出舱活动,神舟二十一号乘组航天员张陆、武飞、张洪章密切协同,在空间站机械臂和地面科研人员的配合支持下,圆满完成空间碎片防护装置安装、舱外设备设施巡检等任务。
2026-04-17 10:30
今年4月17日是第三十八个世界血友病日,主题为“诊断是关怀工作的第一步”。我国血友病患者诊疗现状如何?如何早识别、早干预?患者在日常生活中如何做好管理和防护?
2026-04-17 10:21
截至2026年3月31日,29个省(自治区、直辖市)和新疆生产建设兵团共154个统筹地区完成上年度医保基金清算,覆盖率达全国统筹区总数的39%,超额完成试点任务。其中,吉林白山、浙江宁波等43个非试点地区主动对标试点标准同步完成清算任务。山东、宁夏、北京、河北、海南、天津、河南等7地完成全省(自治区、直辖市)清算。
2026-04-17 10:20
商务部新闻发言人何亚东在16日举行的新闻发布会上表示,外资研发中心是我国创新体系的重要组成部分。2月,财政部、商务部等部门共同印发了有关通知,继续对外资研发中心进口有关科研用品免征进口关税和进口环节增值税、消费税。
2026-04-17 10:13
中国科学院微小卫星创新研究院15日发布轻舟试验飞船首批科学成果:关键技术验证方面,飞船测试了密封结构、推进、惯性测量、热控环控等核心系统。
2026-04-16 09:24
此次飞行对多项关键技术进行在轨考核,同时搭载27项科学试验载荷,还携带近300件青少年科普作品和一件《马踏雄风》瓷马进入太空。
2026-04-16 09:22
15日9时50分,由中国航空工业集团自主研制的HH-200航空商用无人运输系统,在航空工业民机试飞中心渭南运营基地平稳降落,圆满完成首飞。
2026-04-16 09:21
记者15日从国家林草局获悉,在法国巴黎召开的联合国教科文组织执行局第224届会议上,我国浙江常山和四川四姑娘山顺利通过会议审议,正式成为世界地质公园。
2026-04-16 09:20
党的十八大以来,我国统筹推进扩绿、兴绿、护绿并举,城市绿化实现从“有没有”到“好不好”的跨越式发展。为精准破解部分地区绿化分布不均、群众亲近自然不便的难题,各地因地制宜、见缝插绿,把生态福祉送到群众家门口。
2026-04-16 09:18
首次增设智能穿戴、显示技术、消费级无人机、集成房屋及庭院设施等9个专区。更多新企业、新产品、新技术走向世界,服务全球消费者。
2026-04-15 11:12
根据药品流通的不同渠道,《意见》明确发挥医疗机构专业作用、引导药店合理制定药品零售价格、用好网上药店价格发现功能等措施,鼓励各类主体参与价格形成。根据药品的不同领域,《意见》强调促进创新药多元支付与价格合理形成、强化短缺药保供稳价、加强麻醉药品和精神药品价格管理、规范药品原辅料价格行为,引导关键领域药品价格保持合理水平。
2026-04-15 09:26
而泵房内的水肥一体化配料系统,则扮演着“神经网”中智能中枢的角色。“从‘两脚泥’的传统漫灌,到指尖上的智能操控,再到云端管控的智慧灌溉,这场变革只用了短短几年。
2026-04-15 09:25
加载更多