AI产业从通用模型向行业垂直应用快速融合下沉的阶段演进 ,人工智能三大基本要素之一数据,面临的高质量数据不足问题却凸显。
财联社记者最新从业内获悉,目前各大模型企业迫切希望获得更多更好的高质量数据集,需求集中于头部企业行业知识底座构建 ,人工智能高质量数据集的需求量 、交易量激增,已成为数据流通最活跃的领域 。不过,高质量数据集的建设、流通环节均面临诸多问题 ,目前数据交易所并非模型语料最主要的采购途径。
需求、交易爆发式增长
“我们从市场流通的角度做了一些分析,认为人工智能数据集已经成为数据流通最活跃的领域。去年开始,高质量数据集呈现了爆发式的增长态势 ,主要需求就是模型训练数据。24年人工智能数据只占我们交易量的10%,现在累加起来已经接近80%,说明包括实际交易量都在呈现爆发式增长 。 ”正在举行的2025全球数字经济大会上 ,北京国际大数据交易所(以下简称 “北数所”)董事长李振军介绍。
高质量数据集是指用于训练、验证和优化大模型而收集 、整理、标注形成的覆盖行业核心专业知识和生产经营活动的数据资源集合。2023年12月31日,国家数据局等17部门联合印发的《“数据要素×”三年行动计划(2024-2026年)》提出,推动科研机构、龙头企业等开展行业共性数据资源库建设 ,打造高质量人工智能大模型训练数据集 。今年4月30日,《高质量数据集建设指南(征求意见稿)》发布,高质量数据集建设提速。
据了解,北数所已深度服务了多家国内人工智能头部企业 ,前述数据的主力购买者正是AI头部企业。“他们买数据主要是在构建行业的知识底座,模型的训练是先构建行业知识底座,才能再进行行业的细的参数调优 。”李振军称。
数据交易网CEO张瑶在接受财联社记者采访时表示 ,前述数据需求主要以行业垂直模型为主。“很多大厂都做了完整的通用模型解决方案产品,对于行业垂直模型来说,核心点在于对于细分行业的理解程度 。 ”
大会期间 ,亦有信通院人士分析称,人工智能对于数据集的需求主要可分为多模态 、具身智能、思维链、长视频等四类需求。
财联社记者最新获悉,目前北数所已交付的人工智能高质量数据集数据规模达1814TB ,总交易量接近2500TB,覆盖20个应用模型场景。北数所为模型企业提供了475个高质量数据集,已达成交易171个(完成了实际交付和现金结算) ,数据源覆盖行业32个 。
不过张瑶也表示,“对于模型语料的需求程度,不同细分行业是不一样的。”其认为,需考虑各行业的数字化完成水平 ,如金融 、医疗等行业原本的数字化完成度较高、从业企业数量也多,相对来说行业基础数据就比较全,进而通过标注、治理等工作后 ,能提供的数据集产品也就比较丰富;但其他数字化能力相对低的行业(如农业)基础数据较少,形成高质量的数据集还需要一定前期准备工作。
不仅北数所,截至今年5月初 ,贵阳大数据交易所已发布939个高质量数据集。6月26日,深圳市政务服务和数据管理局印发《深圳市人工智能语料券专项资金操作规程》的通知显示,为促进人工智能语料数据开放和交易 ,深圳每年设置最高5000万元作为语料券专项资金,其中要求申报企业应通过数据交易所完成语料采购 。
数交所并非语料最主要采购途径
不过据财联社记者了解,数据交易所并非最主要的模型训练数据采购途径。
“人工智能语料采购大部分不是实际通过交易所来完成的 ,但各地的数据交易所目前承担着市场价值发现的职能,对于数据供需双方的业务开展起到一定推动作用。之前有机构测算,全国数据交易市场超过95%的交易都来源于非数据交易所参与的场景,但仍然有不少机构选择与数据交易所合作 ,对于数据要素市场建设来说,交易所是一个很重要的基础设施提供方,但具体的商业模式还需要进一步探索 。”张瑶表示。
对此 ,据前述信通院人士分析,目前高质量数据集建设层面面临不小的挑战。其一,目标定位相对模糊 ,“其实很少有人为真正模型需要什么样的数据去做深入的研究,仅限于对已有数据加工处理 ”;其二,实施路径碎片化 ,“从数据资源变成高质量数据集,中间有非常长的加工链条,需要管理机制 、技术手段协同、专业化人才的加入”;其三 ,技术底座薄弱,技术工具链条相对来说还较匮乏 。
另据财联社记者了解,高质量数据集流通层面也面临着寻源难、评价难 、协同难等问题。
与此同时,包括大模型“六小虎”相关负责人在内的多位受访者向财联社记者介绍了模型训练所需语料数据常见的获取方式:一是互联网公开数据(占最大比例 ,但比例在下降),二是购买有版权的数据,三是厂商间通过置换资源方式获取语料 ,四是建设采集-清洗-加工-治理的数据生产线自行生产私域语料数据。
某基座大模型相关负责人透露,其公司内部数据清洁流程主要有以下步骤:包括明确数据责任人,端到端管理数据全生命周期流程;明确数据标准 ,数据存入数据仓之前有哪些标准,各部门要形成共识;认证数据源头,须符合唯一性、完整性等要求;验收数据入库之后的质量;使用前对原数据进行登记等 。
据悉 ,厂商还会使用蒸馏数据和合成数据,即由机器生成的符合真实世界客观发展规律的数据。有媒体此前报道,Epoch AI研究人员预测 ,到2028年左右,用于训练人工智能模型的典型数据集的规模将达到公共在线文本的估计总存量。换言之,人工智能训练数据或在3年左右时间内耗尽 。
有专家在大会上表示,数据是AI的新战场 ,AI正在从model-centric到data-centric转变,要真正使data-centric落地,数据基础设施建设是下一个关键点。
“将来人工智能的业态是 ,做模型的人非常少,90%以上从业人员都是做数据产线,包括数据的采集、生成、AI-ready数据的生产。 ”前述专家进一步展望。
此外 ,财联社记者采访获悉,当前大模型语料主要面临质量参差不齐 、产权不清晰、加工方式不统一、垂类领域缺口大 、获取成本高、数据合规性等制度待完善在内的痛点 。
例如在成本方面,语料获取过程主要面临合规成本 ,而加工过程主要是专家成本。
“数据标注基地以前是做通用人工智能训练数据,现在侧重垂类行业,基于自动标注等技术的演进 ,已经从粗放式标注到了精细化标注阶段,但在法律等非常窄非常垂的领域,交叉型人才还是很稀缺的。”一位供职于数据交易所的人士告诉记者 。
需要注意的是,不同行业数据面临的问题也存在差异。如政务领域 ,有上市公司人士告诉财联社记者,数据分散与壁垒、政务数据标准化不足 、敏感信息处理难题、政策时效性问题、地方性政策覆盖不足等问题急需得到解决。
怎样在手机上买股票:可靠的配资门户-国家数据局:加快行业高质量数据集建设
股票开户需要多少手续费:炒股用什么软件看股票最好-保持增长!央行最新金融数据传递哪些关键信息?
网上股票账户开户流程:手机怎么买卖股票-上市首日盘中破发!海天味业百亿港元募资难解增长焦虑?补课国际化急寻“第二春”
手机不能交易股票:新三板股票开户有什么条件-金山办公三季度净利增长35% 面向组织级客户的WPS 365收入增七成
手机上怎样买卖股票:股票开户了怎么买-全线飙升!重磅“驱动”突袭!人工智能相关热度升温!
在银行怎么开户买股票:哪个股票索赔平台好-190美元!又一机构上调英伟达目标价:看好主权AI需求激增
股票开户哪个证券公司比较好:怎样在手机上炒股票-牧原股份:预计上半年净利润同比增长924.6%-973.39%
炒股手股票操盘训练软件:怎样在开户买股票-一年半虚增利润总额超1亿元!东尼电子将被“ST” 公司和6名时任高管拟合计被罚1570万元
益通网-股票配资风控_最专业股票配资提示:文章来自网络,不代表本站观点。
益通网-股票配资风控_最专业股票配资⑯我们以客户利益为首要考虑,通过严格的资金管理和风险控制措施,确保客户的投资安全,实现稳健收益。
 
                            3月7日下午,亚振家具(603389.SH)发布公告称,预计2024年度归母净利润将为负值,且扣除与主营业务无关的收入后...
李强主持召开国务院常务会议,研究建立健全涉企收费长效监管机制有关举措。会议指出,加强涉企收费监管是降低企业经营成本、优化...
沪深两市成交额连续第44个交易日突破1万亿,较昨日此时缩量超900亿。...
Wind数据显示,截至2025年4月11日收盘,上证科创板100指数强势上涨4.67%,成分股唯捷创芯上涨20.01%,...
2025年4月12日,国能日新(301162.SZ)发布2024年年报。 公司营业总收入为5....
4月14日,日经225指数涨幅扩大至2%。...
美东时间周二,美股大幅震荡,高开后迅速回落,三大指数集体收跌。道指和标普500双双连跌四天,标普500指数失守5...
汇丰晋信慧鑫六个月持有期债券型证券投资基金截至2025年3月19日,已连续40个工作日基金资产净值低于5000万元,可能...
记者辛圆国务院总理李强周三在政府工作报告中介绍今年政府工作任务时提出,推动标志性改革举措加快落地,更好...
3月24日,业内权威专家表示,MLF(中期借贷便利)不再有统一的中标利率,标志着MLF利率的政策属性完全退出。3月24日...
中证协对《证券公司文化建设实践评估指标》进行修订,最新发布2025年修订稿。新评估指标对推动文化建设国际交流作出贡献的证...
4月14日,美股股指期货开盘走高,其中纳指期货涨1.5%,标普500指数期货涨1%。...
上海创兴资源开发股份有限公司(证券代码:600193,简称“创兴资源”)于2025年3月21日发布公告,称其为全资子公司...
乘联分会3月10日发布数据,2月新能源乘用车批发销量达到83.0万辆,同比增长79.6%,环比下降6.7%;1-2月累计...
2025年4月12日,萤石网络(688475.SH)发布2025年一季报。 公司营业总收入为1...