全球时讯：火山引擎DataLeap：一个易用、高效的数据目录，是如何搭建的？
企业如何找到数据、了解数据以及使用数据？
这离不开数据目录的能力。数据目录有着类似于“字典”的作用，能够帮助数据生产者和使用者快速定位数据、解释数据、找到数据，并从中提取业务价值。
对以研发人员为代表的数据生产者来说，他们利用数据目录来组织、梳理各类元数据。例如，数据生产者会将元数据以目录等形式编排到一起，方便维护，并通过打业务标签、添加应用场景描述、字段解释等丰富业务相关属性。
(资料图)
对于数据分析师、产品、运营等数据使用者来说，他们通过数据目录来查找和理解数据，例如通过关键字检索，或目录浏览，来查找业务场景数据，并浏览详情介绍、字段描述、产出关系等，进一步理解并利用数据决策。
在字节跳动，也有这么一套被内部广泛使用的数据目录系统。目前，该系统已通过火山引擎DataLeap数据地图平台对外输出。外部用户也可以在DataLeap数据地图平台，收集、组织、访问和补充元数据信息，为自身数据建设和治理提供支持。
火山引擎DataLeap数据地图平台-数据目录
要构建一套扩展性强、易维护且易用的数据目录系统并非易事。在大数据领域，各类计算和存储系统百花齐放，概念和原理又千差万别，对于元数据的采集、组织、理解、信任等，都带来了很大挑战。
在调研各个开源软件及技术体系基础上，火山引擎DataLeap选择基于Apache Atlas改造，而这套数据目录系统主要依赖五大关键技术：
第一，数据模型统一。一方面，DataLeap通过充分复用各种元数据类型间的相似能力，获得数据模型定制灵活性；另一方面，DataLeap将数据源关联的能力进行收敛到一起，以降低后续的维护成本。
第二，数据接入标准化。当用户接入新的元数据时，只需要重新编写Source和Diff Operator，而其他组件可直接复用，以标准化的connector节省接入和运维成本。
第三，搜索优化。在数据目录中，搜索是用户最广泛使用的功能，也是用户找数主要的手段。搜索优化可分为离线部分和在线部分。离线部分负责汇集各类与搜索相关的数据，完成数据清洗或者模型训练，再根据不同的用途，写入不同的存储，供给在线搜索模块使用。在线部分则分为搜索理解、召回、精排三个主要阶段，步骤和概念与通用搜索引擎对齐。
第四，血缘能力。完备的血缘能力，既可以帮助数据生产者梳理、组织元数据，也可以帮助数据消费者找数、理解数据上下文。火山引擎DataLeap在设计上充分考虑血缘链路的多样性和复杂性，并在血缘质量上，通过定义有效的血缘准确率、覆盖率和时效性，确保血缘信息准确、全面和实时性。
第五，存储层优化。当业务中有越来越多的元数据接入数据目录，图存储中的点和边将分别到达百万和千万量级，造成读写性能出现问题。在读优化和写优化层面，火山引擎DataLeap分别通过开启MutilPreFetch 能力、去除Guid全局唯一性检查，最终实现小表性能小于100ms、中表性能2~5s、大表性能0.5~1min。
据介绍，火山引擎DataLeap能帮助企业快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设，其中数据目录能力主要涵盖在数据地图平台，该平台通过提供数据检索、元数据详情查看、数据理解等功能，解决找数难、理解数据难的痛点，同时支持数据专题、血缘图谱、数据发现、库表管理等特色功能。
目前，火山引擎DataLeap的数据地图平台已接入全链路核心元数据，包括LAS、MySQL、ByteHouse CE、ByteHouse CDW、TOS、LasFS、EMR hive等，提供可视化的血缘关系展示能力，帮助用户全面的探查了解数据，支持表、字段级别血缘可视化查询，以及按层级、范围筛选展示，为用户提供灵活、易用的数据服务。（作者：田轩棋）
标签：
精彩推送
环球今日报丨兼容 ATX 3.0、支持 PCIe 5.0，微星推出三款 MAG GL 系列电源
IT之家6月16日消息，微星近日升级了旗下的MAGGL系列电源，兼容ATX3 0、
新闻快讯
X 关闭
X 关闭
新闻快讯
- 全球时讯：火山引擎DataLeap：一个易用、高效的数据目录，是如何搭建的？
- 埃及申请“入群”金砖，奔着“去美元化”，3大理由不可忽视
- 聚焦：最新停火协议生效 苏丹武装冲突暂时恢复平静
- 荆州中考成绩什么时候出来?（2023年）
- 汽开区锦程街道开办“红心·汇”党建大联盟安全生产“百日攻坚”宣传集市
- 楚江新材：公司的精密铜带和导体材料可应用于连接器等产品 相关产品已向安费诺供货
- 广州花都区人才住房分配对象有哪些人？_环球微资讯
- 天天热讯:俄国防部通报：乌军过去24小时内损失1000余人，遭受单日巨大损失
- 姚楠楠是哪里人_姚楠楠事件
- 今亮点！特斯拉库存车型大幅降价8000美元 以提高季度销量
- “2023中国文化产业竞争力百强区指数”发布_天天热消息
- 靖宇全面提升基层治理能力
- 秦岭脚下的父子农田“大管家”
- 小米账号密码找回网址_小米账号密码找回-当前速讯
- 全球快消息！小团队的开发之道：如何避免摩擦和提高生产力
- 世界观热点：广州艺术博览会法律顾问_广州艺术博览会
- 鲍禄_关于鲍禄简述
- 杨丞琳台北演唱会，李荣浩排除万难现身，女方感动向老公甜蜜告白
- 联合国秘书长：IMF和世行“该改革了”
- 简讯：因疫情暂停三年多后首艘中国籍邮轮在上海执航国际航线
- 环球观点：拿下问界商标，华为要造一个汽车联盟？
- 高血糖一日三餐食谱_糖尿病人食谱大全 天天时讯
- 错把油门当刹车，驾驶员一脚冲进快餐店
- 【热闻】全国高尔夫球锦标赛冠军重庆落幕 上海男队、陕西女队折桂体育
- 世界热议:英诺伟：两年累亏9亿元，三次赴港的“资本宠儿”能否突围？
- 擦亮“国际烤肉美食之都”城市品牌，齐齐哈尔烤肉文化旅游啤酒节开幕_今日看点
- 每日热门：苏州工业园区外国语学校：首届普高课程开启 双通道助力圆梦名校
- 日首相岸田文雄将于7月访问中东三国，呼吁稳定国际能源市场
- 国家重点水利工程引汉济渭调水工程通过通水验收-世界新消息
- 康健园｜购物狂不只年轻人，更要警惕老年疾病导致 前沿热点
- 下调10个基点！MLF降息“靴子落地”|当前通讯
- 快看：网传《漫威蜘蛛侠2》豪华版独占拍照模式？官方辟谣
- 如何消除脸上的黑头困扰？|环球快报
- 重庆加大创新研发力度，助力农产业高质量发展-世界时讯
- 环球快看点丨国家一等功有什么待遇（一等功有什么待遇）
- 失联28天，青海货车司机确认遇难！
- 世界滚动:吃老本，躺平的微软，靠什么重新站起来？
- 命运2玩家正在帮助一位69岁的老太太和儿子玩MMO太健康了
- 有没有好看的电影
- 全球看热讯：“陪伴者”是受访青年最期待的父亲角色
- 全球今日讯！地电柳林分公司：开展“安全宣传咨询日”系列活动
- 世界要闻：6月16日地产股票资金流向如何？
- 后年中国发售，AEHRA发布首款电动轿车
- 德媒：拜仁高层已经批准引进金玟哉，解约金为5500万到6000万欧
- 蒸熟的大闸蟹可以隔夜吃吗 蒸熟的大闸蟹可以隔夜吃吗有毒吗
- 发力千亿规模行业 新老MCN谋生存求增长-天天实时
- 深交所向聚力文化发出关注函
- 全球微资讯！今天中国和美国的汇率是多少？
- 全球热议:红海颜色一般呈什么颜色_红海颜色
- 关于不诚信的故事简短_关于诚信的故事简短