首页 > 投资理财 > 行情 > 大数据开发主要做什么,大数据运维主要工作各是什么

大数据开发主要做什么,大数据运维主要工作各是什么

来源:整理 时间:2022-08-05 19:48:10 编辑:金融知识 手机版

大数据平台开发大数据平台工程师开发主要关注提供大数据基础设施和工具。大数据开发和大数据平台开发的工作都主要集中在1、2、3三层,大数据平台开发、大数据分析师(BI)、大数据运维、大数据处理(ETL)、大数据组件开发(偏大数据组件底层),大数据开发主要是满足企业在大数据平台上的应用开发,与场景有密切的关系。

1、大数据开发主要做哪些工作?

大数据开发主要做哪些工作

大家好,我是Lake,专注大数据技术、程序员经验、互联网科技见解分享。作为一个软件工程师,我个人目前从事的就是大数据方向,目前大数据可以分成很多具体的方向:大数据平台开发、大数据分析师(BI)、大数据运维、大数据处理(ETL)、大数据组件开发(偏大数据组件底层)。不同的工作方向,其工作内容还是有一定差异的,下面我来说下不同工作岗位具体的工作内容:大数据平台开发更偏向对整体数据平台功能性开发,比如离线计算平台、实时计算平台、算法推荐平台等等,

平时用的较多的语言是Java,其更偏向于Java开发。如果用户是上层用户,大数据相关组件作为最低层,大数据平台就桥接着用户和大数据组件,方便用户使用大数据组件的功能,大数据分析师(BI同学)更多的是对我们已有的线上数据进行价值分析,从相关的线上用户所产生的数据中,发现出一些潜在的商业价值,能够更好的去辅助决策层的战略决定。

BI需要对数据敏感、细心,善于从数据中发现业务价值,平常很多工作就是数据可视化、简单化、深入化、PPT化,大数据运维同学主要是保障公司相关机器集群的稳定,使得它们不能出现故障。当申请到新的机器时,会在新机器上面部署各种大数据组件组成的集群,同样,当有业务同学需要用到机器时,可以给大数据运维同学提需求。

当大数据组件集群突然因为什么变得集群不稳定时,运维同学需要去定位问题和解决问题,运维同学平时用的较多的LinuxShell脚本和命令行等,其职位更偏向于为其他同学提供机器稳定保障,ETL同学(数仓同学)则是对我们的线上数据进行数据加工,形成DWD层(公共明细层)、DWS层(公共汇总层),形成统一的指标口径。

ETL同学会根据不同的业务需求,一般使用SQL进行数据指标的加工,指导业务同学更好的运营相关业务,同时ETL同学更关注业务指标的口径,在指标开发的过程中,使用数仓模型对业务数据进行建模,便于开发的指标数据更加统一,减少口径偏差。大数据组件开发,更多的是结合公司业务,对大数据基础组件进行定制化开发、性能优化、BUG修复等等,

同时,也需要对业务方接入进行问题答疑,指导他们使用大数据组件满足业务需求。同时,你也需要运维你的大数据组件,当出现故障BUG时,需要你能及时修复,保证大数据组件的稳定,大数据组件开发需要对你自己运维的组件原理掌握的很全很深,只有这样,你才能够更好的指导别人。总结大数据开发有很多方向,你可以结合你自己的兴趣,选择一个从事方向,

2、大数据开发、大数据分析、大数据运维主要工作各是什么?哪个好?

大数据开发、大数据分析、大数据运维主要工作各是什么哪个好

在大数据领域大概有四个大的工作方向,除了大数据平台应用及开发、大数据分析与应用和大数据平台集成与运维之外,还有大数据平台架构与研发,除了以上四个大的工作方向之外,还有一个工作方向是大数据技术推广和培训,这部分工作目前也有不少人在从事。大数据平台架构与研发主要的工作内容是研发底层的大数据平台,这部分工作的难度较高,从事这部分工作的研发级岗位也并不多,

现在不少技术研发团队都以Hadoop、Spark平台为基础进行研发,这样能够节省大量的时间,也更容易做出市场接受度比较高的大数据平台(商用较多)。大数据平台应用开发是目前一个就业的热门方向,一方面是大数据开发的场景众多,另一方面是难度并不高,能够接纳的从业人数也非常多,大数据开发主要是满足企业在大数据平台上的应用开发,与场景有密切的关系。

文章TAG:运维各是数据开发大数据开发主要做什么

最近更新

  • 三友化工股票今天是涨还是跌三友化工股票今天是涨还是跌

    股票三友化工是什么公司?三友化工是什么板块股票?三友化工今日走势如何?三友化工股票基本面?三友化工股票属于什么股票?三友化工股票行业分析?三友化工股票有什么新消息?三友化工股票性能如何.....

    行情 日期:2024-04-22

  • 上市公司员工持股计划案例,境内个人参与境外上市公司员工持股计划上市公司员工持股计划案例,境内个人参与境外上市公司员工持股计划

    员工持股计划,虽然部分上市公司已经注销员工持股。实践中,员工持股计划经常被员工和委托员工认购公司部分股权,如何操作员工持股计划员工持股计划是一种长期激励,而且是通过全体员工/。1、.....

    行情 日期:2024-04-22

  • 投资人回报机制,PPP项目回报机制投资人回报机制,PPP项目回报机制

    投资回报费率和投资回报率一样吗?1.投资回报费率的概念比较简单。一般来说,投资回报率(ROI)是指通过投资应该得到回报的价值,即企业从一项投资活动中获得的经济性,2.优化投资回报-2/引导和.....

    行情 日期:2024-04-22

  • 接入上海资信搭建的接入上海资信搭建的

    -3资信-3-0成立于1999年7月的有限公司介绍资信有限公司是上海目前唯一一家集个人征信系统和企业征信系统于一体的公司。当上海的个人征信体系建成现代金融体系,离不开信用生态的支撑,199.....

    行情 日期:2024-04-22

  • 股票在上涨却卖不出去股票在上涨却卖不出去

    股票不能卖,股票委托后不能卖?卖不出去,股票涨得很高会不会卖不出去?为什么股票卖不出一定的价格?股票无法卖出是指投资者持有的股票的卖出操作不成功。未能卖出股票的主要原因如下:1,如果股.....

    行情 日期:2024-04-22

  • 如何看货币基金收益,货币基金节假日有没有收益如何看货币基金收益,货币基金节假日有没有收益

    货币Type基金of收益如何计算?买货币Type基金你怎么看收益?买了国泰君安的货币基金你怎么看收益?货币Type-2收益如何计算什么是货币Type基金?货币基金收益怎么算?货币基金/稳定吗?货币基金收.....

    行情 日期:2024-04-22

  • 达利集团林富华达利集团林富华

    林志宇出生于香港,父亲是达利-2/创始人之一林富华。达利International集团有限公司组织架构达利International集团有限公司董事及高级管理人员简介林先生富华,执行董事,年龄60岁,系本/,加入.....

    行情 日期:2024-04-22

  • etf基金交易包括哪些费用,哪些ETF基金是T 0交易etf基金交易包括哪些费用,哪些ETF基金是T 0交易

    etf基金交易费用的号码是多少?etf基金交易手续费是多少基金在不同的销售渠道下,相关程序费用也有偏差,所以选择了较低的费率。etf交易费用多少etf-4交易一般不收申购费和赎回费,免收印花税.....

    行情 日期:2024-04-22

投资理财排行榜推荐