我想问一下开发数仓用到的技术,阿里云的ADB提供了三种
- sql开发可以直接在页面执行sql,但是对复杂业务处理数据好像不太方便。
- spark jar开发,可以通过java去编写程序进行处理数据,我想请问下是有多个任务节点的话需要多个jar包去排序执行任务吗。
- notebook开发,这个是可以用到spark引擎的吗,我见里面是一个一个代码块在一起的。
我想问一下大家,平常主要通过哪种任务进行开发呢,包括开发流程,然后还有开发后要在ADB自动执行之类的
比如:通过spark jar开发,对每一个业务进行开发流程,然后上传spark jar,通过作业调度去执行jar文件。
谢谢