普元数据开发平台 普元数据开发平台
产品介绍
安装部署
快速入门
操作指南
SDK开发指南
FAQ
无

# Q: 我可以使用开源版本的海豚调度么?

# A: 不可以,调度引擎基于开源版本的海豚调度二开,里面包含了我们自定义的一些功能适配,同时为了避免海豚UI上操作不当,导致未来定位问题、解决问题上麻烦,我们隐藏了api的程序入口


# Q: 调度引擎注册失败

# A: 导致注册失败的原因可能是多样的,请检查如下配置:

1. 确保网络畅通,dws server 同zookeeper的通信正常
2. zookeeper连接超时异常问题,除检查上述<1>中的问题外,请配置zk所在的域名到服务器的hosts文件中
3. 请检查调度引擎配置:调度引擎注册页面上的namespace同配置文件中的registry.zookeeper.namespace保持一致,默认值为dws
	Dolphinscheduler标准介质的配置文件为:master-server/conf/application.yaml
	DWS Standalone版介质的配置文件为:Primeton_DWS_Standalone/service/dolphin/standalone-server/conf/application.yaml
4. 同一个调度引擎不允许多次注册
5. 请使用我们提供的介质安装,官网版本无法注册

# Q: 调度引擎注册成功,但是获取执行资源状态时,经常刷新很慢或者报错zookeeper连接超时,报错Error creating bean with name 'zookeeperRegistry': Invocation of init method failed: neated exception is org.apache.dolphinscheduler.resgistry.api.RegistryException:zookeeper connect timeout :127.0.0.1:2181

# 后台报错如图所示:

image_20240301170520

# A: 需要在DWS所在服务器的/etc/hosts文件中配置zookeeper所在的域名

image_20240301170829


# Q: 新建调度引擎namespace与调度租户如何填写?

image_20240129105101

# A:默认安装,都为dws。

# 说明:namespace 默认dws,查看Dolphin/standalone-server/conf/application.yaml注册到zookeeper的namespace;

image_2024-01-29_10-56-25

# 调度租户,是部署Dolphin 服务器时,创建的服务器用户。


# Q:调度引擎注册失败,原因: [ErrCode: SCHEDULER_ENGINE_USED Message: Scheduling engine address [dolphin] has been registered by IP [127.0.0.1], please confirm.]

# A: 当出现上述报错,则代表该调度引擎已经被注册过。

正常情况下,当调度引擎注册成功后,会在zookeeper中 /${namespace}/primeton/nodes路径下自动创建lock节点,如 /dws/primeton/nodes/lock。

在zk中查看节点信息命令如下:

#在zookeeper安装目录下执行如下命令,连接zk
./bin/zkCli.sh  -server 192.168.16.79:2181
#查看根节点的所有节点及子节点
ls -R /
#获取lock节点信息
get -s /dws/primeton/nodes/lock

image-20240222141030667

  • 当在【公共资源】-【调度引擎管理】中,删除该调度引擎时,zookeeper中 lock节点正常情况下也会被删除。

  • 当删除调度引擎时,若zookeeper中 lock节点仍存在,则需要手动删除节点,否则再次注册时会报错调度引擎已经被注册。删除节点命令如下

    #在zookeeper安装目录下执行如下命令,连接zk
    ./bin/zkCli.sh  -server 192.168.16.79:2181
    #删除lock节点,其中dws根节点为namespace
    delete  /dws/primeton/nodes/lock 
    

# Q:调度引擎注册失败,报错[UNSUPPORTED_SCHEDULER Message:Unsupported_scheduler]如下图

56f71a18a57868ebf7e9cb3f1e8527e

# A:上面的错误一般是因为使用的dolphinscheduler不是标准介质或master、worker ext信息不一致。

解决办法: 1、检查dolphin后端是否启动正常,若dolphin后端有如下异常提示,the SystemMemoryUsedPercentage: 0.7257388374471095 is over then。是资源不够,需要调整dolphin的master/conf/application.yaml和worker/conf/application.yaml文件,默认是0.7,可以调整成0.9,如果调整到0.9仍有此提示,则是资源不够,需扩容dolphin所在服务器。 image_20250114174723

image_20250114175448 2、dws7.0LA2之前版本,在zk中查看master和worker的ext信息是否一致。当不一致时,需要修改master/conf/application.yaml和worker/conf/application.yaml中的数据源参数保持一致。 image-20240605160435151 3、dws7.0.2版本,查看t_ds_jdbc_registry_data表信息数据库url需要与dolphin的bin/env/dolphinscheduler_env.sh中的一致。或公共资源调度引擎注册界面上配置的数据库url与dolphin的bin/env/dolphinscheduler_env.sh中的一致 image_20250113175920


# Q:当使用dolphin的数据库为(DM)达梦数据库时,在项目配置-调度引擎配置,添加调度引擎调度引擎报服务器异常,后端报java.lang.NullPointerException: null at com.primeton.dataworkshop.scheduler.dao.DsUserDao.saveOrUpdateEntity(DsUserDao.java:23)错误

image_2024-03-12_16-31-14

# A: 当出现上述报错,一般dolphin的t_ds_user表数据是空的,这种是由于初始化达梦数据库脚本时,执行sql后没有提交事务。需要重新初始化数据库,执行sql后一定要提交事务。