Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

【PaddlePaddle Hackathon 2】100、PaddleDTX/xdb支持负载均衡策略 #58

Closed
TCChenlong opened this issue Mar 8, 2022 · 0 comments

Comments

@TCChenlong
Copy link

TCChenlong commented Mar 8, 2022

(此 ISSUE 为 PaddlePaddle Hackathon 第二期活动的任务 ISSUE,更多详见 【PaddlePaddle Hackathon 第二期】任务总览

【任务说明】

  • 任务标题:PaddleDTX/xdb支持负载均衡策略

  • 技术标签:区块链、Golang

  • 任务难度:困难

  • 详细描述:PaddleDTX/xdb在文件分发时随机选择存储节点进行分片存储,没有考虑存储节点当前可用存储资源,可能存在目标存储节点资源不足的情况,也可能导致存储资源很多的节点分配到的分片较少,资源未被充分利用。因此新增负载均衡策略,综合考虑存储节点健康状态和可用存储资源,在文件分发时优先选择健康且资源充足的节点分发文件。

【提交流程】

请将代码提交至 https://github.com/PaddlePaddle/PaddleDTX 开源仓库

【提交内容】

  • 设计负载均衡的文件分发策略,提交方案至 PaddlePaddle/community 的 rfcs/PaddleDTX 目录下,综合考虑存储节点健康状态和可用存储资源

  • Fabric&xchain合约新增方法,实现存储节点可用资源的记录和更新,可参考 PaddleDTX/xdb/blockchain/xchain/contract

  • Fabric&xchain合约调用获取存储节点资源,可参考 PaddleDTX/xdb/blockchain/xchain

  • 命令行工具支持更新存储节点存储资源,可参考PaddleDTX/xdb/cmd/client/cmd/nodes

  • 服务端接口支持更新存储节点存储资源,可参考PaddleDTX/xdb/server和PaddleDTX/xdb/engine/handler_node.go

  • 文件分发时根据负载策略选择存储节点,而非随机选择,可参考 PaddleDTX/xdb/engine/copier

【合入标准】

  • 1、完成功能实现、单测、功能测试;

【技术要求】

  • 熟悉区块链技术

  • 熟练Golang

【参考内容】

【答疑交流】

  • 如果在开发过程中对于上述任务有任何问题,欢迎在 https://github.com/PaddlePaddle/PaddleDTX 上提issue

  • 对于开发中的共性问题,在活动过程中,会定期组织答疑,请大家关注官网&QQ群的通知,及时参与。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants