Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

确定 2024 年春季学期开源课程的评价方式 #301

Open
will-ww opened this issue Feb 26, 2024 · 8 comments
Open

确定 2024 年春季学期开源课程的评价方式 #301

will-ww opened this issue Feb 26, 2024 · 8 comments

Comments

@will-ww
Copy link
Contributor

will-ww commented Feb 26, 2024

2023 年的评价方式参考:#21

@will-ww
Copy link
Contributor Author

will-ww commented Feb 27, 2024

根据 2023 年的方案:

  • 课堂签到:10%
  • 平时作业:30%
  • 期中测试:10%
  • 期末大作业:50%

可以考虑将 2024 年的做如下优化:

  • 签到,10%,不定期三次或以上的随堂签到
  • 平时作业,30%,总共三次,在仓库中按时提交完成即可拿到相应分数
  • 期末大作业,60%,其中
    • 人工评审,30%,教师和助教根据大家作品完成情况主观给分
    • OpenRank 贡献度评价,30%,根据大家本学期在课程范围内的活跃情况,由算法自动给分

平时作业说明如下:

  • 作业 1:静态网页部署
  • 作业 2:GitHub 基本协作
  • 作业 3:GitHub Action 实践

期末大作业的几个要点说明如下:

  • 选定 GitHub 上面的若干开源项目,在每个开源项目下面设置 5 ~ 15 个任务
    • OpenDigger(数据与算法类型项目),拟设计 15 个任务
    • HyperCRX(前端插件项目),拟设计 15 个任务
    • OpenLeaderboard(前端 Web 项目),拟设计 10 个任务
    • OpenPerf(科研类项目) ,拟设计 5 个任务
    • X-lab 官方网站,拟设计 5 个任务
  • 同学自由组队参与 1 个或多个任务
    • 每位同学至少完成 1 个任务
    • 每个任务/模块的参与人数不限
    • 可以同时参与到多个任务中,OpenRank 贡献度评价部分可以累加,人工评审部分取所有参与的任务中最高分数

@PureNatural
Copy link

  • 可以同时参与到多个任务中,OpenRank 贡献度评价部分可以累加,人工评审部分取所有参与的任务中最高分数

感觉还是要限制一下每个人参与的任务数量,担心会出现一个人参与10多个项目,就是为了最后拿人工评审部分取所有参与的任务中最高分数。
为了避免出现上面的问题,或者可以自己参与哪些任务一开始应该就定好,不能再加了。如果开发的过程中发现自己的任务和别的小组有重叠(比如都选了opendigger中的同一个任务),可以允许两组合并为一组。不能出现自己选的opendigger的任务做不成了,期末最后没几天了,发现另一个组hypercrx做的很好,就加入另一组,混个高分。

@will-ww
Copy link
Contributor Author

will-ww commented Feb 27, 2024

  • 可以同时参与到多个任务中,OpenRank 贡献度评价部分可以累加,人工评审部分取所有参与的任务中最高分数

感觉还是要限制一下每个人参与的任务数量,担心会出现一个人参与10多个项目,就是为了最后拿人工评审部分取所有参与的任务中最高分数。 为了避免出现上面的问题,或者可以自己参与哪些任务一开始应该就定好,不能再加了。如果开发的过程中发现自己的任务和别的小组有重叠(比如都选了opendigger中的同一个任务),可以允许两组合并为一组。不能出现自己选的opendigger的任务做不成了,期末最后没几天了,发现另一个组hypercrx做的很好,就加入另一组,混个高分。

这可肯定也是可以设置的。就看必要性是否需要,有几个点可以参考:

  • 所有的行为都是公开的,一个同学参与很多项目,大家都看得到;
  • 如果这种参与式正向的,例如教师或助教的行为就会这样,也没问题;
  • 如果是为了高分,这种在算法上就应该能够避免,例如大家可以通过👎进行减分操作;
  • 所以这里面会比较考验老师和助教的协调与管理工作,同时也可以发动积极的学生参与管理工作,这个也是开源社区的一种属性;
  • 如果只是最后几天加入某个组,这种事情可以让那个组自行裁决,但他对应的 OpenRank 值肯定是不高的;
  • 同样,这些行为因为都是公开的,我们可以及时发现及时讨论,甚至迭代课程评分的策略

@PureNatural
Copy link

  • 同样,这些行为因为都是公开的,我们可以及时发现及时讨论,甚至迭代课程评分的策略

是的,可能有不少问题我们现在还无法完全预知,我们在实践的过程中再慢慢优化

@will-ww
Copy link
Contributor Author

will-ww commented Mar 2, 2024

这两天对“开源教育”做了个总结,如下图所示:


本学期课程实践部分,主要就是红框中的内容,对应到本 Issue 上面的内容就是:

  • 做贡献:通过三次平时作业,学习并实践基于 Git/GitHub 的开源贡献模式,内容已经确定
  • 实践教学:基于项目的教学实践方法(PBL),又包括三种模式,EOSS 1.0、EOSS 2.0、和社区实习,这块需要进行选择

1、EOSS 1.0 模式

基于“完形填空”形式的简化版开源项目实训,例如 TinySQLTinyKVMiniOB

  • 优点:a) 某一开源项目的简化版本,学员易于理解并参与;b)任务和目标明确,能对应到细粒度的知识点与能力点
  • 缺点:需要专业人员来制作简化版本,制作与学习均有一定的门槛;由于不需要实际的开源贡献,无法核算 OpenRank 贡献量

2、EOSS 2.0 模式

基于“历史版本”形式的历史版开源项目实训,目前还处于一个空白阶段,属于首创行动

  • 优点:a) 某一开源项目的历史版本,项目制作相对简单;b)任务和目标明确,能对应到细粒度的知识点与能力点
  • 缺点:虽然项目直接采用某一历史版本,但任务的选取与设置,还是有一定的门槛,需要对项目有深刻了解;同样,由于不是当下版本,属于某一历史时刻上的开源贡献,OpenRank 贡献量核算效果大打折扣

3、社区实习模式

基于“当下版本”形式的真实版开源项目实训,又可以分为两种:

(1)当下版本 + 规定任务

在当下版本的基础上,设置若干具体明确的任务,学生以参与并完成这些任务,GSoC OSPP 就是其典型代表。

  • 优点:a) 直接用当下真实的项目仓库开展工作,任务和目标明确;b)能够为项目带来真实的贡献,能够核算一定程度的 OpenRank 贡献量
  • 缺点:需要基于当下版本设计任务列表,需要较强的专业度,完成过程也需要项目核心成员作为导师全程参与,并对完成效果做出评价

(2)当下版本 + 自选任务

在当下版本的基础上,不设定具体明确的任务,学生和项目成员自发讨论,并形成需要完成的任务,例如 XSOSI阿里开源贡献榜

  • 优点:这是最接近理想阶段的开源贡献场景,和真实的开源项目贡献完全一致,项目发起方不需要额外的花费,做平常该做的事情,并能够通过 OpenRank 贡献量核算工具,对项目进行运营
  • 缺点:对参与学员有较高的要求,需要主动和项目核心成员进行频繁互动,形成共识性任务,并最终贡献到仓库中

目前看上去,“当下版本 + 规定任务”,在高校教学场景中是一个可行的选择,且满目实验室的各种诉求:

  • 学以致用,基于课堂上学到的内容,参与真实开源项目的贡献
  • 能够进行 OpenRank 贡献量核算
  • 能够为目标开源项目,带来真实的贡献

另外,从课程教学设计的角度,一个相对完整的开源教育(开发者成长)路径大致是:

1. 拥抱开源-A:学习基本的数字素养与编程技能
2. 拥抱开源-B:学习开源基础知识(开源爱好者,Hobbyists,H)
3. 贡献开源-A:学习并实践 Git/GitHub 基础操作(成为社区参与者,Community Participant,P)
4. 贡献开源-B:在 EOSS 1.0 或 EOSS 2.0 中选择一个,开展基于某一具体项目的实践教学(成为项目参与者,Project Participant,PP)
5. 发展开源-A:基于规定任务的项目社区实习模式(成为项目短期的普通贡献者,Contributor,C)
6. 发展开源-B:基于自选任务的项目社区实习模式(成为项目长期的核心贡献者,Committer,CC)

学校阶段的课程教育,大概能否覆盖到 1-4 阶段;5-6 阶段则需要企业、社区或基金会等组织,联合开展一些专项活动来达成。

@tyn1998
Copy link
Member

tyn1998 commented Mar 4, 2024

先上个语雀画板~

image

素材区:

1、多个人一起完成PR的例子:hypertrons/hypertrons-crx#477 (comment)
2、为OSS101创建的label:
image

@frank-zsy
Copy link
Collaborator

所有 2024 OSS 101 课程中各位老师、助教、同学的总体 OpenRank 贡献度由他们在 2024.2 - 2024.7 之间在 OpeDigger, OpenPerf, OpenLeaderboard, OSS101, HyperCRX 仓库中的所有贡献度组成,汇总如下:

# 姓名 OpenRank
1 王伟 @will-ww 7.1634
2 韩凡宇 @PureNatural 7.0132
3 赵思嘉 @HalloMelon 6.036
4 戴文同 @DaiYoyo2 5.9965
5 王衍童 @wangyantong2000 5.519
6 游明东 @Tenth-crew 4.7853
7 王婕 @wj23027 2.8099
8 梅杰源 @13386530038 2.7765
9 汪小曼 @xiaoAugenstern 1.6186
10 黄帆 @huangfan0 1.5601
11 张雯怡 @ChloeWenyiZhang 1.54
12 张滕雪 @taketaketakeru 1.4633
13 寿泓柘 @hzshou 1.3978
14 郑中正 @zzz-ovo 1.183
15 单佑婉弘 @Fiveneves 1.1817
16 庞瑞洋 @pry666 1.1523
17 陆辰昊 @Cyberleu 1.1423
18 施瑾睿 @Thrrreeee 1.1362
19 吴泽贤 @wblxxx 1.0832
20 郭腾 @GuoTeng-ECNU 1.0822
21 张嘉睿 @zhangjiarui530 1.0473
22 郑逸潇 @YeexiaoZheng 0.9493
23 杨新宇 @yangxinyu7427 0.9342
24 刘思聪 @mooricAnna 0.9329
25 周伟 @MarigWeizhi 0.9167
26 曾龙 @vitaminzl 0.9093
27 吉刘骏 @zadwa 0.8732
28 支家和 @JiaheZhi 0.8563
29 黄小鹏 @MrH233 0.8396
30 童文平 @woyaochimangguo 0.7882
31 吴行健 @ccloud0525 0.7802
32 杨贇 @iamSmallY 0.7802
33 申屠琦超 @QichaoShentu 0.7802
34 徐涵钰 @Ouroboros5664 0.7802
35 麻瑞阳 @MaYangrui6 0.7034
36 叶哲名 @ZhmYe 0.6776
37 徐梦滢 @reset0514 0.6198
38 郑岩钰 @zyy981012 0.6191
39 李垫 @Ld15173950002 0.581
40 刁圆员 @399617 0.5804
41 朱奕帆 @Jankeeeeee 0.5309
42 郑朴辰 @Mark-00z 0.492
43 臧志阳 @Imamtss 0.446
44 陈碟 @CD22104 0.4031
45 侯婷 @elegaa 0.4002
46 吴逸伟 @W1evy 0.4002
47 钟青松 @QingSongZ 0.4002
48 曹品善 @beyond-mountains 0.4002
49 毕其功 @ECNU-51265903094 0.4002
50 邱钰莹 @MaxWeeeell 0.4002
51 董昊朴 @HaopuDong 0.4002
52 张偲欣 @CarterpillarOnGh 0.397
53 冷宜隆 @Lengxiaoyi 0.3833
54 张潇晓 @xxddup 0.3831
55 任丽伊 @lilian-r 0.2553
56 裘盼佳 @SSSSSSilly 0.2547
57 崔仁静 @mksyk 0.2476
58 刘天扬 @Neat12138 0.2476
59 夏益君 @xyjsophie 0.2476
60 郑子路 @zzlTim 0.2476
61 高洪帆 @hongfangao 0.2476
62 杨佳宁 @dinyy 0.2476
63 段晗祈 @AquariusAQ 0.2476
64 孙文文 @kxkllday 0.2476
65 徐榕荟 @xrhics 0.2476
66 张豈明 @Qi-ming-Zhang 0.2476
67 王硕 @worstwoman 0.2476
68 韦俊宇 @WelJunyu 0.2476
69 叶韩辉 @YJett 0.2476
70 张一 @zyzyzy3 0.2476
71 徐啟航 @JasonXQH 0.2476
72 李北步 @Cloni418 0.2476
73 冉又玮 @ Arthur-Boyle 0.2476
74 李志文 @lzws 0.2476
75 杨洪宇 @yanghy233 0.2476
76 樊亦文 @maitekakaxi 0.2476
77 洪小清 @goodperfection 0.2476
78 吴泓宇 @wuhongyyyy 0.2476
79 张馨元 @zxy292929 0.2476
80 胡诗彦 @hulelewin 0.2476
81 黄姗姗 @aHuang33 0.2476
82 许定胜 @xudingsheng 0.2476
83 胡思劼 @EricHuSijie 0.2351
84 王方正 @fzzf09 0.1711
85 甄逸飞 @kdai-910hr 0.1449
86 丁永亮 @TommySoya 0.1449
87 赵奕轲 @AnKate 0.1449
88 廖欣 @xiaoyingjing1 0.1449
89 马洋涛 @smog1995 0.1027
90 魏永富 @weiyongfu2232 0.1027
91 王超亚 @wcynnn 0.1027
92 陈宇轩 @Anduril666 0.1027

@CD22104
Copy link

CD22104 commented Aug 29, 2024 via email

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

5 participants