有关输入拆分计算的问题

[SeibertronSS]

最近在学习LMDeploy v0.5.1 的代码，发现LlamaBatch的Initialize函数中有一段如下

 auto partial_beg = std::stable_partition(idxs.begin(), active_end, [&](int i) {
            return sequences[i]->cache_len + sequences[i]->input_length == context_lengths[i];
        });
FT_CHECK(active_end - partial_beg <= 1);

这里是表示 partial 的 seq 只能有一个吗

[lzhangzz]

是的。

[SeibertronSS]

是的。

为什么这样设计呢？如果LMDeploy同时收到两个长请求，都需要进行拆分context，会如何处理呢

[lzhangzz]

需要拆分的都是一次 forward 跑不完的，不会出现一次 forward 有两个请求要拆分的情况

[SeibertronSS]

我的理解是，拆分是为了在长文本和短文本一起推理时，为了缩短短文本的prefil阶段的时间进行的 不是这个作用吗？

…

---- 回复的原邮件 ---- | 发件人 | Li ***@***.***> | | 日期 | 2024年08月12日 23:40 | | 收件人 | ***@***.***> | | 抄送至 | ***@***.***>***@***.***> | | 主题 | Re: [InternLM/lmdeploy] 有关输入拆分计算的问题 (Discussion #2284) | 需要拆分的都是一次 forward 跑不完的，不会出现一次 forward 有两个请求要拆分的情况 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>