ADD whisper

[kyakuno]

https://github.com/usefulsensors/openai-whisper

[kyakuno]

tflite version
https://github.com/nyadla-sys/whisper.tflite?tab=readme-ov-file

[kyakuno]

medium model
nyadla-sys/whisper.tflite#11

[kyakuno]

入力は80x3000のmelspectrogram、出力は1x448のtoken_id。

[kyakuno]

MatmulはFCになっている。Geluが追加されている。

[kyakuno]

このモデルはweightはint8だが、tensorはfloatのweight quantizationになっている。

[kyakuno]

generateでラップしない場合のtfliteファイル。こちらは素直なencoder/decoder統合モデル。

[kyakuno]

kv_cacheはoutputsにつながっているが、inputsにはつながっていないので、Stateを保存しておく仕組みがありそう。

[kyakuno]

量子化の話
tensorflow/tensorflow#58451

[kyakuno]

whisperはint8では精度不足という話。

It might not be possible to get expected results from int8 models ( because of model architecture itself). So, Work around might be to use hybrid models as you suggested.

[kyakuno]

下記もmixed precisionとdynamic quantizationで実装されている。
https://github.com/microsoft/Olive/tree/main/examples/whisper