Compile and run the C++ version of the GEMMA LLM(2 billion parameters) on my own laptop. The CPU is maxed out, but it still can’t produce a single word output after a long time.😃
在自己的笔记本上编译运行C++版gemma大模型(20亿参数),CPU拉满,但还是半天蹦不出一个单词输出。看来要考虑升级一下电脑了。
Pull down the latest codes, compile and run, it’s OK, great.
下了最新代码,重新编译运行,正常了。