En este articulo vamos a instalar el modelo de chatbot de Llama.
Requerimientos:
Instalacion mínima de Debian 11
Python 3.10
NodeJS 18 o 19
Instalar herramientas de desarrollo
apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libreadline-dev libffi-dev libsqlite3-dev wget libbz2-dev
Remover si esta instalado Python 3.9, Requerimos Python 3.10
apt remove python3.9 python3
apt autoremove
Borrar archivos remanentes de existir
rm -rf /usr/bin/python3.9 /usr/bin/python3 /usr/lib/python3.9 /usr/lib/python3 /etc/python3.9 /etc/python3 /usr/local/lib/python3.9 /usr/share/python3 /usr/share/man/man1/python3.1.gz
Instalación de Python
Descargar código fuente:
wget https://www.python.org/ftp/python/3.10.0/Python-3.10.0.tgz
Compilar:
./configure –enable-optimizations
make
make altinstall
Instalar el repositorio de NodeJS en los source de APT:
curl -fsSL https://deb.nodesource.com/setup_19.x | bash
apt update
apt install nodejs
Instalar el modelo Llama incluido Dalai con 7 Billones
npx dalai llama install 7B
Tambien hay modelos 7B , 13B , 30B , 65B
Comandos para ejecutar el chatbot desde la consola
~/dalai/llama/main -i –seed -1 –threads 6 –temp 0 -c 6144 -n -1 –ignore-eos –n_predict 600 –top_k 40 –top_p 0.9 –temp 0.8 –repeat_last_n 64 –repeat_penalty 1.2 –instruct -m (~) ggml-model-f16.bin
(~) Es la ruta al archivo ggml-model-f16.bin, debe encontrarse dentro del directorio dalai/llama/models/7B
Arrancar el ChatBot en el WEB
npx dalai serve
Video del articulo