陈沙克日志 | shake Blog

How To Download LLM Llama 2

国内高效下载HuggingFace大模型

下载大模型，都是通过huggingface。以前Llama 2的下载，必须通过Meta才能下载，直接使用Meta的代码去Meta官方下载，国内是很容易中断，导致无法下载。现在你通过了Meta申请通过后，可以直接在huggingface进行下载。介绍国内从HuggingFace 下载大模型，也不容易，目前国内已经是无法直接访问HuggingFace。各种的mirror，代理，其实都...

Posted by shake on December 20, 2023

LLaMA2 FAISS LangChain for QA

Colab Deploy LLaMA 2.0, FAISS and LangChain

Colab Google 提供的colab实在是太方便了。免费用户，可以使用T4的GPU，通过这个基本可以完成很多实验。这次 LLaMA 2.0（大模型）, FAISS（向量数据库） and LangChain（链）来实现一个最问答系统的demo。这次实验是通过notebook来完成，把整个操作的过程都记录下来。 Using LLaMA 2.0, FAISS and LangChain...

Posted by shake on December 18, 2023

LLama2-7B Models Quantization Method

Quantization Method GGUF GPTQ AWQ

希望可以从零开始，一步一步进行模型的微调。发现第一步，就是需要拿llama 2的原始模型，进行格式的转换，国内外使用HuggingFace模型格式（简称HF格式）和其配套的通用代码进行微调是主流。这里就记录格式转换全过程。超详细LLama2+Lora微调实战访问HuggingFace，很多模型提供GGML,GGUF格式和GPTQ格式，目前GGML格式已经淘汰，使用GGUF替代，其实...

Posted by shake on December 13, 2023

AI-Terminology

AI专业术语

专门用一篇blog来记录遇到新的AI专业术语，这些术语有时候含义，不是那么容易查询。 GPTQ stands for “Generative Pre-trained Transformer Quantization”. 表示这个模型是支持GPU GGML GGML is a Tensor library for machine learning, it is just a C++ l...

Posted by shake on December 11, 2023

Text generation web UI And Llama 2

Manual Installation of Text generation web UI

为了加深自己对AI涉及的软件和工具深入了解。这次采用手工的方式进行安装Text generation web UI And Llama 2. 感谢 Text generation web UI 安装文档写的如此详细，我只是重复做了一遍，记录下来。目前CPU是没问题，GPU应该由于模型下载的原因，导致还无法运行，正在解决中。 Install Conda 这一步可以省掉，如果是在阿里魔...

Posted by shake on December 9, 2023

llama2 一键安装

Build a Local Llama2 in script

开始写文章的时候，其实我还没开始安装，先把整个过程记录下来。阿里大模型社区魔搭，提供36小时的一台GPU虚拟机，我想我应该可以充分利用这个资源，来完成机器人的搭建过程。感觉这是一个庞大工程，对我来说，需要分几篇文章来熟悉和了解。模型分类通过 HuggingFace 注册和下载相应的大模型。一个模型，给你提供的选项也很多，搞清楚他们的区别，其实也是非常不容易。就针对Llama ...

Posted by shake on December 6, 2023

Run Llama 2 On Local With Simple Way

Llama-2 安装指南

一直很纠结一个问题，在大模型那么流行的时候，我能干啥呢？如何能混入到大模型的圈子里？从哪里开始学习和了解大模型，适合我这种不会编程，不会算法人参与呢？最后朋友给了一个思路，通过学习大模型的微调，可以让你实现大模型的入门。那么我就好好练习一把。由于我没有专门的GPU，只能使用笔记本，用cpu来模拟GPU。所以需要专门选择支持cpu的大模型。笔记本的配置，建议16G内存。选择了开源大...

Posted by shake on November 30, 2023

AI写总结

AI writes summary use local file

一直以来都是听说AI可以对书籍，文档写总结，不过这个功能，确实没玩过。刚好今天群里有朋友上传了一个PDF，在不确定的世界里提高成功概率.pdf，读起来比较费劲。那么就借助一下AI，看看效果如何。总结看了3个AI的分析，这个PDF有很多图片，感觉Bard应该目前还无法识别图片，ChatGPT和Claude表现不错，都提到了贝叶斯定理。我是更加喜欢ChatGPT的总结。 Bard 很...

Posted by shake on November 22, 2023

第一辆四驱柴油SUV

2016 Mazda CX-5 Diesel 2.2 SkyActiv-D

Mazda CX-5 家人清迈生活了2年多，决定改善一下交通工具，以前的1.2排量的丰田小车，真的非常好用，没想到日本把三缸的发动机，已经做的那么完美，在泰国的热的地方，开的空调，狂飙120公里，没任何感觉。已经比我25年前开的夏利1.3排量强多了。在泰国，柴油车的价格比汽油车便宜，这个和国内是相反的。我们看上去那种猛禽这种柴油车，那么在泰国，新车价格也就是20万人民币左右。你可以...

Posted by shake on November 17, 2023

NIS高中调研

Chiang Mai NIS high school survey

清迈其实美制的学校就3所可以提供美制高中的课程。清迈国际学校（CMIS） NIS （Nakornpayap International School） Unity （Unity Concord International School） Unity，由于成立时间比较晚，2022年才第一批高中毕业生，整体来说，高中部分还是比较薄弱。我小孩在Unity读小学，其实还是受益很...

Posted by shake on November 11, 2023