陈沙克日志

「尽量记录自己经历的一切」

低龄孩子海外留学误区

Misunderstandings about studying abroad

让孩子出国读书,肯定会让你踩坑,改变你的认知。这里就根据我自己的孩子的经历,整理一下成年人的对孩子出国留学的误区。 学好英语再出去 我英语不好,无法出去读书,需要在国内提前把英语补习好。去新东方加强一下。 其实我当初何尝没这样的想法,只是当时疫情,不可能实现而已。 孩子的英语水平是小学4年级的水平,加上4年每年一万的外面英语培训,当时学校通过视频远程面试的时候,真的让我有点崩溃。孩子...

孩子3年留学总结

Children’s three-year study abroad career

3年前,也就是2021年3月2日,我请了一天假,送孩子和太太到首都国际机场,飞去清迈,开始留学的生涯。 那个时候去泰国留学,还是比较折腾,需要在曼谷隔离14天,全价的机票,这样一折腾,多花2万多的RMB。 不过现在回头看,一切都是比较值得。 孩子的留学年龄是:10岁,国内读完五年级的第一学期。 收获 出去读书,其实很多时候,不仅仅改变孩子,还改变了我很多观念和认知。对于一个IT从业...

神经网络的理解

Understand Of Neural Networks

最近看到了很多很好的学习材料,帮助我理解神经网络。 用三种函数带你秒懂神经网络算法 用Excel輕鬆建立、訓練和使用神經網路Neural Network 基于上面的材料,我整理自己的学习笔记。 专业术语 人工智能、机器学习、深度学习和神经网络关系,用一张图,就可以很容易说清楚。 CNN(卷积神经网络 Convolutional Neural Netw...

Understand fine-tuning Parameters

大模型微调参数理解

在微调大模型的时候,看到很多参数,感觉参数间是有关系。所以这里整理我能理解的参数和互相关系。 epochs epochs:中文含义是纪元的意思,那么在微调里,就是一个周期。就是把数据集训练一次的含义。 dataset 数据集,在hanggingface上有大量开源的数据集,你可以拿来训练。大小不同,看数据集大小,就看有多少行数据。 guanaco-llama2-1k 这个数据集是...

Official code run and testing Llama-2

官方文档运行和测试Llama-2

Llama-2的原始模型,其实我没运行过,尝试照着官方的文档运行,16G的显存,运行失败,看来是必须使用24G显存,才能直接运行起来。 这次是在阿里的魔搭进行实验。 1 2 %cd /mnt/ !ls Llama-2-7b 下载Llama-2-7b 1 !git clone https://www.modelscope.cn/shakechen/Llama-2-7b.git ...

How Many GPU Need For LLM Training

大模型算力计算

大模型要什么了解,最好的入门,就是计算训练一次大模型,需要多少张卡,多少时间。这个过程中,真的接触很多新的词汇。 参考文章 大模型训练为什么用 A100 不用 4090 语言模型的训练时间:从估算到 FLOPs 推导 大模型算力推演优化实战 OpenAI 总监演讲 深刻理解上面材料的内容,总结。 FLOPS FLOPS(floating-point ope...

Purpose of Llama-2 Files

Llama-2文件用途介绍

日常访问huggingface的大模型,基本都是可以看到一堆文件,具体的用途,其实是一直困惑我的问题。今天整理一下。 需要致谢一下这位博主:01coder 分享。 Tokenizer说明 总结 特斯拉前AI总监Andrej Karpathy使用说,大模型本质就是2个文件,一个是参数文件(权重文件,整个神经网络的权重),一个是包含运行这些参数的代码文件(用来运行这个神经网络的代码,可以...

colab记事本

record all I use

已经成为Colab的深度用户,整理一下我colab使用的内容,基本都是和huggingface和大模型有关,其实也是方便自己查询。现在已经记不住东西。 密钥 登录huggingface是需要密钥,把colab的notebook分享出去,这个会导致你的密钥泄露。你是可以提前处理,但是总会有忘记的时候。 Colab提供密钥管理的功能,你可以把Huggingface的token存放并在col...

Transformers 学习

Transformers入门

下面的内容都是来自各个学习的视频,我针对视频,整理我的理解。非常感谢这些博主的分享,我安装Llama 2一个多月,一堆问题,都是需要慢慢的解决和理解.下面是我做的笔记。 你可是处女座啊 Transformers 常见自然语言处理任务 情感分析(sentiment-analysis):对给定的文本分析其情感极性 文本生成 (text-generation) : 根据给定的文本...

How To Download LLM Llama 2

国内高效下载HuggingFace大模型

下载大模型,都是通过huggingface。以前Llama 2的下载,必须通过Meta才能下载,直接使用Meta的代码去Meta官方下载,国内是很容易中断,导致无法下载。现在你通过了Meta申请通过后,可以直接在huggingface进行下载。 介绍 国内从HuggingFace 下载大模型,也不容易,目前国内已经是无法直接访问HuggingFace。各种的mirror,代理,其实都...