陈沙克日志

「尽量记录自己经历的一切」

滑铁卢大学高中数学竞赛

uwaterloo math competition

今天孩子的家长群发消息,学校可以报名参加滑铁卢大学的数学竞赛。其实这个我也很早听说过,不过没具体查过资料。这次就顺便整理一下。滑铁卢大学的竞赛不允许个人报名,必须以学校名义去报考。 滑铁卢大学的初中高中数学竞赛的题目完全对外开放。 历年真题和答案 初中竞赛 Gauss (Grade 7 and 8) 高斯,数学竞赛的名字,用数学家的名字,其实这个挺好的。顺便可以普及一下这个数学家历...

滑铁卢大学计算机竞赛

uwaterloo compute competition

滑铁卢大学的数学竞赛和计算机竞赛,是相同的机构举办。 我看了一下真题,反正我是没看懂。刚才看了一下清迈是有BCC的培训,你可以搜索:清迈迈蓝。 唯一的问题就是中文教编程,而我希望孩子是用英文来学编程。 历年真题和答案 竞赛开发语言 可以选一种你熟悉的开发语言,感觉高中阶段,基本都是python和Java。 Python:Python 是一种通用的、高级的编程语言。它易于学习...

低龄孩子海外留学误区

Misunderstandings about studying abroad

让孩子出国读书,肯定会让你踩坑,改变你的认知。这里就根据我自己的孩子的经历,整理一下成年人的对孩子出国留学的误区。 学好英语再出去 我英语不好,无法出去读书,需要在国内提前把英语补习好。去新东方加强一下。 其实我当初何尝没这样的想法,只是当时疫情,不可能实现而已。 孩子的英语水平是小学4年级的水平,加上4年每年一万的外面英语培训,当时学校通过视频远程面试的时候,真的让我有点崩溃。孩子...

孩子3年留学总结

Children’s three-year study abroad career

3年前,也就是2021年3月2日,我请了一天假,送孩子和太太到首都国际机场,飞去清迈,开始留学的生涯。 那个时候去泰国留学,还是比较折腾,需要在曼谷隔离14天,全价的机票,这样一折腾,多花2万多的RMB。 不过现在回头看,一切都是比较值得。 孩子的留学年龄是:10岁,国内读完五年级的第一学期。 收获 出去读书,其实很多时候,不仅仅改变孩子,还改变了我很多观念和认知。对于一个IT从业...

神经网络的理解

Understand Of Neural Networks

最近看到了很多很好的学习材料,帮助我理解神经网络。 用三种函数带你秒懂神经网络算法 用Excel輕鬆建立、訓練和使用神經網路Neural Network 基于上面的材料,我整理自己的学习笔记。 专业术语 人工智能、机器学习、深度学习和神经网络关系,用一张图,就可以很容易说清楚。 CNN(卷积神经网络 Convolutional Neural Netw...

Understand fine-tuning Parameters

大模型微调参数理解

在微调大模型的时候,看到很多参数,感觉参数间是有关系。所以这里整理我能理解的参数和互相关系。 epochs epochs:中文含义是纪元的意思,那么在微调里,就是一个周期。就是把数据集训练一次的含义。 dataset 数据集,在hanggingface上有大量开源的数据集,你可以拿来训练。大小不同,看数据集大小,就看有多少行数据。 guanaco-llama2-1k 这个数据集是...

Official code run and testing Llama-2

官方文档运行和测试Llama-2

Llama-2的原始模型,其实我没运行过,尝试照着官方的文档运行,16G的显存,运行失败,看来是必须使用24G显存,才能直接运行起来。 这次是在阿里的魔搭进行实验。 1 2 %cd /mnt/ !ls Llama-2-7b 下载Llama-2-7b 1 !git clone https://www.modelscope.cn/shakechen/Llama-2-7b.git ...

How Many GPU Need For LLM Training

大模型算力计算

大模型要什么了解,最好的入门,就是计算训练一次大模型,需要多少张卡,多少时间。这个过程中,真的接触很多新的词汇。 参考文章 大模型训练为什么用 A100 不用 4090 语言模型的训练时间:从估算到 FLOPs 推导 大模型算力推演优化实战 OpenAI 总监演讲 深刻理解上面材料的内容,总结。 FLOPS FLOPS(floating-point ope...

Purpose of Llama-2 Files

Llama-2文件用途介绍

日常访问huggingface的大模型,基本都是可以看到一堆文件,具体的用途,其实是一直困惑我的问题。今天整理一下。 需要致谢一下这位博主:01coder 分享。 Tokenizer说明 总结 特斯拉前AI总监Andrej Karpathy使用说,大模型本质就是2个文件,一个是参数文件(权重文件,整个神经网络的权重),一个是包含运行这些参数的代码文件(用来运行这个神经网络的代码,可以...

colab记事本

record all I use

已经成为Colab的深度用户,整理一下我colab使用的内容,基本都是和huggingface和大模型有关,其实也是方便自己查询。现在已经记不住东西。 密钥 登录huggingface是需要密钥,把colab的notebook分享出去,这个会导致你的密钥泄露。你是可以提前处理,但是总会有忘记的时候。 Colab提供密钥管理的功能,你可以把Huggingface的token存放并在col...