【霏艺所思】transformers算法实现代码笔记
https://github.com/huggingface/transformers
只看pytorch实现。。。
本来打算写写胶囊网络的。。。
后来想想，还是transformers比较主流。。。就写这个吧！
纸上得来终觉浅，绝知此事要躬行！
看论文，都是死的，觉得自己看懂了，让自己代码实现，就各种问题。。。。
最后还得看看开源项目和自己的区别是什么，研究，探索，重现论文。。。
毕竟，我是真的有工作，研究的时间比较多；
小孩子，多读书，将来技术移民，不是挺好的么？
天天浪费时间，不学无术。。。
少壮不努力，老大徒伤悲。
一寸光阴一寸金，寸金难买寸光阴。。。
书到用时方恨少
你们看看我，就是读书读少了，现在看点论文，就得网上搜搜这个单词是什么东西。。。
知道中文翻译还没用，得看英语解释。还得会一堆我不知道是什么的什么的什么。。。
只看pytorch实现。。。
本来打算写写胶囊网络的。。。
后来想想，还是transformers比较主流。。。就写这个吧！
纸上得来终觉浅，绝知此事要躬行！
看论文，都是死的，觉得自己看懂了，让自己代码实现，就各种问题。。。。
最后还得看看开源项目和自己的区别是什么，研究，探索，重现论文。。。
毕竟，我是真的有工作，研究的时间比较多；
小孩子，多读书，将来技术移民，不是挺好的么？
天天浪费时间，不学无术。。。
少壮不努力，老大徒伤悲。
一寸光阴一寸金，寸金难买寸光阴。。。
书到用时方恨少
你们看看我，就是读书读少了，现在看点论文，就得网上搜搜这个单词是什么东西。。。
知道中文翻译还没用，得看英语解释。还得会一堆我不知道是什么的什么的什么。。。
18 个评论
我未来的职业也是软件工程师，具体地说希望能加入pytorch这样的大型团队，所以对自己的要求就稍微高...
個人信息不要透露
pytorch挺難加入了。。。
既要編程水平好，還要會這個領域的知識
我覺得，自己實現一個conv2d就很難。。。要考慮到很多filter padding等等
還有conv1d conv2d conv3d
還有各種優化器【自己實現一個SGD試試？】
還得會求導【連續，光滑，可導。。。】
這個對數學的要求極高，才能知道自己要編什麽東西
同時對編程的要求更高，還得會GPU編程【CUDA】，SIMD加速【intel的MKL】
還得會c++和python，用到了C++14，而且pybind得很熟
當然，你可以努力試試看。。。。