【霏艺所思】transformers算法实现代码笔记
https://github.com/huggingface/transformers
只看pytorch实现。。。
本来打算写写胶囊网络的。。。
后来想想，还是transformers比较主流。。。就写这个吧！
纸上得来终觉浅，绝知此事要躬行！
看论文，都是死的，觉得自己看懂了，让自己代码实现，就各种问题。。。。
最后还得看看开源项目和自己的区别是什么，研究，探索，重现论文。。。
毕竟，我是真的有工作，研究的时间比较多；
小孩子，多读书，将来技术移民，不是挺好的么？
天天浪费时间，不学无术。。。
少壮不努力，老大徒伤悲。
一寸光阴一寸金，寸金难买寸光阴。。。
书到用时方恨少
你们看看我，就是读书读少了，现在看点论文，就得网上搜搜这个单词是什么东西。。。
知道中文翻译还没用，得看英语解释。还得会一堆我不知道是什么的什么的什么。。。
只看pytorch实现。。。
本来打算写写胶囊网络的。。。
后来想想，还是transformers比较主流。。。就写这个吧！
纸上得来终觉浅，绝知此事要躬行！
看论文，都是死的，觉得自己看懂了，让自己代码实现，就各种问题。。。。
最后还得看看开源项目和自己的区别是什么，研究，探索，重现论文。。。
毕竟，我是真的有工作，研究的时间比较多；
小孩子，多读书，将来技术移民，不是挺好的么？
天天浪费时间，不学无术。。。
少壮不努力，老大徒伤悲。
一寸光阴一寸金，寸金难买寸光阴。。。
书到用时方恨少
你们看看我，就是读书读少了，现在看点论文，就得网上搜搜这个单词是什么东西。。。
知道中文翻译还没用，得看英语解释。还得会一堆我不知道是什么的什么的什么。。。
18 个评论
霏艺Faye
图书管理员
其他我工作上需要涉及的开源项目
还包括
SIP 协议栈 ，例如Nokia的 Sofia SIP
RTP,SRTP协议栈，例如 libzrtp，libsrtp
然后是MRCP协议， 开源项目 UniMRCP
视频，FFmpeg，libvpx【视频的抠图，融合，加水印，虚化。。。】
音频，opus，neteq【帧预测，丢包，降噪，去除回声，人声检测。。。】
然后就是套用开源的AI库和模型
会个调参，哈哈~
数据清洗。。。
还有ngx的反向代理
A3C的增强学习网络
各种翻墙技术【为了看论文，下代码】
顺带学习了Tor，TLS，Wireguard等库。。。
活着真累啊。。。。。。。。
-----------------------
就像你们看到的，我并不是在互联网公司负责互联网产品【不会数据库，不会SQL，不会NoSQL】
不会CRUD，不懂业务，什么都不会。。。
我们就是偏算法实现，对外提供SDK的小公司。。。
我们提供的SDK，可以实现SIP协议，MRCP协议，来完成OCR，ASR，人脸识别
增加水印
对WebRTC开始二次开发
反正就是每天很忙，什么脏活累活都干
------------------------
现在的年轻人，根本吃不了苦。。。
让他们看论文，他们就哭。。。
看到英语，他们就对我撒娇。。。说看不懂，不想看，太长了。。。【英语论文。。。】
看到数学公式，就头疼，老是说看不懂，不想看，看了犯困。。。【算法论文。。。】
看到开源项目，几千行的文件，一个函数7/8百行而已，就看不下去了【论文的开源实现。。。】
看英语不行，看数学论文不行，看代码不行，招你们进来干嘛的？
写代码不会，连设计模式都不懂。。。
只会刷面试题。。。
---------------------------
现在的年轻人，质量太差了，连勾股定理都不会证明。。。
圆周角处处相等，并且是圆心角的一半，这个都不会证明么？
设计一个loss函数，通过sgd来寻找，平面上3点确定一个圆的圆心，很难么？
什么都不会，就会划水摸鱼。。。
---------------------------
连ROP攻击都不懂，写的代码，bug一堆，我随便都可以攻击。。。。
还不会OD，IDA。。。
现在的年轻人，好高骛远，天天重复造轮子，还想自己实现一个编程语言。。。
总有些人看lua的解释器，希望自己学会写一个脚本语言，然后成名。。。
哎，反正我是不知道lua的作者叫什么名字，也不知道java作者名字怎么拼写
xxx语言之父，就是一个虚名
你现在不需要学习编译原理，这些东西。你需要能干活，能赚钱，能养活自己。。。
文科，理科不重要，谁关心你学历了，看的是你的能力！【我大学就被劝退了。。。】
大部分大陆的年轻人【90%吧】，扔到社会上，连自食其力都不行。生活不能自理！
大陆的文凭就是厕所里的纸，反正我是不信的。。。
也不是说每个人都要会编程。。。我的意思是，闻道有先后，术业有专攻！
你好歹有个一技之长吧。。。就是可以靠这个赚钱的能力。。。
天天宅家里，看看动漫，刷刷ACG，网上找个人聊天，聊一个暑假
虚度人生，各种我看不起你。还天天说女孩子物质势利，是看自己没钱。。。
是没钱么？是没本事好不好。。。
除了给女孩子画大饼，骗女孩子和自己上床，我不觉得现在某些的年轻人会什么额外的本事。
下半身思考的屌丝，好恶心。。。
希望有那么一群人，可以自己对自己负责任，对女孩子负责任。
现在好好读书学习，有本事就出国，没本事，最起码能在国内找到个工作。
不喜欢看到某些人在品葱，老是抱怨自己找不到工作。
找不到工作，你也得先评估下自己的工作能力，去隔壁日本就能找到么？
就算你英语水平有美国本地人水准，就可以在美国找到工作么？
反正你在什么国家都找不到工作，何苦赖共产党。。。【不会游泳的人，换个游泳池也没用~】
那些抱怨中国找工作学历要求太高的。。。麻烦你们思考下，你们的能力
真的能在国外考到学士么？要不是共产党大学扩招。。。。
你们某些人连初中毕业都存在问题啊！！！【参考习近平小学毕业】
14亿中国人，我觉得，只有1000万人有本科以上学历就很了不起了【现在本科水分太大】
1亿人以上有高中以上学历，我觉得就很进步了【现在共产党已经把高中纳入义务教育了？是个人就可以高中毕业？】
10亿人以上初中能不能毕业【对，我说的就是初中，也就是说9年义务教育，不保证你一定能不能毕业！！！】
我觉得每个人都有接受教育的权力，但是每个人的智商的确有差距，不适合人人发个白纸，上面写一句大学毕业
还包括
SIP 协议栈 ，例如Nokia的 Sofia SIP
RTP,SRTP协议栈，例如 libzrtp，libsrtp
然后是MRCP协议， 开源项目 UniMRCP
视频，FFmpeg，libvpx【视频的抠图，融合，加水印，虚化。。。】
音频，opus，neteq【帧预测，丢包，降噪，去除回声，人声检测。。。】
然后就是套用开源的AI库和模型
会个调参，哈哈~
数据清洗。。。
还有ngx的反向代理
A3C的增强学习网络
各种翻墙技术【为了看论文，下代码】
顺带学习了Tor，TLS，Wireguard等库。。。
活着真累啊。。。。。。。。
-----------------------
就像你们看到的，我并不是在互联网公司负责互联网产品【不会数据库，不会SQL，不会NoSQL】
不会CRUD，不懂业务，什么都不会。。。
我们就是偏算法实现，对外提供SDK的小公司。。。
我们提供的SDK，可以实现SIP协议，MRCP协议，来完成OCR，ASR，人脸识别
增加水印
对WebRTC开始二次开发
反正就是每天很忙，什么脏活累活都干
------------------------
现在的年轻人，根本吃不了苦。。。
让他们看论文，他们就哭。。。
看到英语，他们就对我撒娇。。。说看不懂，不想看，太长了。。。【英语论文。。。】
看到数学公式，就头疼，老是说看不懂，不想看，看了犯困。。。【算法论文。。。】
看到开源项目，几千行的文件，一个函数7/8百行而已，就看不下去了【论文的开源实现。。。】
看英语不行，看数学论文不行，看代码不行，招你们进来干嘛的？
写代码不会，连设计模式都不懂。。。
只会刷面试题。。。
---------------------------
现在的年轻人，质量太差了，连勾股定理都不会证明。。。
圆周角处处相等，并且是圆心角的一半，这个都不会证明么？
设计一个loss函数，通过sgd来寻找，平面上3点确定一个圆的圆心，很难么？
什么都不会，就会划水摸鱼。。。
---------------------------
连ROP攻击都不懂，写的代码，bug一堆，我随便都可以攻击。。。。
还不会OD，IDA。。。
现在的年轻人，好高骛远，天天重复造轮子，还想自己实现一个编程语言。。。
总有些人看lua的解释器，希望自己学会写一个脚本语言，然后成名。。。
哎，反正我是不知道lua的作者叫什么名字，也不知道java作者名字怎么拼写
xxx语言之父，就是一个虚名
你现在不需要学习编译原理，这些东西。你需要能干活，能赚钱，能养活自己。。。
文科，理科不重要，谁关心你学历了，看的是你的能力！【我大学就被劝退了。。。】
大部分大陆的年轻人【90%吧】，扔到社会上，连自食其力都不行。生活不能自理！
大陆的文凭就是厕所里的纸，反正我是不信的。。。
也不是说每个人都要会编程。。。我的意思是，闻道有先后，术业有专攻！
你好歹有个一技之长吧。。。就是可以靠这个赚钱的能力。。。
天天宅家里，看看动漫，刷刷ACG，网上找个人聊天，聊一个暑假
虚度人生，各种我看不起你。还天天说女孩子物质势利，是看自己没钱。。。
是没钱么？是没本事好不好。。。
除了给女孩子画大饼，骗女孩子和自己上床，我不觉得现在某些的年轻人会什么额外的本事。
下半身思考的屌丝，好恶心。。。
希望有那么一群人，可以自己对自己负责任，对女孩子负责任。
现在好好读书学习，有本事就出国，没本事，最起码能在国内找到个工作。
不喜欢看到某些人在品葱，老是抱怨自己找不到工作。
找不到工作，你也得先评估下自己的工作能力，去隔壁日本就能找到么？
就算你英语水平有美国本地人水准，就可以在美国找到工作么？
反正你在什么国家都找不到工作，何苦赖共产党。。。【不会游泳的人，换个游泳池也没用~】
那些抱怨中国找工作学历要求太高的。。。麻烦你们思考下，你们的能力
真的能在国外考到学士么？要不是共产党大学扩招。。。。
你们某些人连初中毕业都存在问题啊！！！【参考习近平小学毕业】
14亿中国人，我觉得，只有1000万人有本科以上学历就很了不起了【现在本科水分太大】
1亿人以上有高中以上学历，我觉得就很进步了【现在共产党已经把高中纳入义务教育了？是个人就可以高中毕业？】
10亿人以上初中能不能毕业【对，我说的就是初中，也就是说9年义务教育，不保证你一定能不能毕业！！！】
我觉得每个人都有接受教育的权力，但是每个人的智商的确有差距，不适合人人发个白纸，上面写一句大学毕业
后入习明泽
黑名单
transformer是NLP的东西吗？BERT是不是就是用的transformer？
霏艺Faye
图书管理员
本來打算，講解下量子計算。。。
後來發現，這個要求太高了，我放棄了！
https://github.com/quantumlib/Cirq/
好難啊，要求真高啊
感覺超越了我現在的能力
後來發現，這個要求太高了，我放棄了！
https://github.com/quantumlib/Cirq/
好難啊，要求真高啊
感覺超越了我現在的能力
没想到我居然在反动论坛学习技术?(笑）不过楼主鼓励学习的态度还是值得提倡的，毕竟技术移民是很好的一条逃离中共的路。希望之后，我能脚踏实地地看看楼主列出来的开源项目，学习下其原理，和看看相关的技术书籍。
Kaegei4k
新注册用户
我想我可能可以幫忙寫一下近幾年 deep learning in NLP 的東東.
可能夠科普一下, 讓大家快速了解一下, 不用花太多時間看一大堆文章.
建立一下像openreview but for public science.
Topics could be the follows:
- seq2seq, encoder-decoder
- how attention helps neural machine translation
-- translation alignment and attention
- self-attention, unsupervised pretraining
可能夠科普一下, 讓大家快速了解一下, 不用花太多時間看一大堆文章.
建立一下像openreview but for public science.
Topics could be the follows:
- seq2seq, encoder-decoder
- how attention helps neural machine translation
-- translation alignment and attention
- self-attention, unsupervised pretraining
我想我可能可以幫忙寫一下近幾年 deep learning in NLP 的東東.可能夠科普一下, ...
我覺得什麽都可以寫啊，沒有任何限制
不一定寫AI，可以寫**量子計算**
我本打算寫一下，現在發現世界觀太宏大了，給別人講，簡直。。。
還是講些，大家比較好理解的吧
我想從基本的X，Y，Z，H，CNOT之類講起，但是。。。發現這麽入門的東西，我都講不好
我想過跳過這些，直接講Oracle，發現更難讓人理解。。。
還有共軛，最小二乘，僞逆。。。對大家來説要補的東西太多了。。。
放棄了。。。
AI，領域太大了。。。你注意安全，不要寫的東西讓人猜出你是誰
或者做哪個領域的
没想到我居然在反动论坛学习技术?(笑）不过楼主鼓励学习的态度还是值得提倡的，毕竟技术移民是很好的一条...
沒必要看我列的項目，除非你工作或者生活需要用到。/。。。
大部分情況下，開源項目**會用**就可以了，沒必要看懂原理和代碼
就像我會用pytorch就好，沒必要看裏面的代碼實現
沒必要看我列的項目，除非你工作或者生活需要用到。/。。。大部分情況下，開源項目**會用**就可以了，...
我未来的职业也是软件工程师，具体地说希望能加入pytorch这样的大型团队，所以对自己的要求就稍微高些啦。（我也不是全部开源项目都仔细看啦，肯定是先学习下怎么使用）
胶囊不太好用耶，还得子弹飞会
我未来的职业也是软件工程师，具体地说希望能加入pytorch这样的大型团队，所以对自己的要求就稍微高...
個人信息不要透露
pytorch挺難加入了。。。
既要編程水平好，還要會這個領域的知識
我覺得，自己實現一個conv2d就很難。。。要考慮到很多filter padding等等
還有conv1d conv2d conv3d
還有各種優化器【自己實現一個SGD試試？】
還得會求導【連續，光滑，可導。。。】
這個對數學的要求極高，才能知道自己要編什麽東西
同時對編程的要求更高，還得會GPU編程【CUDA】，SIMD加速【intel的MKL】
還得會c++和python，用到了C++14，而且pybind得很熟
當然，你可以努力試試看。。。。
個人信息不要透露pytorch挺難加入了。。。既要編程水平好，還要會這個領域的知識我覺得，自己實現一...
感谢建议。个人信息确实不能说太多。
我是理科phd，业余时间会学deep learning，但不知道以后就业前景如何
deep learning等相关技术的潮流在学术圈已经过去了，现在许多新申请的科研项目都不会再用这个词。就业方面的话，可能不温不火吧，但最好不要再往里面挤了，竞争太大
不错啊，👍一个。那段吐槽蛮好的。。