vue
导航
考研
拍照
EPICS
xshell
iVX低代码平台
符号表导出
cisp考试难度
技术
汇编求解一元二次方程的解
高等数学
批量制图
DDD
遗传算法
python老错误
车牌识别
1+x web 例题
解析
if语句
自然语言处理
2024/4/11 14:03:16
使机器能够胜任一些通常需要人类智能才能完成的复杂工作
人工智能简称AI，它是计算机科学的一个分支，这项技术的最终目的是为了模拟、延伸和扩展人的智能，使机器能够胜任一些通常需要人类智能才能完成的复杂工作，从而帮助人类更好、更快地发展，让人类过上更加美好幸福的生活。…
正则表达式python实现
目录引言语法代码实例引言
正则表达式，又称规则表达式，英语称为 Regular Expression，通常被用来检索、替换那些符合某个模式(规则)的文本，例如在以上任务中匹配身份证号或者电话号码，是在文本预处理过程中常用的技术。…
似然函数与极大似然估计
似然函数与极大似然估计
标签（空格分隔）： ML
似然函数 随机变量XXX的概率分布已知，但是这个分布的参数是未知的，需要我们去估计，我们把他记作θ\thetaθ，好比在抛硬币的试验中，硬币…
Sigmoid函数求导
Sigmoid函数求导
标签（空格分隔）： ML sigmoid函数是神经网络中常用的激活函数之一，其定义为 σ(x)11e−x\sigma(x) \frac{1}{1 e^{-x}}σ(x)1e−x1 该函数的定义域为(−∞,∞)(-\infty,\infty)(−∞,∞),值域为(0,1)(0,1)(0,…
分布式表示和分布表示
标签（空格分隔）： 《基于深度学习的自然语言处理》阅读笔记 NLP 分布式表示 书上说：在分布式表示中，每个实体被表示为值的向量，并且实体的含义及其与其他实体的关系由向量中的激活以及不同向量之间的相似性来…
自然语言处理-chapter(1)--字符串操作
精通自然语言处理-chapter(1)–字符串操作 首先安装nltk包 sudo pip install nltk 安装完毕后 进入终端 下载nltk 数据源 >>> import nltk>>> nltk.download() 给定文本切分为语句 >>> import nltk
>>> from nltk.tokenize import sent_…
【论文学习】BiLSTM-CRF模型及pytorch代码详解
Bidirectional LSTM-CRF Models for Sequence Tagging
用于序列标注的双向LSTM-CRF模型
序列标注问题输入为特征序列，输出为类别序列。 大部分情况下，标签体系越复杂准确度也越高，但相应的训练时间也会增加。因此需要根据实际情况选择合适的…
2021年9月22号，实战烧写树莓派sd卡的系统
1.下载格式化u盘的软件，软件地址，阿里云盘地址：https://www.aliyundrive.com/s/ux2re9FFxd2 2.将有sd卡的读写盘插入电脑接口
3.打开软件，点击格式化即可格式化sd卡 4.下载ubantu系统镜像，以便等下烧写进入sd卡&…
自然语言处理NLP概论
文章目录1 什么是NLP1.1 NLP的两大任务1 NLU 自然语言理解2 NLG 自然语言生成1.2 NLP的发展和技术路线1 基于传统机器学习的NLP流程2 基于深度学习的NLP流程3 方法路线1.3 目前研究方向2 词法分析（Lexical Analyse）2.1 分词1. 为什么需要分词？…
条件随机场（CRF）——2 CRF、HMM、LR的比较
1 HMM & CRF
1.1 HMM是生成模型，CRF是判别模型。
生成式模型根据大量的标注数据，计算联合分布，在通过联合分布计算条件概率进行分类，这就是生成模型的基本思想，而判别式是直接对条件概率进行建模。
CRF就像一个…
pgm模型_PGM的应用以及贝叶斯和马尔可夫模型的关系和转换
pgm模型PGM的应用：(用例) (Application of PGMs: (Use cases)) Netflix, Amazon, facebook all use PGM recommend what is best for you. Netflix，Amazon，facebook都使用PGM推荐最适合您的。 This algorithm, Use the latent factor model a…
实例分析相应的逻辑斯蒂回归
假设train.csv文件中的内容为1,2,3,4,5,test.csv文件中的内容为2,3,4,5,1,则首先将train数组以及test数组提取出来, trainSet:2,3,4,5 labelList:0(因为trainSet打头的数字为1,所以类别标为第0类) testSet:3,4,5,1 labelList:0(因为testSet打头的数字为1,所以类别标为第0类) 对…
seq2seq bert模型训练以及预测过程讲解
seq2seq bert模型训练seq2seq训练模型的过程seq2seq预测模型的过程unilm代码部分讲解超出长度了是截取原始的部分还是截取摘要的部分？？？beam_search束搜索过程之中的batch问题seq2seq训练模型的过程
最近学习了seq2seq模型的内容，…
人工智能生成舞蹈 | Mixlab交叉学科
NVIDIA最新深度学习模型：根据音乐自动编舞AI DancingFacebook ResearchFacebook AI研究人员开发了一种系统，该系统可使机器为任何输入的音乐生成舞蹈。它不仅仅是模仿人类的舞蹈动作，而是可以创建极富创意的舞蹈。研究人员认为，人…
小布助手对话短文本语义匹配阅读源代码1--build_vocab.py understand
小布助手对话短文本语义匹配 对于大佬这段代码的解读 首先进入build_vocab.py之中，查看形成词表的过程 关键代码
counts [3,5,3,3,5,5]接下来调用词频形成新的vocab.txt的词表过程 (由于数据是脱敏的，这里考虑词语出现的频率，即词频)
for …
如何将情感转化成可处理的数据？| MixLab 闪聊第四期
Mixlab 闪聊 第四期 闪聊嘉宾：Ella 边边闪聊主题：情感计算嘉宾信息：北理工设计学硕士，台湾云科大交换生合作 LAB：台湾云林科技大学 SOFT LABElla 边边：“ 出于认为研究生一定要有自己研究的想法，…
想要什么变一个出来？｜GPT-3的生成能力
想要什么变一个出来？那先变一段 “ 无界社区 ”的介绍？Input “ 无界社区 ”Output:无界社区 ， 也 就 是 这 个 山 头 。这 里 的 生 存 地 理 位 置 和 人 口 不 同 。一 共 有 九 个 部 落 。其 中 大 部 分 是 人 数 超 过 三 十 多 米 的…
从共现矩阵到共现图一步到位——详解版
1.共现矩阵
判断大量不同文本之间，相邻词的联系，两词在所有文本中相邻的次数在矩阵中用数值表示。（参考此） 例子如下：
1.1 文本
• I like deep learning. • I like NLP. • I enjoy flying.
1.2 共现矩阵
2.共…
《推荐系统实践》 第一章 好的推荐系统 读书笔记
推荐系统的方法 按照数据分：协同过滤、内容过滤、社会化过滤 按照算法分: 基于邻域、基于图、基于矩阵分解、概率模型
好的推荐系统
推荐系统的主要任务、推荐系统和分类目录以及搜索引擎的区别等
背景
随着信息过载，有目的的购买东西方式变化过程&a…
百度PaddleHub-ERNIE微调中文情感分析(文本分类)
PaddlePaddle-PaddleHub 飞桨(PaddlePaddle)以百度多年的深度学习技术研究和业务应用为基础，是中国首个自主研发、功能完备、 开源开放的产业级深度学习平台，集深度学习核心训练和推理框架、基础模型库、端到端开发套件和丰富的工具组件于一体。PaddleHu…
【数字设计与计算机体系结构】2021-09-28-数字设计与计算机体系结构课程（五）（第一章补充）
第一章内容补充：
一、其他逻辑运算：
1.1：三态门：（三态缓冲门） 输出状态： 高电平、低电平、高阻态Z； 逻辑符号：（EN为使能端） 逻辑真值表&…
详细讲述，人工智能、机器学习、深度学习、神经网络、自然语言处理、AIGC之间的关系...
人工智能（Artificial Intelligence，AI）是计算机科学中一个庞大的研究领域，旨在为计算机创造类似人类智能的功能，例如学习、推理、解决问题、识别模式、理解自然语言等。AI的核心目标是使计算机能够执行那些通常需要人类…
android 语音唤醒，录音并识别
在百度语音SDKDemo的基础上保存语音并进行识别
项目参考 https://ai.baidu.com/ai-doc/SPEECH/Ek39uxgre 最近在做公司的一个项目，基于百度的语音识别技术，做了一个API开放平台，准备在里面添加一部分自己的功能，对应的，平台做了就需要考虑提供配套的调用功能，在这里分享…
知识图谱的经典知识库总结
文章目录1 早期的知识库项目1、Cyc2、WordNet3、ConceptNet2 互联网时代的知识图谱1 Freebase2 DBpedia3 Schema.org4 Wikidata5 BabeINet6 NELL(Never-Ending Language Lcamer)7 Yago8 Microsoft ConceptGraph9 LOD3 中文开放知识图谱4 垂直领域的知识图谱自人工智能概念提出依…
八、IMU器件温度漂移补偿
感谢大神分享：多传感器融合定位理论基础（九）：凸优化基础 - 知乎 1. 概述
温补的本质是系统辨识。之前我们在介绍标定的时候，也说过一句类似的话“标定的本质是参数辨识”。这两者之间相似又不同。参数辨识是指已知误差…
论文笔记 EMNLP 2021|Crosslingual Transfer Learning for Relation and Event Extraction viaWord Category an
文章目录1 简介1.1 创新2 Baseline2.1 仅使用源数据2.2 使用未标注的目标语言数据3 方法3.1 基于类别的对齐3.2 基于词类别的对齐4 实验1 简介
论文题目：Crosslingual Transfer Learning for Relation and Event Extraction viaWord Category and Class Alignments…
NLP-D40-nlp比赛D9-KGD1-DCNDCN+TextCNN蘑菇汤
—0836今天醒来就5点多了，鉴于前两天的教训，早上先把 论文看了。读的是一篇知识图谱的综述，大致了解了知识图谱构建的研究内容。希望下次阅读的时候更加具有目的性，这样效率会高一点。比如说，这次阅读我的重心在知识图…
NLP-D41-nln比赛D10-论文阅读的雨露均沾与思辨关于sample和保存结果open写入算法刷题
今天一定要读论文刷题看课！！！！！
----0451先读论文为敬！！！ —0627其实大概6点的时候就已经读完了，后面在总结啦！还是要学习一些比较好的方式去总结学到的内容…
NLP-D42-nlp比赛D11-知识图谱与可视化关系读论文D2789差分矩阵人类语言处理7-8训练trick
—0515
知识图谱可视化比正常数据可视化区别
搜索后的个人看法： 1、实体对象 知识图谱更general，倾向于异质网络；传统可视化更倾向于同质化网络的分析。 2、联系 知识图谱的图结构可以支持数据可视化 3、“知识”处理 知识图谱倾向于知识本…
NLP-D43-nlp比赛D12-论文下载-《人类语言处理》09差分矩阵最长不重复子序列
—0741早上下载了大概150篇论文，真的太爽了！！！
《人类语言处理》09
哇真的太精彩了 1、结合LM可以解决domain的问题！！！ 2、我感觉NNbase和RNN-based LM没啥区别呀？？&am…
NLP-D44-nlp比赛D13-zeteromarginnote3读论文【被惊艳到】刷题
—0438今天早上要先花一些时间看zetero怎么使用。 感觉暂时还用不到，先读文叭！！！
文献阅读工具与标记
黄色用来标注想要引用的内容（添加标签文献综述或数据） 蓝色标注作者主要思想与行为逻辑 绿色标注可以…
NLP-D45-nlp比赛D14文献阅读标签mac-bert时间大局观
—0357今天3点半就自然醒了，做梦梦到的都是论文、模型之类的omg 希望今天可以目标导向，提高效率。
文献阅读
1、引用标签 引言背景（直接引用） 句型（值得学习的句型或词汇） 可引用（硬核的知识文…
NLP-D46-nlp比赛D15
—0557昨天2点睡的（弄完12点啦，有点想熬夜hhh）早上5点多醒了，就醒了。
刚刚改了改程序，现在跑着； 自己去看论文啦！！！
2-不重要-已读 0-重要、需精读 1-重要、已读完 3-…
NLP-D47-nlp比赛D16-读论文D8主动学习算法
----0515 效率管理策略逐渐生效，早上起床后的时间还应该缩短，大概20分钟应该完成，减少不必要的信息摄入，日记、todo、总结在前一天写完最好。 ----0654读了2篇论文，目前可以保证20分钟读完，但是整理会比较慢…
NLP-D49-nlp比赛D18-重燃希望
----1250 嗯，早上睡了一会以后，把另一个task也改了一下~~~ 现在基本再测试一下就可以跑了~
感觉又充满了希望！希望自己能在剩下的几天里，把文本分类弄明白！！！
----2009
confusion_matrix返回…
NLP-D50-nlp比赛D19-Deberta深入超级想做题+看论文新比赛++
—0724早上醒来就六点二十啦~~~吃完早饭就现在啦！！希望以后早上刷牙洗脸之类的能快点，尽快进入工作状态。 上午： 跑代码 学习原理 做任务3.1的inference 做任务3.2的inference
感觉最近一切都养成了很好的习惯，已经非…
NLP-D51-nlp比赛D20发现超级inspiring的小哥哥l量化
----0722 周信静小哥哥真的超级棒！我的榜样！
deberta代码原理
—1622诶妈呀，一不小心就现在了鹅鹅鹅~ 趁着等我的神丹的时候，先去看看翻译~~
—1646去跑步
–2311 弄了弄量化，要睡了
NLP-D52-nlp比赛D21刷题D8量化图D1
—0628 先改模型跑起来要尝试bert和roberta作为baseline
Autotokenizer
应该会自动填充完那些需要的字符，比如[CLS]
参考：https://zhuanlan.zhihu.com/p/341994096 https://www.kaggle.com/code/maroberti/fastai-with-transformers-bert-roberta/no…
NLP-D53-nlp比赛D22刷题D9《人类语言处理》p13深入Roberta量化D3
—0554已经读完三篇论文了，还算有收获，发现一篇很novel的，很喜欢。 现在开始刷题！！！
802区间和-离散化
我感觉这题还是很难理解的，而且二分又有点忘了。。 适用范围： “雷声大&…
NLP-D55-nlp比赛D24刷题D11读论文D12
–0701今天5点多才起，但不知道为啥还是有点困，只是一点点身体上的疲惫，感觉大脑运转还ok。刚刚读完论文，关于教育、本体、关系抽取，都是比较老的文章了，2019,2020的。啊啊哈哈哈。 现在开始刷题了ÿ…
NLP-D56-nlp比赛D25刷题D12读论文D13NLTK
—0406读论文读论文！！
–0530开始写代码啦~~~感觉脑力还是比较充沛的！！！
—05558太刺激了，冲了一会浪
开始写代码啦！！！
802区间和
整体思路上没什么问题——区间和解…
NLP-D58-nlp比赛D27刷题D14读论文mathtype
—0612昨天晚上看The PHd. Grind 看到了大概一点，今天醒来就5点多了。要重整旗鼓，要乐观，要做自己喜欢的事情。最后要对这段旅程进行总结反思。 现在要读论文了！ 在读的时候思考以下几个问题： 1、我在做的事情有什么价…
NLP-D60-nlp比赛D29
—0637一觉醒来，仿佛一切都好了，更加坚定了！！！ 刚刚花了88块钱买了marginote更要好好读论文和看书了！！ 读完了我的天，今天心情好好啊
NLP-D62-nlp比赛D31刷题D15
vuneralbility和weakness的区别
好像没有区别，需要去区分的是threat;vulnerability;riskhttps://www.threatanalysis.com/2010/05/03/threat-vulnerability-risk-commonly-mixed-up-terms/ 又好久没刷题了，但是不能停！！ÿ…
NLP-D22-cs224nUNICORN多层感知机房价预测kaggle
–0519今天0430起床的，早上开始看cs224n，感觉老师好可爱！ 现在开始读论文啦！
一、Unicorn
—0558感觉还是有创新的！但是一时间说不上来？可能是时间与关系在溯源图中的综合？？&#…
NLP-D21-UNICORNpytorch实践
–0613看了一会论文，但是还没完成今天读论文的任务。维护了一套模板。先去吃个早饭！
–0632继续看会论文
—0647 开始敲pytorch了！！！ 1\训练流程 初始化 重复： 计算loss 计算梯度，更新 2\训练…
NLP-D18-HOLMESExtractor
四点起床，零零碎碎弄到现在已经0453了，开始看论文。
一、HOLMES
----0709 读完了，顺便看了这个，还需要好好对比和总结这5个工作啊 大佬提出的问题
好困，去收拾宿舍了。 —0800看了一堆杂七杂八的，关注…
NLP-D17-安全论文HOLMES
—1040我真的大无语，想尝试在csdn上做论文分享，结果内容太多，这个网站也没给提示，结果打了很多东西，提交了以后都没有了，我也是服了。 下次直接往word里写了，哎。
–1046诶，顺序好像…
NLP-D18-POIROT很无语很多内容写上了都没被保存上
—0500以后任务都要严防死守啦！！ 开始读论文！！！
一、POIROT：使用内核监听记录对齐攻击行为，实现网络威胁捕捉
（一）摘要： 1、原版 Cyber threat intelligenc…
NLP-D10-os.system()transformers api
—0807早上4点多起来把论文正文翻译了一遍，又找了一个杂志请教了一下老师，老师说可以试试投投看，那一会就把那个杂志的所有相关论文找出来读一下，然后根据格式改一改。 吃早饭的时候看了一会知识蒸馏，讲学logits还可以…
NLP-D38-nlp比赛D7-pytorch踩坑继续刷题
—0440呜呜全新的一天开始啦！！！今天任务更多，也会过得更加充实，成长速度也会更快！ 刚刚在kaggle找了找相关比赛，发现没有，于是只好自己改啦！！！
.…
pack_padded_sequence and pad_packed_sequence
此文章为阐述pytorch中pack_padded_sequence 和pad_packed_sequence的原理
在变长序列文本中，一个batch中的各样本长度可能不一致，在使用RNN模型时，需要填充至统一长度，被填充的位置实际无意义。我们通常取最后一个时刻的输出作为…
NLP-D28-深度Bi循环神经网络| 翻译模型与预测模型之预处理|data.DataLoader(*arrays)|encoder-decoder|*args**kwargs
----0530虽然昨天1点才睡，但是早上5点就行醒了，除了眼睛有点不适之外，没什么别的感觉。今天打算先把毕业设计的视频录一下，然后就可以把沐沐 的课和代码看完了，然后！！！终于ÿ…
NLP-D27-梯度剪裁-LSTM-GRU-毕业答辩ppt
—0436标题为nlp，但是到现在还没看宝可梦！不过感觉越来越近了！今天虽然是周六，不过还是4点就起了，最近这个时间的学习效率越来越高，不是在自我感动，要努力，要出活。
—0507写了近期…
NLP-D37-nlp比赛D6-DMN《人类语言处理》05
—0450哎，早上网页打不开，把浏览器缓存都清了。内心想哭呜呜呜
现在开始看DMN了hhh
讲的好好
哈达玛积可以计算相似度吗
不理解，感觉只是做一下input和q的交互？？然后让参数自己学习到相似性关系？&#…
NLP-D36-nlp比赛D5-深度学习框架Allennlp《人类自然语言处理》05修capturatf相关-if __name__ == “__main__“HANDMN
—0534一觉醒来以为晚了，一看才5点多一点。收到了sx的消息，真的是太细了呜呜呜。写一写总结和计划要开始学习啦~明天就是6月1号啦！上半年最后一个月，要把flag立好！！！【胖胖正在窗户旁边看风景呢…
NLP-D34-nlp比赛D3【run baselines】-《人类语言处理》05二刷batch_norm毕业哭哭
----0444我要跑代码我要跑代码我要跑代码，重要的事情说三遍！
1、batch_norm需要区分训练和测试
今天突然想不起来batch_norm需不需要区分训练和测试了，只记得正则是需要的。经查询，是需要的。我回忆，大概是因为batch…
NLP-D34-上手nlp比赛-《人类语言处理》05-RNA
—0407一早起来就看到师兄消息，这工作流极度舒适hhh，要继续肝了，今天还要把毕业材料写完。
----嗯嗯读论文、找论文、讨论之类的 然后写了好久好久的材料还没写完。
----1400睡醒了又收到师兄到的反馈，这个工作效率真的是太舒服…
NLP-D26--RNN+感到代码能力提高
—0441今天终结掉沐沐的代码，就可以看宝可梦的nlp了！！！加油！
1、reshape(-1)的用法 将数组铺平。 参考：https://blog.51cto.com/u_13977270/3395824 2、这一部分还挺难理解的，k步推理横纵坐标。…
NLP-D23-cs224nkaggle房价预测复习chap5深度学习计算算法R2D7Unicorn
—0525早上4点起，还是看了cs224n作为听力练习。 然后就看论文了。好饿，吃了很多面包片，看沐沐讲课好治愈啊。看完这个QA继续看论文了。
–0544大概看了overview，不想看了。继续看pytorch实践叭！
—0801
—0815说去看…
NLP-D33-毕设答辩-《人类语言处理》04-05-Location-aware-attentionCTC大数据比赛报名答辩被从源头上暴
—0452虽然今天答辩，还是很早就起了，ppt还想改一遍，论文还想读一下。早上听了会《人类语言处理》04，就是补昨天的坑啦。讲到的是Location-aware attention，主要是说我们直接用attention做语音辨识的话，弹性…
NLP-D29-注意力机制在seq2seq中使用注意力
—0433 又是四点起床的一天。越来越清醒了。刚好也快放假了，完美过渡到居家状态，舒适。 今天的主要任务还是沐沐的课啦！还有多毕设答辩的精简，昨天讲了17分钟，太长了！！！先去写个日记…
NLP-D39-nlp比赛D8自己绘制曲线不放弃就是对bug最好的态度迁移CNN收尾毕设
--------------0440开干开干！！！
-----0519呜呜，昨天晚上gan到7点多直接去跑步了，没吃饭。现在饿了呜呜呜，先吃饭叭~刚刚忘开GPU了，报了一些奇怪的错误，现在开开看看能不能解决。 CN…
基于问答对的问答系统方案设计
基于问答对的问答系统方案设计1. 前言2. 方案V1.02.1 召回2.1.1 关键词匹配2.1.2 问题分类2.1.3 相似度计算2.2 粗排2.3 细排3. 方案V2.01. 前言 基于问答对的问答系统的核心是当用户输入一个问题的时候，首先要找到跟这个问题最相近的已经存储在库里的问题ÿ…
【消息】GPT4有多强？
GPT4有多强？问题一、GPT4是什么？问题二、GPT-4与之前版本的区别？问题三、GPT-4在自然语言生成方面的应用？问题四、GPT-4对于程序员的帮助有哪些？问题五、程序员与chatgpt的关系？问题六、使用chatgpt的简单例…
nlp大模型课程笔记
自然语言处理基础和应用 👆说明之前的大模型其实有很多都是基于迁移学习的方法。
attention机制的总结，解决了信息瓶颈的问题。 处理词组时BPE的过程 👆pos表示的是token所在的位置 👆技巧是layer normalization。
Python程序设计第八章测验总结
第八章 拓展与应用
8.1 Python与KNN分类
1.无监督学习需要标注大量的数据才能用以训练得到模型。
解：错误
2.欠拟合通常是因为模型太复杂，参数过多导致。
解：错误
3.KNN方法只支持二分类问题，不能解决多分类问题。
解&…
在 Google Colab 中微调用于命名实体识别的 BERT 模型
介绍 命名实体识别是自然语言处理（NLP）领域的一项主要任务。它用于检测文本中的实体，以便在下游任务中进一步使用，因为某些文本/单词对于给定上下文比其他文本/单词更具信息性和重要性。这就是 NER 有时被称为信息检索的原因，即从文本中提取相关关键词并将其分类为所需的类…
OpenAI GPT-4发布总结
OpenAI官方发布了GPT-4模型，GPT-4是一个大型多模态模型，支持输入文本图片，输出还是文字形式，GPT-4比任何 GPT-3.5 模型都更强大，能够执行更复杂的任务，并针对聊天进行了优化。
GPT-4目前处于测试阶段&…
PaddleNLP使用Vicuna
LLaMA 模型
LLaMa 是一个大型语言模型，由 Meta 开源。它的全称是 Large Language Model Meta AI，参数量从 70 亿到 650 亿不等。例如，130 亿参数的 LLaMA 模型在大多数基准上可以胜过参数量达 1750 亿的 GPT-3，而且可以在单块 V1…
当人工智能无法确定‘它‘在句子中指的是什么时，很难相信它将接管世界
在2012年的一篇论文中，计算机科学家Hector Levesque、Ernest Davis和Leora Morgenstern提出了一个更客观的测试，他们称之为Winograd模式挑战。此后，这一测试被人工智能语言社区采用，作为评估机器理解的一种方式，也许是…
通俗讲：自然语言处理（NLP）入门之信息抽取（Information Extraction）
喜欢的话请关注我们的微信公众号~《你好世界炼丹师》。
公众号主要讲统计学，数据科学，机器学习，深度学习，以及一些参加Kaggle竞赛的经验。公众号内容建议作为课后的一些相关知识的补充，饭后甜点。此外，为了…
(3)形态学：语言的词汇----NLP的语言学基础
术语： 词库：心理词典正字法： 心理词库中为每个词独特的语音表征、发音、语义的方法语法范畴/语法类：词的性质1 词典 2 实义词和功能词 实义词/开放类：名词、动词、形容词、副词功能词/功能词/封闭类：连词、…
(2) 脑与语言——NLP中的语言基础
第二章 脑与语言
1 人脑
1.1 人脑中的语言功能定位
19世纪早期，弗朗兹⋅约瑟夫⋅加尔的定位理论、颅相学 已被抛弃对失语症和其他语言障碍的科学已得到证实
1.1.1 失语症
分类 布洛卡区受损：语法缺失韦尼克区受损：杂乱语和无意义词一些结…
（1）语言是什么——NLP的语言基础
本系列是《语言引论》的阅读笔记，旨在学习NLP中常见的语言学相关的知识，对其有一个最基本的，整体的，感性的了解。一下是OneNote笔记的复制粘贴： 第一章 语言是什么 1 语言知识 1.1 语音系统的知识 1.2 词的知识 掌握一…
为什么BERT有效【综述】
论文标题：A Primer in BERTology: What We Know About How BERT Works 论文地址：https://arxiv.org/pdf/2002.12327.pdf 摘要 BERT学习了什么类型的信息是如何表示的对其训练目标和体系结构的常见修改过度参数化问题和压缩方法未来研究的方向1 导言 Tran…
transformer通俗理解
Transformer是一个利用注意力机制来提高模型训练速度的模型。trasnformer可以说是完全基于自注意力机制的一个深度学习模型，因为它适用于并行化计算，和它本身模型的复杂程度导致它在精度和性能上都要高于之前流行的RNN循环神经网络。
那什么是transform…
NLP中的XLNET
XLNET里面的细节点有很多，重点掌握以下两点：
AR和AE两种无监督预训练的优化目标双流自注意力机制：为什么需要把位置信息和内容信息拆分
1. 无监督目标函数
在NLP中，无监督表示学习已经获得长足发展。一般的流程是先将模型在大量…
【小沐学NLP】Python进行统计假设检验
文章目录 1、简介1.1 假设检验的定义1.2 假设检验的类型1.3 假设检验的基本步骤 2、测试数据2.1 sklearn2.2 seaborn 3、正态分布检验3.1 直方图判断3.2 KS检验（scipy.stats.kstest）3.3 Shapiro-Wilk test（scipy.stats.shapiro）3.…
针对结构映射的SVM算法：核心思路解读
最近准备做一个NER和指代消解相关的课题，在和同学们读相关文章。今天有个同学找到了个挺有意思的文章，用SVM做NER的。我感觉这想法挺奇特的，SVM怎么处理文本和序列？于是我去看了一下，他找的那篇文章是个套壳文章&#…
Attention Model for Massive MIMO CSI Compression Feedback and Recovery阅读笔记
Abstract
本文旨在提高恢复性能，降低时间复杂度。首先在编码器网络中，引入LSTM网络；解码器中增加了注意力机制；第三，在训练过程中使用了early stopping。
1 Introduction
在CsiNet的基础上，做了以下几点…
电梯运行控制模式：如何做到人脸识别、刷卡、二维码？
深圳市巨风科技有限公司专注人脸识别与人证核验研发生产，提供人脸识别场景应用解决方案，致力智慧城市建设智能化管理。公司围绕全场景智慧生活战略，打造精品和提升用户体验。公司完全自主研发的小门卫系列产品：人脸识别门禁机&…
国企上云新动向，百数可实现“国资云”无缝对接
近期天津市国资委发布《关于加快推进国企上云工作完善国资云体系建设的实施方案》，要求国资企业逐步向国资云平台迁移，受到市场的广泛关注。 国企数据资源属于国有资产，应纳入国资监管和统一管理，保护国有数据资产安全是建设国资云…
AI制作视频——mov2mov以及inpaint
背景
AI制作视频的几种思路
1.从零开始生成：清华的cogview，runway gen-1、gen-2，微软的女娲
这个思路，就是认为可以通过文字描述的方式把视频画面描述出来，通过对文本-视频帧内容-视频内容的数据对的平行语料的学习…
人工智能并行计算，很大程度提升了语言模型的训练速度
循环智能最早的三位创始人陈麒聪、杨植麟与张宇韬相识于清华大学的知识工程实验室，都有一股「用AI创造社会价值」的热血。三人都是技术出身，后来因为业务发展，循环智能在2018年又引入了另一位擅长技术产品运营的「第四把手」揭发。 自成立…
负采样：如何高效训练词向量
Negative Sampling
1.何为负采样
负采样是一种用于训练词嵌入模型的采样方法，特别适用于处理大规模词汇表的情况。负采样的目标是降低计算成本并改善模型的性能，同时有效地训练词向量。
2.为什么需要负采样
在传统的词嵌入模型中，如Word…
搜索引擎的查询意图识别（query理解）
by 张帆（自然语言处理组搜狗） 通用搜索VS垂直搜索 通用搜索特点： 抓取互联网上一切有价值的页面，同意建立索引，以关键字匹配为基本检索方式，以网页title和summary为展现方式 …
【UCAS自然语言处理作业一】利用BeautifulSoup爬取中英文数据，计算熵，验证齐夫定律
文章目录 前言中文数据爬取爬取界面爬取代码 数据清洗数据分析实验结果 英文数据爬取爬取界面动态爬取 数据清洗数据分析实验结果 结论 前言
本文分别针对中文，英文语料进行爬虫，并在两种语言上计算其对应的熵，验证齐夫定律github: ShiyuNee…
NLP（六十八）使用Optimum进行模型量化
本文将会介绍如何使用HuggingFace的Optimum，来对微调后的BERT模型进行量化（Quantization）。 在文章NLP（六十七）BERT模型训练后动态量化（PTDQ）中，我们使用PyTorch自带的PTDQ&…
Can Language Models Make Fun? A Case Study in Chinese Comical Crosstalk
本文是LLM系列文章，针对《Can Language Models Make Fun? A Case Study in Chinese Comical Crosstalk》的翻译。 语言模型能制造乐趣吗?中国滑稽相声个案研究 摘要1 引言2 问题定义3 数据集4 使用自动评估生成基准5 人工评估6 讨论7 结论与未来工作 摘要
语言是…
23- 条件随机场CRF (NLP算法) (算法)
CRF模型构建 :
crf sklearn_crfsuite.CRF(c1 0.1,c2 0.1,max_iterations100,all_possible_transitionsTrue)
crf.fit(X_train,y_train) 1、条件随机场CRF概述
将之前所有的观测作为未来预测的依据是不现实的，因为其复杂度会随着观测数量的增加而无限制地增长。因…
【1】Ubuntu18.04 下的安装，运行 ublox f9p， 并进行数据的采集和 RKT轨迹的生成
一、预备库
1.1 C++11 Compiler
This package requires some features of C++11.
1.2 ROS
This package is developed under ROS Kinetic environment.
1.3 Eigen
We use Eigen 3.3.3 for matrix manipulation.
1.4 Boost
Our software utilizes Boost library for ser…
对话系统学习概述（仅够参考）
对话系统（仅够参考） 目录对话系统（仅够参考）背景类人对话系统的关键特征1、知识运用2、个性体现3、情感识别与表达数据集评价方式评价的一些指标训练模型需要的资源任务型对话系统预训练最新研究进展参考文献背景 对话系统一般包括…
【NLP入门教程】十二、词向量简介
词向量简介
词向量（Word Embedding）是自然语言处理中常用的一种表示文本的方法，它将单词映射到一个低维实数向量空间中的向量表示。词向量的出现很大程度上解决了传统文本处理方法中的维度灾难问题，并且能够捕捉到单词之间的语义和语法关系。
1. One-Hot Encoding的问题 …
文本匹配模型实验报告-text2vec
文本匹配模型实验报告-text2vec
尽管基于BERT的模型在NLP诸多下游任务中取得了成功，直接从BERT导出的句向量表示往往被约束在一个很小的区域内，表现出很高的相似度，因而难以直接用于文本语义匹配。为解决BERT原生句子表示这种“坍缩”现象&a…
《西瓜书读书笔记》-第1章 概述
目录
1.机器学习概述
1.1.人工智能与机器学习
1.2.机器学习分类
1.按照算法分类
2.按照学习任务分类
1.3.机器学习应用
1.4.机器学习常用术语解释 1.机器学习概述
1.1.人工智能与机器学习
人工智能（Artificial Intelligence，Al）是一…
未经解码的语音数据犹如黑盒，同时是非结构化的
这时，他们需要通过分析手中已有的数据，来找到拯救萎靡业绩的方案。而回顾已有数据，企业的唯一法宝，是保存了大量的沟通语音或文本数据。 对于计算机来说，未经解码的语音数据犹如黑盒，同时是非结构化的。…
【nlp】3.1 Transformer背景介绍及架构
Transformer背景介绍 1 Transformer的诞生2 Transformer的优势3 Transformer的市场4 Transformer架构4.1 Transformer模型的作用4.2 Transformer总体架构图4.2.1 输入部分4.2.2 输出部分包含4.2.3 编码器部分4.2.4 解码器部分1 Transformer的诞生
2018年10月，Google发出一篇论…
大语言模型研究进展综述
1、历史 自20世纪50年代图灵测试被提出以来，研究人员一直在探索和开发能够理解并掌握语言的人工智能技术。作为重要的研究方向之一，语言模型得到了学术界的广泛研究，从早期的统计语言模型和神经语言模型开始，发展到基于Transforme…
java实现NER模型识别问题中的实体
代码如下：
String question "飞毛腿hw4x精品电池适用于哪些机型？";//1、NER模型识别问题中的实体List<String> list1 com.colorbin.rpa.c_magic_ai.c02_nlp.nlpUtil.getPerson(new String[]{question});List<String> list2 co…
NLP 中的 prompt 笔记
什么是 prompt
NLP 中, 一种用于 Language Model 的 Pretrained Task 范式. 前辈的特点是让模型通过各种预训练任务的辅助 loss 去适配这些任务. 流程是 “pre-train, fine-tune, and predict”. 而 prompt 的思路则与此相反, 调整预训练任务的形式(Reformulate), 使其更接近于…
Auto-encoder 系列
Auto-Encoder (AE)Auto-encoder概念自编码器要做的事：将高维的信息通过encoder压缩到一个低维的code内，然后再使用decoder对其进行重建。“自”不是自动，而是自己训练[1]。PCA要做的事其实与AE一样，只是没有神经网络。对于一个输入…
DeepSpeed Chat: 一键式RLHF训练，让你的类ChatGPT千亿大模型提速省钱15倍
DeepSpeed Chat: 一键式RLHF训练，让你的类ChatGPT千亿大模型提速省钱15倍 1. 概述
近日来，ChatGPT及类似模型引发了人工智能（AI）领域的一场风潮。 这场风潮对数字世界产生了革命性影响。ChatGPT类模型具有惊人的泛用性࿰…
解码知识图谱：从核心概念到技术实战
目录 1. 概述什么是知识图谱知识图谱与自然语言处理的关系 2. 发展历程语义网络本体论大数据时代的知识图谱知识图谱与深度学习的融合 3. 研究内容知识图谱的建模与表示知识抽取知识图谱的融合与对齐知识图谱的推理知识图谱的评估与验证 4. 知识图谱表示与存储RDF：一…
Stable Diffusion公司发布首个大语言模型StableLM，已开源公测！
文 | 智商掉了一地 20号凌晨，Stability AI 发布了一个新的开源语言模型—— StableLM，该公司曾开发了 Stable Diffusion 图像生成工具。这则新闻意味着它不再局限于图像与视频生成领域，将正式加入文本生成 AI 赛道。 StableLM 模型可以生成文…
推荐系统中的AutoRec
一：前言
笔者最近在总结推荐系统主流模型，从十多年前的经典的协同过滤算法开始，一直到现有的各大企业所用的推荐模型，笔者一直在思考一个问题，那就是神经网络在计算机领域内的大热，是如何承上启下…
如何构建线性回归模型 - 机器学习示例
在本教程中，您将学习如何构建线性回归模型。这是您在学习机器学习时首先要做的事情之一，因此它将帮助您迈出进入这个竞争激烈的市场的第一步。 目录 目录 先决条件 什么是线性回归？ 评估指标 R 平方 均方根误差
卷积神经网络链接汇总
GitHub - chenlinzhong/face-login: 基于mtcnn/facenet/tensorflow 实现人脸识别登录系统 深度学习（四）卷积神经网络入门学习(1)_hjimce的专栏-CSDN博客_卷积神经网络原文
对话式人工智能的数据采集方案
基于噪声数据训练对话式人工智能
聊天机器人、虚拟助手、机器人等对话式人工智能 (Conversational AI Agents ) 在我们的日常生活中已随处可见。许多企业希望以更低的成本增强与客户之间的互动，并为此在该领域进行大量投资。大量数据表明，对话式人工智能…
自然语言处理（NLP）技术的例子
以下是几个自然语言处理（NLP）技术的例子： 机器翻译：机器翻译是将一种自然语言的文本转换成另一种语言的文本的过程。这种技术应用于在线翻译器、多语言聊天机器人、多语言搜索引擎等地方。 文本分类：文本分类将文本分…
Nutch距离一个商业应用的搜索引擎还有多远
了解nutch的人基本上对这个开源的系统都是比较欣赏的，起码在国内是这样的，也很有多搜索网站是基于这个系统修改过来的，不过要做得好，做得真正是一个商业化的搜索，这个修改就不是一朝一夕的事情，也不是修修剪…
为什么对ChatGPT、ChatGLM这样的大语言模型说“你是某某领域专家”，它的回答会有效得多？（二）...
“ 介绍神经网络的基本概念和结构，讨论训练实践、技巧以及网络规模的大小对模型能力的影响。同时介绍嵌入（Embeddings）概念，将高维数据映射到低维空间。通过本文，您将对神经网络有更深入的理解，有助于后面理…
自然语言处理入门指南：了解基础知识，掌握常用技术
自然语言处理（NLP）是人工智能（AI）领域的一个重要分支，其主要目的是让计算机能够理解人类语言，并能够从中获取有用的信息。NLP已经广泛应用于文本分析、机器翻译、问答系统、自然语言生成等领域，…
BERT模型蒸馏完全指南（原理技巧代码）
BERT模型蒸馏完全指南（原理/技巧/代码）
小朋友，关于模型蒸馏，你是否有很多问号： 蒸馏是什么？怎么蒸BERT？BERT蒸馏有什么技巧？如何调参？蒸馏代码怎么写？有现成的吗？今天rumor就结合Distilled BiLSTM/BERT-PKD/DistillBERT/TinyBERT/MobileBERT/MiniLM六大经典模型，…
租用便宜的个人GPU服务器进行深度学习
真心推荐featurize，非工作人员，要是你问为什么推荐，因为确实好用，当然最主要的驱动力的是邀请有奖。。。（只是官方鼓励邀请，注册免费，后续使用充值也跟我没关系，也不会有客服骚扰你推…
自然语言处理相关词条
NLP领域 自然语言处理 计算语言学 自然语言理解 自然语言生成 机器翻译 文本分类 语音识别 语音合成 中文分词 信息检索 信息抽取 句法分析 问答系统 自动摘要 拼写检查 统计机器翻译 [编辑] NLP专题 隐马尔科夫模型 最大…
Attention——Transformer——Bert——FineTuning——Prompt
目录 一、Attention机制
二、Transformer模型
三、Bert模型
四、Fine-Tuning微调
五、Prompt 一、Attention机制
1、核心逻辑：从关注全部到关注重点；
2.计算attention公式： 3.优点：
（1）参数少&#…
理解Word2Vec模型
Word2Vec的理解首言一、SG模型中的名词解释1.1. 独热码1.2 建模过程二、SG模型的损失函数2.1表达形式12.2 表达形式22.3 softmax函数三、模型的计算过程3.1 数据的表示3.2 隐层3.3 输出层3.4 SG模型的计算过程3.5 SG模型参数θ\thetaθ确定的数学证明四、高级词向量表示4.1常规…
【自然语言处理】关系抽取 —— SimpleRE 讲解
SimpleRE 论文信息 标题：An Embarrassingly Simple Model for Dialogue Relation Extraction 作者：Fuzhao Xue 期刊：ICASSP 2022 发布时间与更新时间：2020.12.27 2022.01.25 主题：自然语言处理、关系抽取、对话场景、BERT arXiv：[2012.13873] An Embarrassingly Simple M…
多模态数据、多源数据
多来源数据（multi-source data）
数据并非来自同一信息源，而是来自不同的来源，并被收集在一个数据集中，这种类型的数据称为多源数据。总体来说多来源数据就是取自多个端口的数据集合。（包括但不限于传感器、…
基于马尔可夫模型的文本生成器
马尔可夫过程
只需要知道： 马尔可夫过程就是未来只与现在有关，与过去无关。 马尔科夫链（Markov）是最简单的马氏过程，即时间和状态过程的取值参数都是离散的马氏过程。 例如： 我知道一个事件第一天的概率分…
论文阅读《Generating Natural Language Adversarial Examples Moustafa》
摘要
利用遗传算法实现基于种群的无梯度优化，只修改几个单词，保持与原文语义相似和句法连贯 算法
一、Perturb （单词替换规则）
在列表中选择输入句子中要替换的单词是通过随机抽样来完成的，抽样概率与每个单词在反拟…
全套解决方案：基于pytorch、transformers的中文NLP训练框架，支持大模型训练和文本生成，快速上手，海量训练数据！
全套解决方案：基于pytorch、transformers的中文NLP训练框架，支持大模型训练和文本生成，快速上手，海量训练数据！
1.简介
目标：基于pytorch、transformers做中文领域的nlp开箱即用的训练框架，提…
N-gram模型详解
语言模型(Language Model)
基本概念
什么是语言模型？简言之，语言模型可以理解为是一种用于判度一个句子是否通顺的模型。举例来说，假设我们有一个训练好的语言模型modelmodelmodel，给定两个句子：我喜欢AI、喜欢我AI。…
预训练模型（持续更新）
GPT
GPT模型也是当下非常火的一个预训练模型，GPT和BERT刚好相反，它采用的是Auto-Regressive，使用的是Transofrmer的Decoder部分，是一个单向的语言模型，Auto-Reressive模型的目标函数是maximizeL(θ)∑logp(xt∣x<t…
成分句法分析依存文法分析
Syntactic Structure
句法结构其实是语言学中非常重要的一个分支。同样，在NLP领域，句法结构也是很重要的。如果能在模型中考虑到句法特征，那么对于例如说文本生成任务，模型的效果肯定会有所提升。现在，主流的句法结构…
Word2Vec模型详解
文本向量化表示
对文本进行完预处理后，接下来的重要任务就是将文本用向量化的形式进行表达。在本章节中，我们将尽量全面地覆盖文本向量化表示方法，重点关注Word2Vec以及目前各种常用的词向量。
基于统计方法
首先，我们来看基于…
《Question Answering over Freebase with Multi-Column Convolutional Neural Networks》论文笔记
《Question Answering over Freebase with Multi-Column Convolutional Neural Networks》论文笔记
这篇文章于2015年发表在ACL，根据KBQA任务做法的宏观分类，这篇文章被《A Survey on Complex Question Answering over Knowledge Base: Recent Advances…
PullNet: Open Domain Question Answering with Iterative Retrieval on Knowledge Bases and Text 论文笔记
PullNet: Open Domain Question Answering with Iterative Retrieval on Knowledge Bases and Text
2019年，EMNLP，Google， 本文是IR-based的方法来解决KBQA任务，属于是GRAFT-Net工作的延续和改进。
Overview
本文作者将open-do…
HotpotQA数据集
HOTPOTQA: A Dataset for Diverse, Explainable Multi-hop Question Answering
Dataset
HotpotQA是2018年新提出的一个多跳推理问答数据集，本文主要来看数据集的格式。 从图上可以看出数据集还是比较大的，训练集分为了三个难度：easy、mediu…
Gradio库的Gallery模块介绍与select方法详解
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
chatGPT模型原理
文章目录简介BertGPT 初代GPT-2GPT-3chatGPT开源ChatGPT简介
openai 的 GPT 大模型的发展历程。
Bert
2018年，自然语言处理 NLP 领域也步入了 LLM 时代，谷歌出品的 Bert 模型横空出世，碾压了以往的所有模型，直接在各种NLP的建模…
LangChain之关于RetrievalQA input_variables 的定义与使用
最近在使用LangChain来做一个LLMs和KBs结合的小Demo玩玩，也就是RAG（Retrieval Augmented Generation）。 这部分的内容其实在LangChain的官网已经给出了流程图。 我这里就直接偷懒了，准备对Webui的项目进行复刻练习，那么…
训练日志刷屏使我痛苦，我开发了VLog
训练日志刷屏使我痛苦，我开发了VLog，可以在任意训练代码中轻松使用~ 例如，通过callback嵌入到lightgbm/catboost/transformers/ultralytics，乃至keras库的训练代码流程中~ before: after： 为什么不用tensorboard或者wa…
大模型基础之词表示和语言模型
【为什么要进行词表示】
为了让计算机看懂
为了计算近义词：酒店 ≈ 旅馆
为了表示词之间的关系：中国-北京≈美国-华盛顿；king-man≈queen-woman
【用同义词、上位词表示】
用“美丽”的同义词表示“美丽”：漂亮、大方、靓丽等…
数学之美：数学究竟是如何深入我们的生活
文末有这本书的知识思维导图 不鸽大家，终于把这本书读完，来分享一下读后感。《数学之美》这本书是2012年出版，作者吴军，他的书籍还有《浪潮之巅》、《格局》等也非常有名，吴军博士在语音识别、自然语言处理，…
如何用实在RPA快速调用AI能力？
前文:黛玉只就宝玉手中看了一看，便问道：“还是单送我一人的，还是别的姑娘们都有呢?”周瑞家的道：“各位都有了，这两支是姑娘的了。”
Al续写：黛玉却想道：“我如今是个孤女，他们送的…
【nlp】2.5(gpu version)人名分类器实战项目（对比RNN、LSTM、GRU模型）工程管理方式
人名分类器实战项目 0 说明1 工程项目设计2 数据预处理data_processing3 创建模型model4 模型测试test5 训练配置config6 模型训练train7 模型对比绘图plotfigure8 模型预测predict9 代码测试demo0 说明
本项目对前一个博客内容2.5(cpu version) 人名分类器实战项目（对比RNN、…
![[nlp] 损失缩放（Loss Scaling）loss sacle](https://img-blog.csdnimg.cn/7a1a6f1924374a3eb4c0b1ce649bab0b.png)
[nlp] 损失缩放（Loss Scaling）loss sacle
在深度学习中，由于浮点数的精度限制，当模型参数非常大时，会出现数值溢出的问题，这可能会导致模型训练不稳定。为了解决这个问题，损失缩放（Loss Scaling）技术被引入，它通过缩放损失值来解决这个问题。
在深度学习中，损失缩放技术通常是通过将梯度进行缩放来实现的。具…
论文笔记 ACL 2019|Matching the Blanks: Distributional Similarity for Relation Learning
文章目录1 简介1.1 创新2 方法3 学习方法4 实验1 简介
论文题目：Matching the Blanks: Distributional Similarity for Relation Learning 论文来源：ACL 2019 论文链接：https://arxiv.org/pdf/1906.03158.pdf 代码链接：https://g…
移动云排名第二，2019年云综合收入474亿元
云排名分析：移动云排名第二，2019年云综合收入474亿元。
运营商从事公有云及相关业务，有着天然的网络资源与数据中心资源，只是在公有云战略启动上，相对于AWS、阿里云等这样的公有云头牌来说，比较晚了一些。…
论文笔记 AAAI 2020|DCMN+: Dual Co-Matching Network for Multi-choice Reading Comprehension
文章目录1 简介1.1 动机1.2 创新2 方法3 实验1 简介
论文题目：DCMN: Dual Co-Matching Network for Multi-choice Reading Comprehension 论文来源：AAAI 2020 论文链接：https://arxiv.org/pdf/1908.11511.pdf 代码链接：https://g…
人工智能不仅应当提高物质福利，而且应当满足人类的精神需求
然而，遵循阿西莫夫三定律而建造的人工智能或者机器人是奴隶般的，它们在社会上运行可以帮助人类整体，但它们奴隶般的地位是我们人类希望的吗？这是技术社会的理想形态吗？弗洛里迪说：“允许人类和智能陪伴做朋…
美团·阿里关于多模态召回的应用实践
1. 美团多模态召回-搜索业务应用
多模态的召回任务，主要在召回和排序列表中存在POI、图片、文本、视频等多种模态结果，如何保证Query和多模态搜索结果的相关性面临着很大的挑战，目前更多的多模态召回主要应用于电商，短视频推荐搜…
Multi-modal Knowledge Graphs for Recommender Systems论文解读
美团2020年发表的《Multi-modal Knowledge Graphs for Recommender Systems》
https://zheng-kai.com/paper/cikm_2020_sun.pdf
1 背景
知识图通过引用各种有效的辅助数据用于推荐系统，有效的解决了推荐系统的冷启动和数据稀疏性问题。
但是一般的知识图没有考虑…
onehot-词嵌入-图嵌入
目录
一、为什么要有词嵌入？
二、one-hot编码：
三、什么是词嵌入（word embedding）
1、什么是嵌入矩阵？
2、为什么要设置维数？
3、相比one-hot编码的优点
4、什么是word2vec和GLove？
四、…
LangChain的函数，工具和代理(三)：LangChain中轻松实现OpenAI函数调用
在我之前写的两篇博客中:OpenAI的函数调用,LangChain的表达式语言(LCEL)中介绍了如何利用openai的api来实现函数调用功能，以及在langchain中如何实现openai的函数调用功能，在这两篇博客中，我们都需要手动去创建一个结构比较复杂的函数描述变量…
中文短文本关键词抽取方案
目录1. 前言2. 数据3. 方案3.1 SIFRank3.2 NegSamplingNER4. 代码1. 前言 本文提出一种中文短文本关键词抽取方案，适用于无监督语料场景。 无监督关键词抽取算法虽然无需标注语料，但是效果一般。有监督学习方法效果好但是需要标注数据，很…
A Survey of Knowledge-Enhanced Pre-trained Language Models
本文是LLM系列的文章，针对《A Survey of Knowledge-Enhanced Pre-trained Language Models》的翻译。 知识增强的预训练语言模型综述 摘要1 引言2 背景3 KE-PLMs用于NLU4 KE-PLMs用于NLG5 未来的方向5.1 整合来自同质和异质来源的知识5.2 探索多模态知识5.3 提供可…
举例说明自然语言处理（NLP）技术。
本文章由AI生成！
以下是自然语言处理（NLP）技术的一些例子： 机器翻译：将一种语言翻译成另一种语言的自动化过程。常见的机器翻译系统包括谷歌翻译，百度翻译等。 语音识别：将口头语言转换成文本…
英语作文常用的 28 个实用句型, 干货收藏
这里写目录标题1. 英语作文常用的 28 个实用句型, 干货收藏1.1. the most 形容词 名词 (that) 主词 have everseen(known/heard/had/read, etc.)1.2. Nothing iser than toV Nothing ismore 形容词 than toV1.3. cannot emphasize the importance of~~~too much1.4. There…
TigerBot大语言模型
虎博科技”发布自研多模态大模型TigerBot，开源模型、代码及数据，今天先搭建环境体验一下他的大模型，在github上找到：GitHub - TigerResearch/TigerBot: TigerBot: A multi-language multi-task LLM 1 环境安装
conda create --na…
论文笔记 ACL 2021|Capturing Event Argument Interaction via A Bi-Directional Entity-Level Recurrent Decod
文章目录1 简介1.1 动机1.2 创新2 方法3 实验1 简介
论文题目：Capturing Event Argument Interaction via A Bi-Directional Entity-Level Recurrent Decoder 论文来源：ACL 2021 论文链接：https://aclanthology.org/2021.acl-long.18.pdf
1…
论文笔记 NAACL 2021|Document-Level Event Argument Extraction by Conditional Generation
文章目录1 简介1.1 动机1.2 创新2 方法2.1 论元抽取模型2.2 基于关键词的触发词抽取模型3 实验1 简介
论文题目：Document-Level Event Argument Extraction by Conditional Generation 论文来源：NAACL 2021 论文链接：https://arxiv.org/pdf/…
深入探讨机器学习中的过拟合现象及其解决方法
1. What❓
过拟合（Overfitting）是指在机器学习中，模型在训练集上表现较好，但在测试集或实际应用中表现较差的现象。过拟合发生时，模型过于复杂地学习了训练集中的噪声、异常值或特定模式，从而导致对新样本…
吃完烧烤拉肚子，如何才能通过 AI 让自己在夏天远离「食物中毒」？
原创：HyperAI超神经 关键词：食源性疾病 自然语言处理 计算机视觉 食品安全 夏天到了，晚上下班路上总会路过各种小吃摊，烤面筋、炸串、烧烤、海鲜、关东煮……地铁到家的距离简直可以称得上是「走过诱惑的街」。 饶了孩子吧&#x…
Self-attention自注意力机制——李宏毅机器学习笔记
self-attention想要解决的问题
复杂的输入 每次输入的length不同时，即Vector Set大小不同，该如何处理？ one-hot encoding，缺点：所有的词汇之间没有语义资讯。 word embedding，会给每一个词汇一个向量&…
Mgeo：multi-modalgeographic language model pre-training
文章目录 question5.1 Geographic Encoder5.1.1 Encoding5.1.2 5.2 multi-modal pre-training 7 conclusionGeo-Encoder: A Chunk-Argument Bi-Encoder Framework for Chinese Geographic Re-Rankingabs ERNIE-GeoL: A Geography-and-Language Pre-trained Model and its Appli…
大模型 LLM 综述, A Survey of Large Language Models
大模型 LLM 综述, A Survey of Large Language Models
一、概述
一般认为NLP领域的大模型>10 Billion参数(也有人认为是6B、7B, 工业界用, 开始展现涌现能力); 经典大模型有GPT-3、BLOOM、Flan-T5、GPT-NeoX、OPT、GLM-130B、PaLM、LaMDA、LLaMA等;
大模型时间线, 图来自…
NLP实践——中文指代消解方案
NLP实践——中文指代消解方案 1. 参考项目2. 数据2.1 生成conll格式2.2 生成jsonline格式 3. 训练3.1 实例化模型3.2 读取数据3.3 评估方法3.4 训练方法 4. 推理5. 总结 1. 参考项目
关于指代消解任务，有很多开源的项目和工具可以借鉴，比如spacy的基础模…
数据分析案例-基于snownlp模型的MatePad11产品用户评论情感分析
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
Python输入音频wav同步嘴型源码方案
这是由ACM MM2020发表了的一篇论文，提出一个AI模型，只需要一段人物视频和一段目标语音，就能够让音频和视频合二为一，人物嘴型与音频完全匹配。 【订阅栏目 获取全部的源码方案】
选一张蒙娜丽莎的照片和一段简短的音频，就可以让嘴唇同步，这是静态的照片，所以照片中的人…
ChatGPT重磅升级！集简云支持GPT4 Turbo Vision, GPT4 Turbo, Dall.E 3,Whisper等最新模型
在11月7日凌晨，OpenAI全球开发者大会宣布了 GPT-4的一次大升级，推出了 GPT-4 Turbo号称为迄今为止最强的大模型。 此次GPT-4的更新和升级在多个方面显示出强大的优势和潜力。为了让集简云用户能快速体验新模型的能力，我们第一时间整理了大会发…
动手深度学习之从线性回归到循环神经网络
参考伯禹学习平台《动手学深度》课程内容内容撰写的学习笔记 原文链接：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV 感谢伯禹平台，Datawhale，和鲸，AWS给我们提供的免费学习机会！！ 总的学习感受…
Transformer回顾与细节
我们在《Seq2seq Attention模型详解》中，详细地回顾了以 RNN 为基础模块的Seq2seq模型。本文所讲述的Transformer也采用Seq2seq式的编码器-解码器结构，不过它摒弃了经典的 RNN，采用 self-Attention。由于并行计算、长时序建模、模型容量大等优…
NLP学习笔记十二-词袋模型
NLP学习笔记十二-词袋模型
词袋模型其实是一种很简单的统计模型，这个统计模型说法是博主自己定义的，也可能真的统计模型中含有词袋模型这一类，为什么说它是统计模型?因为词袋模型他呢是基于统计的，比如现在我们有两组组词&#…
文献阅读：Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning
文献阅读：Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning 1. 内容简介2. 相关工作 1. Weight Decay2. Top-K Tuning3. Mixout4. RecAdam5. R3F 3. 优化方案 1. ChildTuning-F2. ChildTuning-D 4. 实验设计 & 结果 1.…
利用AI将脑信号解码为神经义肢控制
机器学习和人工智能的快速发展，它们已经产生了一系列能够学习大量数据之间复杂非线性关系的神经网络模型。深度学习算法在各种应用中取得了巨大的成功，包括计算机视觉、自然语言处理和机器人类等。最近，神经网络的中一项引人注目的应用是通过…
自然语言处理学习笔记（八）———— 准确率
目录 1.准确率定义
2.混淆矩阵与TP/FN/FP/TN
3. 精确率
4.召回率
5.F1值
6.中文分词的P、R、F1计算
7.实现 1.准确率定义 准确率是用来衡量一个系统的准确程度的值，可以理解为一系列评测指标。当预测与答案的数量相等时，准确率指的是系统做出正确判…
LLM：LoRA: Low-Rank Adaptation of Large Language Models
随着模型规模的不断扩大，微调模型的所有参数（所谓full fine-tuning）的可行性变得越来越低。以GPT-3的175B参数为例，每增加一个新领域就需要完整微调一个新模型，代价和成本很高。
为解决微调大规模语言模型到不同领域和…
ElasticSearch7学习笔记之用Analyzer分词
定义
Analyzer是es中专门用来处理分词的组件，由三部分组成：
Character Filters：针对原始文本的处理，例如去除html等Tokenizer：按照规则进行分词Token Filter：将切分的单词进行加工，例如去除修…
文本上的算法——深入浅出自然语言处理（读书笔记）
读后简评：《文本上的算法——深入浅出自然语言处理》主要介绍了NLP领域的整体知识框架，以及对各个实现技术进行讲解。整体思路结构还是挺清晰的，不过对于数学基础较差、对深度学习技术没有过接触的人，想要通过本书学会具体的实现技…
自然语言处理---文本预处理概述
自然语言处理（Natural Language Processing，简称NLP）是计算机科学与语言学中关注于计算机与人类语言间转换的领域。其主要应用于：语音助手、机器翻译、搜索引擎、智能问答等。
文本预处理概述
文本语料在输送给模型前一般需要一…
GPT：通用预训练语言模型
论文标题：Improving Language Understanding by Generative Pre-Training论文链接：https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf论文来源：OpenAI一、概述从无标注文本中高效学习的能力对于缓解对监督学习的依赖…
自然语言处理---迁移学习实践
1 微调脚本介绍
指定任务类型的微调脚本: huggingface研究机构提供了针对GLUE数据集合任务类型的微调脚本, 这些微调脚本的核心都是微调模型的最后一个全连接层。通过简单的参数配置来指定GLUE中存在任务类型(如: CoLA对应文本二分类，MRPC对应句子对文本二分类&…
23年校招DL/NLP/推荐系统/ML/算法基础面试必看300问及答案
2020年校招已经开始了，在疫情全球肆虐的背景下，全球就业情况异常艰难，加上美国对中国企业打压持续升级，对于马上开始秋招找工作的毕业生而言，更是难上加难。我们不能凭一己之力改变现状，但我们可以凭借自己…
Chat GPT原理
ChatGPT一经发布就在科技圈火得不行，这两天也是被传得神乎其神，听说它写得了代码、改得了 Bug，小说、段子统统不再话下！那他到底是怎么训练成现在这样的呢？本文介绍李宏毅老师的分析。 那么接下来我们就来介绍Chat GPT…
Survey of Low-Resource Machine Translation阅读笔记
文章目录1 Introduction2 Data Sources2.1 Searching Existing Data Sources2.2 Web-crawling for Parallel Data2.3 Low-resource Languages and Web-crawling2.4 Other Data Sources3 Use of monolingual data3.1 Integration of external language models3.2 Synthesising P…
【阶段总结】《非结构化信息分析应用与实践（筹）》
《非结构化信息分析应用与实践（筹）》Part 1.知识储备一、机器学习
1.几种常见的有监督学习算法
2.几种常见的无监督学习算法
3.数据挖掘基础知识 30 问
二、神经网络与深度学习
1.MP神经网络模型（附实例代码讲解）
2.图解LST…
Pytorch深度学习入门与实战三——循环神经网络
1.常见的循环神经网络 RNN,LSTM,GRU RNN torch.nn.RNN() 单纯的RNN会出现随着地柜次数的增加，权重指数级爆炸或小时的问题，从而难以捕捉长时间的关联，导致RNN训练是收敛困难。 LSTM 引入门的机制，使网络有更强的记忆能力。 LSTM…
【Auto-GPT云部署】
部署自己的Auto-Gpt
先说说什么是Chat-Gpt
Chat-GPT (Generative Pretrained Transformer)是由OpenAI提出的一种自然语言处理技术，是基于Transformers和预训练机制的大规模语言模型。与传统的基于规则或基于统计的自然语言处理方法不同，Chat-GPT使用深…
UNVEILING THE PITFALLS OF KNOWLEDGE EDITING FOR LARGE LANGUAGE MODELS
本文是LLM系列文章，针对《UNVEILING THE PITFALLS OF KNOWLEDGE EDITING FOR LARGE LANGUAGE MODELS》的翻译。 揭示大型语言模型知识编辑的陷阱 摘要1 引言2 LLMS知识编辑的陷阱探索3 相关工作4 讨论与结论 摘要
随着与微调大型语言模型（LLMÿ…
NLP基础：标注器Label Studio的入门使用
目录 一、环境准备
二、操作
文章来源： 简介：
Label Studio是一个开源的数据标注工具，它可以用于各种机器学习和深度学习项目。它的主要目的是帮助数据科学家和机器学习工程师快速、高效地标注数据，以构建和训练准确的机器学…
【NLP入门教程】六、关系抽取
关系抽取（Relation Extraction, RE）是自然语言处理中的一项重要任务，其目标是从文本中识别并分类实体之间的关系。关系抽取对于构建知识图谱、信息抽取和问答系统等任务具有重要价值。
1. 常见关系类型
常见的关系类型包括： 位于（located_in）：表示一个地点位于另一个地…
Text-to-Table: A New Way of Information Extraction
原文链接： https://aclanthology.org/2022.acl-long.180.pdf ACL 2022 介绍 作者受到table-to-text任务（用于生成描述给定表格的文本语言）的启发，提出了text-to-table的新任务，根据给定的文本，来生成用于文…
拥抱生成式大模型 -- langchain篇 （博客搬家至知乎，同步更新）
langchain 的 概念
Langchain 是 一套使用大模型的应用开发框架，当前的版本0.0.157。 它赋予LLM两大核心能力：数据感知（Be data-aware），让语言模型可以与其他数据源相连接；代理能力（Be agentic…
深度之眼Paper带读笔记GNN.10.MPNN
文章目录前言论文结构学习目标泛读背景模型框架本文模型框架研究意义摘要论文标题模型精讲任务简介：化学分子预测细节一：MPNN框架细节二：用MPNN理解的模型细节三：MPNN化学分子预测Edge NetworkPair MessageVirtual edge typeMaste…
文本建模PLSA与LDA模型
文本建模PLSA与LDA模型 – 潘登同学的Machine Learning笔记 文章目录文本建模PLSA与LDA模型 -- 潘登同学的Machine Learning笔记文本生成过程Unigram Modeln-gram modelPLSA模型(Probabilistic latent semantic analysis)LDA 模型为什么要选择这些分布Python实现文本预处理-分词…
一个基于Bert的情感分类
1. 问题描述 题目来自于DataFountain上的“疫情期间网民情绪识别”的挑战赛，最终AUC达到了0.734，取得Top5%的成绩。主要内容是分析疫情期间的用户微博极性（分为消极：-1、中性：0、积极：1三种）。本文主要是对数据进行一定分析并做一个以该数据为基础的bert实战记录。
2. …
NLP自然语言处理-英文文本电影影评分类1-pytorch版本
imdb电影影评数据集下载地址：传送门 点击下载后解压。 像这样放置数据集，所有代码放置在imdb_sentiment文件夹下面。在imdb_sentiment/data/下放置训练集合测试集。
imdb_sentiment/models文件夹下放置处理后的数据集
运行代码只有3部分，dataset制作数据集，build_vocab建…
文献阅读：Universal Sentence Encoder
文献阅读：Universal Sentence Encoder 1. 文献内容简介2. 主要方法考察3. 实验结果梳理4. 结论 & 思考 文献链接：Universal Sentence Encoder
1. 文献内容简介
这篇文章算是考个古吧，前段时间看SNCSE（文献阅读：…
大模型的三大法宝：Finetune, Prompt Engineering, Reward
编者按：基于基础通用模型构建领域或企业特有模型是目前趋势。本文简明介绍了最大化挖掘语言模型潜力的三大法宝——Finetune, Prompt Engineering和RLHF——的基本概念，并指出了大模型微调面临的工具层面的挑战。 以下是译文，Enjoy! 作者 | B…
最强英文开源模型Llama2架构与技术细节探秘
prerequisite: 最强英文开源模型LLaMA架构探秘，从原理到源码 Llama2 Meta AI于2023年7月19日宣布开源LLaMA模型的二代版本Llama2，并在原来基础上允许免费用于研究和商用。
作为LLaMA的延续和升级，Llama2的训练数据扩充了40%，达到…
人工智能基础导论 2021-10-13
人工智能基础总目录
人工智能基础导论
相信是成功的必要条件（Trust is necessary for success）。相信自己能够克服学习上的困难，能够掌握人工智能方法及编程。 遇到相关的名词术语，方程，公式，代码看不懂。…
自然语言处理-NLP应用分类
作者：微软亚洲研究院 链接：https://www.zhihu.com/question/19895141/answer/149475410 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
1.句法语义分析：
对于给定的句子&#…
使用 Transformer 模型进行自然语言处理
自然语言处理是一项重要的人工智能技术，旨在帮助计算机理解人类语言。在过去的几年中，Transformer 模型已经成为自然语言处理领域的一种非常流行的模型。在本文中，我们将介绍 Transformer 模型的原理和实现，并展示如何使用 Transf…
英文论文润色哪家好用比较好,有值得推荐的吗
英文论文润色 推荐
英文论文润色对于写作者来说是一项十分重要的任务，它可以帮助我们修改文章中的语法、标点和排版等问题，使论文更加准确和易读。在众多的英文润色软件中，147chatgpt改写润色软件是一款值得推荐的全自动批量图文润色、自动纠…
大模型基础之简要背景知识
【时间线】
词级别模型：Word2Vec 2013：自监督学习
序列级别模型：RNN 2014：监督学习
注意力机制：2015
Transformer模型：2017：容易并行处理、容易堆叠更深的网络
上下文级别模型：…
ChatGLM3-6B部署
从趋动云免费得了100的算力，部署了最新的ChatGLM3-6B 参考官网github相关教程，修改模型地址等
gradio效果streamlit效果
【论文阅读笔记】COFFEE: A Contrastive Oracle-Free Framework for Event Extraction
论文题目：COFFEE: A Contrastive Oracle-Free Framework for Event Extraction
论文来源：
论文链接：https://arxiv.org/pdf/2303.14452.pdf
代码链接：
0 摘要
事件抽取是一项复杂的信息抽取任务，它涉及到从非结构…
利用spaCy对中文文本分词和去除停用词处理
spaCy简介
spaCy语言模型包含了一些强大的文本分析功能，如词性标注和命名实体识别功能。目前spaCy免费支持的语言有：英文、德语、法语、西班牙语、葡萄语、意大利语和荷兰语，其他的语言也在慢慢的增长。对于spaCy处理中文文本（本…
[nlp] tokenizer
参考：NLP中的Tokenization - 知乎
1、Tokenization的难点 Tokenization其实是为数值化作准备，数值化的过程必然需要映射，而映射又需要一个目标集合或者说映射表。
2、三类Tokenization方法 本节我们来讨论词粒度的相关方法。词粒度的切分就跟人类平时理解文本原理一…
自动会议摘要HMNet（2020-SOTA），生成式文本摘要
A Hierarchical Network for Abstractive Meeting Summarization with Cross-Domain Pretraining.EMNLP2020 一、研究动机：
1、建模困难：角色多、交互、文本长、话题跳转
2、数据少 二、文章主要贡献：
1、提出Hierarchical Transformer&am…
镜像卷积网络能不能解决nlp问题
import paddle
class ReCNN(paddle.nn.Layer):def __init__(self, map_max=4096, hidden_dim=128, steps=20):
阿里最新研究：当ChatGPT 遇上推荐系统，遭遇滑铁卢
文 |小戏 在 GPT-4 屠榜了 NLP，SAM 零样本分割一切让 CV 消失后，不知道大家会不会有好奇 AI 三大现实应用的另一边岁月静好的推荐系统有没有感受到来自遥远大模型带来的巨大压力。 尽管 ChatGPT 的训练过程似乎没有对推荐系统太多的兼容，但是…
【Python】tqdm 模块
import mathfrom tqdm import tqdm, trange# 计算阶乘
results_1 []for i in range(6666):results_1.append(math.factorial(i))这是一个循环计算阶乘的程序，我们不知道程序运行的具体情况，如果能加上一个程序运行过程的进度条，那可就太有趣…
多模态大一统：开启全模态LLM和通用AI时代的大门
多模态大一统：开启全模态LLM和通用AI时代的大门 1. 目前多模态实现的方法1.1 单独训练各领域模型1.2 多任务学习1.3 集成多模态模型1.4 通用多模态模型2. 多模态统一难点2.1 数据集对齐和融合2.2 大规模计算资源需求2.3 各领域特性的兼容性2.4 可解释性和泛化能力3. 全模态的好…
华东理工某ACMer总结
做算法和作技术哪个难? 都很难, 没有可比性. 但是算法做得好的可以转行做技术, 技术做得好的想转行做算法却很困难.我是08年下半年将近期末的时候加入华理ACM队的. 我高中的时候没有编程经验, 数学也不好, 高考数学刚及格. 因为第二工业大学的网络工程专业的分数是最低的, 所以…
“新KG”视点 | 知识图谱与大语言模型协同模式探究
OpenKG 大模型专辑 导读 知识图谱和大型语言模型都是用来表示和处理知识的手段。大模型补足了理解语言的能力，知识图谱则丰富了表示知识的方式，两者的深度结合必将为人工智能提供更为全面、可靠、可控的知识处理方法。在这一背景下，OpenKG组织…
【自然语言处理】NLP学习及实践记录 | part 03 知识库构建、问答系统
知识库构建 在垂直领域容易被忽视的内容，在年报中找到案例中“raw_text”中一条，变动原因。
这里提供一个开源的工具 - 开放知识图谱。 对于其中的列表资源，可以点进去看一下。
问答系统 与聊天机器人不同，问答系统较为全面&…
NLP学习:深入NLP
个人博客:Sekyoro的博客小屋 个人网站:Proanimer的个人网站
之前学过一段时间NLP,因为其中涉及到一些深度学习常用的知识或者框架,但苦于不系统以及没有任务focus不能长久.这里借助微软的教程写点东西.
tokenization&&representation
将一句话中的单词分割就是分词(…
超越时空：加速预训练语言模型的训练
超越时空：加速预训练语言模型的训练
随着自然语言处理（NLP）领域的快速发展，预训练语言模型（PTLM）已成为许多NLP任务的重要基石，如文本生成、情感分析、文本分类等。然而，传统的PTLM…
ChatGPT将批量文档翻译成中文的方法
文档翻译成中文软件是指在处理文档时，自动将文档中的内容翻译成中文的软件。这些软件通常采用自然语言处理技术，通过对待翻译文本的分词、词义分析、语法分析等多种技术处理，实现对文本中的单词、短语、句子等级别的翻译。 文档翻译成中文软件…
解决huggingface 在代码因为网络无法下载模型和数据集的问题（伪）
huggingface的模型下载
其实是用git手动下载 具体的方法：
sudo apt-get update
sudo apt-get install git-lfs
git lfs install 然后git clone https://huggingface.co/roberta-large
huggingface数据集下载
首先有些数据集也可以通过git下载（那种&…
python实现AI写歌词GUI版本【文末源码】
**引言：**自然语言处理作为人工智能的一个重要分支，在我们的生活中得到了广泛应用。其中RNN算法作为自然语言处理的经典算法之一，是文本生成的重要手段。而今天我们就将利用RNN算法建立一个写歌词的软件。其中的界面如下： RNN指的…
2022-kaggle-nlp赛事：Feedback Prize - English Language Learning
文章目录零、比赛介绍0.1 比赛目标0.2 数据集0.3 注意事项一、设置1.1 导入相关库1.2 设置超参数和随机种子1.3 启动wandb二、 数据预处理2.1 定义前处理函数，tokenizer文本2.2 定义Dataset，并将数据装入DataLoader三、辅助函数四、池化五、模型六、定义…
2020年因果推断综述《A Survey on Causal Inference》
最近阅读了TKDD2020年的《A Survey on Causal Inference》，传送门，自己对文章按照顺序做了整理，同时对优秀的内容进行融合，如有不当之处，请多多指教。
文章对因果推理方法进行了全面的回顾，根据传统因果框…
Huggingface：高效多GPU训练
Huggingface：高效多GPU训练 概念动态策略Single Node、Multi-GPUmulti-node/multi-gpu https://huggingface.co/docs/transformers/perf_train_gpu_many 概念
首先介绍一下名词概念： Data Parallel（DP）：数据并行&…
ChatGPT技术原理 第七章：Seq2Seq模型
目录 7.1 Seq2Seq模型概述
7.2 Encoder-Decoder框架
7.3 Attention机制
7.4 Beam Search算法 7.1 Seq2Seq模型概述
通用信息抽取技术UIE产业案例解析，Prompt 范式落地经验分享！
想了解用户的评价究竟是“真心夸赞”还是“阴阳怪气”？想快速从多角色多事件的繁杂信息中剥茧抽丝提取核心内容？想通过聚合相似事件准确地归纳出特征标签？……想了解UIE技术在产业中的实战落地经验？通用信息抽取技术 UIE 产业案例…
通用智能的瓶颈及可能的解决途径
通用智能是指能够在各种不同的任务和环境中灵活地适应和执行任务的智能。通用智能与特定任务的智能相反，后者只能在特定领域或任务中表现出色。通用智能的理论基础是人工智能领域的通用人工智能（AGI）研究，旨在设计出能够像人类一样…
深度包检测(DPI)详细介绍
以前不了解这个，一个应聘职位是这个方面的，就在网上收集这个资料，了解了这个方面的资料，其实，这个核心是自然语言识别。
目录
简介背景 流量识别 常用功能具体功能 做法特征识别架构举例部署方式 串接方式并接方式存…
自驱力超强的羊驼？斯坦福微调LLaMa
大型“指令调优”语言模型在新任务上展现了Zero-shot的卓越能力，但严重依赖于人类编写的指令数据，而这些数据在数量、多样性和创造性方面都是有限的。 斯坦福科研人员引入了self-instruction框架，提高指令遵循能力来自我迭代进化，…
NLP 模型中的偏差和公平性检测
一、说明 近年来，自然语言处理 （NLP） 模型广受欢迎，彻底改变了我们与文本数据交互和分析的方式。这些基于深度学习技术的模型在广泛的应用中表现出了卓越的能力，从聊天机器人和语言翻译到情感分析和文本生成。然而&…
【NB 2023】从一般蛋白质语言模型中高效进化人类抗体
Efficient evolution of human antibodies from general protein language models
哈佛大学化学与化学生物学系和圣路易斯华盛顿大学的研究人员共同完成的一篇论文，发表在Nature Biotechnology上。
抗体是一种大分子，属于免疫球蛋白家族，它…
论文笔记 EMNLP 2021|Self-Attention Graph Residual Convolutional Network for Event Detection with depende
文章目录1 简介1.1 创新2 方法3 实验1 简介
论文题目：Self-Attention Graph Residual Convolutional Network for Event Detection with dependency relations 论文来源：EMNLP 2021 组织机构：天津大学 论文链接：https://aclantho…
基于卷积神经网络和连接性时序分类的语音识别系统，含核心Python工程源代码（深度学习）个人可二次开发
目录 前言总体设计系统整体结构图系统流程图 运行环境模块实现1. 特征提取2. 声学模型3. CTC 解码4. 语言模型 系统测试工程源代码下载其它资料下载 前言
本项目基于卷积神经网络和连接性时序分类方法，采用中文语音数据集进行训练，实现声音转录为中文拼…
论文笔记--Deep contextualized word representations
论文笔记--Deep contextualized word representations 1. 文章简介2. 文章概括3 文章重点技术3.1 BiLM(Bidirectional Language Model)3.2 ELMo3.3 将ELMo用于NLP监督任务 4. 文章亮点5. 原文传送门 1. 文章简介
标题：Deep contextualized word representations作者…
用好Python自然语言工具包-- 实例“基于本地知识库的自动问答”
首先鸣谢thomas-yanxin
本问中示例来自他在GitHub上的开源项目“基于本地知识库的自动问答”，链接如下：
thomas-yanxin/LangChain-ChatGLM-Webui: 基于LangChain和ChatGLM-6B的针对本地知识库的自动问答 (github.com) 目录
1. 基础知识： …
《自然语言处理》第二次实验：机器翻译（Seq2Seq中英文翻译实验）
文章目录 任务一：按照实验手册进行Seq2Seq中英文翻译实验步骤 1 进入ModelArts开发环境步骤 2 下载自然语言处理包步骤 3 上传实验数据步骤 4 进入Notebook实验环境步骤 1 导入实验所需的第三方模块步骤 2 设置运行环境步骤 3 查看数据内容步骤 4 定义数据预处理函数步骤 5 获…
基于图神经网络的异构图表示学习和推荐算法研究（完整代码+数据）
基于图神经网络的异构图表示学习和推荐算法研究。包含基于对比学习的关系感知异构图神经网络(Relation-aware Heterogeneous Graph Neural Network with Contrastive Learning, RHCO)、基于图神经网络的学术推荐算法(Graph Neural Network based Academic Recommendation Algor…
论文笔记 AAAI 2018|Graph Convolutional Networks with Argument-Aware Pooling for Event Detection
文章目录1 简介1.1 创新2 方法3 实验1 简介
论文题目：Graph Convolutional Networks with Argument-Aware Pooling for Event Detection 论文来源：AAAI 2018 论文链接：https://www.aaai.org/ocs/index.php/AAAI/AAAI18/paper/viewPaper/1632…
论文笔记 AAAI 2021|what the role is vs. What plays the role: Semi-supervised Event Argument Extraction v
文章目录1 简介1.1 动机1.2 创新2 方法3 半监督双重训练策略4 实验1 简介
论文题目：What the role is vs. What plays the role: Semi-supervised Event Argument Extraction via Dual Question Answering 论文来源：AAAI 2021 论文链接：http…
论元笔记 ACL 2017|Automatically Labeled Data Generation for Large Scale Event Extraction
文章目录1 简介1.1 创新2 背景知识3 数据生成4 事件抽取5 实验1 简介
论文题目：Automatically Labeled Data Generation for Large Scale Event Extraction 论文来源：ACL 2017 论文链接：https://aclanthology.org/P17-1038.pdf
1.1 创新
使…
从GPT到ChatGPT：我们离那个理想的AI时代到底还有多远？
写在前面
在2023年新年伊始，科技界最为爆火一款产品无疑是OpenAI公司出品的ChatGPT了，作为一名NLP领域从业者，似乎也好久没有看到如此热闹的技术出圈场景了。诚然从现象来看，无论从效果惊艳度、社会效应、商业价值、科技发展方向…
BERT(NAACL 2019)-NLP预训练大模型论文解读
文章目录摘要算法BERT预训练Masked LMNSPFine-tune BERT实验GLUESQuAD v1.1SQuAD v2.0SWAG消融实验预训练任务影响模型大小影响BERT基于特征的方法结论论文：
《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》githubÿ…
论文笔记 EMNLP 2020|Event Extraction by Answering (Almost) Natural Questions
文章目录1 简介1.1 动机1.2 创新2 方法3 实验1 简介
论文题目：Event Extraction by Answering (Almost) Natural Questions 论文来源：EMNLP 2020 论文链接：https://arxiv.org/pdf/2004.13625.pdf 代码链接：https://github.com/xi…
论文笔记 ACL 2016|Leveraging FrameNet to Improve Automatic Event Detection
文章目录1 简介1.2 创新2 背景知识3 方法4 实验1 简介
论文题目：Leveraging FrameNet to Improve Automatic Event Detection 论文来源：ACL 2016 论文链接：https://aclanthology.org/P16-1201.pdf
1.2 创新
使用FrameNet提高事件检测任务的…
论文笔记 ACL 2016|A Language-Independent Neural Network for Event Detection
文章目录1 简介1.1 创新2 方法3 实验1 简介
论文题目：A Language-Independent Neural Network for Event Detection 论文来源：ACL 2016 论文链接：https://aclanthology.org/P16-2011.pdf
1.1 创新
提出一个基于LSTM和CNN的事件检测模型&am…
功能更新｜Live800专业版新增数据播报、语音消息功能
想看客服数据，电脑不在身边，要怎么看？
习惯了语音交互，手机打字太慢，手机H5网页咨询访客也想发语音怎么办？
Live800一直致力打造专业高效的在线客服平台，我们不断更新迭代，持续优化…
ChatGPT火了，对话式人工智能还能干嘛？
身兼数职的ChatGPT 从2022火到了2023 连日来一直是各大平台的热议对象 其实除了写诗、敲代码、处理文档 以ChatGPT为代表的 对话式人工智能 还有更重要的工作要做 对话式AI与聊天机器人 相信大多数人…
如何利用ReconPal将自然语言处理技术应用于信息安全
关于ReconPal
网络侦查一直是网络安全研究以及渗透测试活动中最重要的阶段之一，而这一阶段看起来很容易，但往往需要很大的努力和很强的技术才能做好来。首先，我们需要使用正确的工具、正确的查询/语法以及正确的操作，并将所有信息…
PyQt5自然语言处理入门案例笔记
前言
最近想将自然语言处理的项目进行可视化，尽量还是使用回Python语言，因此打算用PyQt来实现相应的功能。
入门案例
一个简单的自然语言处理的demo，使用PyQt框架，该demo可以读取文本文件，对文件中的文本进行情感分…
ChatGPT介绍以及一些使用案例
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
实现chatgpt自然对话
1.概述
ChatGPT是当前自然语言处理领域的重要进展之一，通过预训练和微调的方式，ChatGPT可以生成高质量的文本，可应用于多种场景，如智能客服、聊天机器人、语音助手等。本文将详细介绍ChatGPT的原理、实战演练和流程图，…
CV——day82 读论文：遥感目标检测的改进注意力特征融合SSD (AF-SSD)方法
遥感目标检测的改进注意力特征融合SSD 方法I. INTRODUCTIONII. RELATED WORKB. 特征融合C.注意力机制III. PROPOSED METHODA. 特性融合模块——**FFM**B.双路径注意模块——DAMC. 多尺度接受域——MRFIV. EXPERIMENTSA. Data Sets and TrainingV. CONCLUSIONAttention and Feat…
超越语言界限，ChatGPT进化之路——Visual ChatGPT
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
推荐系统中对抗性机器学习-文献综述与未来发展整理分享
对抗学习是一种机器学习技术，旨在通过提供欺骗性输入来欺骗模型。最常见的原因是导致机器学习模型出现故障。大多数机器学习技术旨在处理特定的问题集，其中从相同的统计分布（IID）生成训练和测试数据。当这些模型应用于现实世界时&…
在线未注册域名批量查询-域名注册批量查询
域名批量注册查询
域名批量注册查询是一种工具，可以帮助用户批量查询并注册多个域名。这种工具通常被域名管理者、品牌专家、互联网营销人员等使用。
以下是域名批量注册查询工具的优点： 提高效率：与手动单独注册域名相比，域名批…
剖析NLP历史，看chatGPT的发展
1、NLP历史演进
1.1 NLP有监督范式
NLP里的有监督任务的范式，可以归纳成如下的样子。
输入是字词序列，中间一步关键的是语义表征，有了语义表征之后，然后交给下游的模型学习。所以预训练技术的发展，都是在围绕怎么…
条件随机场（CRF）——1 理论详解
需要的基础：
马尔科夫模型隐马尔科夫模型
本文仔细介绍条件场的提出及基础；下一文会介绍CRF如何应用在NER领域，以及CRF，LR和HMM之间的关系和比较。可以点击下面链接跳转
条件随机场（CRF）——2 CRF、HMM、…
CLIP-Event: Connecting Text and Images with Event Structures 论文解读
CLIP-Event: Connecting Text and Images with Event Structures 论文：2201.05078v1.pdf (arxiv.org)
代码：limanling/clip-event (github.com)
期刊/会议：CVPR 2022
摘要
视觉-语言(VL)预训练模型通过理解图像和文本之间的对齐关系&…
深入理解NLP的多项选择任务
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
ChatGPT常用prompts汇总
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
深入了解 Hugging Face 中的生成工具：Generate方法
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
LSTM原理，参数，实现中文新闻分类代码实现
目录
环境以及第三方库版本
LSTM模型 遗忘门（决定上一时刻的单元状态有多少要保存到当前时刻）
输入门（决定当前网络状态输入有多少需要保存到单元状态）
输出门（控制当前状态单元有多少需要输出到当前输出值&#x…
Python自然语言处理：NLTK入门指南
Python自然语言处理：NLTK入门指南 一、Python自然语言处理简介1. 什么是自然语言处理（NLP）2. Python在NLP中的应用3. 为什么选择使用Python进行NLP 二、NLTK介绍1. NLTK是什么2. NLTK的历史和现状3. NLTK的安装和配置4. NLTK的基本功能分词&a…
【ChatGPT4】 NLP（自然语言处理）第八课 情感分析的概念和应用场景
我在起，点更新NLP自然语言处理》《王老师带我成为救世主》
（1）---------------------------------------------------------------------------------------
王老师上节课的作业：
1、了解情感分析的概念和应用场景。
2、分析以…
生成式大语言模型微调训练快速手册
ChatGPT的流行让大语言模型走入了大家的视线，怎么打造自己的大语言模型成为了一个急需解决的问题。
目录
大语言模型的获取方法有以下三种：
目前可以Play 的大语言基础模型列表： 大语言模型的获取方法有以下三种：
1. 完全白嫖…
若一个单词被拆分成多少token, word_ids得到的序号是相同的？还是序号累加的？
目录 问题描述：
问题实现：
方法一：
方法二： 问题描述：
在使用tokenizer进行编码的时候，经常会存在word被拆分成多个token的情况，不同的参数设置，会得到不同的结果。总的来说&…
GPT4限制被破解！ChatGPT实现超长文本处理的新方法
目录
前言
使用chat-gpt过程中有哪些痛点
1.无法理解人类情感和主观性
2.上下文丢失
3.约定被打断
那如何去解决这个痛点
Transformer（RMT）怎么去实现的
1.Transformer 模型
2.RMT模型 3.计算推理速率
4.渐进学习能力
总结
写到最后 大家好…
Call for Papers丨第十一届全国社会媒体处理大会，AI Open设独立专刊投稿渠道
全国社会媒体处理大会（SMP）专注于以社会媒体处理为主题的科学研究，为传播社会媒体处理最新的学术研究与技术成果提供广泛的交流平台，旨在构建社会媒体处理领域的产学研生态圈，成为中国乃至世界社会媒体处理的风向标。 …
《Learning to Answer Complex Questions over Knowledge Bases with Query Composition》论文笔记
Learning to Answer Complex Questions over Knowledge Bases with Query Composition
这是一篇密歇根安娜堡发表在CIKM上的文章，主题为KBQA，依然是SP-based。
Overview
这篇文章处理的是复杂问题，主题方法还是通过SP生成query graph&…
【自然语言处理】- 作业6: 面向新冠肺炎的社会计算应用
课程链接: 清华大学驭风计划
代码仓库：Victor94-king/MachineLearning: MachineLearning basic introduction (github.com) 驭风计划是由清华大学老师教授的，其分为四门课，包括: 机器学习(张敏教授) ， 深度学习(胡晓林教授), 计算…
论文笔记 EMNLP 2020|Affective Event Classification with Discourse-enhanced Self-training
文章目录1 简介1.2 创新2 方法3 实验1 简介
论文题目：Affective Event Classification with Discourse-enhanced Self-training 论文来源：EMNLP 2020 论文链接：https://aclanthology.org/2020.emnlp-main.452.pdf
1.2 创新
提出了一个基于…
Elasticsearch：在 Elasticsearch 中使用 NLP 和矢量搜索增强聊天机器人功能
作者：Priscilla Parodi 会话界面已经存在了一段时间，并且作为协助各种任务（例如客户服务、信息检索和任务自动化）的一种方式而变得越来越流行。 通常通过语音助手或消息应用程序访问，这些界面模拟人类对话，…
DPCNN：深度金字塔 CNN 文本分类网络
DPCNN（Deep Pyramid CNN），是2017年腾讯AI-Lab提出的一种用于文本分类的网络，可以称之为"深度金字塔卷积神经网络"。
论文：Deep Pyramid Convolutional Neural Networks for Text Categorization
在之前的博…
Hugging News #0602: Transformers Agents 介绍、大语言模型排行榜发布！
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」，本期 Hugging News 有哪些有趣的消息…
论文笔记 AISTATS 2020|Rep the Set: Neural Networks for Learning Set Representations
文章目录1 简介1.1 创新2 背景知识3 方法4 实验4.1 文本分类4.2 图分类4.3 运行时间分析1 简介
论文题目：Rep the Set: Neural Networks for Learning Set Representations 论文来源：AISTATS 2020 论文链接：https://arxiv.org/pdf/1904.0196…
NLP基础模型和注意力机制
3.1 基础模型
欢迎来到本次课程的最后一周的内容，同时这也是五门深度学习课程的最后一门，你即将抵达本课程的终点。
你将会学习seq2seq（sequence to sequence）模型，从机器翻译到语音识别，它们都能起到很大…
论文笔记 arxiv 2019|DocBERT: BERT for Document Classification
文章目录1 简介1.1 创新2 方法3 实验1 简介
论文题目：DocBERT: BERT for Document Classification 论文来源：arxiv 2019 论文链接：https://arxiv.org/pdf/1904.08398.pdf 代码链接：https://github.com/castorini/hedwig
1.1 创新…
【博学谷学习记录】超强总结，用心分享丨人工智能 AI项目 ROUGE评估算法简记
目录 ROUGE核心思想评价标准ROUGE-NROUGE-L ROUGE
ROUGE的全称是Recall-Oriented Understudy for Gisting Evaluation, 是一种基于召回率指标的评价算法.
核心思想
由多个专家分别生成人工摘要, 构成标准摘要集. 将模型生成的自动摘要和人工摘要做对比, 通过统计两者之间重叠…
论文笔记 AAAI 2020|Message Passing Attention Networks for Document Understanding
文章目录1 简介1.1 创新2 背景知识3 方法3.1 提出的模型3.2 分等级的模型变体4 实验1 简介
论文题目：Message Passing Attention Networks for Document Understanding 论文来源：AAAI 2020 论文链接：https://ojs.aaai.org/index.php/AAAI/ar…
什么是HuggingFace
一.HuggingFace简介 1.HuggingFace是什么 可以理解为对于AI开发者的GitHub，提供了模型、数据集（文本|图像|音频|视频）、类库（比如transformers|peft|accelerate）、教程等。 2.为什么需要HuggingFace 主要是HuggingFace…
论文笔记 ACL 2021|Document-level Event Extraction via Heterogeneous Graph-based Interaction Model with a
文章目录1 简介1.1 动机1.2 创新2 方法3 实验1 简介
论文题目：Document-level Event Extraction via Heterogeneous Graph-based Interaction Model with a Tracker 论文来源：ACL 2021 论文链接：https://arxiv.org/pdf/2105.14924.pdf 代码链…
论文笔记 EMNLP 2020|Event Extraction as Multi-turn Question Answering
文章目录1 简介1.1 动机1.2 创新2 背景知识3 方法4 实验5 总结1 简介
论文题目：Event Extraction as Multi-turn Question Answering 论文来源：EMNLP 2020 Findings 论文链接：https://aclanthology.org/2020.findings-emnlp.73.pdf
1.1 动机…
【Transformer】Transformer如何在深度学习和NLP中学习的：How Transformers work in deep learning and NLP
【学习资源】How Transformers work in deep learning and NLP: an intuitive introduction 目录
1 Representing the input sentence 输入句子的表示
1.1 Sets and Tokenization 集和标记
1.2 Word Embeddings 单词嵌入
1.3 Positional encodeings
2 Fundamental conce…
论文笔记 ACL 2018|DCFEE: A Document-level Chinese Financial Event Extraction System based on Automatical
文章目录1 简介1.1 创新2 方法2.1 数据生成2.2 事件抽取3 实验1 简介
论文题目：DCFEE: A Document-level Chinese Financial Event Extraction System based on Automatically Labeled Training Data 论文来源：ACL 2018 论文链接：https://ac…
论文笔记 ACL 2020|A Two-Step Approach for Implicit Event Argument Detection
文章目录1 简介1.1 动机1.2 创新2 方法3 实验1 简介
论文题目：A Two-Step Approach for Implicit Event Argument Detection 论文来源：ACL 2020 论文链接：https://aclanthology.org/2020.acl-main.667.pdf 代码链接：https://gith…
论文笔记 ACL 2021|TEXT2EVENT: Controllable Sequence-to-Structure Generation for End-to-end Event Extract
文章目录1 简介1.1 动机1.2 创新2 方法2.1 事件抽取转换为结构生成2.2 Sequence-to-Structure结构：2.3 模型学习3 实验1 简介
论文题目：TEXT2EVENT: Controllable Sequence-to-Structure Generation for End-to-end Event Extraction 论文来源ÿ…
Live800：在线客服系统解决客服效率难题，让服务效率升级
互联网时代的到来给客服赋予了更多的职能，从简单的客户服务升级为集营销、市场、服务等多种角色，这种职能上的转变让客服部门由原来的附属部门变成核心部门，直接影响企业效益，提升客服工作效率刻不容缓。
俗话说"工欲善其事…
Live800:用它，在线客服提升效率的秘密！
"在线下世界，如果一个客户不满意，他会告诉6个朋友。在互联网世界，他会告诉6000个人。" 亚马逊的创始人杰夫贝佐斯提到。随着互联网时代的蓬勃发展，消费者之间的关系互联正击穿以前人与人之间的圈层链——消费者的声音被…
论文系列1:《Efficient Estimation of Word Representations in Vector Space》
《Efficient Estimation of Word Representations in Vector Space》
基于向量空间中词表示的有效估计
作者：Tomas Mikolov 单位：Google
语言模型
计算一个句子是句子概率 有一些词或者词组在语料中没有出现过，但是这不能代表它不可能存…
人工智能取代人类成为战争主体的时代真的来临了吗
自从阿尔法狗大战各路围棋九段高手后，人工智能同人类的比拼再一次被推到了风口浪尖上。前不久美国苍鹭系统公司的人工智能空战系统，与一名坐在模拟器中、戴着虚拟现实头盔的人类战斗机飞行员进行空战格斗对抗，最后以5:0的绝对优势大获全胜。这…
论文笔记 ACL 2020|Discourse as a Function of Event: Profiling Discourse Structure in News Articles aroun
文章目录1 简介1.1 创新2 方法3 实验1 简介
论文题目：Discourse as a Function of Event: Profiling Discourse Structure in News Articles around the Main Event 论文来源：ACL 2020 论文链接：https://aclanthology.org/2020.acl-main.478…
《UHop: An Unrestricted-Hop Relation Extraction Framework for Knowledge-Based Question Answering》论文笔记
UHop: An Unrestricted-Hop Relation Extraction Framework for Knowledge-Based Question Answering
2019年NAACL上的一篇文章，主题为KBQA中的关系抽取。
Overview
这篇文章提出的是一个新的关系抽取方法，并不是一个完整的SP-based的KBQA模型。本文依…
预训练综述 Pre-trained Models for Natural Language Processing: A Survey 阅读笔记
原文链接：https://arxiv.org/pdf/2003.08271.pdf 此文为邱锡鹏大佬发布在arXiv上的预训练综述，主要写了预训练模型（PTM）的历史，任务分类，PTM的扩展，将PTM转换到下游任务的方式，PTM的…
《Knowledge Base Question Answering via Encoding of Complex Query Graphs》论文笔记
Knowledge Base Question Answering via Encoding of Complex Query Graphs
这篇文章是上交和阿里于2018年发表在ACL上，主题依然是与query graph相关，属于SP DL的范畴。
Overview
作者提到之前的KBQA做法处理的多是简单问题，不能很好地解…
CharCNN论文笔记
CharCNN
之前看了TextCNN，也就是基于词级别的CNN，卷积的时候是对多个词向量（window size）进行卷积。Character-level Convolutional Networks for Text Classification 这篇文章从一个新的视角来看待文本数据，那就是字…
AI驱动，化繁为简的文字创作工具 | Mixlab智能产品
wordtune-- 用AI的方式，将一段话在保留其原有语意的基础上进行重构。下面为官方提供的一个demo，用多种方法修改了同一个句子，使其在保留原有语义的基础上，实现我们想要的结果。- 原句- 重写探索重新定义句子的新方法- 非正式用轻…
使用Gensim库对文本进行词袋、TF-IDF和n-gram方法向量化处理
Gensim库简介
机器学习算法需要使用向量化后的数据进行预测，对于文本数据来说，因为算法执行的是关于矩形的数学运算，这意味着我们必须将字符串转换为向量。从数学的角度看，向量是具有大小和方向的几何对象，不需过多地…
暴强人工智能加持的音频人声/伴奏提取工具
上学的时候喜欢唱歌，有时候会参加学校的比赛，那会网络没有现在这么发达，要到具体的伴奏网站去查找相关的歌曲，如果想与众不同演唱一些比较冷门的歌曲，恭喜你，大多数情况下，你只能选择更换它。
…
代替网易见外的智能语音识别转换字幕工具
很久以前分享过网易出品的网易见外工作台，用来方便地对视频语音进行识别并转换字幕，但是后来因为种种原因，网易见外开始对部分功能进行收费，但是现在又是个自媒体的时代，所以时代呼唤备胎。
在线字幕编辑器爱幕
爱幕…
自然语言处理从小白到大白系列（4）多角度理解条件随机场
文章目录1. 线性链CRF2. 特征函数如何理解3. CRF的三个问题——预测问题前向得分4. CRF的三个问题——概率计算5. CRF的三个问题——参数学习6. 条件随机场和隐马尔可夫模型，哪个好？众所周知，条件随机场在NLP中做NER和词性标注等任务是一把好…
自然语言处理从小白到大白系列（1）Word Embedding之主题模型
一直想开启一个专题来整理一下NLP的相关内容，总算克服懒癌着手开始干了。如果同学有缘看到这篇，恭喜你，这是本系列（自然语言处理从小白到大白系列）的第一篇，后续会不断更新，欢迎关注！…
人工智能—— NLP语言模型 朴素贝叶斯
中文 库 分词 词性标注英文 正则
自然语言处理 分类器 ----> 可解释性高
n元 组合 —> 判定 ----> 类 关系维度 — 特征 阈值 二分类 判知边界–1/2 特征 统计概率 语言多样性 正则检索 特征 表示 预处理 标点 符号 关键词抽取 抽取 特征 统计值 贡献 …
数学之美：数学究竟是如何被运用到生活中的？
文末有这本书的思维导图不鸽大家，终于把这本书读完，来分享一下读后感。《数学之美》这本书是2012年出版，作者吴军，他的书籍还有《浪潮之巅》、《格局》等也非常有名，吴军博士在语音识别、自然语言处理，特别…
自然语言处理的bert, GPT, GPT-2, transformer, ELMo, attention机制都是些何方神圣？？？
2018年是NLP领域巨变的一年，这个好像我们都知道，但是究竟是哪里剧变了，哪里突破了？经常听大佬们若无其事地抛出一些高级的概念，你却插不上嘴，隐隐约约知道有这么个东西，刚要开口：噢&…
初学文本摘要——综述报告
** 本报告是本人在自学自然语言处理文本摘要方向初期研读综述性论文、博客、网站等后总结的综述报告。 **
主要内容：
1)文本摘要简介（是什么？） 2)文本摘要现状（怎么样？） 3)文本摘要分类&#…
AI日报：DragGAN通过拖拽像素点实现图像调整 等
🦉 AI新闻
🚀 DragGAN：一种直观的图像编辑工具，通过拖拽像素点实现图像调整
摘要：研究者们来自马克斯・普朗克计算机科学研究所、MIT CSAIL和谷歌，他们开发了一种名为DragGAN的图像编辑工具。通过拖拽像素…
pkuseg,LTP,jieba分词实践
pkuseg
pkuseg具有如下几个特点： 多领域分词。不同于以往的通用中文分词工具，此工具包同时致力于为不同领域的数据提供个性化的预训练模型。根据待分词文本的领域特点，用户可以自由地选择不同的模型。 我们目前支持了新闻领域，网…
Bert预训练模型的使用
1.下载预训练模型
pytorch_bin文件:
‘bert-base-uncased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased.tar.gz”, ‘bert-large-uncased’: “https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-uncased.tar.gz”, ‘bert-b…
PCA中降维的使用方法
PCA中降维的使用方法： 转载至：https://www.cnblogs.com/roygood/articles/10404472.html 函数原型及参数说明 这里只挑几个比较重要的参数进行说明。 sklearn.decomposition.PCA(n_componentsNone, copyTrue, whitenFalse) n_components: int, float, No…
NLP笔记：ac自动机实现
ac自动机实现 1. ac自动机简介2. ac自动机原理3. ac自动机实现 1. ac自动机的构建2. ac自动机的调用 4. 参考链接 1. ac自动机简介
ac自动机算法全称Aho–Corasick算法，它是一种经典的高效字符串匹配算法，他所针对的核心问题为： 如何从一个…
实现spaCy训练词性标注模型
词性标注是指为输入文本中的单词标注对应词性的过程。词性标注的主要作用在于预测接下来一个词的词性，并为句法分析、信息抽取等工作打下基础。通常地，实现词性标注的算法有HMM（隐马尔科夫）和深度学习（RNN、LSTM等&…
Attention Is All You Need 论文理解
Attention Is All You Need
一、介绍 主流的Seq-Seq的模型通常采用RNN或者是CNN，但是这种网络结构也存在一些问题：RNN的递归依赖使得其难以并行化，缺乏对全局信息的理解， 尤其是长距离和层级化的依赖关系难以建立。 论文提出了一…
精准简历筛选，如何使用机器学习完成？ ｜Mixlab人工智能
用机器学习实现：精准简历筛选这是微软的一项专利，它的目的是为了构建一个系统，用来筛选那些比较 “特别” 的简历，而这些简历中有一个显著的特征是：不会使用和职位描述要求中关键字相同的关键字，而是会以另…
t5模型为什么可以通过传入past_key和past_value值来进行优化模型
t5模型是常用于文本生成部分的一个模型，也是目前我看到的各个nlp模型之中，唯一完整地使用transformer的所有完整结构(encoder部分加上decoder部分)的一个模型，接下来聊一下t5模型的生成优化过程。
优化的部分
首先对于生成这一块࿰…
CUDA error: device-side assert triggered CUDA kernel errors问题解决
今天在写pytorch代码的时候，报了这样的一个错误
CUDA error: device-side assert triggered
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAU…
总结：阅读transformer结构的t5源代码的经验
阅读transformers中的t5结构经验1.用笔在纸上画出结构，哪一部分接着跟着哪一部分2.把握关键的操作3.熟悉代码的脉络流程之后，从外面往里面阅读1.用笔在纸上画出结构，哪一部分接着跟着哪一部分
因为t5总体的结构比较复杂，所以必须…
文本相似度分类方案研究
原文链接 文本相似度的三种模型结构(1) cross-encoder类：对一组句对进行编码，编码过程中可以进行句内及句间的信息交互。(2) bi-encoder类：分别对source文本和target文本进行编码，再通过网络结构进行表示间的交互和计算࿰…
NLP-D9-第一场大数据比赛D1知识蒸馏翻译论文CATTI备考-第一套综合
—0533早上先clone一本kaggle书
–0626吃了早饭，又看了一遍上次的分享视频，感觉云淡风轻，没有想象那么难。先去根据代码看下transformer的库怎么用。
----0806回来了，继续看代码。 1、yield和return区别 2、partial作用 所以&am…
多标签文本分类研究进展概述
多标签文本分类研究进展概述
1.多标签文本分类的研究还有很大的提升空间.
2.多标签文本分类的基本流程，包括数据集获取、文本预处理、模型训练和预测结果；
3.多标签文本分类的方法：传统机器学习的方法和基于深度学习的方法。传统机器学习方…
NLP-D8-李宏毅机器学习---预训练模型问题adaptationexplainable AIRLlearningmap
----0648今天还是醒的挺早的，4点50就起床了。在犹豫是去看比赛，还是把老师的课听完。因为还是很想看无监督学习和强化学习的，最后决定先看课叭。 看了姜成翰助教关于预训练模型中遇到问题的讲解。 一共讲了两个问题，以及相应解决方…
NLP-D7-李宏毅机器学习---X-AttentionGANBERTGPT
—0521今天4:30就起床了！真的是迫不及待想看新的课程！！！ 昨天做人脸识别系统的demo查资料的时候，发现一个北理的大四做cv的同学，差距好大！！！我也要努力呀！&am…
NLP-DAY5-李宏毅机器学习L2
今天起的很早，3:30就起了。我真的很喜欢早起的感觉。 早上第一次尝试用notability做笔记，梳理了一个slide的内容。大概是什么是机器学习，神经网络的搭建步骤（对理解神经网络很有帮助）。
后来又看了一些L2的正课&#…
NLP学习D2-TF2基础学习-北大教程
今天主要学tf2和动手实践；如果有时间，看下Transformer系列的细节！！加油！
一、环境配置
老师很贴心，带着装环境。 1、我建个github仓库~ 2、设置了一个conda的默认清华镜像 参考链接： https://…
NLP学习D1-莫烦课程-tf-idfw2vseq2seqAttentionTransformerGPT+BERTELmo
课程在b站上 https://www.bilibili.com/video/BV1LA411n73X?p7&spm_id_frompageDriver
一、TF-IDF
嗯嗯，这次感觉终于弄懂了，用sklearn跑一下叭！！！ 正好练习一下git 1、ravel()不产生副本的降维 https://blog.c…
python中gensim库详解
一、gensim介绍gensim是一款强大的自然语言处理工具，里面包括N多常见模型： - 基本的语料处理工具 - LSI - LDA - HDP - DTM - DIM - TF-IDF - word2vec、paragraph2vec . 二、训练模型
1、训练
#encodingutf-8
from gensim.models import wor…
opencv之Mat格式数据转换成onnxruntime的输入tensor处理的c++写法
下面的代码假设使用3通道处理数据 （通常就是这样子的） resize_img.convertTo(resize_img, CV_32F, 1.0 / 255); //divided by 255resize_img - 0.5f; // meanresize_img / 0.5f; // stdcv::Mat channels[3]; //借用来进行HWC->CHWcv::split(resi…
VSCode常用快捷键
VS常用快捷键
查找: CtrlF查找替换: CtrlH全屏显示(再次按则恢复): F11放大或缩小(以编辑器左上角为基准): Ctrl /-侧边栏显示或隐藏： CtrlB显示资源管理器(光标切到侧边栏中才有效): CtrlShiftE显示搜索(光标切到侧边栏中才有效): CtrlShiftF显示(光标…
大模型入局传统算法，LLMZip基于LLaMA-7B实现1MB文本压缩率90%！
论文链接： https://arxiv.org/abs/2306.04050 随着以ChatGPT、GPT-4为代表的AI大模型逐渐爆火进入公众视野，各行各业都开始思考如何更好的使用和发展自己的大模型，有一些评论甚至认为大模型是以人工智能为标志的第四次产业革命的核心竞争产品…
自然语言处理从入门到应用——预训练模型总览：预训练模型存在的问题
分类目录：《自然语言处理从入门到应用》总目录 相关文章： 预训练模型总览：从宏观视角了解预训练模型 预训练模型总览：词嵌入的两大范式 预训练模型总览：两大任务类型 预训练模型总览：预训练模型的拓展 …
生成专题3 | StyleGAN2对AdaIN的修正
文章转自微信公众号：机器学习炼丹术作者：陈亦新（欢迎交流共同进步）联系方式：微信cyx645016617学习论文：Analyzing and Improving the Image Quality of StyleGAN 文章目录3.1 AdaIN3.2 AdaIN的问题3.3 weig…
极视角成功入选2020年最具成长潜力企业TOP20
2021年4月20日-21日，“投资家网2020中国股权投资年度峰会”在深圳福田召开，会上发布了包含“2020年最具成长潜力企业TOP20”在内的“2020中国股权投资年度系列榜单”。
极视角成功入选“2020年最具成长潜力企业TOP20” 此次榜单由投资家网发布于“2020中…
自然语言处理——中英文分词
目录 英文分词
中文分词
机械分词法
正向最大匹配法
逆向最大匹配法
双向最大匹配法
统计分词法
语料统计法
序列标注法 英文分词
英文原文： it is a good day!分词结果： it , is , a , good , day , !
通过上面的英文分词例子，可以…
Transformer-based模型的综述：AMMUS : A Survey of Transformer-based Pretrained Models in NLP
论文地址： https://arxiv.org/abs/2108.055421 导言 预训练的来源 最开始是基于规则的学习，后来被机器学习取代早期机器学习需要特征工程，需要专业领域的知识，耗时由于硬件和词嵌入的发展，类似于CNN、RNN的深度学习模型…
一个简单的自然语言处理例子
例子是我学习的教程的一个例子，收集了一些客户对于饭店的评价，目标是将他们进行分类，分成好评和差评。 数据的前5项： 这里用到了一个之前没用到的包NLTK对我们的文本数据进行必要的处理，转化，使其变成能够…
安装Qe-7.2细节
编译 直接编译报错，发现要使用gpu加速。
检查linux的GPU: nvidia-smi lspci |grep -i nvidia
module load cuda ./configure make all
安装curl mkdir build cd build …/configure --prefix/home/bin/local/curl make make install
加入路径： expor…
instruction-tuning
instruction-tuning是在Prompt-tuning之后提出的，它的思想是：在对A做Prompt-tuning之前，先在其他若干的任务之上做Prompt-tuning。如图： 每个任务有多个Prompt，作者使用了10个。 比较注意的是，instruction…
模型损失的loss不下降或下降很慢
这里主要记录我碰到的原因
model.eval()
当一个大的模型model中内含bert等大模型时，大模型使用model.eval()时，Bert也同时使用bert.eval()
学习率太小
val loss一直再下降，但下降很慢，有可能时学习率太小了的原因。
深度学习论文语言和表述
Vector space 向量空间
node classification节点分类
link prediction边预测
community detection社群检测
case study 小样本任务，案例分析（比如77个点 254条边）
word representations 词表示
language model 语言模型 ：预…
SVD分解的应用——矩阵运算和文本处理中的分类问题
在自然语言处理中，最常见的两类的分 类问题分别是，将文本按主题归类（比如将所有介绍亚运会的新闻归到体育类）和将词汇表中的字词按意思归类（比如将各种体育运动的名称个归成一类）。这两种 分类问题都可用通…
一个通用html抽取类
下面以新浪微博为例子 Java代码 package com.ansj.sun.pojo; import java.util.ArrayList; import java.util.Iterator; import java.util.List; import java.util.regex.Matcher; import java.util.regex.Pattern; public class AnsjPaser { private …
文本生成：自动摘要评价指标 Rouge
本文结构概览不同的摘要任务下，选择合适的Rouge指标Rouge-N的理解与示例Rouge-L的理解与示例代码示例（char粒度 计算摘要的Rouge值）代码示例（word粒度 计算摘要的Rouge值）个人思考ReferenceRouge的全名是Recall-Orient…
自然语言处理技术：NLP句法解析树与可视化方法
自然语言处理（Natural Language Processing，NLP）句法解析树是一种表示自然语言句子结构的图形化方式。它帮助将句子中的每个词汇和短语按照语法规则连接起来，形成一个树状结构，以便更好地理解句子的语法结构和含义。句法解析树对于理解句子的句法关系、依存关系以及语义角…
prompt工程（持续更新ing...）
诸神缄默不语-个人CSDN博文目录
我准备想办法把这些东西整合到我的ScholarEase项目里。到时候按照分类、按照prompt生成方法列一堆选项，用户自己生成prompt后可以选择在ScholarEase里面聊天，也可以复制到别的地方（比如ChatGPT网页版之类的&a…
![[NLP] BERT模型参数量](https://img-blog.csdnimg.cn/96ca3277f4164a19af8691a609e34b08.png)
[NLP] BERT模型参数量
一 BERT_Base 110M参数拆解 BERT_base模型的110M的参数具体是如何组成的呢，我们一起来计算一下：
刚好也能更深入地了解一下Transformer Encoder模型的架构细节。 借助transformers模块查看一下模型的架构：
import torch
from transformers …
逆向最大匹配法分词（补充）
def cut_word(sentence, word_dic):"""逆向最大匹配分词器sentence：待切分的句子word_dic：字典"""# 寻找字典中最大词的长度word_length_list [len(word) for word in word_dic]max_length max(word_length_list)# 创建…
最简单DIY基于ESP8266的物联网智能小车①（webserver服务器网页简单遥控版）
ESP8266和ESP32物联网智能小车开发系列文章目录
第一篇：最简单DIY基于ESP8266的物联网智能小车①（webserver服务器网页简单遥控版） 文章目录ESP8266和ESP32物联网智能小车开发系列文章目录前言一、最简单DIY基于ESP8266的物联网智能小车①&a…
NLP之人机对话系统
人机对话系统
人机对话系统又称口语对话系统（spoken dialogue system）。一个典型的人机对话系统主要包括如下6个技术模块：①语音识别器（speech recognizer）；②语言解析器（language parser&…
Viterbi算法实现中文分词和词性标注
Viterbi算法目标过程词典分词统计分词词性标注附录附录二附录三源码地址目标
实现基于词典的分词方法和统计分词方法对分词结果进行词性标注对分词及词性标注结果进行评价，包括4个指标：正确率、召回率、F1值和效率
过程
词典分词
基于词典的分词方法…
依存语法：从短语结构树转换为依存树
依存语法：从短语结构树转换为依存树 冯志伟 与短语结构语法比较起来，依存语法没有词组这个层次，每一个结点都与句子中的单词相对应，它能直接处理句子中词与词之间的关系，而结点数目大大减少了，便于直接标注…
未登录词识别应该单独成系统
自然语言处理系统有很多问题与未登录词识别有关，比如分词、索引、新热点发现、主题词/中心词分析、人物关系统计等等。所以，很多相关系统都号称自己具有未登录词识别功能，也就是内嵌了一个未登录词识别模块。先不论效果好坏，单是这…
统计自然语言处理简介
统计自然语言处理简介 李亚超 2010-10-28 简介 语言学家的任务是描述和解释存在我们周围的众多语言现象，比如交谈、写作、以及其他的媒体形式。这就需要一方面确定人类是怎么认知世界、以及怎样获取、产生、理解语言，另一方面要理解语言的结构。对于后…
自然语言处理(一)：词嵌入
词嵌入
词嵌入（Word Embedding）是自然语言处理（NLP）中的一种技术，用于将文本中的单词映射到一个低维向量空间中。它是将文本中的单词表示为实数值向量的一种方式。
在传统的文本处理中，通常使用独热编码&…
上图自然语言处理相关书目
1. 基于词联接的自然语言处理技术及其应用研究 * 著者 李良炎学林出版社 2007 2. 计算机自然语言处理 * 著者 王晓龙清华大学出版社 2005 3. 统计自然语言处理基础 * 著者 曼宁电子工业出版社 2005 4. 自然语言处理 * 著者 江铭虎高等教育出版社 2007 …
自然语言处理的多行业应用
在我们小时候，甚至是我们会走路或说话之前，就已经在察觉周围发出的声音了。我们倾听其他人发出的声响和声音。我们将声音组合成有意义的词语，例如“母亲”和“门”，并学习解读周围人的面部表情，以加深我们对词组的理解…
补充：动态时间规整（DTW）算法
整理自：https://zhuanlan.zhihu.com/p/43247215 DTW(dynamic time warping) 最初用于识别语音的相似性。我们用数字表示音调高低，例如某个单词发音的音调为1-3-2-4。现在有两个人说这个单词，一个人在前半部分拖长，其发音为1-1-3-3…
Postman接口测试步骤
1、首先，我们打开Postman软件，打开后界面如图1所示界面，我们来进行下一步操作。 图1-Postman界面2、打开Postman之后，我们会看到左边模块中有一个“New”按钮，我们点开它来进行下一步操作（如图2所示界面&am…
微信公众号实现表格文字识别功能（java后台）
有个想法就是想把图片上不可编辑的的表格给抓取出来，生成Excel，发到用户绑定的邮箱，也不是什么新技术了，百度ai以及其他各ai平台均有文字识别的功能，咱不会写这算法，调用也行，我的步骤是在自己的…
keras preprocessing中的Tokenizer与sequence使用解读
1. 代码
import jieba
from keras.preprocessing.text import Tokenizer
from keras.preprocessing import sequencedef cut_text(text, type char):"""将文本按不同方式切词，以空格作为分割"""# print(text)if type char:return …
人工智能Java SDK：NLP词向量提取【英文】
词向量SDK【英文】
词向量/词嵌入（Word embedding）是自然语言处理（NLP）中语言模型与表征学习技术的统称。 概念上而言，它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中， 每…
人工智能Java SDK：NLP词向量提取【中文】
词向量SDK【中文】
词向量/词嵌入（Word embedding）是自然语言处理（NLP）中语言模型与表征学习技术的统称。 概念上而言，它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中， 每…
genism word2vec方法
文章目录 概述使用示例模型的保存与使用训练参数详解（[原链接](https://blog.csdn.net/weixin_44852067/article/details/130221655)）语料库训练 概述
word2vec是按句子来处理的Sentences(句子们)
使用示例
from gensim.models import Word2Vec
#sent…
深度学习与自然语言处理(8)_斯坦福cs224d RNN，MV-RNN与RNTN
原文作者：Richard Socher 翻译：胥可 && 熊杰 && 杨帆 && 陈沛 && Molly 校对调整：寒小阳 && 龙心尘 时间：2016年7月 出处： http://blog.csdn.net/han_xiaoyang/article/…
NLP系列(5)_从朴素贝叶斯到N-gram语言模型
作者： 龙心尘 && 寒小阳 时间：2016年2月。 出处： http://blog.csdn.net/longxinchen_ml/article/details/50646528 http://blog.csdn.net/han_xiaoyang/article/details/50646667 声明：版权所有，转载请联系作者…
Enabling Large Language Models to Generate Text with Citations
本文是LLM系列的文章，针对《Enabling Large Language Models to Generate Text with Citations》的翻译。 使大语言模型能够生成带有引用的文本 摘要1 引言2 任务设置和数据集3 自动评估4 建模5 实验6 人类评估7 相关工作8 结论不足 摘要
大型语言模型（…
NLP - 如何解决ModuleNotFoundError: No module named ‘jieba‘的问题
错误描述
在JUPYTER中，使用结巴分词，出错：
ModuleNotFoundError: No module named jieba解决方案
在 Anaconda Prompt 中，执行以下指令（可以解决）：
pip install jieba -i https://pypi.tuna…
GCN图卷积神经网络 text_gcn 文本分类论文的源码，逐行注释版，光看代码注释就能学一篇论文。
《Graph Convolutional Networks for Text Classification》 这篇论文中的源码，我看过以后，为了以后还能看懂代码，就逐行写了注释，说是逐行也有点夸张了，就像变量赋值之类，创建对象这种属于pytho…
Android环境下hanlp汉字转拼音功能的使用介绍
由于项目需要在Android手机设备上实现汉字转拼音功能（支持多音字），于是首先想到了Pinyin4j多音字映射对照表的实现方案，并在项目中试用了一段时间，发现数据量大时，其耗时非常严重。后来寻找其他方案&#x…
nlp系列（7）三元组识别（Bi-LSTM+CRF）pytorch
模型介绍
在实体识别中：使用了Bert模型，CRF模型
在关系识别中：使用了Bert模型的输出与实体掩码，进行一系列变化，得到关系
Bert模型介绍可以查看这篇文章：nlp系列（2）文本分类&…
大模型调试debug记录
环境：Linux , cuda 11.7
RuntimeError: Distributed package doesnt have NCCL built in
原因：pytorch安装的是cpu版本，需要安装支持gpu版本的
RuntimeError: Distributed package doesnt have NCCL built in - #3 by bdabykov - distrib…
基础论文学习（5）——MAE
MAE：Masked Autoencoders Are Scalable Vision Learners
Self-Supervised Learning
step1：先用无标签数据集，把参数从一张白纸训练到初步预训练模型，可以得到数据的 Visual Representationstep2：再从初步成型&#x…
pyhanlp 停用词与用户自定义词典功能详解
hanlp的词典模式
之前我们看了hanlp的词性标注，现在我们就要使用自定义词典与停用词功能了，首先关于HanLP的词性标注方式具体请看HanLP词性标注集。
其核心词典形式如下： 自定义词典
自定义词典有多种添加模式，首先是展示的一个…
hanlp自然语言处理包的基本使用--python
hanlp拥有：中文分词、命名实体识别、摘要关键字、依存句法分析、简繁拼音转换、智能推荐。
这里主要介绍一下hanlp的中文分词、命名实体识别、依存句法分析，这里就不介绍具体的hanlp的安装了，百度教程很多，可以看这里：…
什么是自然语言处理技术
自然语言处理（NLP）是计算机科学，人工智能，语言学关注计算机和人类（自然）语言之间的相互作用的领域。自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进…
自然语言处理2-NLP
目录
自然语言处理2-NLP
如何把词转换为向量
如何让向量具有语义信息
在CBOW中
在Skip-gram中
skip-gram比CBOW效果更好
CBOW和Skip-gram的算法实现
Skip-gram的理想实现
Skip-gram的实际实现 自然语言处理2-NLP
在自然语言处理任务中，词向量（…
自然语言处理实战项目16- 基于CPU的大语言模型的实战训练全流程指导，模型调优与评估
大家好，我是微学AI，今天给大家介绍一下自然语言处理实战项目16- 基于CPU的生成式大语言模型的实战训练全流程详细讲解，模型调优与评估。该流程涵盖了数据准备、数据预处理、词表构建、模型选择与配置、模型训练、模型调优和模型评估等步骤。通过不断迭代和优化，可以提高模型…
【深度学习】- NLP系列文章之 1.文本表示以及mlp来处理分类问题
系列文章目录
1. 文本分类与词嵌入表示，mlp来处理分类问题 2. RNN、LSTM、GRU三种方式处理文本分类问题 3. 评论情绪分类 还是得开个坑，最近搞论文，使用lstm做的ssd的cache prefetching，意味着我不能再划水了。 文章目录 系列文章…
![[NLP] LLM---＜训练中文LLama2(四)方式一＞对LLama2进行SFT微调](https://img-blog.csdnimg.cn/bec50e7544ad455fba2cd4cfac385af9.png)
[NLP] LLM---＜训练中文LLama2(四)方式一＞对LLama2进行SFT微调
指令精调
指令精调阶段的任务形式基本与Stanford Alpaca相同。训练方案也采用了LoRA进行高效精调，并进一步增加了可训练参数数量。在prompt设计上，精调以及预测时采用的都是原版Stanford Alpaca不带input的模版。对于包含input字段的数据，采…
![[NLP] LLM---＜训练中文LLama2(三)＞对LLama2进行中文预料预训练](https://img-blog.csdnimg.cn/c3327b28cafd4aed859b09d0f212c1fe.png)
[NLP] LLM---＜训练中文LLama2(三)＞对LLama2进行中文预料预训练
预训练
预训练部分可以为两个阶段：
第一阶段：冻结transformer参数，仅训练embedding，在尽量不干扰原模型的情况下适配新增的中文词向量。第二阶段：使用 LoRA 技术，为模型添加LoRA权重（adapter&…
计算文本相似度的几种方法以及实现原理
第一种基于TF-IDF向量法计算文本相似度
import jieba
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity# 语料库
corpus [你借的钱什么时候还呀,你到底什么时候还钱,你如果不还钱的话，你的征…
【2021年新书推荐】Transformers for Natural Language Processing
各位好，此账号的目的在于为各位想努力提升自己的程序员分享一些全球最新的技术类图书信息，今天带来的是2021年1月由Packt出版社最新出版的一本关于机器学习和NLP的书。
Transformers for Natural Language Processing 作者：Denis Rothman 出…
机器学习深度学习——NLP实战（情感分析模型——textCNN实现）
👨🎓作者简介：一位即将上大四，正专攻机器学习的保研er 🌌上期文章：机器学习&&深度学习——NLP实战（情感分析模型——RNN实现） 📚订阅专栏：机器学习…
HanLP-分类模块的分词器介绍
最近发现一个很勤快的大神在分享他的一些实操经验，看了一些他自己关于hanlp方面的文章，写的挺好的！转载过来分享给大家！以下为分享原文（无意义的内容已经做了删除）
如下图所示，HanLP的分类模块…
【AI视野·今日NLP 自然语言处理论文速览 第四十八期】Thu, 5 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Thu, 5 Oct 2023 Totally 50 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Retrieval meets Long Context Large Language Models Authors Peng Xu, Wei Ping, Xianchao Wu, Lawrence McA…
NLP 项目：维基百科文章爬虫和分类【01】 - 语料库阅读器
自然语言处理是机器学习和人工智能的一个迷人领域。这篇博客文章启动了一个具体的 NLP 项目，涉及使用维基百科文章进行聚类、分类和知识提取。灵感和一般方法源自《Applied Text Analysis with Python》一书。 一、说明 该文是系列文章，揭示如何对爬取文…
自然语言处理实战项目20-一看就懂的BERT模型介绍，指导大家对BERT下游任务改造的实际应用
大家好，我是微学AI，今天给大家介绍一下自然语言处理实战项目20-通俗易懂的BERT模型介绍，指导大家对BERT下游任务改造的应用，BERT模型是一种用于自然语言处理的深度学习模型，它可以通过训练来理解单词之间的上下文关系，从而为下游任务提供高质量的语言表示。它的结构是由多…
使用 Hugging Face Transformer 创建 BERT 嵌入
介绍 最初是为了将文本从一种语言更改为另一种语言而创建的。BERT 极大地影响了我们学习和使用人类语言的方式。它改进了原始 Transformer 模型中理解文本的部分。创建 BERT 嵌入尤其擅长抓取具有复杂含义的句子。它通过检查整个句子并理解单词如何连接来做到这一点。Hugging F…
（已解决）AttributeError: module ‘cv2.gapi.wip.draw‘ has no attribute ‘Text‘
问题描述 今天再跑Caption-Anything项目的时候，最开始的时候就报了这样一个错误：AttributeError: module cv2.gapi.wip.draw has no attribute Text。 Caption-Anything是一种多功能的图像处理工具，结合了Segment Anything，Visual…
知识注入以对抗大型语言模型（LLM）的幻觉11.6
知识注入以对抗大型语言模型（LLM）的幻觉 摘要1 引言2 问题设置和实验2.1 幻觉2.2 生成响应质量 3 结果和讨论3.1 幻觉3.2 生成响应质量 4 结论和未来工作 摘要
大型语言模型（LLM）内容生成的一个缺点是产生幻觉，即在输…
自然语言处理技术之词向量：GloVe单词表示的全局向量（glove.840B.300d、glove.6B）
目录 一、词向量介绍二、GloVe学习词向量的词嵌入模型三、词向量入门（代码下载）四、训练五、模型概述六、可视化七、发布历史一、词向量介绍
自然语言处理（NLP）中的词向量是将文本中的词汇表示为数值向量的技术。词向量的主要作用是将文本数据转换成计算机可以理解和处理的…
LLM之幻觉（一）：大语言模型幻觉解决方案综述
论文题目：《Cognitive Mirage: A Review of Hallucinations in Large Language Models》
论文链接：https://arxiv.org/abs/2309.06794v1
论文代码：https://github.com/hongbinye/cognitive-mirage-hallucinations-in-llms
一、幻觉介绍 …
BENTLY 350015 127610-01数字量输入模块
数字输入功能： BENTLY 350015 127610-01模块通常用于监测和采集数字输入信号，例如开关状态、传感器状态等。 多通道： 这些模块通常具有多个输入通道，允许同时监测多个数字输入信号。 高精度： BENTLY 350015 127610-0…
一致性思维链（SELF-CONSISTENCY IMPROVES CHAIN OF THOUGHT REASONING IN LANGUAGE MODELS）
概要
思维链已经在很多任务上取得了非常显著的效果，这篇论文中提出了一种 self-consistency 的算法，来代替 贪婪解码 算法。本方法通过 采样多个思维链集合，然后LLM模型生成后，选择一个最一致的答案作为最后的结果。一致性思维链…
【AI视野·今日NLP 自然语言处理论文速览 第三十八期】Thu, 21 Sep 2023
AI视野今日CS.NLP 自然语言处理论文速览 Thu, 21 Sep 2023 Totally 57 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Chain-of-Verification Reduces Hallucination in Large Language Models Authors Shehzaad Dhuliawala, Mojt…
NLP的不同研究领域和最新发展的概述
一、介绍 作为理解、生成和处理自然语言文本的有效方法，自然语言处理 （NLP） 的研究近年来迅速普及并被广泛采用。鉴于NLP的快速发展，获得该领域的概述和维护它是困难的。这篇博文旨在提供NLP不同研究领域的结构化概述，…
文件操作的常用技巧（持续更新）
目录 1. 统计文件的总行数2. 查看文件中的某一行3. 从文件中随机抽取若干行4. 划分文件&合并文件 1. 统计文件的总行数
使用 wc 命令：
wc -l filename | awk {print $1}使用 awk 命令：
awk END {print NR} filename使用 grep 命令：
g…
【AI视野·今日NLP 自然语言处理论文速览 第四十六期】Tue, 3 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Tue, 3 Oct 2023 (showing first 100 of 110 entries) Totally 100 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Its MBR All the Way Down: Modern Generation Techniques Through the …
机器学习笔记 - 深入研究spaCy库及其使用技巧
一、简述 spaCy 是一个用于 Python 中高级自然语言处理的开源库。它专为生产用途而设计，这意味着它不仅功能强大，而且快速高效。spaCy 在学术界和工业界广泛用于各种 NLP 任务，例如标记化、词性标注、命名实体识别等。 安装，这里使用阿里的源。
pip install spacy…
自然语言处理---Tr ansformer机制详解之Transformer结构
1 Encoder模块
1.1 Encoder模块的结构和作用
经典的Transformer结构中的Encoder模块包含6个Encoder Block.每个Encoder Block包含一个多头自注意力层，和一个前馈全连接层.
1.2 Encoder Block
在Transformer架构中，6个一模一样的Encoder …
自然语言处理---迁移学习
fasttext介绍 作为NLP工程领域常用的工具包，fasttext有两大作用：进行文本分类、训练词向量。在保持较高精度的情况下，快速的进行训练和预测是fasttext的最大优势。fasttext优势的原因: fasttext工具包中内含的fasttext模型具有十分简单的网络…
自然语言处理---Transformer机制详解之Self attention机制详解
1 Self-attention的特点
self-attention是一种通过自身和自身进行关联的attention机制, 从而得到更好的representation来表达自身.
self-attention是attention机制的一种特殊情况，在self-attention中, QKV, 序列中的每个单词(token)都和该序列中的其他所有单词(to…
Tuna: Instruction Tuning using Feedback from Large Language Models
本文是LLM系列文章，针对《Tuna: Instruction Tuning using Feedback from Large Language Models》的翻译。 Tuna:使用来自大型语言模型的反馈的指令调优 摘要1 引言2 方法3 实验4 相关工作5 结论局限性 摘要
使用更强大的LLM（如Instruction GPT和GPT-…
《人工智能算法图解》书籍推荐
书籍介绍 今天，人工智能在我们的生活中随处可见。它能推送我们喜欢的电视节目，帮助我们诊断疑难杂症，还能向我们推荐商品。因此，让我们掌握人工智能的核心算法，拥抱日新月异的智能世界吧。
与那些充斥着公式和术语的教…
【探索AI潜能，连结现代通讯】相隔万里，我们与AI一同赏月。
1️⃣写在前面
近年来，AI得到了迅猛的发展，尤其是大模型的出现受到了广泛的关注和讨论🚀。ChatGPT、文心一言等纷纷登场，可谓是百家争鸣❗
而AI大模型所延申出的子项目如AI绘画、AI写作等，在各自的领域展示出了惊人的…
大型语言模型：DistilBERT — 更小、更快、更便宜、更轻
一、介绍 近年来，大型语言模型的演进速度飞速发展。BERT成为最流行和最有效的模型之一，可以高精度地解决各种NLP任务。在BERT之后，一组其他模型随后出现在现场，也展示了出色的结果。 很容易观察到的明显趋势是，随着时间…
【自然语言处理】关系抽取 —— GDPNet 讲解
GDPNet 论文信息 标题：GDPNet: Refining Latent Multi-View Graph for Relation Extraction 作者：Fuzhao Xue, Aixin Sun, Hao Zhang, Eng Siong Chng 期刊：AAAI 2021 发布时间与更新时间：2020.12.12 主题：自然语言处理、关系抽取、对话场景、BERT、GCN arXiv：[2012.0678…
token_to_image
token 和 image 互转 解释代码解释 这段代码实现了一个将图像转换为 token 并将其转换回图像的转换过程。以下是代码的主要步骤： 导入所需的库，包括 OpenCV、numpy 和 pandas。 定义一个名为 image_256_sample 的函数，该函数接受一个图像作为输入，并将其转换为 256 级灰度图…
自然语言处理（一）：基于统计的方法表示单词
文章目录 1. 共现矩阵2. 点互信息3. 降维（奇异值分解） 1. 共现矩阵
将一句话的上下文大小窗口设置为1，用向量来表示单词频数，如： 将每个单词的频数向量求出，得到如下表格，即共现矩阵&#x…
使用Java和NLP技术实现AI伪原创文章自动生成：一个详细的编程指南
第一部分：引言和背景
1. 引言
随着技术的进步，AI领域特别是自然语言处理（NLP）领域已经得到了迅速的发展。一种特殊的应用是AI伪原创文章的自动生成，它可以在保持原文意义的前提下，为内容创造一个新的表达…
![[NLP] 使用Llama.cpp和LangChain在CPU上使用大模型](https://img-blog.csdnimg.cn/c216238c9607416583ed571ff1a2a82d.png)
[NLP] 使用Llama.cpp和LangChain在CPU上使用大模型
一 准备工作
下面是构建这个应用程序时将使用的软件工具:
1.Llama-cpp-python 下载llama-cpp, llama-cpp-python
[NLP] Llama2模型运行在Mac机器-CSDN博客
2、LangChain
LangChain是一个提供了一组广泛的集成和数据连接器，允许我们链接和编排不同的模块。可以常…
第三章:人工智能深度学习教程-基础神经网络(第六节-ML深度学习层列表)
要指定所有层按顺序连接的神经网络的架构，请直接创建层数组。要指定层可以有多个输入或输出的网络架构，请使用 LayerGraph 对象。使用以下函数创建不同的图层类型。
输入层：
功能描述图像输入层 将图像输入网络应用数据标准化序列输入层 将…
自然语言处理---Transformer机制详解之Transformer优势
1 Transformer的并行计算
对于Transformer比传统序列模型RNN/LSTM具备优势的第一大原因就是强大的并行计算能力.
对于RNN来说，任意时刻t的输入是时刻t的输入x(t)和上一时刻的隐藏层输出h(t-1)，经过运算后得到当前时刻隐藏层的输出h(t)，这个…
LONGLORA: EFFICIENT FINE-TUNING OF LONGCONTEXT LARGE LANGUAGE MODELS
本文是LLM系列文章，针对《LONGLORA: EFFICIENT FINE-TUNING OF LONGCONTEXT LARGE LANGUAGE MODELS》的翻译。 Longlora:长上下文大型语言模型的高效微调 摘要1 引言2 相关工作3 LongLoRA4 实验5 结论 摘要
我们提出了LongLoRA，一种有效的微调方法&…
ConPET: Continual Parameter-Efficient Tuning for Large Language Models
本文是LLM系列文章，针对《ConPET: Continual Parameter-Efficient Tuning for Large Language Models》的翻译。 ConPET:大型语言模型的连续参数高效调优 摘要1 引言2 相关工作3 提出的方法4 实验5 结论与未来工作 摘要
持续学习需要不断调整模型以适应新出现的任…
NLP算法面经 | 腾讯 VS 美团
作者 | 曾同学 编辑 | NewBeeNLP 面试锦囊之面经分享系列，持续更新中 后台回复『面试』加入讨论组交流噢 lz从3月初脚因打球扭伤了开始，投递简历，接二连三的面试鞭尸又面试，昨天才终于上岸了，分享经验~ 腾讯PCG看点&…
大语言模型在推荐系统的实践应用
本文从应用视角出发，尝试把大语言模型中的一些长处放在推荐系统中。
01
背景和问题
传统的推荐模型网络参数效果较小(不包括embedding参数)，训练和推理的时间、空间开销较小，也能充分利用用户-物品的协同信号。但是它的缺陷是只能利用数据…
《Playing repeated games with Large Language Models》全文翻译
《Playing repeated games with Large Language Models》- 使用大型语言模型玩重复游戏 论文信息摘要1. 介绍2. 相关工作3. 一般方法4. 分析不同游戏系列的行为5. 囚徒困境5.1 性别之战 6. 讨论 论文信息
题目：《Playing repeated games with Large Language Model…
为什么嵌入通常优于TF-IDF：探索NLP的力量
塔曼纳 一、说明 自然语言处理（NLP）是计算机科学的一个领域，涉及人类语言的处理和分析。它用于各种应用程序，例如聊天机器人、情绪分析、语音识别等。NLP 中的重要任务之一是文本分类，我们根据文本的内容将文本分类为不…
Banana Pi BPI-W3（Armsom W3）RK3588开当板之调试UART
前言
本文主要讲解如何关于RK3588开发板UART的使用和调试方法，包括UART作为普通串口和控制台两种不同使用场景
一. 功能特点
Rockchip UART (Universal Asynchronous Receiver/Transmitter) 基于16550A串口标准，完整模块支持以下功能：
支…
2021-arxiv-LoRA Low-Rank Adaptation of Large Language Models
2021-arxiv-LoRA Low-Rank Adaptation of Large Language Models Paper: https://arxiv.org/abs/2106.09685 Code: https://github.com/microsoft/LoRA
大型语言模型的LoRA低秩自适应
自然语言处理的一个重要范式包括对通用领域数据的大规模预训练和对特定任务或领域的适应。…
【深入探究人工智能】历史、应用、技术与未来
深入探究人工智能 前言人工智能的历史人工智能的应用人工智能的技术人工智能的未来当代的人工智能产物结语🍀小结🍀 🎉博客主页：小智_x0___0x_ 🎉欢迎关注：👍点赞🙌收藏✍️留言 &am…
ChatGPT技术原理 第四章：Transformer模型
目录 4.1 什么是Transformer
4.2 Transformer结构详解
4.3 Self-Attention机制
4.4 Multi-Head Attention机制 4.1 什么是Transformer
NLP实践——LLM生成过程中防止重复循环
NLP实践——LLM生成过程中防止重复 1. 准备工作2. 问题分析3. 创建processor3.1 防止重复生成的processor3.2 防止数字无规则循环的processor 4. 使用 本文介绍如何使用LogitsProcessor避免大模型在生成过程中出现重复的问题。
1. 准备工作
首先实例化一个大模型，…
近几年NLP比较promising的方法
Contrastive Learning
对比学习的想法是，把不同类别的样本在特征空间推开，而让相似的样本距离更近，从而获得更好的样本表示
NLP中一个非常经典的是danqi女神的SimCSE：Raki的读paper小记：SimCSE: Simple Contrastive …
自然语言分析、文本分析、全文索引，搜索引擎相关资源汇总
日常工作中经常要查找这方面的相关文章，做个索引，并不断更新，以便日后查找。 盘古分词：http://pangusegment.codeplex.com/ LingPipe 自然语言处理工具包的博客
Google （谷歌）中国的博客网志
博客园搜索…
【nlp】2.8 注意力机制拓展
注意力机制拓展 1 注意力机制原理1.1 注意力机制示意图1.2 Attention计算过程1.3 Attention计算逻辑1.4 有无attention模型对比1.4.1 无attention机制的模型1.4.2 有attention机制的模型1 注意力机制原理
1.1 注意力机制示意图
Attention机制的工作原理并不复杂，我们可以用下…
自然语言处理(三)：基于跳元模型的word2vec实现
跳元模型
回顾一下第一节讲过的跳元模型
跳元模型（Skip-gram Model）是一种用于学习词向量的模型，属于Word2Vec算法中的一种。它的目标是通过给定一个中心词语来预测其周围的上下文词语。
这节我们以跳元模型为例，讲解word2vec的…
数字编码；数字语音编码
数字编码;数字语音编码
模拟与数字信号(Analogue vs. Digital Signals) • 所有自然信号（包括语音）都是“模拟”– 他们可以假设无限的可能值;它们在时间中连续存在 • 完美处理模拟信号需要无限分辨率和/或无限存储 • 任何实用系统（计算机…
ubuntu 完全卸载docker
删除某软件，其安装时自动安装的所有包
sudo apt-get autoremove docker docker-ce docker-engine docker.io containerd runc删除docker 其他没有卸载
dpkg -l | grep dockerdpkg -l |grep ^rc|awk {print $2} |sudo xargs dpkg -P # 删除无用的相关的配置文件 …
机器学习深度学习——NLP实战（情感分析模型——RNN实现）
👨🎓作者简介：一位即将上大四，正专攻机器学习的保研er 🌌上期文章：机器学习&&深度学习——NLP实战（情感分析模型——数据集） 📚订阅专栏：机器学习&…
如何在 LangChain 中调用 OpenVINO™ 加速大语言模型
点击蓝字 关注我们,让开发变得更有趣 作者 | 杨亦诚 排版 | 李擎 OpenVINO™..♩~ ♫. ♪.. LangChain简介 LangChain 是一个高层级的开源的框架，从字面意义理解，LangChain 可以被用来构建 “语言处理任务的链条”，它可以让AI开发人员把大型语…
第二章--第二节--自然语言处理（NLP）
一、引言
自然语言处理（NLP）是人工智能领域的重要分支，旨在让计算机能够理解、分析、生成人类语言。随着大数据和深度学习技术的快速发展，NLP在文本分类、情感分析、机器翻译等方面取得了巨大进展。本文将介绍NLP的基本任务、技术和应用，并探讨NLP在ChatGPT等智能对话系统…
区块链相关技术、概念以及技术实现过程中的一些关键问题 Smart Contracts and Blockchains
作者：禅与计算机程序设计艺术
1.简介
2017年底，区块链已经成为众多投资人和技术人员最关注的话题之一。随着现实世界的不断复杂化、数字货币的流行以及IoT设备的普及，加密数字货币市场正变得越来越活跃。由于区块链具有去中心化、不可篡改、透明性、高并发等特点，使其在金…
ChatGLM基于LangChain应用开发实践（一）
一、概述
在使用大模型（LLM）做应用开发时，LangChain是一个主流的开发框架，通过它来构建Agent，根据用户查询访问企业私有数据，调用自定义或者第三方工具库，然后再调用LLM，利用其推理…
深度之眼Paper带读笔记NLP.10：DCNN
文章目录前言第一课 论文导读句子建模简介词表征Word Representation基于分布式相似性的表征Distributional Similarity based representations基于窗口的共现矩阵Window based co-occurrence matrix简单共现向量的问题Problems with simple cooccurrence vectors低维向量的解决…
GPT-4发布：人工智能新高度，以图生文技术震撼，短时间内挤爆OpenAI模型付费系统
“GPT-4，起飞！”今日凌晨1点，OpenAI正式推出史上最强大的GPT-4文本生成AI系统
GPT-4：人工智能的新里程碑
你可能已经听说过GPT-3，它是一种能够生成自然语言文本的强大模型，可以用来回答问题、写文章、编程…
深度学习面试问题与答案（2023）
1）什么是深度学习？ 如果你正在参加深度学习面试，那么你肯定知道深度学习到底是什么。然而，这个问题的面试官希望你能够给出一个详细的答案，并且附上一个例子。深度学习涉及到处理大量的结构化或非结构化数据࿰…
第一章--第一篇--了解 ChatGPT
ChatGPT 是一种基于 GPT 系列模型的自然语言处理技术，其全称是 Conversational Generative Pre-training Transformer。在过去的几年中，自然语言处理领域的研究人员们一直在探索如何让计算机更加智能地处理自然语言，而 GPT 系列模型正是其中的…
国货拟人AI绘图；500+AI岗位合辑；百川x亚马逊AI黑客松；企业级AI行业图谱；100+LLM面试题与答案 | ShowMeAI日报
👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦！ 🔥 上万人涌入抖音国货直播间，朴实「商战」带火国民品牌 谁能想到，李佳琦「华西子事件」意外带火了一众国货品牌的…
GPT3 和它的 In-Context Learning
作者 | 太子长琴 整理 | NewBeeNLP 大家好，这里是NewBeeNLP。ChatGPT 的爆火让很多 NLPer 大吃一惊，焦虑感爆棚，它的思路和方法都不复杂，但效果却出奇的好。 我想任何研究成果的爆发都不可能是一蹴而就的，期间必然包含…
python中文分词之jieba分词的使用
文章目录1.特点2.安装说明安装示例下载：安装：测试：3.算法4.主要功能(1)分词(2)添加自定义词典载入词典调整词典(3)关键词提取一、基于 TF-IDF 算法的关键词抽取二、基于 TextRank 算法的关键词抽取小应用：查看《西游记》这本书的人…
权威硬核认证｜数说故事携手IDEA共创学术论文获NLP国际顶会 ACL 2023收录
日前，数说故事携手IDEA共创的学术论文——《A Unified One-Step Solution for Aspect Sentiment Quad Prediction (一个统一的单步情感四元组识别方法) 》被国际学术顶会 ACL 2023 接收为 Findings长文。这是继上一年IDEA数说故事实验室论文获「国际AI顶会IJCAI-ECA…
【nlp】文本处理的基本方法
文本处理的基本方法 1 什么是分词2 什么是命名实体识别3 什么是词性标准1 什么是分词
分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段能通过明显的分界符来简单划界，唯独词没有一个形…
论文笔记 ACL 2021|Low-resource Event Detection with Ontology Embedding
文章目录1 简介1.2 创新2 方法2.1 Event Detection (Ontology Population)2.2 Event Ontology Learning2.3 Event Correlation Inference3 实验1 简介
论文题目：Low-resource Event Detection with Ontology Embedding 论文来源：ACL 2021 论文链接&…
ACL 2022事件相关(事件抽取、事件关系抽取、事件预测等)论文汇总
ACL 2022事件相关(事件抽取、事件关系抽取、事件预测等)论文汇总，已更新全部的论文。
Event Extraction
Query and Extract: Refining Event Extraction as Type-oriented Binary Decoding 讲解地址 本篇论文将事件抽取定义为query-and-extract范式，通…
论文笔记 EACL 2021|GRIT: Generative Role-filler Transformers for Document-level Event Entity Extraction
文章目录1 简介1.1 创新2 背景知识2.1 任务定义2.2 评测指标3 方法4 实验1 简介
论文题目：GRIT: Generative Role-filler Transformers for Document-level Event Entity Extraction 论文来源：EACL 2021 论文链接：https://arxiv.org/pdf/200…
论文笔记 EMNLP 2021|Modeling Document-Level Context for Event Detection via Important Context Selection
文章目录1 简介1.1 创新2 方法2.1 预测模型2.2 上下文选择2.3 训练3 实验1 简介
论文题目：Modeling Document-Level Context for Event Detection via Important Context Selection 论文来源：EMNLP 2021 组织机构：俄勒冈大学 论文链接&#…
NAACL 2022事件相关(事件抽取、事件关系抽取、事件预测等)论文汇总
NAACL 2022事件抽取相关(事件抽取、事件关系抽取、事件预测等)论文汇总，已更新全部的论文讲解。
Event Extraction RAAT: Relation-Augmented Attention Transformer for Relation Modeling in Document-Level Event Extraction 提出一个文档级事件抽取模型&#x…
词嵌入、句向量等方法汇总
在cips2016出来之前，笔者也总结多类似词向量的内容，自然语言处理︱简述四大类文本分析中的“词向量”（文本词特征提取）事实证明，笔者当时所写的基本跟CIPS2016一章中总结的类似，当然由于入门较晚没有CIPS20…
Python自然语言处理资料库
1、LTP - 语言技术平台(LTP) 提供包括中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注等丰富、 高效、精准的自然语言处理技术。经过哈工大社会计算与信息检索研究中心 11 年的持续研发和推广，LTP 已经成为国内外最具影响力的中文处理基础平台。
2、…
大模型之二十一-小语言模型塞道开启
当前提到大语言模型，大家想到的都是动辄百亿规模以上参数量的模型，13B、70B都是稀疏平常入门级的，但是目前从模型层面来看，模型参数量的规模两极分化已经来临，早期各大公司为了效果怼上去，采取了简单粗暴的…
嘘！P站数据分析年报；各省市疫情感染进度条；爱奇艺推出元宇宙App；You推出AI聊天机器人；GitHub今日热榜 | ShowMeAI资讯日报
👀日报合辑 | 🎡AI应用与工具大全 | 🔔公众号资料下载 | 🍩韩信子 📢 『The 2022 Year in Review』P站2022年度报告
Pornhub 发布了第 9 次年度报告，数据科学家们绘制了多张彩色可视化图表，回顾…
【飞桨星河社区五周年线下工坊-杭州站】
? 欢迎大家参加杭州极客工坊，深入了解大模型前沿技术和创新应用，一站式体验AI原生应用开发? 精彩议程敬请期待～ ? 时间：2023年12月3日 14:00-17:30 ? 地点：杭州西湖区花蒋路3号西溪润泽园度假酒店 ? 主题…
【Pytorch】学习记录分享8——PyTorch自然语言处理基础-词向量模型Word2Vec
【Pytorch】学习记录分享7——PyTorch自然语言处理基础-词向量模型Word2Vec 1. 词向量模型Word2Vec)1. 如何度量这个单词的？2.词向量是什么样子？3.词向量对应的热力图：4.词向量模型的输入与输出
利用大语言模型（LLM ）提高工作效率
日常工作就是面向 google/ 百度编程，除了给变量命名是手动输入，大多时候就是通过搜索引擎拷贝别人的代码，或者找到旧项目一段代码拷贝过来使用。这无疑是开发人员的真实写照；然而，通过搜索引擎搜索答案，无疑…
论文浅尝 | ChatKBQA：基于微调大语言模型的知识图谱问答框架
第一作者：罗浩然，北京邮电大学博士研究生，研究方向为知识图谱与大语言模型协同推理 OpenKG地址：http://openkg.cn/tool/bupt-chatkbqa GitHub地址：https://github.com/LHRLAB/ChatKBQA 论文链接：https://ar…
NLP 新宠 prompt
0. NLP 的四种范式
最近几年，有人将近代 NLP 技术的发展总结为四种范式，他们分别是: P1. 非神经网络时代的完全监督学习 (Fully Supervised Learning, Non-Neural Network) P2. 基于神经网络的完全监督学习 (Fully Supervised Learning, Neural Network…
【NLP】LSTM 唐诗生成器 pytorch 版
参考这篇文章LSTM唐诗生成器Keras版
将相关的 keras 模型代码进行修改，改成对应的 pytorch 模型，现将有区别的部分放在这里。
训练模型
搭建网络
# 把keras 模型改成 pytorch 模型
# 建立LSTM模型
import torch
import torch.nn as nn
import torch.…
NLP one-hot编码
🍨 本文为[🔗365天深度学习训练营学习记录博客\n🍦 参考文章：365天深度学习训练营\n🍖 原作者：[K同学啊 | 接辅导、项目定制]\n🚀 文章来源：[K同学的学习圈子](https://www.yuque.co…
玩转String,StringBuffer,char
例题一：输入 一串字符，包含数字[0-9]和小写字母[a-z]，要求按数字从小到大，字母从a-z排序，并且所有数字排在字母的后面
思路：分类成两个字符串，并排序，再合并成一个字符串࿰…
大模型系统和应用——基于大模型的文本理解与生成
引言
最近在公众号中了解到了刘知远团队退出的视频课程《大模型交叉研讨课》，看了目录觉得不错，因此拜读一下。 观看地址： https://www.bilibili.com/video/BV1UG411p7zv
目录：
自然语言处理&大模型基础神经网络基础Transf…
如何使用训练好的Wordvec词向量
转载至： https://www.cnblogs.com/kjkj/p/9811978.html https://www.cnblogs.com/bincoding/p/8911943.html https://www.jianshu.com/p/4d37f0c37dc5 使用训练好的词向量模型参数：
大数据之道 HMM系列
一：HMM解码问题（1）给定一个观察序列OO1O2...OT,和模型μ（A,B,π），如何快速有效地选择在一定意义下“最优”的状态序列Qq1q2...qT，使该状态最好地解释观察序列。 （2）最可能…
不同参数规模大语言模型在不同微调方法下所需要的显存总结
原文来自DataLearnerAI官方网站：
不同参数规模大语言模型在不同微调方法下所需要的显存总结 | 数据学习者官方网站(Datalearner)https://www.datalearner.com/blog/1051703254378255
大模型的微调是当前很多人都在做的事情。微调可以让大语言模型适应特定领域的任…
63个国外优秀测试网站地址
63个国外优秀测试网站地址http://bdonline.sqe.com/ 一个关于网站测试方面的网页,对这方面感兴趣的人可以参考http://citeseer.nj.nec.com/ 一个丰富的电子书库,内容很多,而且提供著作的相关文档参考和下载,是作者非常推荐的一个资料参考网站http://groups.yahoo.com/group/Loa…
OpenAI文档翻译——核心概念（提示词、令牌、模型）
OpenAI API几乎可以应用于任何涉及理解或生成自然语言、代码或图像的任务。它提供了一系列适合不同任务的不同算力的模型来适应各种任务，这个能力也支持你去调节自己定义的模型。而不同类型的模型可以用于从内容生成到语义搜索和分类的所有事情。
关键概念
在了解…
【博学谷学习记录】超强总结，用心分享丨人工智能 AI项目 前向概率计算笔记
目录前向概率模型基础参数公式推导代码实现前向概率
给定隐马尔可夫模型λ\lambdaλ，定义到时刻ttt部分观测序列为o1,o2,⋯,oto_1,o_2,\cdots,o_to1,o2,⋯,ot且状态为sis_isi的概率为前向概率，记作αt(i)P(o1,o2,⋯,ot,itsi∣λ)\alpha_t(i)P(o…
Live800：智能套电机器人实现医院营销获客自动化
随着线上化程度加深，智能客服早已被众多企业熟知并应用。
全球知名市场调研机构 Prescient & Strategic Intelligence 相关报告指出，全球范围内智能客服营收有望在 2024 年底突破 29 亿美元，并可实现近 22.6% 的年复合增长率，…
近似核方法Random Binning Feature（RBF）词嵌入降维
Random Binning Feature（RBF）介绍代码附录-详细解释介绍
Random Binning Feature（RBF）。RBF 将输入数据映射到固定的特征空间，其中每个维度对应于输入数据的一个固定范围。这个范围由我们自己指定，并且在 …
基于跨模态AI模型实现图像检索诗歌
基于跨模态AI模型实现图像检索诗歌前言一、原理二、流程三、代码前言
生活中我们，我们常常会听到这样的说法：“啊，此时此景，我想作首诗”，或者“啊，此时此景，我想吟诗一首。” 清华大学九歌系…
Like What Y ou Like: Knowledge Distill via Neuron Selectivity Transfer（2017）------论文阅读笔记
Like What Y ou Like: Knowledge Distill via Neuron Selectivity Transfer------论文阅读笔记写在前面Abstract1. Introduction2. Related Works3. Background3.1. Notations3.2. Maximum Mean Discrepancy (最大平均偏差MMD)可视化结果4. Neuron Selectivity Transfer4.1. Mo…
全新推出Bard，谷歌google或许可以靠它打败微软OpenAI ChatGPT
目录 前言Bard优势Bard新功能更直观的Bard互动Bard深度集成google search“Help me write” in Gmail谷歌地图路线的全新沉浸式视图谷歌照片全新Magic Editor体验Bard与其他服务的结合谷歌为Android开发者推出AI编码机器人其他 总结参考资料其它资料下载 前言
截止到目前&…
我的Python学习之路(6)
今日学习内容
1.了解Python的组合数据类型，例如集合类型、序列类型（元组类型、列表类型）、字典类型 2.根据三种类型，编写代码实现基本统计值的计算 3.安装jieba库并熟悉它的函数 4.根据jieba库和学习的组合数据类型，实…
一个问题：如何从n张表中读取数据，并从其中找出相同词汇较多的词语？
现有n张表，要对表内数据做修改，但是发现每张表需要进行修改的地方基本一致，存在一定的规律，所以希望通过程序解决。
手动操作解决方案：
先利用人去操作，将每次修改的地方记录下来，经过十次的重…
NLP面经集结 | 达摩院、腾讯、微软、美团、百度
作者 | Codle 整理 | NewBeeNLP 面试锦囊之面经分享系列，持续更新中 赶紧后台回复"面试"加入讨论组交流吧 写在前面 本人情况：双非本末流985研二，爱奇艺NLP日常实习经历，无论文，投的都是 NLP 算法岗。 目前…
【NLP入门教程】七、词义消歧
词义消歧（Word Sense Disambiguation, WSD）其目标是确定文本中词汇的正确含义。由于许多单词具有多种含义，词义消歧对于理解和分析文本具有关键作用。
1. 词义消歧的挑战
词义消歧的主要挑战在于处理以下问题： 多义词：当一个词具有多个含义时，确定其在特定上下文中的正…
InstructGPT论文解读
介绍 上图可以看出InstructGPT(PPO-ptx)及变体（variant trained without pretraining mix）(PPO)显著优于GPT，1.3B的InstructGPT优于175B的GPT，SFT作为RLHF第一阶段的模型效果比GPT好。当然结果是由人来评价的。
RLHF包含三个步骤…
【NLP】PageRank、TextRank算法的原理解析
一、说明 PageRank是经典的网页热度评分算法，在自然语言的热词提取也有同样的意义（TextRank）；本文详细叙述该算法的原理，配合部分代码演示其原理。 二、PageRank算法的启发因素
2.1 算法兴起 PageRank (PR) 是…
【论文速递】EMNLP 2020 - 将事件抽取作为机器阅读理解任务
【论文速递】EMNLP 2020 - 将事件抽取作为机器阅读理解任务
【论文原文】：Event Extraction as Machine Reading Comprehension
【作者信息】：Jian Liu and Yubo Chen and Kang Liu and Wei Bi and Xiaojiang Liu
论文：https://aclantholo…
很全面的提示工程指南（包含大量示例！）
提示工程指南提示工程介绍基础提示配置参数的含义标准提示语提示语的要素提示设计的一般技巧从简单的提示开始指令（Instruction）具体（Specificity）避免不精确的描述（Preciseness）避免说不要做什么基础提示文…
神经网络/深度学习（二）
Seq2Seq 模型 Encoder-Decoder
摘文不一定和目录相关，但是取自该链接
1. Seq2Seq 模型详解
https://baijiahao.baidu.com/s?id1650496167914890612&wfrspider&forpc
Seq2Seq 是一种循环神经网络的变种，包括编码器 (Encoder) 和解码器 (Deco…
中文版GPT3——CPM(2.6B)微调长短文本生成(对应小说歌词)
CPM CPM(Chinese Pretrained Models)模型是北京智源人工智能研究院和清华大学发布的中文大规模预训练模型。官方发布了三种规模的模型，参数量分别为109M、334M、2.6B。关于预训练模型的大量实验表明，更大的模型参数和更多的预训练数据，通常能…
Talk预告 | 浙江大学乔硕斐：语言模型提示推理综述
本期为TechBeat人工智能社区第480期线上Talk！
北京时间3月9日(周四)20:00，浙江大学计算机科学与技术硕士——乔硕斐的Talk将准时在TechBeat人工智能社区开播！
他与大家分享的主题是: “语言模型提示推理综述 ”，届时将分享对语言…
超详细！腾讯NLP算法岗面经（已offer）
作者 | ZipZou整理 | NewBeeNLP面试锦囊之面经分享系列，持续更新中 可以后台回复"面试"加入交流讨论组噢分享一篇旧文，希望大家都成功上岸~写在前面首先来段简单的自我介绍：2021届硕士，硕士期间未有实习经历，…
Live800:智能客服机器人的功能有哪些？
Live800：随着人工智能的深入发展，智能化在各行各业加快落地化部署，以客服行业为例，智能客服机器人已经成为在线客服系统不可或缺的重要部分，也是未来发展的一种趋势。 智能客服机器人是什么？
智能客服机器…
NLP 样本不平衡问题
1. 什么是样本不平衡问题？
所谓的样本不平衡问题指的是数据集中各个类别的样本数量不均衡。以二分类问题为例，通常情况下把样本类别比例超过4:1的数据就可以称为不平衡数据，极端情况下正负样本比例有可能达到1:1000。
2. 如何解决样本不平衡…
LSTM简单介绍—然后使用LSTM对FashionMNIST数据集处理
文章目录 LSTM 简单介绍LSTM的基本结构LSTM的工作原理输入门遗忘门输出门细胞状态更新输出计算 总结代码实例 LSTM 简单介绍
在自然语言处理、语音识别等领域，长短时记忆网络 (Long Short-Term Memory, LSTM) 已经成为了常用的模型之一。本文将介绍 LSTM 的基本结构…
每日学术速递4.28
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 Subjects: cs.CV
1.StepFormer: Self-supervised Step Discovery and Localization in Instructional Videos(CVPR 2023) 标题：StepFormer：教学视频中的自我监督步骤发现和定位…
用LangChain构建大语言模型应用
用LangChain构建大语言模型应用
自 ChatGPT 发布以来，大型语言模型 (LLM) 广受欢迎。尽管您可能没有足够的资金和计算资源从头开始训练自己的大语言模型，但您仍然可以使用预训练的大语言模型来构建一些很酷的东西，例如：
可以根据…
Seq2Seq模型详解
Seq2Seq
在RNN模型需要解决的问题中，有一类N v M的问题，即输入输出不等长问题。例如Machine Translation、Summarization就是这类问题的一些经典粒例子。这种结构又叫做Seq2Seq模型，或者叫Encoder-Decoder模型。
Intuition
我们以机器翻译…
巧用语言模型——让准确率再涨一点点！
还记得在去年，我们曾经发过一篇文章介绍 icefall 中的语言模型使用方法：升点小技巧之—在icefall中巧用语言模型。如今半年过去了，k2 团队又有了一些新进展。今天来给大家做一个小小的总结，再给大家的模型涨涨点（又又又…
论文阅读《Universal Adversarial Triggers for Attacking and Analyzing NLP》
摘要
定义了通用的对抗触发器(Universal Adversarial Triggers)：找到一段特定token序列（触发序列），使其连接到输入数据的前端或末尾时，触发模型产生特定预测。我们提出了一种在tokens上的梯度导向搜索，它可…
论文阅读《Crafting Adversarial Input Sequences for Recurrent Neural Networks》
摘要
将序列数据的对抗性样本形式化为优化问题。使用前向导数来适应RNN的特殊性。这包括如何计算循环计算图的前向导数。
将对抗性扰动从模型预处理输入转换到原始输入。
使用RNN进行分类和序列预测来评估我们技术的性能。平均而言，在一篇71字的电影评论中改变9个…
Transformer的位置编码
1. 什么是位置编码，为什么要使用位置编码
简单来说位置编码就是给一个句子中的每个token一个位置信息，通过位置编码可以明确token的前后顺序关系。
对任何语言来说，句子中词汇的顺序和位置都是非常重要的。它们定义了语法，从而定…
探索人工智能新纪元：Pre-Training 快速指南，轻松上手
theme: orange 预训练 Pre-Training 已被证明是当前人工智能范式中最重要的方面之一，大型语言模型，要转变为通用引擎，需要预训练。 什么是预训练模型 人工智能中的预训练至少部分受到人类学习方式的启发。我们不需要从零开始学习一个主题&…
谷歌推出下一代大型语言模型 PaLM 2
谷歌在 2023 年度 I/O 大会上宣布推出了其下一代大型语言模型 PaLM 2，擅长高级推理任务，包括代码和数学、分类和问答、翻译和多语言能力以及自然语言生成。
谷歌声称 PaLM 2 是一种最先进的语言模型，要优于其之前所有的 LLM，包括…
BERT 面试题 2
1、请简要介绍BERT的网络结构，预训练任务，和优势。
BERT的网络结构是基于Transformer的Encoder部分，由多层自注意力机制和前馈神经网络组成。BERT的预训练任务有两个：Masked Language Model（MLM）和Next Se…
如果说数据是数字经济的新石油，那么人工智能（AI）就是蒸汽机
如果说数据是数字经济的新石油，那么人工智能（AI）就是蒸汽机。好似石油和蒸汽机为运输提供燃料，并推动工业革命一样，掌握数据与人工智能力量的公司同时也掌握着创新关键。 2022年，数据和人工智能为数字革…
论文笔记 EMNLP 2018|Collective Event Detection via a Hierarchical and Bias Tagging Networks with Gated
文章目录1 简介1.1 创新2 背景知识3 方法4 实验1 简介
论文题目：Collective Event Detection via a Hierarchical and Bias Tagging Networks with Gated Multi-level Attention Mechanisms 论文来源：EMNLP 2018 论文链接：https://aclanthol…
How Can We Know What Language Models Know? 中文注释
原始地址： How Can We Know What Language Models Know? | Transactions of the Association for Computational Linguistics | MIT Press
(2022/3/13 下午3:40:25)
(Jiang 等。, 2020, p. 423) 最近的工作提出了耐人寻味的结果，即通过让语言模型&…
3行代码实现全平台多语言离线OCR文字识别,完全免费开源
你想在全平台多语言，包括windows/linux/嵌入式设备等等所有设备上实现离线OCR吗？只要三行代码（核心代码）。
代码如下： BPHANDLE Handle BPOcrInit(szDetModelPath,szClsModelPath,szRecModelPath,szKeylPath,THREAD_…
从Attention到Bert——3 BERT解读
上一篇 从Attention到Bert——2 transformer解读 文章目录Bert介绍Bert模型结构1 与GPT，ELMO结构对比2 Bert的输入3 Bert的输出Bert两大预训练任务MLM, NSP1 CV的预训练任务2 Masked language model, MLM 掩码语言模型3 Next sentence predict，NSP&#…
BERT：来自 Transformers 的双向编码器表示 – 释放深度上下文化词嵌入的力量
BERT是Transformers 双向编码器表示的缩写，是 2018 年推出的改变游戏规则的 NLP 模型之一。BERT 的情感分类、文本摘要和问答功能使其看起来像是一站式 NLP 模型。尽管更新和更大的语言模型已经出现，但 BERT 仍然具有相关性，并且值得学习它的架构、方法和功能。 这篇综合文…
Cognitive Mirage: A Review of Hallucinations in Large Language Models
本文是LLM系列文章，针对《Cognitive Mirage: A Review of Hallucinations in Large Language Models》的翻译。 认知海市蜃楼:大型语言模型中的幻觉研究综述 摘要1 引言2 机制分析3 幻觉的分类4 幻觉检测5 幻觉校正6 未来方向7 结论与愿景 摘要
随着大型语言模型在…
MineMine 算法(1)
这里写自定义目录标题 String smoothingOCR post process注意String smoothing
picked_tasks 来自dataframe
window_size = 5
window_strings = deque(maxlen=window_size)eliminated_result = []for idx, current_string in enumerate(picked_tasks):eliminated_result.appe…
大语言模型领域的重要术语解释
前言
本人对人工智能非常感兴趣，目前是一名初学者，在研究大语言模型的一些内容。很多模型都是用英文提出的，其中也包括很多概念，有些概念的中文翻译和其想表达的意思不完全一样，所以在这里，想更加精准地帮…
Large Language Model Alignment: A Survey
本文是LLM系列文章，针对《Large Language Model Alignment: A Survey》的翻译。 大型语言模型对齐:综述 摘要1 引言2 为什么需要LLM对齐？3 什么是LLM对齐？4 外部对齐5 内部对齐6 机械的可解释性7 对齐语言模型的攻击8 对齐评估9 未来的方向和…
强化学习------贝尔曼方程
目录 前言基础知识马尔可夫决策过程 (Markov decision process, MDP)回报(Return)折扣回报(Discounted Return) State Value（状态价值函数）贝尔曼方程的推导贝尔曼方程的矩阵形式Action Value（动作价值函数）贝尔曼最优公式 前言
…
用好语言模型：temperature、top-p等核心参数解析
编者按：我们如何才能更好地控制大模型的输出? 本文将介绍几个关键参数，帮助读者更好地理解和运用 temperature、top-p、top-k、frequency penalty 和 presence penalty 等常见参数，以优化语言模型的生成效果。 文章详细解释了这些参数的作用…
NLP之搭建RNN神经网络
文章目录 代码展示代码意图代码解读知识点介绍1. Embedding2. SimpleRNN3. Dense 代码展示
# 构建RNN神经网络
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, SimpleRNN, Embedding
import tensorflow as tfrnn Sequential()
…
【nlp】2.2 传统RNN模型
传统RNN模型 1 传统RNN模型1.1 RNN结构分析1.2 使用Pytorch构建RNN模型1.3 传统RNN优缺点1 传统RNN模型
1.1 RNN结构分析
结构解释图:
内部结构分析:
我们把目光集中在中间的方块部分, 它的输入有两部分, 分别是h(t-1)以及x(t), 代表上一时间步的隐层输出, 以及此时间步的…
谷歌的最新人工智能实验，让你能够创造出受各种乐器启发的音乐
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…
[论文笔记] 大模型gpu机器推理测速踩坑 (llama/gpt类)
cpu没报错，换gpu就报错。以下是一些踩坑：
坑1：要指定gpu，可以在import torch之前指定gpu。
model = LlamaForCausalLM.from_pretrained(model_path, trust_remote_code=True).to(device)
报错: RuntimeError(Expected all tensors to be on the same device, but found …
特殊token的特殊用途
特殊token的特殊用途 特殊voc设计传统的特殊token 用途特殊用途例子特殊voc设计
普通token1 。。。。普通token1000，特殊token1，，，，，特殊token100 ，特殊指示token1，，，特殊指示token100
传统的特殊token 用途
在您提供的示例中，有1000个普通 token（从普通 token …
【nlp】2.7 seq2seq英译法实战项目解析
seq2seq英译法实战项目 1 seq2seq介绍1.1 seq2seq模型架构2 数据集介绍3 案例步骤3.1 导入工具包和工具函数3.2 数据预处理3.2.1 清洗文本和构建文本字典3.2.2 构建数据源对象3.2.3 构建数据迭代器3.3 构建基于GRU的编码器和解码器3.3.1 构建基于GRU的编码器3.3.2 构建基于GRU的…
应对数据爆炸时代，揭秘向量数据库如何成为AI开发者的新宠，各数据库差异对比
项目设计集合（人工智能方向）：助力新人快速实战掌握技能、自主完成项目设计升级，提升自身的硬实力（不仅限NLP、知识图谱、计算机视觉等领域）：汇总有意义的项目设计集合，助力新人快速实…
如何提高RAG增强的准确性
在一个典型的RAG应用开发中，必要的步骤为文档加载，文档拆分，向量化，向量存储。然后基于向量存储进行相似性查询，或基于向量距离的查询。这类查询就叫检索，LangChain所提供的对应组件就是检索器。
但这种方…
基于PyTorch的Transformer组件实现
最近看了不少介绍LLM工作原理的文章，发现每一篇都会试图跟读者讲明白作为baseline的Transformer架构到底长啥样。但是好像比较少有代码实现的示例和具体的例子帮助理解。于是自己也想尝试着写一篇含有代码实现和具体例子解释的文章，希望能够给喜欢编程朋…
Re53：读论文 How Can We Know What Language Models Know?
诸神缄默不语-个人CSDN博文目录 诸神缄默不语的论文阅读笔记和分类
论文名称：How Can We Know What Language Models Know?
ArXiv网址：https://arxiv.org/abs/1911.12543
官方GitHub项目（prompt之类的都有）：https:…
【从零开始实现意图识别】中文对话意图识别详解
前言
意图识别（Intent Recognition）是自然语言处理（NLP）中的一个重要任务，它旨在确定用户输入的语句中所表达的意图或目的。简单来说，意图识别就是对用户的话语进行语义理解，以便更好地回答用户…
【nlp】3.5 Transformer论文复现：3.解码器部分（解码器层）和4.输出部分（线性层、softmax层）
Transformer论文复现：3.解码器部分（解码器层）和4.输出部分（线性层、softmax层） 3.1 解码器介绍3.2 解码器层3.2.1 解码器层的作用3.2.2 解码器层的代码实现3.2.3 解码器层总结3.3 解码器3.3.1 解码器的作用3.3.2 解码器的代码实现3.3.3 解码器总结4.1 输出部分介绍4.2 线性…
机器/深度学习模型最优化问题详解及优化算法汇总
前言
其实最优化问题，从小学开始学习数学的时候就可以说已经接触到了，在我印象中有个问题，用一个平底锅煎饼，每次只能放2只饼，煎一只饼要2分钟（正反各用1分钟），煎三只饼要几分钟。这…
【nlp】1文本预处理总括目录（附各章节链接）
文本预处理 1. 文本预处理机器作用2. 文本预处理包含的主要环节2.1 文本处理的基本方法2.1.1 分词2.1.2 词性标注2.2.3 命名实体标注2.2 文本张量表示方法2.2.1 one-hot编码2.2.2 Word2vec2.2.3 Word Embedding2.3 文本语料的数据分析2.3.1 标签数量分布2.3.2 句子长度分布2.3.…
如何让大模型更好地完成知识图谱推理？
论文标题： Making Large Language Models Perform Better in Knowledge Graph Completion 论文链接： https://arxiv.org/abs/2310.06671 代码链接：GitHub - zjukg/KoPA: [Paper][Preprint 2023] Making Large Language Models Perform Be…
【NLP】理解 Llama2：KV 缓存、分组查询注意力、旋转嵌入等
LLaMA 2.0是 Meta AI 的开创性作品，作为首批高性能开源预训练语言模型之一闯入了 AI 场景。值得注意的是，LLaMA-13B 的性能优于巨大的 GPT-3(175B)，尽管其尺寸只是其一小部分。您无疑听说过 LLaMA 令人印象深刻的性能，但您是否想知…
LLMLingua:集成LlamaIndex，对提示进行压缩，提供大语言模型的高效推理
大型语言模型(llm)的出现刺激了多个领域的创新。但是在思维链(CoT)提示和情境学习(ICL)等策略的驱动下，提示的复杂性不断增加，这给计算带来了挑战。这些冗长的提示需要大量的资源来进行推理，因此需要高效的解决方案，本文将介绍LLM…
【NLP论文】02 TF-IDF 关键词权值计算
之前写了一篇关于关键词词库构建的文章，没想到反响还不错，最近有空把接下来的两篇补完，也继续使用物流关键词词库举例，本篇文章承接关键词词库构建并以其为基础，将计算各关键词的 TF-IDF 权值，TF-IDF 权值主…
【论文精读】A Survey on Large Language Model based Autonomous Agents
A Survey on Large Language Model based Autonomous Agents 前言Abstract1 Introduction2 LLM-based Autonomous Agent Construction2.1 Agent Architecture Design2.1.1 Profiling Module2.1.2 Memory ModuleMemory StructuresMemory FormatsMemory Operations 2.1.3 Plannin…
【nlp】1.3 文本数据分析（标签数量分布、句子长度分布、词频统计与关键词词云）
文本数据分析 1 文本数据分析介绍2 数据集说明3 获取标签数量分布4 获取句子长度分布5 获取正负样本长度散点分布6 获取不同词汇总数统计7 获取训练集高频形容词词云8 获取验证集形容词词云1 文本数据分析介绍
文本数据分析的作用:
文本数据分析能够有效帮助我们理解数据语料…
【InternLM】Lagent智能体工具调用实践浦语·灵笔（InternLM-XComposer）图文理解创作Demo练习
目录 前言一、Lagent智能体工具1-1、什么是智能体？1-2、Lagent智能体 二、InternLM-XComposer（图文理解创作模型介绍）三、Lagent调用实践3-0、环境搭建3-1、创建虚拟环境3-2、导入所需要的包3-3、模型下载3-4、Lagent安装3-5、demo运行 四、I…
【科研新手指南2】「NLP+网安」相关顶级会议期刊 投稿注意事项+会议等级+DDL+提交格式
「NLP网安」相关顶级会议&期刊投稿注意事项 写在最前面一、会议ACL (The Annual Meeting of the Association for Computational Linguistics)IH&MMSec (The ACM Workshop on Information Hiding, Multimedia and Security)CCS (The ACM Conference on Computer and Co…
NLP作业01：利用HMM实现词性标注
作业头
这个作业属于哪个课程自然语言处理这个作业要求在哪里利用HMM实现词性标注作业要求我在这个课程的目标实现词性标注这个作业在哪个具体方面帮助我实现目标代码实现参考文献1.隐马尔科夫模型 2.基于HMM的词性标注 3.基于HMMViterbi算法的词性标注 Python 文章目录 作…
【nlp】3.2 Transformer论文复现：1. 输入部分（文本嵌入层和位置编码器）
Transformer论文复现：输入部分（文本嵌入层和位置编码器） 1 输入复现1.1 文本嵌入层1.1.1 文本嵌入层的作用1.1.2 文本嵌入层的代码实现1.1.3 文本嵌入层中的注意事项1.2 位置编码器1.2.1 位置编码器的作用1.2.2 位置编码器的代码实现1.2.3 位置编码器中的注意事项1 输入复现…
推荐系统[一]：超详细知识介绍，一份完整的入门指南，解答推荐系统是什么。
1. 推荐算法的初步理解
如果说互联网的目标就是连接一切，那么推荐系统的作用就是建立更加有效率的连接，推荐系统可以更有效率的连接用户与内容和服务，节约了大量的时间和成本。
1.1 推荐系统主要解决问题 任务一：挖掘长尾：帮助用户找到想要的物品（音乐、商品、新闻），…
关于业界大语言模型（LLM）开源的一些看法
近期看到阿里开源了720亿参数模型通义千问，已实现“全尺寸、全模态”开源，对这个动作的一些想法，包括好处和缺点
国内大语言模型的开源有许多好处，如下：
1. 提升技术水平：国内大语言模型开源可以使更多的…
如何避免LLM的“幻觉”(Hallucination)
生成式大语言模型（LLM）可以针对各种用户的 prompt 生成高度流畅的回复。然而，大模型倾向于产生幻觉或做出非事实陈述，这可能会损害用户的信任。
大语言模型的长而详细的输出看起来很有说服力，但是这些输出很有可能是虚…
自压缩llm 为 超长记忆之随机编码（非进制编码）
自压缩llm 为 超长记忆之随机编码（非进制编码） 代码代码解析代码
# 自压缩llm 为 超长记忆
# prompt 格式
# <|细颗粒词表|><|粗颗粒词表|><|细颗粒词表|>
# 细颗粒词表 = 词1,词2,词3,词4,词5,词6,词7,词8,词9,词10,
# 组颗粒词表id1, 组颗…
ai电话呼叫系统的功能有哪些，能帮到我们什么？呼叫系统
人工智能产品的研发，是为了帮助企业更好的生存，更好的利润放大，而不是用于不正规的工作，现在的电话呼叫中心软件让企业员工从简单重复的工作中得以解放，那电话呼叫系统的强大功能有哪些？ 知识自学习&#x…
详细介绍如何微调 T5 Transformer 模型：用于构建 Stack Overflow 标签生成器的 Text2Text 传输转换器-含源码
在不断发展的自然语言处理 (NLP) 领域，T5（文本到文本传输转换器）模型已成为一种多功能模型。针对特定任务对该模型进行微调可以释放其全部潜力，使其成为人工智能爱好者和专业人士的一项关键技能。本文深入研究了T5 Transformer 模型的微调，特别是针对基于 Stack Overflow …
NLP：使用 SciKit Learn 的文本矢量化方法
一、说明 本文是使用所有 SciKit Learns 预处理方法生成文本数字表示的深入解释和教程。对于以下每个矢量化器，将给出一个简短的定义和实际示例：one-hot、count、dict、TfIdf 和哈希矢量化器。 SciKit Learn 是一个用于机器学习项目的广泛库，…
【科研建模】Industrial Accident Causal Analysis
Industrial Accident Causal Analysis 1 项目概况2 模块库导入3 加载数据集4 数据预处理4.1 时间特征提取4.2 季节变量提取4.3 NLP预处理4.4 情感得分5 EDA5.1 单变量分析5.1.1 国家特征5.1.2 城市特征5.1.3 行业特征5.1.4 事故等级5.1.5 性别特征5.1.6 用工形
Unified-IO 2 模型: 通过视觉、语言、音频和动作扩展自回归多模态模型。给大家提前预演了GPT5？
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…
人工智能与自然语言处理
人工智能（AI）与自然语言处理（NLP）是当前科技领域的两大热门话题。人工智能通过模拟人类的思维过程和智能行为，使计算机具备了一定的智能和自学能力。而自然语言处理则是指计算机对人类语言进行理解、处理和生成的技术。…
单元测试计划、用例、报告、评审编制模板
单元测试支撑文档编制模板，具体文档如下： 1. 单元测试计划 2. 单元测试用例 3. 单元测试报告 4. 编码及测试评审报告 软件项目相关资料全套获取：软件项目开发全套文档下载-CSDN博客
1、单元测试计划 2、单元测试用例 3、单元测试报告 4、编码…
从GPT到GPT-3：自然语言处理领域的prompt方法
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
B.特定领域知识图谱知识推理方案[二]：基于自监督图谱表征算法升级[特征交叉、邻居采样修正、生成学习、对比学习等]
推荐参考文章： A.特定领域知识图谱知识推理方案：知识图谱推理算法综述[一]（基于距离的翻译模型:TransE、TransH、TransR、TransH、TransA、RotatE）
A.特定领域知识图谱知识推理方案：知识图谱推理算法综述[二]（DTransE/PairRE：基于表示学习的知识图谱链接预测算法）
A.…
「X」Embedding in NLP｜Token 和 N-Gram、Bag-of-Words 模型释义
ChatGPT（GPT-3.5）和其他大型语言模型（Pi、Claude、Bard 等）凭何火爆全球？这些语言模型的运作原理是什么？为什么它们在所训练的任务上表现如此出色？ 虽然没有人可以给出完整的答案，但…
BPE-NLP重要的编码方式
Byte Pair Encoding 原理
BPE是一种简单的数据压缩算法，它在1994年发表的文章“A New Algorithm for Data Compression”中被首次提出，是一种用于自然语言处理的子词切分算法。它的目标是找到一种最优的字符组合方式，使得整个数据集中不同单…
初识人工智能，一文读懂过拟合欠拟合和模型压缩的知识文集(3)
🏆作者简介，普修罗双战士，一直追求不断学习和成长，在技术的道路上持续探索和实践。 🏆多年互联网行业从业经验，历任核心研发工程师，项目技术负责人。 🎉欢迎 👍点赞✍评论…
中文rlhf数据集50w条数据解析
中文rlhf数据集50w条数据解析 解析代码数据名代码解析 解析代码
import jieba
from tqdm import tqdm
import re
import pandas as pd
import numpy as npdef find_non_english_text(text):pattern re.compile(r[^a-zA-Z])return pattern.sub(, text)def find_chinese_text(t…
以下是一些自然语言处理（NLP）技术的例子：
以下是一些自然语言处理（NLP）技术的例子： 语音识别：将说话者的语音转换为文本形式，从而使机器能够理解和分析语音内容。 文本分类：将大量的文本分成不同的类别，例如新闻、评论、博客等。 情感…
Transformer结构解读
咱们还是照图讨论，transformer结构图如下，本文主要讨论Encoder部分：图一一、首先说一下Encoder的输入部分：在NLP领域，个人理解，这个inputs就是我们的句子分词之后的词语，比如“我，喜…
python 如何调用GPT系列的api接口，实现想要的功能
目录 问题描述：
问题解决： 问题描述：
随着各种LLMs (Large Language Models）的出现，如何调用各种LLMs的api成为了经常会遇见的问题。
问题解决：
下面仅以生成给定sentence的复述句为例，说明…
【AI视野·今日NLP 自然语言处理论文速览 第六十九期】Wed, 3 Jan 2024
AI视野今日CS.NLP 自然语言处理论文速览 Wed, 3 Jan 2024 Totally 24 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
An Autoregressive Text-to-Graph Framework for Joint Entity and Relation Extraction Authors Zaratiana Ur…
CONTROLLING VISION-LANGUAGE MODELS FOR MULTI-TASK IMAGE RESTORATION
CONTROLLING VISION-LANGUAGE MODELS FOR MULTI-TASK IMAGE RESTORATION (Paper reading)
Ziwei Luo, Uppsala University, ICLR under review(6663), Cited:None, Stars: 350, Code, Paper.
1. 前言
像CLIP这样的视觉语言模型已经显示出对零样本或无标签预测的各种下游任务…
【自然语言处理】【大模型】LaMDA：用于对话应用程序的语言模型
LaMDA：用于对话应用程序的语言模型 《LaMDA: Language Models for Dialog Applications》 论文地址：https://arxiv.org/abs/2201.08239 相关博客 【自然语言处理】【大模型】LaMDA：用于对话应用程序的语言模型 【自然语言处理】【大模型】Dee…
![[230502]英语阅读长难句分析｜共6个](https://img-blog.csdnimg.cn/adc1b734cd62402c82bd45246522fe96.gif)
[230502]英语阅读长难句分析｜共6个
🍣五月份第二篇笔记🍣 40：0/3 41： 3/3 目录 题目 40-1 （1）句子结构分析 （2）生词 （3）原题 40-2 （1）句子结构分析 （2&#…
11月推荐阅读的12篇大语言模型相关论文
现在已经是12月了，距离2024年只有一个月了，本文总结了11月的一些比较不错的大语言模型相关论文
System 2 Attention (is something you might need too).
https://arxiv.org/abs/2311.11829
一种称为S2A的新注意力方法被开发出来，解决llm…
使用无标注的数据训练Bert
文章目录 1、准备用于训练的数据集2、处理数据集3、克隆代码4、运行代码5、将ckpt模型转为bin模型使其可在pytorch中运用 Bert官方仓库：https://github.com/google-research/bert
1、准备用于训练的数据集
此处准备的是BBC news的数据集，下载链接&…
LLM之Agent（五）| AgentTuning：清华大学与智谱AI提出AgentTuning提高大语言模型Agent能力
论文地址：https://arxiv.org/pdf/2310.12823.pdf
Github地址：https://github.com/THUDM/AgentTuning 在ChatGPT带来了大模型的蓬勃发展，开源LLM层出不穷，虽然这些开源的LLM在各自任务中表现出色，但是在真实环境下作…
探索NLP中的核心架构：编码器与解码器的区别
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
ChatGPT原理与应用
ChatGPT原理与应用 1. ChatGPT实现的技术原理2. 准备知识1. ChatGPT实现的技术原理
作为一种大型语言模型，ChatGPT的技术原理主要基于人工神经网络和自然语言处理技术。
ChatGPT使用了前馈神经网络（feedforward neural network）和递归神经网络（recurrent neural network）…
【NLP开发】Python实现聊天机器人（ChatterBot，集成前端页面）
🍺NLP开发系列相关文章编写如下🍺：
🎈【NLP开发】Python实现词云图🎈🎈【NLP开发】Python实现图片文字识别🎈🎈【NLP开发】Python实现中文、英文分词🎈🎈【N…
AI自动写文章_免费在线原创文章生成器
自动写文章生成器
自动写文章生成器是一种利用人工智能和自然语言处理技术，帮助用户快速生成文章的工具。该软件可以根据用户的需求和选择，自动生成符合要求的文章，无需手动编写和修改。
自动写文章生成器的主要功能包括以下几个方面&#…
2023年最好用的办公AI工具，让你工作效率提升10倍！
2023年是AI工具大爆发的一年，在效率办公领域，同样涌现出了很多优秀的AI办公工具，小编亲测了几款，都是宝藏好用的App，以下排名不分先后，一起来看看吧！
AI办公工具哪个好
GitMindNotion AI酷表C…
文案智能改写-AI智能文章改写软件
随着人工智能技术的不断发展，越来越多的智能写作软件相继面世，其中，AI智能改写工具是一款非常有实用价值的工具。本文将从全自动批量改写、没有错别字和标准语法、支持图文模式改写、支持各种语言改写以及严格按照标准格式结构改写几个方面&a…
chatgpt功能展示
Chatgpt 不知道大家刷抖音的时候是否刷到了人工智能要取代人类的一些短视频，他们所提到的主角就是一个AGI模型——chatgpt，资本对其的追求程度可以用火爆🔥来形容了吧，先给大家讲一下chatgpt吧，如果没兴趣看我扯犊子可…
一文读懂ChatGPT
ChatGPT（全名：Chat Generative Pre-trained Transformer），美国OpenAI 研发的聊天机器人程序，于2022年11月30日发布。ChatGPT是人工智能技术驱动的自然语言处理工具，它能够通过理解和学习人类的语言来进行对…
机器翻译，文本生成评估指标BELU，BERTSCORE
一:BLEU 1.1 BLEU 的全称是 Bilingual evaluation understudy，BLEU 的分数取值范围是 0～1，分数越接近1，说明翻译的质量越高。BLEU 主要是基于精确率(Precision)的，下面是 BLEU 的整体公式。 BLEU 需要计算译文 1…
文本分类微调技巧实战2.0
讯飞比赛答辩结束，笔者和小伙伴们参加了一些讯飞的比赛，今年讯飞文本分类比赛相比去年更加多元化，涉及领域、任务和数据呈现多样性，听完各位大佬的答辩之后，结合之前经验和以下赛题总结下文本分类比赛的实战思路。
1 …
Huggingface Transformers各类库介绍（Tokenizer、Pipeline）
目录前言0、transformers的安装以及介绍0-1、 介绍0-2、安装一、分词——transformers.AutoTokenizer1-0、相关参数介绍（常用参数介绍）1-1、加载、保存1-2、使用以及原理二、黑盒子——transformers.pipeline2-0、pipeline怎么理解？2-1、目前…
命名实体识别和情感分类项目总结
摘要
命名实体识别（Named Entity Recognition，NER）是NLP中一项非常基础的任务。NER是信息提取、问答系统、句法分析、机器翻译等众多NLP任务的重要基础工具。命名实体识别的准确度，决定了下游任务的效果，是NLP中非常重…
ChatGPT会取代你的岗位吗？
最近火热的ChatGPT使得相关的大数据和人工智能人才成了香饽饽，科技巨头、头部猎企纷纷下场抢人，人才供不应求。不同规模公司纷纷展开大数据和人工智能相关技术和业务的研究，大数据和人工智能人才已经成为科技进步核心驱动力。同时，…
Azure Cloud Shell之Powershell快速入门
前一篇文章我们了解了Azure Cloud Shell概述，知道了Cloud Shell通过Azure容器服务在容器内运行，您可以免费或订阅容器本身。Cloud Shell的唯一成本是创建并与之关联的存储帐户。首次从Azure门户打开Cloud Shell时，您需要选择是否需要Bash或Po…
Transformer 估算 101
本文主要介绍用于估算 transformer 类模型计算量需求和内存需求的相关数学方法。 引言 其实，很多有关 transformer 语言模型的一些基本且重要的信息都可以用很简单的方法估算出来。不幸的是，这些公式在 NLP 社区中鲜为人知。本文的目的是总结这些公式&am…
基于Bert的语义相关性建模
文章目录搜索相关性定义字面相关性语义相关性1 传统语义相关性模型2 深度语义相关性模型基于表示的匹配sentence representation基于交互的匹配sentence interaction两种方法的优缺点比较基于Bert的语义相关性建模1 基于表示的语义匹配——Feature-based思想缺点：2 …
关系抽取方法总结（基于规则-传统机器学习-深度学习）
信息抽取——命名实体识别 文章目录1 关系抽取介绍2 基于规则的关系抽取算法2.1 基于触发词 （基于模式）2.2 基于依存关系（语法树）2.3 基于规则的RE优缺点3 基于机器学习的RE方法3.1 监督学习3.1.1基于特征向量3.1.2 基于核函数3.3…
预训练模型 ---- BERT架构
目录
什么是BERT
BERT的架构
BERT的预训练任务
小节总结
BERT的特点
BERT和GPT的区别 笔记参考：【2023最新！4个小时带你重新认识【BERTtransformer】，详解self-attention，翻遍全网找不到比它更详细的了！…
深入理解深度学习——注意力机制（Attention Mechanism）：位置编码（Positional Encoding）
分类目录：《深入理解深度学习》总目录
相关文章： 注意力机制（AttentionMechanism）：基础知识 注意力机制（AttentionMechanism）：注意力汇聚与Nadaraya-Watson核回归 注意力机制&#…
NLP基础——Bag of Words 词袋法
文章目录 Bag of Words (BOW) Bag of Words (BOW)
Bag of Words（BoW）算法是一种在自然语言处理（NLP）中常用的文本表示方法，适用于文本分类、情感分析等多种任务。
BoW 方法的基本思想是 将文本（比如一个句…
NLP——ELMO；BERT；Transformers
文章目录 ELMOELMO 简介ELMO 优点利用了多层的 hidden 表示ELMO 缺点 BERTBERT V.S. ELMO两种预训练任务Object1: Masked Language ModelObject2: Next sentence prediction 训练细节如何使用 BERTBERT 应用——垃圾邮件分类 Transformerself-attentionMulti-head AttentionTra…
关系抽取——Snowball(半监督学习)总结
本文主要参考2000年的Snowball提出论文
半监督学习又称弱监督学习，利用模型的假设，对少量的数据进行标注（freebase），在不足的条件下提高模型在标记样本中的泛化能力，未标记的数据为Corpus text。
在论述S…
注意力机制和Transformer
注意力机制和Transformer
机器翻译是NLP领域中最重要的问题之一，也是Google翻译等工具的基础。传统的RNN方法使用两个循环网络实现序列到序列的转换，其中一个网络（编码器）将输入序列转换为隐藏状态，而另一个网络&…
![深度学习应用篇-元学习[14]：基于优化的元学习-MAML模型、LEO模型、Reptile模型](https://img-blog.csdnimg.cn/img_convert/d227e3465fa19ff1bc8bdd5b73afc2ed.png)
深度学习应用篇-元学习[14]：基于优化的元学习-MAML模型、LEO模型、Reptile模型
【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等 专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化…
生成式AI - 关键技术历史和发展
✈️当谈及生成式人工智能（AI），我们进入了一个令人惊叹的领域，它不仅改变了我们与技术的互动方式，而且极大地推动了人工智能的发展。通过模仿人类创造力和想象力的能力，生成式AI引领着我们走向了全新的可能…
对比学习顶会论文系列-3-2
文章目录一、特定任务中的对比学习1.2 摘要生成中的对比学习——SimCLS: A Simple Framework for Contrastive Learning of Abstractive Summarization1.研究出发点2. 研究方法3. 实验部分4.总结与反思1.3 主题检测中的对比学习——Modeling Discriminative Representations fo…
本地部署ChatGLM-6B模型（使用JittorLLMs大模型推理库）
简介
网上冲浪时发现的这两个国产模型，重点是对硬件的要求并不高，有2GB内存就可以跑，觉得有趣就弄来玩了下。 https://github.com/Jittor/JittorLLMs https://github.com/THUDM/ChatGLM-6B 简单介绍下用到的仓库
ChatGLM-6B
ChatGLM-6B 是…
关于大模型实践的一些总结
随着近期ChatGPT的迅速出圈，加速了的大模型时代变革。以Transformer、MOE结构为代表的大模型，传统的单机单卡训练模式肯定不能满足上千亿参数的模型训练，这时候我们就需要解决内存墙和通信墙等一系列问题，在单机多卡或者多机多卡进…
【NLP实战】基于Bert和双向LSTM的情感分类【下篇】
文章目录前言简介第一部分关于pytorch lightning保存模型的机制关于如何读取保存好的模型完善测试代码第二部分第一次训练出的模型的过拟合问题如何解决过拟合后记前言
本文涉及的代码全由博主自己完成，可以随意拿去做参考。如对代码有不懂的地方请联系博主。
博主…
智合同和ChatGPT有什么区别？
最近有朋友问我，智合同和ChatGPT有什么区别？今天小智和大家一起来了解下智合同和ChatGPT。
首先，我们来看下，智合同和ChatGPT是什么？
智合同品牌诞生于天津，属全民互联科技（天津）有…
Python 人工智能：6~10
原文：Artificial Intelligence with Python 协议：CC BY-NC-SA 4.0 译者：飞龙 本文来自【ApacheCN 深度学习 译文集】，采用译后编辑（MTPE）流程来尽可能提升效率。 不要担心自己的形象，只关心如何…
Python 智能项目：1~5
原文：Intelligent Projects Using Python 协议：CC BY-NC-SA 4.0 译者：飞龙 本文来自【ApacheCN 深度学习 译文集】，采用译后编辑（MTPE）流程来尽可能提升效率。 不要担心自己的形象，只关心如何实…
修改文章的软件-有没有自动修改文章的软件
自动修改文章神器
自动修改文章神器是一种利用人工智能和自然语言处理技术，帮助用户快速修改和优化文章的工具。该软件能够检测文章的语法和拼写错误、表达不当的问题，并自动提供修改和优化建议。用户只需根据软件的提示进行修改，就能得到高…
Cursor--一款强大的国内智能AI语言模型（据说对接了chatgpt4）
简介
Cursor是一个集成了 GPT-4 的国内直接可以访问的，优秀而强大的免费代码生成器，可以帮助你快速编写、编辑和讨论代码。 它支持多种编程语言，如 Python, Java, C#, JavaScript 等，并且可以根据你的输入和需求自动生成代码片段…
ResearchRabbit.ai: 学术论文摘要研究工具
【产品介绍】 ResearchRabbit是一个帮助研究人员发现、跟踪和分享学术论文的平台。可以根据你的兴趣和收藏提供个性化的推荐和摘要，并且可以让你可视化论文和作者之间的网络关系。 Researchrabbit.ai是一个基于人工智能的文献搜索和管理工具，它可以帮助你…
Live800：三大升级，智能营销机器人让业绩升级
随着AI、大数据、5G等新技术的广泛应用，客户服务场景发生了多元的变化，千亿级别的企业客服市场正迎来新挑战与新变革。人工客服服务成本高、培训周期长、运营管理难等痛点凸显，传统客服向智能客服升级转型是大势所趋。
客服智能化升级&#…
Live800:双十一，服务不打折
每年的11月11日凌晨，注定是个不眠之夜，有网友戏称双十一，拼的是欲望和钱包，比的是网速、宽带和人品。
今年双十一似乎有些不同，从一天变成了四天，从光棍节变成了双节棍，从双11变成了双11pro。对…
Live800:回复慢十秒流量往外跑，客服不应答推广费白花
这是一个快时代。
"快"无处不在，信息有"快报""快讯""快信"，配送有"快件""快递""快运"，出行有"快车""快艇""高铁"，摄影有…
Live800:世界上没有两片完全相同的树叶，也没有完全相同的客户
什么是差异化营销？
在网上搜索差异化营销，你会发现百度百科给出这样的定义：
差异化营销的核心思想是"细分市场，针对目标消费群进行定位，导入品牌，树立形象"。是在市场细分的基础上，…
为什么总遇到错误的客户，80%的咨询师都中招了这3点
"我再考虑一下"
"今天先了解下，不急着做"
"我得和我朋友/家人商量一下"
"过段时间再说吧"
......
客户越来越难取悦，这些扎心的灵魂拷问是每个医美咨询师的必经之路。部分咨询师习惯性把问题归咎到"客…
Live800:流量那么贵，客服怎可浪费
小张是个淘宝店的小老板，店铺做得不错，宝贝销量稳定，小日子过得有滋有味。
最近一段时间，流量持续下滑，销量跟着走低，可愁死了。
"流量有波动很正常，但是一直降一直降，肯定是…
Live800:3个迹象表明，你的在线客服系统该更新了
在线客服，作为客户与企业沟通的第一桥梁，往往能够直接反映客户对于企业服务和产品的期望和要求。这其中不仅仅包含了客户对现有产品和服务的态度，也反映了客户对现有产品的需求和未来产品的期望，是整个市场动态的风向标。
因此&a…
Live800：少走弯路，优质在线客服系统的“三不“原则
随着互联网的高速发展，加上市场需求的刺激和政府的大力支持，医疗、零售、教育、银行等行业纷纷发力线上业务，以拓展公司发展道路，受此影响催生了大量线上客服需求。在线客服系统在此背景下应运而生，现在很多企业已经将…
被比尔盖茨选中的GPT技术，是如何演进，又革谁的命？
作者 | 智商掉了一地、Python 如果机器能够以类似于人类的方式进行理解和沟通，那会是怎样的情况？这一直是学界中备受关注的话题，而由于近些年来在自然语言处理的一系列突破，我们可能比以往任何时候都更接近实现这个目标。在这个突…
ChatGPT对未来编程语言发展的影响与展望
目录 一、引言1.ChatGPT的介绍与背景介绍背景 2.编程语言发展的重要性和挑战重要性挑战 二、ChatGPT在编程领域的应用1.自然语言处理技术在编程中的应用现状2. ChatGPT作为编程辅助工具的潜力与优势 三、ChatGPT对编程语言发展的影响1. 创新编程模式的涌现2. 语言设计与交互方式…
呼叫中心转型客服该如何学会“自保”?
原文链接
这是我在呼叫中心上班的1000天，一直以为我的生活会跟以往一样。上午9点戴上耳麦，直至下班之前，我的世界只有自己和客户。在为客户处理问题时学会倾听意义，在客户抱怨中学会成长，学会坦然面对人生。没想到疫情…
呼叫中心你必须知道“潜规则”
原文链接
我们看娱乐新闻，听到的最多的就是潜规则。其实各行各业都有行业的潜规则，Call Center也不例外。身为坐席的你，知道呼叫中心的“潜规则”吗？ 呼叫中心是企业与客户沟通的桥梁，电话客服是其中最为基层的岗位&a…
NLP学习笔记九-机器翻译-seq2seq模型
NLP学习笔记九-机器翻译-seq2seq模型
seq2seq模型是做机器翻译任务的，根据名字其实我们也能有一些推测seq 2 seq，其实就是sequence to sequence，从一个序列到另一个序列，所以seq2seq模型其实不止可以做机器翻译，还可以…
NLP 学习笔记十-simple RNN+attention（注意力机制）
NLP 学习笔记十-simple RNNattention（注意力机制）
感兴趣的伙伴，看这个笔记，最好从头开始看哈，而且我的笔记，其实不面向零基础，最好有过一些实践经历的来看最好。 紧接上一回，我们谈…
开源大型语言模型(llm)总结
大型语言模型（LLM）是人工智能领域中的一个重要研究方向，在ChatGPT之后，它经历了快速的发展。这些发展主要涉及以下几个方面：
模型规模的增长：LLM的规模越来越大，参数数量显著增加。这种扩展使得…
Robust Self-Augmentation for Named Entity Recognition with Meta Reweighting
摘要
近年来，自我增强成为在低资源场景下提升命名实体识别性能的研究热点。Token substitution and mixup （token替换和表征混合）是两种有效提升NER性能的自增强方法。明显，自增强方法得到的增强数据可能由潜在的噪声。先前的研究…
自然语言处理从入门到应用——词向量的评价方法
分类目录：《自然语言处理从入门到应用》总目录 对于不同的学习方法得到的词向量，通常可以根据其对词义相关性或者类比推理性的表达能力进行评价，这种方式属于内部任务评价方法（Intrinsic Evaluation）。在实际任务中&am…
人工智能与大数据面试指南——自然语言处理（NLP）
分类目录：《人工智能与大数据面试指南》总目录
《人工智能与大数据面试指南》系列下的内容会持续更新，有需要的读者可以收藏文章，以及时获取文章的最新内容。 自然语言处理（NLP）领域有哪些常见任务？
基础…
【分享】科大讯飞星火认知大模型（初体验）
前言：
哈喽，大家好，我是木易巷~
随着人工智能技术的迅猛发展，自然语言处理（NLP）成为了热门话题。在众多NLP模型中，科大讯飞星火认知大模型成为了一个备受瞩目的新秀，今天我们来了解…
FastText：高效的文本分类工具
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
自然语言处理基础任务（FMMBPE原理以及代码）
中文分词背景词语的概念:词语（word）是最小独立使用的音义结合体（即为任务中的原子单词），能够独立表达语言和内容的最基本单元。对于英文等体系的印-欧体系，一般会有空格作为间隔，但是对于其他体…
AI工具（ChatGPT）常用指令，持续更新...
要国内使用AI工具，关注：码视野，回复：1002使用VensiGPT时，当你给的指令越精准，它回复就会越完美，例如，如果你要请它协助撰写文案，如果没有给与指定情景与目标，…
【AI探索】我问了ChatGPT几个终极问题
终于尝试了一把ChatGPT的强大之处，问了一下关心的几个问题： chatGPT现在在思考吗？有没有什么你感兴趣的问题？ 你认为AI会对人类产生哪些方面的影响？ 你对人类所涉及到的学科有了解吗？你认为在哪些方面与人类…
python怎么自学
其实0基础选择python学习入行的不在少数，Python近段时间一直涨势迅猛，在各大编程排行榜中崭露头角，得益于它多功能性和简单易上手的特性，让它可以在很多不同的工作中发挥重大作用。
正因如此，目前几乎所有大中型互联网…
LLMs：《Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca》翻译与解读
LLMs：《Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca》翻译与解读 目录
相关文章
LLMs：《Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca》翻译与解读
LLMs：在单机CPUWindows系统上实现中文…
AI模型训练、实施工程师的职业前景怎么样？
本篇文章主要讲解ai模型训练、模型实施工程师的职业前景和趋势分析 作者：任聪聪 日期：2023年4月18日 ai训练师、模型实施工程师，一般是指opencv、pytorh、python、java、机械学习、深度学习、图像识别、视频检测等领域的模型数据训练工作。
…
知识图谱实战应用5-基于知识图谱的创建语义搜索功能
大家好，我是微学AI，今天给大家讲一下知识图谱实战应用5-基于知识图谱的创建语义搜索功能。基于知识图谱的语义搜索功能是一种能够理解用户意图、并根据语义关系在知识图谱中进行查询的搜索方式。相比于传统的文本搜索，它可以更准确地回答用户…
人工智能领域：面试常见问题超全（深度学习基础、卷积模型、对抗神经网络、预训练模型、计算机视觉、自然语言处理、推荐系统、模型压缩、强化学习、元学习）
【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等 专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化…
【NLP入门教程】十、词干提取和词形还原
3.3 词干提取和词形还原
在文本处理过程中，词干提取和词形还原是常见的技术，用于将单词转化为它们的基本形式。这有助于减少词汇表的大小，并将相关单词归纳为同一个词根，从而提高模型的泛化能力。
3.3.1 词干提取
词干提取是一种将单词转化为其词干（或原始形式）的过程…
CS的顶级会议和期刊
CS的顶级会议和期刊 SCI或SCIE收录的本学科刊物清单请登陆
http://www.isinet.com/cgi-bin/jrnlst/jloptions.cgi?PCK 和http://www.isinet.com/cgi-bin/jrnlst/jloptions.cgi?PCD
下面列一些CS的顶级会议和期刊 有些是网上查到的，有些是某些人用SCI的IF排序做出…
Live800:智能客服有哪些优势？
随着科技的发展，智能客服逐渐走入大众视野，越来越多的企业开始使用智能客服，那么智能客服的优势有哪些？ 智能客服是什么？
来自百度百科的释义：智能客服是在大规模知识处理基础上发展起来的一项面向行业应用…
Live800：为什么接待你的客服无法解决问题？
客户与客服的“爱恨情仇”三天三夜也说不完。客服作为最接近客户的工作岗位，每天都要面对形形色色的客户，因为这样那样的原因时常会发生一些让人啼笑皆非的对话，有时也会言辞激烈互相争执。
于是有人提出客服界的终极疑惑，为什么…
免费润色文章的软件-自动修改文章润色的软件
免费润色文章的软件
免费润色文章的软件可以帮助用户快速地改善文本质量，进一步提高语言表达能力和流畅性，以下是其主要优势： 高效性：免费润色文章的软件能够快速进行润色处理，为用户节省时间和精力。相比手动润色的方…
深入理解深度学习——BERT（Bidirectional Encoder Representations from Transformers）：NSP任务
分类目录：《深入理解深度学习》总目录 相关文章： BERT（Bidirectional Encoder Representations from Transformers）：基础知识 BERT（Bidirectional Encoder Representations from Transformers）…
客服机器人的出现敲响客服人警钟
原文地址
近日消息通知部分版本微信取消了两分钟内的删除功能，发出的信息在两分钟内只有撤回功能，两分钟后用户才能选择删除。避免掉了手残党想点撤回，却不小心点成删除的尴尬。感觉有一丝丝庆幸，然后就刷到谢娜对微信客服、在线…
第二章--第五篇：对话系统的挑战和限制
对话系统作为人机交互领域的重要研究方向，在现实生活和技术领域具有广泛的应用。它的重要性体现在以下几个方面。 首先，对话系统能够提供自然、直观的人机交互方式。传统的人机交互方式主要依靠键盘、鼠标等输入设备，但对于一些用户ÿ…
NLP-新闻主题分类任务
在看黑马的NLP的实践项目AI深度学习自然语言处理NLP零基础入门，可能由于版本的原因，完全按照课上的来无法运行，就参考实现了一遍，在这记录一下。
目录
1.用到的包
2.新闻主题分类数据
3.处理数据集
4.构建模型 5.训练
5.1.g…
chatgpt赋能python：Python中的数字转换
Python中的数字转换
在Python中，数字转换是一项非常基础但是非常重要的任务。无论您是在进行数据分析、机器学习还是编写Web应用程序，数字转换都是必不可少的。在这篇文章中，我们将介绍Python中的数字转换并提供一些实用的示例。
将字符串转…
每日学术速递5.26
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 Subjects: cs.CV
1.Text2NeRF: Text-Driven 3D Scene Generation with Neural Radiance Fields 标题：Text2NeRF：具有神经辐射场的文本驱动 3D 场景生成
作者：Jingb…
那些你不曾了解在线客服辛酸泪
原文链接
曾经羡慕闺蜜做淘宝在线客服的工作。在我印象里，线客服是个简单轻松的工作，收入也还不错。像文员一样体面坐在工位上，天天面对电脑打字，没有电话客服嘈杂的语音，没有复杂繁琐的工作，只需要坐在电…
word2Vec进阶 -Bert
Word2Vec进阶 - Bert – 潘登同学的NLP笔记 文章目录Word2Vec进阶 - Bert -- 潘登同学的NLP笔记Bert介绍BERT的结构Bert的输入Bert的输出预训练任务Masked Language Model（MLM）Next Sentence Prediction（NSP）总结ERNIEERNIE2.0预训…
The Annotated Transformer
我们不生产水,我们只是大自然的搬运工！
原文地址： The Annotated Transformer The Annotated Transformer The Annotated TransformerPrelimsBackgroundPart 1: Model ArchitectureOverall ArchitectureEncoder and Decoder StacksEncoderDecoderAttent…
Live800:在线客服系统哪家强？
Live800：哪个在线客服系统好？企业如何选择在线客服系统？这些都是企业非常关心的问题，需要从在线客服系统的稳定性、功能完整度、智能化程度等多方面因素来看。 接下来将通过在线客服系统的定义、功能介绍等方面展开说明哪个在线客…
2023年6月 国内大语言模型对比【国内模型正在崛起】
先说一下这个文章怎么来的。因为朋友问我大语言模型可以生成公务员面试回答不，我说可以啊。之前看文心有这个服务。我想最近好几个模型也没用了测一把！结果！大吃一惊！我觉得我的三个傻孩子长大了！（chatglm1…
【AI实战】大语言模型（LLM）有多强？还需要做传统NLP任务吗（分词、词性标注、NER、情感分类、知识图谱、多伦对话管理等）
【AI实战】大语言模型（LLM）有多强？还需要做传统NLP任务吗（分词、词性标注、NER、情感分类、多伦对话管理等） 大语言模型大语言模型有多强？分词词性标注NER情感分类多伦对话管理知识图谱 总结 大语言模型
大…
InstructGPT：Training language models to follow instructions with human feedback
Training language models to follow instructions with human feedback
通过人类反馈的微调，在广泛的任务中使语言模型与用户的意图保持一致 aligning language models with user intent on a wide range of tasks by fine-tuning with human feedback
实验动机 …
自然语言之文本预处理
感谢阅读文本处理的基本方法分词概念作用jieba安装结巴识别模式精确模式：全模式：搜索引擎模式：全模式和搜索引擎模式的区别：向切分依据的字典中添加、删除词语用户自定义词典（utf-8最佳）停用词词性标注文本…
自然语言处理从小白到大白系列（5）多个角度彻底理解最大熵模型
文章目录1.最大熵模型初探1.1 模型引入1.2 特征函数2.最大熵模型和逻辑回归的瓜葛3.最大熵模型和条件随机场的绯闻4.最大熵模型和同母异父兄弟极大似然估计5.最大熵马尔科夫模型5.1 隐马尔科夫模型的局限：条件独立假设5.2 标注偏置问题最大熵模型可能刚开始接触的同…
对社会信息敏感的预训练方法 LMSOC: An Approach for Socially Sensitive Pretraining
文献地址：https://arxiv.org/pdf/2110.10319.pdf 本文将社会语境（感觉有点像世界知识）考虑到了NLP的模型之中，基于时间和地理位置两个社会语境构建了数据集，与基线对比，在MRR上的改进超过了100%。 模型的实…
SpeechGen：用提示解锁语音语言模型(Speech LM)的生成能力
论文链接：
https://arxiv.org/pdf/2306.02207.pdf
Demo:
https://ga642381.github.io/SpeechPrompt/speechgen.html
Code:
https://github.com/ga642381/SpeechGen
引言与动机
大型语言模型 （LLMs）在人工智能生成内容（AIGC…
python 某度算法岗位，一面，手撕代码+八股文
一、简单介绍项目经历？
巴拉巴拉
二、gpt和bert的区别，前面我发的博客中有详细介绍
GPT（Generative Pre-trained Transformer）和BERT（Bidirectional Encoder Representations from Transformers）是当前自…
prompt learning 提示学习初步心得及示例 代码
先看下简单的情感分类示例 ： 基于prompt learning的情感分类示例代码_znsoft的博客-CSDN博客 NLP 目前为止经历了四个阶段： 1. 完全监督机器学习
2. 完全监督深度神经网络
3. 预训练模型微调阶段： 预训练-> 微调
4. prompt 提示学习阶段…
DGL 消息传递机制详解
DGL 核心 — 消息传递 DGL中的消息传递，大家通常知其然不知所以然。在看完GCN的公式后，会出现这样的疑问： 矩阵运算在哪 ？D波浪和A波浪在哪 ？
GCN公式： https://www.cnblogs.com/denny402/p/10917820.html…
初识Transformer
参考：【NLP】Transformer模型原理详解 - 知乎 从RNN到“只要注意力”——Transformer模型 - 知乎 Attention机制提出后，加入attention的Seq2seq模型在各个任务上都有了提升，所以现在的seq2seq模型指的都是结合RNN和attention的模型。之后goog…
jieba关键词抽取(TF-IDF)与中文抽取式摘要
jieba关键词抽取有两种方法。一种是基于TF-IDF算法的关键词抽取，另一种是基于TextRank算法的关键词抽取。这里主要介绍TF-IDF。
TF-IDF TF-IDF(Term Frequency-Inverse Document Frequency，词频-逆文档频率)是一种统计方法，用以评估一个词(关…
ChatGPT技术解构
ChatGPT的训练主要分为三个步骤，如图所示： Step1：
使用有监督学习方式，基于GPT3.5微调训练一个初始模型；训练数据约为2w~3w量级（根据InstructGPT的训练数据量级估算，参照https://arxiv.org/pdf…
《推荐系统实践》 第五章 利用上下文信息 读书笔记
本章之前提到的推荐系统算法主要集中研究了如何联系用户兴趣和物品,将最符合用户兴趣的物品推荐给用户，但这些算法都忽略了一点，就是用户所处的上下文( context)。这些上下文包括用户访问推荐系统的时间、地点、心情等，对于提高推荐系统的推荐…
少样本 N-way K-shot
在少样本分类论文中，经常会遇到N-way K-shot概念。很多初次接触少样本领域的人虽然能很快知道N-way是指N个类，K-shot是指每个类的样本数量，然后再结合对大规模监督学习的认识，自然的就认为N-way K-shot就是指训练集中有N个类别&am…
基于Huggingface的预训练语言模型分类体系及实战
一、预训练语言模型体系初印象
1.预训练模型体系
随着预训练模型被提出，自然语言处理领域有了突飞猛进的发展，通过在大规模文本中训练通用的语言表示，并用微调的方式进行下游任务的领域适应，绝大多数的自然语言处理任务都可以使…
TVM 可以加载编译的模型种类
relay 本质上在TVM中就是一种模型描述的IR, 将各种模型编译成relay后再进行一步优化
示例用法： tvm.relay.frontend.from_onnx("/path/to/onnx/model") 加载onnx模型 tvm.relay.frontend
Functions: from_caffe(init_net, predict_net, …) Convert f…
Towards a Deep and Unified Understanding of Deep Neural Models in NLP
这篇文章比较难，需要较多的概率论和信息论知识，论文中公式推导给的不是特别多，有些过程并没有做推导，因此不是太能理解，不过大概意思是能懂的。 论文提出了一种知识量计算方法，通过计算每个输入的知识量&am…
关于树莓派编译及运行Snowboy的详细教程。
首先什么是snowboy我就不讲了，毕竟能搜到我这篇文章的一般都是遇到困境了。
我这里讲的是一个简单的snowboy设置并下载编译，直到成功的移植到自己的程序里。
下面是snowboy的官网 用GitHub登陆（或者其他的方式登陆都可以） https…
命名实体识别的后处理--百家姓辅助字典
命名实体识别的后处理百家姓辅助字典代码实现使用深度学习模型去做命名实体识别任务时，可能会出现效果不好等现象，此时可以使用一些规则对预测模型进行后处理，从而提高模型的表现。比如在姓名实体识别过程中可以加入百家姓字典辅助。百家姓辅…
NER--《人民日报》语料库预处理
NER--《人民日报》语料库预处理转成标准BIEO格式转成标准BIEO格式
# -*- coding: utf-8 -*-
"""
Created on Fri Jul 31 16:16:58 2020
将《人民日报》中的标签转成标准的BIEO格式
author: jpcheng2
"""
import codecs
def text_map(texts: [st…
NLP数据增强--随机替换命名实体
NLP数据增强--随机替换命名实体随机替换实体主要参考这位大佬的博客 参考链接.
随机替换实体
输入一句话 ：我不是<per>张加</per>，使用<per>标注实体是因为之前写过相关的博客。会按照姓名实体库里的实体随机替换，从而扩…
数据集划分及简介 --训练集、测试集、验证集（开发集）
数据集划分及简介机器学习算法流程及数据集的简介按比例划分数据集（按照句子级别）机器学习算法流程及数据集的简介
机器学习是一种数据驱动型的建模方法，可以根据已知数据，分析得到输入与输出之间的依赖关系，进而对未…
NLP系列(3)_用朴素贝叶斯进行文本分类(下)
作者： 龙心尘 && 寒小阳 时间：2016年2月。 出处： http://blog.csdn.net/longxinchen_ml/article/details/50629110 http://blog.csdn.net/han_xiaoyang/article/details/50629587 声明：版权所有，转载请联系作者…
谷歌BERT模型--调试MRPC任务--使用pycharm集成环境
谷歌BERT模型--MRPC调试心得唐宇迪BERT课程使用Pycharm实现MRPC唐宇迪BERT课程使用Pycharm实现MRPC
1.任务介绍 MPRC（Microsoft Research Paraphrase Corpus）语料库中包含一些句子对，这些句子有些表示相同的意思，有些是不同的意思…
文本数据增强-EDA笔记
对文本数据进行EDA（同义词替换、随机插入、随机交换、随机删除）
简介：实现这些功能需要使用 synonyms 第三方库来实现
import synonyms
string_text "向日葵"
print(synonyms.nearby(string_text,5)) # 打印5个 向日葵 的近义词…
python·文本分析
python文本分析词云词云图from wordcloud import WordCloudfrom pyecharts.charts import WordCloud停用词处理词云图
from wordcloud import WordCloud
import matplotlib.pyplot as plt #数学绘图库
import jieba #jieba分词库
from wordcloud import WordCloud,I…
深入理解搜索引擎-排序算法
众所周知，在搜索引擎领域，无论你是用户还是内容生产者，搜索引擎的结果排序对你来说都是至关重要的。对于用户而言，一个好的排序会给你一个非常好的搜索体感，你无需查看更多结果就能找到你的答案。对于内容生产者而言…
gradio库中的Dropdown模块：创建交互式下拉菜单
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
ELECTRA模型简单介绍
目录
一、整体概要
二、生成器
三、判别器
四、模型训练
五、其它改进 一、整体概要 ELECTRA（Efficiently Learning an Encoder that Classifies Token Replacements Accurately）采用了一种“生成器——判别器”结构，其与生成式对抗网络…
数学建模系列-评价模型（五）---灰色综合评价法
我们在前面的预测模型中提到锅灰色分析法，可以移步哪里查看。
也是在当我们拥有的数据较少时，或者对于要结局的对象、目标不是那么明显的时候使用， 如此就可以求出所有的参数中哪一个和我们目标的关联最大，也可以应用于主成分…
Python笔记 之 jieba模块
更详细的解释及举例请查看官方文本：jieba参考文档
jieba分词
支持四种分词模式： 精确模式，试图将句子最精确地切开，适合文本分析； 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快࿰…
注意力机制论文笔记：Neural Machine Translation by Jointly Learning to Align and Translate
论文原文镇四方，大神护我科研顺利，顶会约稿~~ 这是注意力机制落地到自然语言处理的一篇论文，好像是第一篇，没有考究。
论文中心思想：在传统的机器翻译模型（encoder-decoder）中的decoder中加入注…
基于NLP自然语言以token单位的chatgpt计费方式和收费标准
基于NLP自然语言以token单位的chatgpt计费方式和收费标准
最佳回答：
ChatGPT3.5收费的单位，是“$0.002 per 1k tokens”，每1000个tokens需要花费0.002美元。
ChatGPT4.0收费的单位，是“$0.003-0.006 1k tokens”，每…
统计自然语言处理---信息论基础
统计自然语言处理---信息论基础 李亚超 2010-10-29 1 简介 信息论产生于20世纪，最早由Shannon(Claude Shannon)提出。 那时Shannon在研究如何在由噪音的通信链路上尽量提高数据的传输量，为了能够从理论上求出最大的数据压缩律，Shannon提出…
万元学习奖励+HarmonyOS开发板！免费送啦！速进！
为配合2021未来杯HarmonyOS技术应用创新赛的赛事，未来杯组委会为选手提供了HarmonyOS应用程序开发系列课程，选手们可以进群免费观看直播，除此之外，未来杯组委会还为学习有成效的选手们准备了丰厚的双重学习奖励：Harmon…
PyTorch文本：04.深度学习NLP中使用Pytorch
一、使用PyTorch进行深度学习
1.深度学习构建模块：仿射变换, 非线性函数以及目标函数
深度学习表现为使用更巧妙的方法将线性函数和非线性函数进行组合。非线性函数的引入使得训练出来的模型更加强大。在本节中，我们将学 习这些核心组件，建…
动手学深度学习之文本预处理
文本预处理
import collections
import re
from d2l import torch as d2l将数据集读取到由文本行组成的列表中
d2l.DATA_HUB[time_machine] (d2l.DATA_URL timemachine.txt,090b5e7e70c295757f55df93cb0a180b9691891a) # load一本书def read_time_machine(): ""…
深度学习调参tricks总结
Warmup
学习率是神经网络训练中最重要的超参数之一，针对学习率的技巧有很多。Warm up是在ResNet论文[26]中提到的一种学习率预热的方法。由于刚开始训练时模型的权重(weights)是随机初始化的(全部置为0是一个坑，原因见[27])，此时选择一个较大…
【报错解决】ValueError: batch length of `text`: xx does not match batch length of `text_pair`: xx.
错误样例输入和输出
样例代码如下：
from transformers import GPT2Tokenizer,GPT2Model
tokenizer GPT2Tokenizer.from_pretrained(gpt2)
model GPT2Model.from_pretrained(gpt2)
special_tokens_dict {cls_token: <CLS>}
num_added_toks tokenizer.add…
基于Kaldi的中文在线识别系统
三音子模型词错误率为：36.03%，对比单音素模型词错误率为50.58%。 可见三音素模型识别率已经有了提高。 不管模型识别率怎么样，先利用三音子模型搭建一个中文在线识别系统看看效果。 在线识别与离线识别
本文主要搭建在线语音识别࿰…
DW李宏毅机器学习Task6
Self-Supervised Learning自监督学习
从芝麻街的人物引入自监督学习的相关概念方法。ELMo、BERT、ERNIE、Big Bird BERT是非常复杂的模型，包含340million个参数。模型变得越来越复杂，参数越来越多。
自监督学习介绍
有监督和自监督学习的区别&…
托福英语写作22范文
范文如上所示，亮点：
Indisputable 毋庸置疑的pivotal 中枢的，极为重要的，可以替换成centermanifest,相当于show，更偏向于证明 我的改进文章：
In modern society, the phenomenon that all people, regard…
加载Bert预训练模型时报错：huggingface_hub.utils._validators.HFValidationError
具体报错情况如下： huggingface_hub.utils._validators.HFValidationError: Repo id must be in the form repo_name or namespace/repo_name: ./bert/bert_base_cased_ICEWS14. Userepo_typeargument if needed.
很简单，我download下来的代码没有并没有…
NLP学习笔记（三）
一：分类方法
（一）逻辑回归
最简单的方法就是将分类问题视为回归问题，采用逻辑回归计算分类的边界。
（二）softmax回归
softmax的前向传播过程可以分为以下三步： h W T x y ^ s o f t m a …
R语言dplyr包mutate_if函数为dataframe数据中的所有数值列乘以某一固定数值并生成新的数据列（变量）
R语言dplyr包mutate_if函数为dataframe数据中的所有数值列乘以某一固定数值并生成新的数据列（变量） 目录
Paper简读 - ProGen2: Exploring the Boundaries of Protein Language Models
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://blog.csdn.net/caroline_wendy/article/details/128976102 ProGen2: Exploring the Boundaries of Protein Language Models ProGen2：探索蛋白质语言模型的边界Cumulative density：累积密度
Ligand：在生…
基于Python和Spacy的命名实体识别
命名实体识别（Named Entity Recognition，简称NER）是一种自然语言处理（NLP）方法，用于检测和分类文本中的命名实体，包括人物、组织、地点、日期、数量和其他可识别的现实世界实体。
Spacy是一个基…
Lucene简单实战学习
第一步：通过简单实现，认识Lucene，参考博客： 链接: 点击这里. 第二步：进一步认识Lucene的实现过程，参考博客： 链接: 点击这里.
当然，这里也需要自己动手实现，下面我会把整…
NLP中一些工具列举
文章目录StanfordcoreNLPStanzaTankitspaCySuPar总结StanfordcoreNLP
这个老早就出来了，用java写的，但是已经有很多比他效果好的了。
Stanza
2020ACL发表的，看名字就知道和上一个是同一家的。
用已经切好词的句子进行依存分析。
这个功能…
1.1基于知识图谱的项目实战：优酷搜索泛查询意图优化
NLU的技术实现主要分为在线识别和离线数据挖掘两块。 1.在线识别 NLU的在线识别技术栈如下图所示，共由下述2个部分组成： 第一个部分是Slot Filling(成分分析)，负责对query进行实体识别和槽位抽取；第二部分Inention Detection（意图识别），根据提取的槽位进行意图的判定（目…
【自然语言处理】【大模型】Chinchilla：训练计算利用率最优的大语言模型
Chinchilla：训练计算利用率最优的大语言模型《Training Compute-Optimal Large Language Models》论文地址：https://arxiv.org/pdf/2203.15556.pdf 相关博客 【自然语言处理】【大模型】Chinchilla：训练计算利用率最优的大语言模型 【自然语言…
Huggingface微调BART的代码示例：WMT16数据集训练新的标记进行翻译
BART模型是用来预训练seq-to-seq模型的降噪自动编码器（autoencoder）。它是一个序列到序列的模型，具有对损坏文本的双向编码器和一个从左到右的自回归解码器，所以它可以完美的执行翻译任务。 如果你想在翻译任务上测试一个新的体系…
G1D32-计算二项式系数Transformer
一、计算二项式系数
好像也没啥好说的~
二、Transformer
其实忘记的不是transformer，而是seq2seq。好吧，那就一起来复习一下hhh
（一）seq2seq
1、what
这个任务任务啊，就是序列到序列嘛
2、how
一般用encoder和…
HDLBits：在线学习Verilog（ 五 · Problem 20-24）
本系列内容来自于知乎大V：ljgibbs，个人主页为：https://www.zhihu.com/people/ljgibbs，欢迎关注。 本系列文章将和读者一起巡礼数字逻辑在线学习网站 HDLBits 的教程与习题，并附上解答和一些作者个人的理解，…
Data Augmentation by Concatenation for Low-Resource Translation: A Mystery and a Solution阅读笔记
Abstract
在本文中，我们研究了连接的驱动因素，连接是一种简单但有效的数据增强方法，用于低资源的神经机器翻译。相反，我们证明了改进来自于其他三个与话语无关的因素:语境多样性、长度多样性和(在较小程度上)位置转移。
1 Intro…
文献阅读：Synthesizer: Rethinking Self-Attention in Transformer Models
文献阅读：Synthesizer: Rethinking Self-Attention in Transformer Models 1. 文章简介2. 核心方法 1. Vanilla Self-Attention (V)2. Dense Synthesizer (D)3. Random Synthesizer （R)4. Factorized Model 1. Factorized Dense Synthesizer (FD)2. Fact…
文献阅读：Should You Mask 15% in Masked Language Modeling?
文献阅读：Should You Mask 15% in Masked Language Modeling? 1. 内容简介2. 实验考察 1. mask比例考察2. corruption & prediction3. 80-10-10原则考察4. mask选择考察 3. 结论 & 思考 文献链接：https://arxiv.org/pdf/2202.08005.pdf
1. 内…
NLP笔记：推荐问题常用metrics整理
NLP笔记：推荐问题常用metrics整理 1. 简介2. 具体metrics指标考察 1. 准确率 & 召回率2. 击中率3. MAP4. NDCG 3. 总结4. 参考链接 1. 简介
推荐问题是现在互联网最核心的问题之一，从搜索体统到淘宝的用户推荐，一个好的推荐/搜索系统能…
自然语言处理从入门到应用——预训练模型总览：迁移学习与微调
分类目录：《自然语言处理从入门到应用》总目录 相关文章： 预训练模型总览：从宏观视角了解预训练模型 预训练模型总览：词嵌入的两大范式 预训练模型总览：两大任务类型 预训练模型总览：预训练模型的拓展 …
GitHub十大热门Python项目，过程很有趣
1. Manim
关注量：26.2k
复制量: 3.4K
开发者：: Grant Sanderson
Manim是Mathematical Animation Engine的缩写。这个项目背后的理念是让人们更容易在数学教材中整合有趣直观的动画与图形和图表，摆脱学习数学必须枯燥的刻板印象。
格兰特…
Gradio HTML组件详解
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
使用预训练语言模型进行文本生成的常用微调策略
译自Pretrained Language Models for Text Generation: A Survey 第六节
数据角度
小样本学习：在许多任务中，获取足够标记数据既困难又昂贵。预训练模型可以编码大量的语言和现实知识，这为数据稀缺提供了有效的解决方案。通常采用的方法是使…
基于GPT的隐变量表征解码结构
有时候我们想要用GPT（的一部分）作为预训练的隐变量解码器，应该怎么办呢？最近看论文，总结了三种隐变量注入(code injection)的方式。
1. Cheng X , Xu W , Wang T , et al. Variational Semi-Supervised Aspect-Term…
GPT2计算流程详解
GPT-2 就像传统的语言模型一样，一次只输出一个单词（token）。这种模型之所以效果好是因为在每个新单词产生后，该单词就被添加在之前生成的单词序列后面，这个序列会成为模型下一步的新输入。这种机制叫做自回归ÿ…
采用状态空间法求解八数码问题
采用状态空间法求解八数码问题一、 实验要求二、 实验目标三、 实验过程四、 实验结果分析:五、 结论：六、 源程序一、 实验要求
八数码问题：在33的方格棋盘上，摆放着1到8这八个数码，有1个方格是空的，其初始状态如图1…
初识文本处理工具 - TextBlob
综述TextBlob基本介绍基本功能TextBlob安装 情感分析什么是文本情感分析使用TextBlob进行情感分析 综述 本文主要介绍TextBlob基本使用，侧重点在于情感分析。
TextBlob基本介绍 TextBlob是一个用Python编写的开源的文本处理库。它可以用来执行很多自然语言处理的任…
transformer的学习记录【完整代码+详细注释】（系列七）
文章目录1 模型基本测试运行——copy任务2 介绍优化器和损失函数2.1 优化器和损失函数的代码2.2 介绍 标签平滑函数2.2.1 理论知识2.2.2 具体的参数以及代码展示2.3 训练和预测第一节：transformer的架构介绍 输入部分的实现 链接：https://editor.csdn.n…
虚拟机ubantu如何扩展系统内存
虚拟机ubantu如何扩展系统内存
本人ubantu是18.04… 第一步：首先将虚拟机关机而不是挂起，因为在扩展的时候，不能使用。最重要的是，如果Linux有快照也需要删除。要不然不能扩展。 第二部：进行扩展，我是从50…
深度学习与自然语言处理(6)_斯坦福cs224d 一起来学Tensorflow part1
内容翻译：穆文(微信公众号 数据挖掘机养成记) && 寒小阳 校正调整：寒小阳 && 龙心尘 时间：2016年7月 出处： http://blog.csdn.net/han_xiaoyang/article/details/51871068 http://blog.csdn.net/longxinchen…
深度学习与自然语言处理(1)_斯坦福cs224d Lecture 1
作者：寒小阳 && 龙心尘 时间：2016年6月 出处： http://blog.csdn.net/han_xiaoyang/article/details/51567822 http://blog.csdn.net/longxinchen_ml/article/details/51567960 声明：版权所有，转载请联系作者并…
能模仿韩寒小四写作的神奇循环神经网络
作者：寒小阳 && 龙心尘 时间：2016年4月 出处： http://blog.csdn.net/han_xiaoyang/article/details/51253274 http://blog.csdn.net/longxinchen_ml/article/details/51253526 声明：版权所有，转载请联系作…
《动手学深度学习》Task04：机器翻译及相关技术+注意力机制与Seq2seq模型+Transformer
文章目录1 机器翻译及相关技术1.1 机器翻译基本原理1.2 Encoder-Decoder1.3 Sequence to Sequence模型1.4 Beam Search2 注意力机制与Seq2seq模型2.1 注意力机制2.2 注意力机制的计算函数介绍2.3 引入注意力机制的Seq2seq模型3 Transformer3.1 Transformer结构概念3.2 Transfor…
统计自然语言处理——n元语法（马尔可夫模型）小结
终于把书看到传说中重要的第六章了。。。
看完第六章开始后悔之前花那么多时间看前四章内容了。。看了也忘掉了。。什么困惑度啊什么的一堆概念还是要翻一翻。。之前总怕不仔细看后面的看不懂。。结果重要的第五章第六章反而看的比前面愉快了许多~主要还是概率的知识…
随机场（Random field）
一、随机场定义
http://zh.wikipedia.org/zh-cn/随机场
随机场（Random field）定义如下：
在概率论中, 由样本空间Ω {0, 1, …, G − 1}n取样构成的随机变量Xi所组成的S {X1, …, Xn}。若对所有的ω∈Ω下式均成立，则称π为一…
动手学深度学习之词嵌入基础及进阶
参考伯禹学习平台《动手学深度学习》课程内容内容撰写的学习笔记 原文链接：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/lesson/vPFktupNxTK8CzV789PCeV 感谢伯禹平台，Datawhale，和鲸，AWS给我们提供的免费学习机会&am…
社交网络：数据科学家眼中的金矿
随着Facebook的上市，社交网络再次成为人们关注的焦点。与传统的论坛、博客相比，社交网络是虚拟世界与现实世界的桥梁，在互联网上将现实生活中人与人之间的关系建立起来。从社交网络的分类来看，Facebook、Twitter、LinkedIn分别代表…
盛大创新院和搜狗研究员：自然语言处理的应用
【TechWeb报道】6月26日消息，盛大创新院搜索主题院研究员贾文杰和搜狗自然语言处理助理研究员张帆今天做客第165期IT龙门阵，分享了关于自然语言处理的应用和难点。
盛大创新院搜索主题院研究员贾文杰：面向搜索的中文分词系统
盛大创新院搜索…
汉语自动分词研究评述
汉语自动分词研究评述 【作者】孙茂松/邹嘉彦 【作者简介】孙茂松，清华大学 邹嘉彦，香港城市大学 孙茂松，100084 北京.清华大学计算机系 Email:lkc-dcs＠mail.tsinghua.edu.cn 邹嘉彦，香港 香港城市大学…
统计自然语言处理 之 数学基础
统计自然语言处理--数学基础 李亚超 2010-10-28 1简介 这一部分介绍统计自然语言处理的数学基础，主要内容包括概率论和数理统计。要把所有要点详细的介绍完，很难。在这里，我只是把以后在自然语言处理中会用得到比较重要的数学知识做个介绍。…
自然语言处理应用方向和专业英语
自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理处理的内容涉及到语言的各个层次，包括字、词、句、段落、篇章和语义。
目前自然语言处理的主要研究和应用方向有&a…
【如何用大语言模型快速深度学习系列】开篇+文本匹配系列
开篇
很久没有更新啦！这个系列其实是自己的一个学习笔记啦！这个系列的特色就是我们不再通过看视频的方式入门深度学习。
开篇的时候（2023.07.01），我想的是围绕自然语言处理的一些基础方法（代码方面&#…
Web端 - 多语言的测试经验分享
概述 多语言系统顾名思义就是一个系统同时支持多种语言，可供各国用户正常使用的系统。
比如说哪天B站要去征服国际市场，提供给全球用户下载，那么就得需要支持中文、英语、日语、德语等不同国家的语言，这就是所谓支持多种语言。
…
数字垃圾是什么？跟随世界第一位AI艺术家，探索元碳艺术
你们认为谷歌的语言模型 LaMDA 拥有人类意识了吗？#不就一堆数据训练出来的算法吗，怎么可能有人类意识……LaMDA 有没有人格确实不好说，但韩国LG公司开发的 Tilda 已经官宣作为一名正式挂职的 AI 艺术家，并与人类设计师合作服装设计…
自然语言处理从入门到应用——预训练模型总览：预训练模型的拓展
分类目录：《自然语言处理从入门到应用》总目录 从大量无标注数据中进行预训练使许多自然语言处理任务获得显著的性能提升。总的来看，预训练模型的优势包括：
在庞大的无标注数据上进行预训练可以获取更通用的语言表示，并有利于下游…
自然语言处理从入门到应用——预训练模型总览：两大任务类型
分类目录：《自然语言处理从入门到应用》总目录 相关文章： 预训练模型总览：从宏观视角了解预训练模型 预训练模型总览：词嵌入的两大范式 预训练模型总览：两大任务类型 预训练模型总览：预训练模型的拓展 …
Sentence Concatenation Approach to Data Augmentation for Neural Machine Translation阅读笔记
Abstract
NMT中的长句翻译表现较差，这是低资源语言的一个主要问题。我们假设这个问题是由于训练数据中长句数量不足造成的。因此，本研究提出一种简单的数据扩充方法来处理长句。在该方法中，我们只使用给定的平行语料库作为训练数据ÿ…
前端JS如何实现对复杂文本进行句子分割，将每句话拆分出来？
文章目录 切割句子背景简介前端如何使用NLP？技术实现 切割句子背景简介 开发中遇到一种场景，在做文本翻译这块需求时，需要对输入的原文进行一句一句话的拆分出来，传给后台，获取每句话的翻译结果，便于实现页…
计算机的0和1是怎么变成我们屏幕上看到的图片、视频和声音的？
大家好我是狗蛋，我们都知道，对于计算机来讲，所有东西都由一堆0和1组成。那么今天我们来了解计算机的0和1是怎么变成我们屏幕上看到的图片、视频和声音的？ 其实这堆0和1和我们的语言是一个道理，比如说我们生活中的一个水…
语义解析 (Text-to-SQL)学习笔记1
组成部分
Text-to-SQL解析器和SQL执行器。
目前能做到的程度 SQL查询语句是一个符合语法、有逻辑结构的序列，其构成来自三部分：数据库、问题、SQL关键词。
在当前深度学习研究背景下，Text-to-SQL任务可被看作是一个类似于神经机器翻译的序…
word2vec 理解
word2vec是google在2013年推出的一个NLP工具，它的特点是将所有的词向量化，这样词与词之间就可以定量的去度量他们之间的关系，挖掘词之间的联系。广泛的运用到自然语言中 详情文章 https://zhuanlan.zhihu.com/p/114538417
word2vec原理(一) …
Prompt-Learning for Fine-Grained Entity Typing
文章目录输入端Promt定义hard-encodingsoft-encodingAnswer映射训练针对zero-shot的自监督Prompt-learning引用输入端
Promt定义
hard-encoding
对于比较明确、简短的任务，使用人工定义。
soft-encoding
使用的promt如下，其中，[P]为分隔…
NLP训练一个可以寻找相似度最匹配的句子的模型（LSI、LDA、TFIDF）
全套代码，不多解释，即插即用～ 英文句子预处理模块
# 英文句子处理模块
from nltk.corpus import stopwords as pw
import sys
import re
cacheStopWordspw.words("english")def English_processing(sentence):if sentence:senten…
双目活体检测：人证核验一体机
一、人证核验一体机产品简介 人证核验一体机是我公司自主研发的一款集人脸识别、二代证读卡采集的多功能一体机。人证核验一体机可读取居民身证芯片中的身份信息，现场自动抓拍采集人脸照片,快速验证人证是否一致，全程自动化，操作过程无需人工…
实时互动白板_使用froala文本编辑器构建实时协作白板第1部分
实时互动白板介绍 (Intro) Hello! Nice to meet you, I am Boyan, I recently became a web-developer, and am pretty excited (and nervous!) to make my first post to Medium, and join an amazing community that has taught me so much in just a few months.你好&#x…
Gradio库中的HighlightedText组件
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
OCR文字检测与识别系统：融合文字检测、文字识别和方向分类器的综合解决方案
1. PP-OCR系统简介与总览
前两章主要介绍了DBNet文字检测算法以及CRNN文字识别算法。然而对于我们实际场景中的一张图像，想要单独基于文字检测或者识别模型，是无法同时获取文字位置与文字内容的，因此，我们将文字检测算法以及文字…
神经网络NLP基础 循环神经网络 LSTM
用的时候，只关心token的输入，以及hidden state就好了 sequence的length是多少，lstm的cell的数量就是多少
LSTM BI-LSTM stacked lstm GRU 实现
LM-INFINITE: SIMPLE ON-THE-FLY LENGTH GENERALIZATION FOR LARGE LANGUAGE MODELS
本文是LLM系列文章，针对《LM-INFINITE: SIMPLE ON-THE-FLY LENGTH GENERALIZATION FOR LARGE LANGUAGE MODELS》的翻译。 LM-INFiNITE：大语言模型的一个简单长度上推广 摘要1 引言2 相关工作3 LLMs中OOD因素的诊断4 LM-INFINITE5 评估6 结论和未来工作 …
ChatGPT如何应对紧急救援和医疗应急？
ChatGPT在紧急救援和医疗应急方面具有潜在的重要用途。它可以用于提供信息、建议和支持，以帮助应对各种突发事件，如自然灾害、流行病爆发、事故等。以下是ChatGPT如何应对紧急救援和医疗应急的方式以及相关挑战的详细讨论。
### 紧急救援
#### 1. 提供…
Holistic Evaluation of Language Models
本文是LLM系列文章，针对《Holistic Evaluation of Language Models》的翻译。 语言模型的整体评价 摘要1 引言2 前言3 核心场景4 一般指标5 有针对性的评估6 模型7 通过提示进行调整8 实验和结果9 相关工作和讨论10 缺失11 不足和未来工作12 结论 摘要
语言模型&a…
【Python】NLP参数控制模板
前言 学过AI的都知道训练一个模型需要调整很多参数，为了有效的管理这些参数、不至于让代码的参数写的乱七八糟，有必要写一套控制参数的模板。 argparser argparser是python当中的参数解析器，在NLP当中主要是用来接受和使用参数的。一个使用它…
Hugging Face 中文预训练模型使用介绍及情感分析项目实战
Hugging Face 中文预训练模型使用介绍及情感分析项目实战
Hugging Face 一直致力于自然语言处理NLP技术的平民化(democratize),希望每个人都能用上最先进(SOTA, state-of-the-art)的NLP技术,而非困窘于训练资源的匮乏"
其中，transformer库提供了NLP领域大量…
OCR产品在移动警务系统中的应用
一、 应用背景：
警察或者交警基本上都是在室外或者街头工作，在移动互联的时代，已经能够很好的解决治安维稳当中的移动办公执法的问题。智能手机、平板和特制手持设备都成为日常生活和工作的比不缺少的产品，警务通（又叫…
「实在RPA学院」电商运营36计：企微批量自动加好友
越来越多的人开始接触RPA（机器人流程自动化），但是在上手时却经常会遇到这样那样的问题，而实在智能致力于打造人人都能上手的RPA工具，今天实在小编就来手把手教大家如何轻松搭建流程，实现高效工作࿰…
广义item2vec的典型例子----双塔模型
一： DSSM模型理论知识
1. DSSM模型的原理 DSSM(Deep Structured Semantic Models)也叫深度语义匹配模型，最早是微软发表的一篇应用于NLP领域中计算语义相似度任务的文章。
DSSM深度语义匹配模型原理很简单：获取搜索引擎中的用户搜索query和…
item2vec--word2vec在推荐领域的使用
一：绪论
在word2vec诞生以后，embedding的思想迅速从自然语言处理领域扩大到各个领域，推荐系统也不例外，既然word2vec可以对词序列中的词进行embedding，那么也可以对用户购买序列中的一个商品也应该存在相应的embeddin…
向量空间模型 2022-1-17
人工智能基础总目录 向量空间模型一 向量空间模型1.1 向量空间模型1.2 词、文档向量的表示1 词频2 归一化词频3 二值化词频4 TF-IDF5 TextRank二 向量空间模型构建2.1 共现矩阵推荐系统中的说明自然语言处理2.2 词向量2.2.1 用处1 逻辑运算2 跨语言匹配3 翻译4 图像匹配和描述5…
从世界冠军到数据科学家 他是如何炼成的？ | 硬创公开课
大数据这个词我们听得太多了，可是很少有人意识到，随着互联网的发展，今时今日的这些“大”字究竟已经意味着一种什么样的量级。除去少数哗众取宠的使用这个词的公司外，那些真正拥有大数据的企业，经手和处理的都是一些普…
机器学习深度学习——NLP实战（自然语言推断——数据集）
👨🎓作者简介：一位即将上大四，正专攻机器学习的保研er 🌌上期文章：机器学习&&深度学习——NLP实战（情感分析模型——textCNN实现） 📚订阅专栏：机器…
自然语言处理从入门到应用——LangChain：索引（Indexes）-[文本分割器（Text Splitters）]
分类目录：《自然语言处理从入门到应用》总目录 当我们需要处理长文本时，有必要将文本分割成块。虽然这听起来很简单，但这里存在很多潜在的复杂性。理想情况下，我们希望将语义相关的文本块保持在一起，但什么是"语义…
全面解析python各项技术，Python技术手册(第2版)来袭
简介
本书是一本全面介绍有关Python语言和Python程序开发专业知识的参考手册。书中详细介绍了Python开发工具的安装和使用、Python语言的语法结构、Python内置对象、库和模块以及Python与其他语言的扩展和嵌入，并专门介绍了有关Python网络和Web编程的内容和实例。本…
tf中自定义层实战（CIFAR10图像识别）
tf中自定义层实战（CIFAR10图像识别） 目录tf中自定义层实战（CIFAR10图像识别）1. 思路2. 代码1. 思路
预处理函数加载数据集与数据预处理自定义层自定义模型网络训练测试（基于keras高层API）保存模型并加载
…
tf中模型保存与加载
tf中模型保存与加载 目录tf中模型保存与加载1. save/load weights2. save/load entire model3. saved_model4. 实战1. save/load weights
model.save_wights(/想要保存的地址.ckpt)
model create_model()
model.load_wights(/模型保存的地址.ckpt)
loss,acc model.evaluate(…
tf中的层（输出层）
tf中的层（输出层） 目录tf中的层（输出层）1. 实数输出（通常用于预测）：有时用relu函数将输出转换为正数2. [0,1]的输出：一般用sigmoid函数实现3. [0,1]的输出（输出的总和为1…
数据挖掘作业学习学习笔记-电商产品评论数据情感分析
使用的教材：《电商产品评论数据情感分析》 作业&学习笔记：数据挖掘第14周 说明：书本内容详实。此篇用于自己期末回顾知识的重点内容，故做出的学习笔记缺省了书本原本的其他精粹。
随着电子商务的发展，对企业而言&…
第一学习在情绪分析比赛中使用Paddlehub
这篇博客主要是记录一下第一次学习使用Paddlehub来进行情感分析。（备注：这里的代码是参考一个比赛大佬的baseline,如果有侵权的话，可以联系我，我会删除引用的code的。）
1.数据处理
该比赛原本的数据是采用GB2312编码…
训练赛-汽车行业用户观点主题及情感识别
赛题通道（进入）
闲聊： 这是我第三次参加大数据比赛，也是第一次接触大数据比赛的自然语言处理，下面吧现在的代码写成博客保存一下，代码还在不断优化中。。。
正题：
import numpy as np
import…
Lion：闭源大语言模型的对抗蒸馏
Lion：闭源大语言模型的对抗蒸馏
Lion，由香港科技大学提出的针对闭源大语言模型的对抗蒸馏框架，成功将 ChatGPT 的知识转移到了参数量 7B的 LLaMA 模型（命名为 Lion），在只有 70k训练数据的情况下࿰…
Lion闭源大语言模型的对抗蒸馏框架实践
Lion闭源大语言模型的对抗蒸馏框架实践
概述
对抗蒸馏框架概述：我们基于高级闭源LLM的基础上提炼一个学生LLM，该LLM具有三个角色：教师、裁判和生成器。有三个迭代阶段： 模仿阶段，对于一组指令，将学生的响…
分类模型-类别不均衡问题之loss设计
这个系列将记录下本人平时在深度学习方面觉得实用的一些trick，可能会包括性能提升和工程优化等方面。 该系列的代码会更新到Github 炼丹系列1: 分层学习率&梯度累积 炼丹系列2: Stochastic Weight Averaging (SWA) & Exponential Moving Average(EMA) 炼丹系…
几个nlp的小任务（序列标注）
几个nlp的小任务（序列标注） 安装一个 评估的库序列标注的介绍初始化参数加载数据集查看数据集编码选出示例展示数据预处理类，转token判断是否为 transformers.PreTrainedTokenizerFast类型继续分割word介绍对齐解决对齐对数据集进行批量预处理微调预处理模型设置 参数args使…
BERT句向量(一)：Sentence-BERT
前言
句向量：能够表征整个句子语义的向量，目前效果比较好的方法还是通过bert模型结构来实现，也是本文的主题。
有了句向量，我们可以用来进行聚类，处理大规模的文本相似度比较，或者基于语义搜索的信息检索…
基于大语言模型知识问答应用落地实践 – 知识库构建（上）
01 背景介绍 随着大语言模型效果明显提升，其相关的应用不断涌现呈现出越来越火爆的趋势。其中一种比较被广泛关注的技术路线是大语言模型（LLM）知识召回（Knowledge Retrieval）的方式，在私域知识问答方面可以…
【NLP的python库(01/4) 】： NLTK
一、说明 NLTK是一个复杂的库。自 2009 年以来不断发展，它支持所有经典的 NLP 任务，从标记化、词干提取、词性标记，包括语义索引和依赖关系解析。它还具有一组丰富的附加功能，例如内置语料库，NLP任务的不同模型以及与S…
自然语言处理实验—用K-means的方法对样本特征分类（含python代码和详细例子解释）
自然语言处理实验—用K-means的方法对样本特征分类
一、算法简述
本次博客我们介绍一下机器学习里经典的聚类算法K-means，它属于典型的无监督学习算法。其核心思想也非常的简单，大致思路如下：
要选取K(K1,2,..)K(K1,2,..)K(K1,2,..)个簇的…
几个nlp的小任务（抽取式问答）
几个nlp的小任务（抽取式问答） 安装库抽取式问答介绍、SQuAD数据集初始化参数加载、导入数据集查看数据集示例加载tokenizer对长文本处理的演示对答案的位置进行验证整合刚才的步骤对数据集中的数据进行预处理加载微调模型设置args 参数使用数据清洗设置训练函数，开始训练安装…
自然语言处理实验—分词算法（含python代码及详细例子讲解）
自然语言处理实验—分词算法
最近在学自然语言处理，这是第一个上机实验自然语言处理的分词算法，也是自然语言处理比较入门的算法。和大家分享一下。 首先，自然语言处理，英文是(Nature Language Process)，简称“NLP&qu…
自然语言处理-NLP
目录
自然语言处理-NLP
致命密码：一场关于语言的较量
自然语言处理的发展历程
兴起时期
符号主义时期
连接主义时期
深度学习时期
自然语言处理技术面临的挑战
语言学角度
同义词问题
情感倾向问题
歧义性问题
对话/篇章等长文本处理问题
探索自然语言…
GLM: General Language Model Pretrainingwith Autoregressive Blank Infilling翻译理解
GPT（autoregressive）模型是一个自回归模型，利用left-to-right语言模型，由于不是双向attention 机制，因此不能再NLU任务中，获取充分的上下文信息，BERT类似自编码（autoencoding&#x…
自然语言处理(六)：词的相似性和类比任务
词的相似性和类比任务
在前面的章节中，我们在一个小的数据集上训练了一个word2vec模型，并使用它为一个输入词寻找语义相似的词。实际上，在大型语料库上预先训练的词向量可以应用于下游的自然语言处理任务，为了直观地演示大型语料…
Zotero+百度网盘同步空间多电脑设置方法
Zotero百度网盘同步空间多电脑设置方法
之前一直用的Onedrive和Zotero来同步，原理差不多，但是百度网盘同步空间毕竟是国内的，（开了会员）速度快很多，记录一下多台电脑使用百度网盘同步空间来同步Zotero和相…
预训练Bert添加new token的问题
问题
最近遇到使用transformers的AutoTokenizer的时候，修改vocab.txt中的[unused1]依然无法识别相应的new token。
实例： 我将[unused1]修改为了[TRI]，句子中的[TRI]并没有被整体识别，而是识别为了[,T,RI,]。这明显是有问题的。…
TOOLLLM: FACILITATING LARGE LANGUAGE MODELS TO MASTER 16000+ REAL-WORLD APIS
本文是LLM系列的文章之一，针对《TOOLLLM: FACILITATING LARGE LANGUAGE MODELS TO MASTER 16000 REAL-WORLD APIS》的翻译。 TOOLLLMs：让大模型掌握16000的真实世界APIs 摘要1 引言2 数据集构建3 实验4 相关工作5 结论 摘要
尽管开源大型语言模型&…
1分钟了解音频、语音数据和自然语言处理的关系
机器学习在日常场景中的应用
音频、语音数据和自然语言处理这三者正在不断促进人工智能技术的发展，人机交互也逐渐渗透进生活的每个角落。在各行各业包括零售业、银行、食品配送服务商）的多样互动中，我们都能通过与某种形式的AI（…
Fine-tuning Large Enterprise Language Models via Ontological Reasoning
本文是LLM系列文章，针对《Fine-tuning Large Enterprise Language Models via Ontological Reasoning》的翻译。 基于本体论推理的大型企业语言模型微调 摘要1 引言2 微调LLM的神经符号管道3 通过概念证明进行初步验证4 结论 摘要
大型语言模型（LLM&am…
词！自然语言处理之词全解和Python实战！
目录 一、为什么我们需要了解“词”的各个方面词是语言的基础单位词的多维特性词在NLP应用中的关键作用 二、词的基础什么是词？定义分类 词的形态词根、词干和词缀形态生成 词的词性 三、词语处理技术词语规范化定义方法 词语切分（Tokenizationÿ…
GPT与BERT模型
NLP任务的核心逻辑是“猜概率”的游戏。BERT和GPT都是基于预训练语言模型的思想，通过大量语料训练得到语言模型。两种模型都是基于Transformer模型。 Bert 类似于Transformer的Encoder部分，GPT类似于Transformer的Decoder部分。两者最明显的在结构上的差…
GE IS220PAICH2A 336A4940CSP11 数字量输入模块产品应用领域
GE IS220PAICH2A 336A4940CSP11 是一款数字量输入模块，通常用于工业自动化和控制系统中，用于监测和采集数字输入信号。这种类型的模块可以在各种应用领域中发挥作用，以下是一些可能的应用领域： 工业过程控制： GE IS220…
DEBERTA: DECODING-ENHANCED BERT WITH DIS- ENTANGLED ATTENTION glue榜首论文解读
一、概览 二、详细内容
abstract a. 两个机制来improve bert和 roberta ⅰ. disentangled attention mechanism ⅱ. enhanced mask decoder b. fine-tuning阶段 ⅰ. virtual adversarial training -> 提升泛化 c. 效果 ⅰ. 对nlu和nlg下游任务，提升都比较大 ⅱ.…
多语言B2B2C跨境购物平台无货源商品库搭建（全开源）
要搭建一个多语言B2B2C跨境购物平台，需要以下几个步骤，包括商品库的搭建、网站基础架构、多语言支持、订单管理、会员管理、营销推广、物流配送和支付接口集成。
1. 商品库的搭建
首先需要建立一个商品库，包括商品的名称、描述、价格、图片…
PyTorch翻译官网教程-NLP FROM SCRATCH: GENERATING NAMES WITH A CHARACTER-LEVEL RNN
官网链接
NLP From Scratch: Generating Names with a Character-Level RNN — PyTorch Tutorials 2.0.1cu117 documentation 使用字符级RNN生成名字
这是我们关于“NLP From Scratch”的三篇教程中的第二篇。在第一个教程中</intermediate/char_rnn_classification_tutor…
NLP中的RNN、Seq2Seq与attention注意力机制
目录
NLP自然语言处理 的RNN、Seq2Seq与attention注意力机制
RNN循环神经网络
前馈网络入门
前馈网络
循环网络
多层感知器架构示例
循环神经网络的运作原理
展开 RNN
seq2seq模型
Attention（注意力机制）
总结
引用 NLP自然语言处理 的RNN、…
机器学习、cv、nlp的一些前置知识
为节省篇幅，不标注文章来源和文章的问题场景。大部分是我的通俗理解。 文章目录 向量关于向量的偏导数：雅可比矩阵二阶导数矩阵：海森矩阵随机变量随机场伽马函数beta分布数学术语坐标上升法协方差训练集，验证集，测试集…
AI大模型已经出现不可预测的能力
编者按：日前，非盈利组织生命未来研究所发布了一封《暂停大型人工智能研究》的公开信，马斯克等千名科技人士进行了签名。虽然部分签署人的真实性存疑，但是大型语言模型（LLMs）的“涌现”能力确实可能会导致突…
TensorFlow 2.x调试错误解决：tensorflow.python.eager.core._SymbolicException: Inputs to eager execution fun
TensorFlow 2.x调试错误解决：tensorflow.python.eager.core._SymbolicException: Inputs to eager execution function cannot be Keras symbolic tensors, but found [<tf.Tensor ‘my_rnn/simple_rnn_cell/cond/Identity:0’ shape(None, 100) dtypefloat32>…
Warning : `load_model` does not return WordVectorModel or SupervisedModel any more, but a `FastText`
对于fasttext v0.9.2，这可以通过将下面的补丁添加到您的代码中来解决。
import fasttextfasttext.FastText.eprint lambda x: None
论文阅读《Paraphrasing Revisited with Neural Machine Translation》
摘要
从神经网络翻译的角度重新审视双语转述，提出了一种基于神经网络的转述模式。
模型可以表示连续空间中的释义，估计任意长度文本段之间的语义关联度，或者为任何输入源生成候选释义。
跨任务和数据集的实验结果表明，神经解释…
论文阅读：《Black-box Generation of Adversarial Text Sequences to Evade Deep Learning Classifiers Ji》
摘要
Simple character-level transformations are applied to the highest- ranked words in order to minimize the edit distance of the perturbation.
对排名最高的词进行简单的字符级变换，最小化对抗样本与原样本的编辑距离 算法
一、Token评分并排序&…
机器学习深度学习——NLP实战（情感分析模型——数据集）
👨🎓作者简介：一位即将上大四，正专攻机器学习的保研er 🌌上期文章：机器学习&&深度学习——BERT（来自transformer的双向编码器表示） 📚订阅专栏：机器…
天润融通「微藤大语言模型平台2.0」以知识驱动企业高速增长
8月23日，天润融通（又称“天润云”,2167.HK），正式发布「微藤大语言模型平台2.0」。 “大模型企业知识企业知识工程”。 “不能有效记录和管理知识的企业是不能持续进步的。在企业的生产流程中，相比于其他场景࿰…
HONEYWELL 05701-A-0325控制脉冲模块
自动化控制系统：控制脉冲模块可能用于工业自动化系统中，用于生成和控制各种脉冲信号，以控制机械设备、生产线或其他工业过程。 运动控制：在运动控制应用中，这种模块可以用于生成步进电机或伺服电机的脉冲信号…
tokenizers总结
简介
tokenize的目标是把输入的文本流，切分成一个个子串，每个子串相对有完整的语义，便于学习embedding表达和后续模型的使用。
tokenize有三种粒度：word/subword/char
word词，是最自然的语言单元。对于英文等自然语…
几个nlp的小项目（文本分类）
几个nlp的小项目（文本分类） 导入加载数据类、评测类查看数据集精确展示数据测评方法设置参数tokenizer，token化的解释对数据集进行预处理加载预训练模型进行训练设置训练模型的参数一个根据任务名获取，测评方法的函数创建预训练模型开始训练本项目的工作完成了什么任务？导…
论文浅尝 | 基于预训练语言模型的简单问题知识图谱问答
笔记整理：刘赫，天津大学硕士 链接：https://doi.org/10.1007/s11280-023-01166-y 动机 大规模预训练语言模型(PLM)如BERT近取得了巨大的成功，成为自然语言处理(NLP)的一个里程碑。现在NLP社区的共识是采用PLM下游任务的骨干。在最近…
NLP技术如何为搜索引擎赋能
目录 1. NLP关键词提取与匹配在搜索引擎中的应用1. 关键词提取例子 2. 关键词匹配例子 Python实现 2. NLP语义搜索在搜索引擎中的应用1. 语义搜索的定义例子 2. 语义搜索的重要性例子 Python/PyTorch实现 3. NLP个性化搜索建议在搜索引擎中的应用1. 个性化搜索建议的定义例子 2…
【AI语言模型】阿里推出音视频转文字引擎
一、前言
阿里的音视频转文字引擎可以正式使用，用户可体验所有AI功能，含全文概要、章节速览、发言总结等高阶AI功能。通过阿里云主账号登录，可享受以下权益： 每日登录，自动获得2小时转写时长； 每邀请1名好…
【AI视野·今日NLP 自然语言处理论文速览 第三十七期】Thu, 21 Sep 2023
AI视野今日CS.NLP 自然语言处理论文速览 Thu, 21 Sep 2023 Totally 57 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Chain-of-Verification Reduces Hallucination in Large Language Models Authors Shehzaad Dhuliawala, Mojt…
【AI视野·今日NLP 自然语言处理论文速览 第三十九期】Fri, 22 Sep 2023
AI视野今日CS.NLP 自然语言处理论文速览 Fri, 22 Sep 2023 Totally 59 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models Authors Yukang Chen, Shengju Qia…
postgresql中文分词插件安装
1.SCWS 要使用 zhparser，首先需要安装 SCWS 分词库，SCWS 是 Simple Chinese Word Segmentation 的首字母缩写（即：简易中文分词系统）GitHub http://www.xunsearch.com/scws/down/scws-1.2.3.tar.bz2 ./configure
mak…
LLMs之dataset：大语言模型LLMs相关开源数据集的简介、下载、使用方法之详细攻略
LLMs之dataset：大语言模型LLMs相关开源数据集的简介、下载、使用方法之详细攻略 目录
LLMs相关开源数据集的简介
1、SFT→RM+PPO三阶段关系梳理、数据集格式对比
师德师风演讲稿写作格式：如何用三句话吸引听众的注意力
写师德师风演讲稿时，可以按照以下格式进行写作：
1. 开头部分：
a. 引起听众的兴趣，可以使用一个引人入胜的故事、一个有趣的事实或者一个引人思考的问题。
b. 简要介绍自己以及演讲的主题。 2. 主体部分：
a. 阐述师…
Unigram,Bigram，N-gram介绍
Unigram,Bigram，N-gram介绍
Unigram,Bigram，N-gram这三个概念，在学习自然语言的过程中大家可能会遇到。
Unigram,Bigram，N-gram在自然语言内容中的语言模型部分中大家可能会碰到。语言模型有很多种，在上一篇介绍一个…
LLAMA2（Meta大语言模型）可运行整合包的下载与安装
LLAMA2（Meta大语言模型）可运行整合包的下载与安装
Windows10+消费级显卡可用
一、工程
github工程：
https://github.com/facebookresearch/llama
LLAMA2可运行整合包（Windows10+消费级显卡可用）
*现在只包括7B模型，会补充其他模型
文件夹下载
百度网盘链接：http…
NLP中token总结
Token 可以被理解为文本中的最小单位。在英文中，一个 token 可以是一个单词，也可以是一个标点符号。在中文中，通常以字或词作为 token。ChatGPT 将输入文本拆分成一个个 token，使模型能够对其进行处理和理解 在自然语言处理&#…
探索AI技术对古彝文保护与研究应用
文章目录 一、古彝文1.1 古彝文介绍1.2 古彝文古籍保护背景1.3古彝文识别的重难点 二、AI技术助力古文识别应用2.1 智能高清滤镜技术2.2 基于深度学习的复杂场景文字识别技术2.3 自然语言处理（NLP）技术 三、古彝文识别的意义 一、古彝文
1.1 古彝文介绍…
【AI视野·今日NLP 自然语言处理论文速览 第四十期】Mon, 25 Sep 2023
AI视野今日CS.NLP 自然语言处理论文速览 Mon, 25 Sep 2023 Totally 46 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
ReConcile: Round-Table Conference Improves Reasoning via Consensus among Diverse LLMs Authors Justin C…
IDEFICS 简介: 最先进视觉语言模型的开源复现
我们很高兴发布 IDEFICS ( Image-aware Decoder Enhanced la Flamingo with Ininterleaved Cross-attention S ) 这一开放视觉语言模型。IDEFICS 基于 Flamingo，Flamingo 作为最先进的视觉语言模型，最初由 DeepMind 开发，但目前尚未公开发布…
AI大语言模型时代构建全新数据平台
在大语言模型的引领下，数据平台领军企业 Databricks 和 Snowflake 的未来重置，探讨了 Databricks 和 Snowflake 等知名平台，
存储领域的 Delta、udi、Iceberg，还是实时化数据处理领域的 Databricks、Snowflake 1、LLM 给大数据企…
【人工智能124种任务大集合】-集齐了自然语言处理(NLP),计算机视觉(CV),语音识别,多模态等任务
大家好，我是微学AI，今天给大家介绍一下人工智能124种任务大集合，任务集合主要包括4大类：自然语言处理（NLP）、计算机视觉（CV）、语音识别、多模态任务。
我这里整理了124种应用场景任…
自然语言处理: 第八章chatGPT的搭建
理论基础
Transformer 大模型家族可以分成三类, 至于三者的区别可以参考上一章:
Encoder-only,Decoder-only, 只需要Pre_trainEncoder-decoder , 可以在一些任务上无需进行fine_tune
必须要在下游任务进行微调比如Bert ， Bart 。 T5 这种无需要微调就能完成一些任…
机器学习深度学习——机器翻译（序列生成策略）
👨🎓作者简介：一位即将上大四，正专攻机器学习的保研er 🌌上期文章：机器学习&&深度学习——seq2seq实现机器翻译（详细实现与原理推导） 📚订阅专栏：机…
REASONING ON GRAPHS: FAITHFUL AND INTERPRETABLE LARGE LANGUAGE MODEL REASONING
本文是LLM系列文章，针对《REASONING ON GRAPHS: FAITHFUL AND INTERPRETABLE LARGE LANGUAGE MODEL REASONING》的翻译。 图上推理:忠实的和可解释的大语言模型推理 摘要1 引言2 相关工作3 前言4 方法5 实验6 结论 摘要
大型语言模型(llm)在复杂任务中表现出令人印…
大型语言模型：RoBERTa — 一种鲁棒优化的 BERT 方法
一、介绍 BERT模型的出现导致了NLP的重大进展。BERT的架构源自Transformer，在各种下游任务上实现了最先进的结果：语言建模，下一句预测，问答，NER标记等。 大型语言模型：BERT — 来自变压器的双向编码器表示 …
①.gpt给出代码错误：有颜色的给出0，无颜色的给空格，就是不能保存
编程前置，①.gpt给出代码错误❌：
编程前置，①.gpt给出代码错误：有颜色的给出0，无颜色的给空格，就是不能保存
严格按照我的提问给出代码和注释，不要有任何省略的部分
input输入各种路径python读…
NLP信息抽取全解析：从命名实体到事件的PyTorch实战指南
目录 引言背景和信息抽取的重要性文章的目标和结构 信息抽取概述什么是信息抽取信息抽取的应用场景信息抽取的主要挑战 实体识别什么是实体识别实体识别的应用场景PyTorch实现代码输入、输出与处理过程 关系抽取什么是关系抽取关系抽取的应用场景PyTorch实现代码输入、输出与处…
GPT4RoI: Instruction Tuning Large Language Model on Region-of-Interest
在图像-文本对上调整大语言模型（LLM）的指令已经实现了前所未有的视觉-语言多模态能力。然而，他们的视觉语言对齐仅建立在图像级别上，缺乏区域级别对齐限制了他们在细粒度多模态理解方面的进步。在本文中，我们提出对感兴趣区域进行指令调整。关键设计是将边界框重新表述…
深度学习DAY2:n-gram
什么是LM(language model语言模型)？
引例：
1、统计机器学习时期的语言模型–语音识别
2、贝叶斯公式求P(s|A)——在有了语音信号的前提下是文本的概率
1 n-gram模型概述
n-gram模型是一种统计语言模型，用于建模文本数据中的语言结构。…
ChatGPT Prompting开发实战（七）
一、什么是迭代式的prompt开发
对于一些复杂的任务来说，如果只编写一次prompt来调用模型，不一定能够得到理想的效果，那么可以采用迭代开发的方式，基于每一次使用当前版本的prompt调用模型的效果来不断调整优化prompt，…
Augmented Large Language Models with Parametric Knowledge Guiding
本文是LLM系列文章，针对《Augmented Large Language Models with Parametric Knowledge Guiding》的翻译。 参数知识引导下的增强大型语言模型 摘要1 引言2 相关工作3 LLM的参数化知识引导4 实验5 结论 摘要
大型语言模型（LLM）凭借其令人印…
论文浅尝 | 思维树：使用大语言模型反复思考解决问题
笔记整理：许泽众，浙江大学博士，研究方向为知识图谱上的神经符号推理 链接：https://arxiv.org/abs/2305.10601 1. 动机 语言模型是一种强大的工具，可以用于各种需要数学、符号、常识或知识推理的任务。然而，…
【AI视野·今日NLP 自然语言处理论文速览 第五十一期】Tue, 10 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Tue, 10 Oct 2023 (showing first 100 of 172 entries) Totally 100 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Few-Shot Spoken Language Understanding via Joint Speech-Text Model…
自然语言处理实战项目18-NLP模型训练中的Logits与损失函数的计算应用项目
大家好，我是微学AI，今天给大家介绍一下，自然语言处理实战项目18-NLP模型训练中的Logits与损失函数的计算应用项目，在NLP模型训练中，Logits常用于计算损失函数并进行优化。损失函数的计算是用来衡量模型预测结果与真实标签之间的差异，从而指导模型参数的更新。 Logits是模…
ChatGLM HuggingFace大语言模型底座
基础介绍 HuggingFace 是一家专注于自然语言处理（NLP）、人工智能和分布式系统的创业公司，创立于2016年。最早是主营业务是做闲聊机器人，2018年 Bert 发布之后，他们贡献了一个基于 Pytorch 的 Bert 预训练模型，即 pytorch-pretrained-bert，大受欢迎，进而将重心转向维护 …
LLMs之InternLM：InternLM-20B的简介、安装、使用方法之详细攻略
LLMs之InternLM：InternLM-20B的简介、安装、使用方法之详细攻略 导读：2023年09月20日，由上海人工智能实验室等团队发布了InternLM-20B的大模型。它在OpenCompass提出的5个能力维度上(语言、知识、理解、推理、学科)全面领先于同规模开源模型&…
Evaluating Open-Domain Question Answering in the Era of Large Language Models
本文是LLM系列文章，针对《Evaluating Open-Domain Question Answering in the Era of Large Language Models》的翻译。 大语言模型时代的开放域问答评价 摘要1 引言2 相关工作3 开放域QA评估4 评估开放域QA模型的策略5 正确答案的语言分析6 CuratedTREC上的正则表…
![[自然语言处理] 基于pycorrector实现文本纠错](https://img-blog.csdnimg.cn/img_convert/74fbae756bc74a7374a4e99c0e4e2009.jpeg)
[自然语言处理] 基于pycorrector实现文本纠错
文本纠错（Text Error Correction）技术旨在自动修正输入文本中的拼写、语法、标点符号等错误，以提高文本的准确性、通顺性和规范性。该技术可以通过自然语言处理技术实现，基于上下文和语言规则对文本进行分析和推断，发现…
NLP BigModel
NLP 基础
建议看 [CS224N 2023]打基础 【NLP入门】1. n元语法模型 / 循环神经网络 【NLP入门】3. Word2Vec / GloVe
Language Model：语言模型的马尔可夫假设（每个词出现的概率仅依赖前面出现的词），是一个自回归模型（…
CFGPT: Chinese Financial Assistant with Large Language Model
本文是LLM系列文章，针对《CFGPT: Chinese Financial Assistant with Large Language Model》的翻译。 CFGPT：大型语言模型的中文财务助理 摘要1 引言2 相关工作3 数据集4 模型和训练5 应用6 结论 摘要
大型语言模型（LLM）在金融领…
大语言模型之十八-商业思考
大语言模型在翻译、知识问答、写作、摘要、搜索、代码开发等场景得到了广泛的应用，一些策略是将大语言模型集成到公司的现有产品，比如微软的Office接入ChatGPT。
当前大语言模型盈利情况堪忧，今年 5 月有媒体曝出因去年开发出 ChatGPT&#…
人机交互——对话管理
人机交互中的对话管理主要是指在人机交互过程中，对交互的对话内容和流程进行管理，以实现自然、流畅、高效的交互效果。对话管理包括对话状态追踪、对话策略优化等多个方面。
对话状态追踪是指对当前对话的状态进行跟踪，例如对用户输入的语…
【云上探索实验室】编程范式变革进行时——CodeWhisperer实践全流程及测评分析报告
目录 一、基于LLM的辅助编程——编程范式变革进行时二、CodeWhisperer VS Code 安装与配置2.1、扩展安装2.2、配置 三、CodeWhisperer实践全流程3.1、CodeWhisperer基础实验3.2、CodeWhisperer项目实践——Web端宝可梦图鉴 四、CodeWhisperer测评分析报告4.1、功能性分析4.2、…
可变形注意力转换器综述
这篇文章基于本文的发现 一、说明 关于注意力机制，关于transformer等存在大量的研究和尝试，这些研究有的被沙汰，有的被采用并发扬光大，本篇对可变卷积、可变局部注意力机制和全局注意力机制做详细解释。因为这些模型规模巨大&…
【ACL2023】Event Extraction as Question Generation and Answering
论文题目：Event Extraction as Question Generation and Answering
论文来源：ACL2023
论文链接：Event Extraction as Question Generation and Answering - ACL Anthology
代码链接：GitHub - dataminr-ai/Event-Extraction-as-…
【LLM】大模型幻觉问题的原因和缓解方法
文章目录 一、幻觉定义二、幻觉的可控因素二、幻觉的原因1. 数据层面2. 模型层面 三、解决方法1. 数据层面2. 模型层面（1）模型结构（2）训练方式 3. pretrain、sft、rlhf、inference（1）pretrain（2…
人机言语交互模型的评估要素
智能客服中的言语交互模型评估要素，主要包括以下几个方面：
有效性：指模型能否准确识别和理解用户的言语意图，以及生成正确和合适的回答。可以通过比较模型生成的回答与人工回答的准确率来评估。流畅性：指模型在回答问…
Elasticsearch向量检索的演进与变革：从基础到应用
Elasticsearch向量检索的演进与变革：从基础到应用
1.引言
向量检索已经成为现代搜索和推荐系统的核心组件。
通过将复杂的对象（例如文本、图像或声音）转换为数值向量，并在多维空间中进行相似性搜索，它能够实现高效的…
自然语言处理---RNN、LSTM、GRU模型
RNN模型
RNN模型概述
RNN(Recurrent Neural Network)，中文称作循环神经网络，它一般以序列数据为输入，通过网络内部的结构设计有效捕捉序列之间的关系特征，一般也是以序列形式进行输出。RNN的循环机制使模型隐层上一时间步产生的…
大语言模型(LLM)综述(一)：大语言模型介绍
A Survey of Large Language Models 前言1. INTRODUCTION2. OVERVIEW2.1 大语言模型的背景2.2 GPT系列模型的技术演变 前言
随着人工智能和机器学习领域的迅速发展，语言模型已经从简单的词袋模型（Bag-of-Words）和N-gram模型演变为更为复杂和…
探索 GAN 和 VAE 之外的 NLP 扩散模型
介绍
扩散模型最近引起了极大的关注，特别是在自然语言处理（NLP）领域。基于通过数据扩散噪声的概念，这些模型在各种NLP任务中表现出了卓越的能力。在本文中，我们将深入研究扩散模型，了解其基本原理，并探讨实际应用、优势、计算注意事项、扩散模型在多模态数据处理中的相…
自然语言处理---Transformer机制详解之BERT GPT ELMo模型的对比
1 BERT、GPT、ELMo的不同点 关于特征提取器: ELMo采用两部分双层双向LSTM进行特征提取, 然后再进行特征拼接来融合语义信息.GPT和BERT采用Transformer进行特征提取.很多NLP任务表明Transformer的特征提取能力强于LSTM, 对于ELMo而言, 采用1层静态token embedding 2层LSTM, 提取…
Anthropic全球上线AI语言模型Claude 2；多模态系统：融合文本和图像的新前沿
🦉 AI新闻
🚀 Anthropic全球上线AI语言模型Claude 2，编程、数学、推理能力大幅提升
摘要：Anthropic在全球正式上线了AI语言模型Claude 2。相比前代版本，Claude 2在编程、数学、推理等方面都有大幅提升，支…
【网安专题10.11】代码大模型的应用及其安全性研究
代码大模型的应用及其安全性研究 写在最前面一些想法大型模型输出格式不受控制的解决方法 大模型介绍（很有意思）GPT 模型家族的发展Chatgpt优点缺点GPT4 其他模型补充：self-instruct合成数据 Code Llama 代码大模型的应用（第一次理…
【AI视野·今日NLP 自然语言处理论文速览 第四十四期】Fri, 29 Sep 2023
AI视野今日CS.NLP 自然语言处理论文速览 Fri, 29 Sep 2023 Totally 45 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
MindShift: Leveraging Large Language Models for Mental-States-Based Problematic Smartphone Use Interve…
NLP Bi-Encoder和Re-ranker
Retrieve & Re-Rank https://www.sbert.net/examples/applications/retrieve_rerank/README.html Bi-Encoder vs. Cross-Encoder https://www.sbert.net/examples/applications/cross-encoder/README.html
Bi-Encoder会用BERT对输入文本编码，再根据cosine相似度…
文本对抗：《Semantically Equivalent Adversarial Rules for Debugging NLP Models》
摘要：
提出文本对抗攻击semantically equivalent adversaries (SEAs) ，生成能让语义不变同时改变模型预测结果的对抗样本
提出语义等价对抗规则semantically equivalent adversarial rules (SEARs)，这是一种能在很多实例上实行的简单而通用…
NLP | 简单学习一下NLP中的transformer的pytorch代码
经典transformer的学习文章转自微信公众号【机器学习炼丹术】作者：陈亦新（已授权）联系方式: 微信cyx645016617欢迎交流，共同进步 文章目录代码细讲transformerEmbeddingEncoder_MultipleLayersEncoder完整代码代码细讲
transform…
为U盘安装即插即用的kali（linux）操作系统（UEFI版）
1 准备工作： 1.1 虚拟机VMware Workstation；（如果需要xx版本可以联系我哈）1.2 kali系统镜像文件，可以去官网下载；1.3 64G的U盘，建议USB 3.0； 2 打开VMware Workstation pro…
《机器学习》慕课版课后习题-第5章
中国工信出版集团、人民邮电出版社出版的赵卫东、董亮编著的《机器学习》慕课版
第5章 文本分析
1.常见的文本数据有哪些来源？
解：可以从公开数据源下载，或者利用自有数据集，或者按照分析需求从网络抓取。
2.文本挖掘的过程由…
李宏毅2021春季机器学习课程笔记6：Self-attention
文章目录1. Sophisticated Input1.1 Input1.2 Output2. Self-attention2.1 Process2.2 Matrix transpose2.3 Multi-head Self-attention2.4 Positional Encoding3. Others3.1 Using3.2 Self-attention v.s. CNN3.2 Self-attention v.s. RNN3.2 Self-attention for Graph4. More…
youtubeDNN及其优化
1.YouTube推荐系统需要解决的三大难点 数据规模：YouTube 的用户和视频量级都是十亿级别的，需要分布式学习算法和高效的部署。 新颖性：推荐系统需要及时对新上传的视频和用户的新行为作出响应。 数据噪音：由于稀疏和外部因素影响…
word2vec及其优化
1.算法背景：
（1）N-gram：n-1阶的Markov模型，认为一个词出现的概率只与前面n-1个词相关；统计预料中各种词串（实际应用中最多采用n3的词串长度）的出现次数，并做平滑处理&am…
基于LDA的Topic Model变形
最近几年来，随着LDA的产生和发展，涌现出了一批搞Topic Model的牛人。我主要关注了下面这位大牛和他的学生： David M. BleiLDA的创始者，04年博士毕业。一篇关于Topic Model的博士论文充分体现其精深的数学概率功底；而其…
自然语言处理(NLP)是什么？
NLP(自然语言处理) 和 Phoebe Liu 的简介
您有没有和聊天机器人互动过？或者您是否向虚拟助手，例如 Siri、Alexa 或您车上的车载娱乐系统发出过某些请求？您使用过在线翻译吗？我们大多数人都曾与这些人工智能 (AI) 互动过ÿ…
语言模型训练工具SRILM
SRILM是著名的约翰霍普金斯夏季研讨会（Johns Hopkins Summer Workshop）的产物，诞生于1995年，由SRI实验室的Andreas Stolcke负责开发维护。 关于SRILM的安装，我已经在前面关于moses平台搭建的文章（参见&…
AskIt: Unified Programming Interface for Programming with Large Language Models
本文是LLM系列文章，针对《AskIt: Unified Programming Interface for Programming with Large Language Models》的翻译。 AskIt：用于大型语言模型编程的统一编程接口 摘要1 引言2 动机例子3 设计与实现4 实验评估5 相关工作6 结论 摘要
在不断发展的软…
论文浅尝 | 训练语言模型遵循人类反馈的指令
笔记整理：吴亦珂，东南大学硕士，研究方向为大语言模型、知识图谱 链接：https://arxiv.org/abs/2203.02155 1. 动机 大型语言模型（large language model, LLM）可以根据提示完成各种自然语言处理任务。然而&am…
基于大规模语料的新词发现算法
对中文资料进行自然语言处理时，我们会遇到很多其他语言不会有的困难，例如分词——汉语的词与词之间没有空格，那计算机怎么才知道“已结婚的和尚未结婚的”究竟是“已／结婚／的／和／尚未࿰…
人工智能、机器学习、模式识别、数据挖掘、自然语言处理
人工智能（Artificial Intelligence，AI）、机器学习(Machine Leaining，ML)、模式识别（Pattern Recognition，PR）、数据挖掘（Data Mining, DM），他们要解决的核心问…
Spark应用HanLP对中文语料进行文本挖掘--聚类详解教程
软件：IDEA2014、Maven、HanLP、JDK；
用到的知识：HanLP、Spark TF-IDF、Spark kmeans、Spark mapPartition;
用到的数据集：http://www.threedweb.cn/thread-1288-1-1.html（不需要下载，已经包含在工程里面&…
NLP中的Tokenization(subword BPE--WPM--ULM )
分词描述 NLP中的Tokenization BPE-WPM-ULM 论文BPE-WPM-ULM 论文BPE 论文WPM glove/word2vec/fasttext词向量训练工具
找到一门适合自己的生意
这里写目录标题1. 找到一门适合自己的生意1.1. 新 "CAP"1.2. 眼光1. 找到一门适合自己的生意
1.1. 新 “CAP”
生意利润、进入门槛、从业人数。
三者最多取其二。
1.2. 眼光
有需求才有生意。不是有有供给才有生意。
客户在他的需求付费，而不会为你…
这场观看人数破10w+的科技发布会，出现了一个让万物皆可自动化的数字机器人！
10月，对于实在智能来说，无疑是一个收获的季节。
10月10日，实在智能创始人兼CEO孙林君在2021中国人工智能年会暨中国AI金雁奖颁奖典礼上领取了金雁奖之领军企业大奖、创新企业大奖、先行者奖、创新技术大奖、领军应用大奖共5项大奖࿰…
【小笔记】为什么语义相似度要用余弦相似度而不用欧式距离？
【学而不思则罔，思而不学则殆】 2023.10.20
语义相似度
相似文本，可以是语义上相似，可以是字符串相似，因此文本相似度包含了语义相似度。 传统的基于统计的文本相似度计算方法，如词频，词出现与否来表示文…
作为资深IT从业者,我高度推荐这款智能团队协作工具
作为一名资深的IT从业人员,我最近发现了一款非常不错的团队协作和远程办公工具,它可以大大提高企业和团队的工作效率,所以今天我就向大家强烈推荐下这款产品。
这款产品名叫TeamLinker,它是一个集成了项目管理、文档协同、视频会议等多种功能于一体的智能化团队协作平台。以下…
大语言模型(LLM)综述(二)：开发大语言模型的公开可用资源
A Survey of Large Language Models 前言3. RESOURCES OF LLMS3.1 公开可用的模型CheckPoints或 API3.2 常用语料库3.3 库资源 前言
随着人工智能和机器学习领域的迅速发展，语言模型已经从简单的词袋模型（Bag-of-Words）和N-gram模型演变为更…
对于LLM来说，token何必是表广义token时代 大词表时代
何必是表广义token 摘要：引言：方法：结论：分析：摘要：
本论文主要探讨了语言模型（LLM）中词表的作用以及与数据处理方式的关系。首先，我们介绍了词表作为存储信息的表和数据库或数据中心的角色，然后讨论了增加词表大小的影响。接下来，我们从两个角度出发，一是从token…
Retrieve Anything To Augment Large Language Models
简介 论文主要介绍了一套通过对比学习和蒸馏学习的方法，来增强学习了embedding向量，然后能够在知识增强，长上下文建模，ICL和工具学习等方面来增强大模型能力。
利用 NLP 超能力：一步步介绍Hugging Face微调教程
导入必要的库
导入必要的库类似于为特定编程和数据分析活动构建工具包。这些库通常是预先编写的代码集合，提供广泛的功能和工具，有助于加快开发速度。开发人员和数据科学家可以通过导入适当的库来访问新功能、提高生产力并使用现有解决方案。
import pandas as pd
import n…
【AI视野·今日NLP 自然语言处理论文速览 第五十五期】Mon, 16 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Mon, 16 Oct 2023 Totally 53 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
PromptRE: Weakly-Supervised Document-Level Relation Extraction via Prompting-Based Data Programming Au…
【深度学习】实验18 自然语言处理
文章目录 自然语言处理分词技术1. 正向最大匹配算法2. HanLP常用方法3. Jieba常用方法 构建词向量1. 基于sklearn构建One-hot词向量2. 基于gensim构建word2vec词向量 附：系列文章 自然语言处理
自然语言处理(Natural Language Processing, NLP)是一种计算机科学和人…
论文解读：Large Language Models as Analogical Reasoners
一、动机
大模型在各种类型的NLP任务上均展现出惊艳的表现。基于CoT propmt能够更好地激发大模型解决复杂推理问题的能力，例如解决数学解题，可以让模型生成reasoning path。现有的经典的CoT方法有few-shot cot、zero-shot cot等。然后现有的cot面临两个…
Are Large Language Models Really Robust to Word-Level Perturbations?
本文是LLM系列文章，针对《Are Large Language Models Really Robust to Word-Level Perturbations?》的翻译。 大型语言模型真的对单词级扰动具有鲁棒性吗？ 摘要1 引言2 相关工作3 合理稳健性评价的奖励模型（TREvaL）4 LLM的词级…
语言模型编码中/英文句子格式详解
文章目录 前言一、Bert的vocab.txt内容查看二、BERT模型转换方法(vocab.txt)三、vocab内容与模型转换对比四、中文编码总结 前言
最近一直在学习多模态大模型相关内容，特别是图像CV与语言LLM模型融合方法，如llama-1.5、blip、meta-transformer、glm等大…
B站视频“多模态大模型，科大讯飞前NLP专家串讲”记录
文章目录 多模态：对齐 -- align迁移学习和zero-shotClipBlip 多模态：
图片、文字、视频、语音等不同的表征。 表示信息的方式有多种，但是不同的表示方式携带的信息不完全相同。
对齐 – align
如第一个图中，文字内容的描述和图…
Think-on-Graph：基于知识图的大型语言模型的深层可靠推理11.12
Hink-on-Graph：基于知识图的大型语言模型的深层可靠推理 摘要1 引言2 方法2.1图上思考2.1.1图的初始化2.1.2 探索2.1.3推理 2.2 基于关系的Think on graph 摘要
尽管大型语言模型（LLM）在各种任务中取得了巨大的成功，但它们经常与…
相似性搜索：第 2 部分：产品量化
系列文章前篇：相似性搜索：第 1 部分- kNN 和倒置文件索引_无水先生的博客-CSDN博客 SImilarity 搜索是一个问题，给定一个查询的目标是在所有数据库文档中找到与其最相似的文档。
一、介绍 在数据科学中，相似性搜索经常出现在NLP领…
用更简单的语言来解释Word2Vec
Word2Vec是一种让计算机更好地理解自然语言（比如英语）的方法。它的核心思想是将文本中的单词用一串数字（向量）来表示，这样计算机就能更容易地处理这些单词。
Word2Vec的关键是让有相似意义的词在数学意义上也很接近。…
Unnatural Instructions: Tuning Language Models with (Almost) No Human Labor
本文是LLM系列文章，针对《Unnatural Instructions: Tuning Language Models with (Almost) No Human Labor》的翻译。 TOC
摘要
指令调优使预训练的语言模型能够从推理时间的自然语言描述中执行新的任务。这些方法依赖于以众包数据集或用户交互形式进行的大量人工…
NLP之多循环神经网络情感分析
文章目录 代码展示代码意图代码解读知识点介绍 代码展示
import pandas as pd
import tensorflow as tf# 构建RNN神经网络
tf.random.set_seed(1)
df pd.read_csv("../data/Clothing Reviews.csv")
print(df.info())df[Review Text] df[Review Text].astype(str)
…
【AI视野·今日NLP 自然语言处理论文速览 第六十一期】Tue, 24 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Tue, 24 Oct 2023 (showing first 100 of 207 entries) Totally 100 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
LINC: A Neurosymbolic Approach for Logical Reasoning by Combining …
怎么让英文大语言模型支持中文？--构建中文tokenization--继续预训练--指令微调
1 构建中文tokenization
参考链接：https://zhuanlan.zhihu.com/p/639144223
1.1 为什么需要 构建中文tokenization？ 原始的llama模型对中文的支持不太友好，接下来本文将讲解如何去扩充vocab里面的词以对中文进行token化。 1.2 如何对 原始数…
《NLP入门到精通》栏目导读
一、说明 栏目《NLP入门到精通》本着从简到难得台阶式学习过度。将自然语言处理得知识贯穿过来。本栏目得前导栏目是《深度学习》、《pytorch实践》，因此，读者需要一定得深度学习基础，才能过度到此栏目内容。 为了保证读者由浅入深地学习Halc…
慎投！包含Hindawi旗下2本，5本Scopus期刊被剔除！（附9月更新下载）
2023年9月Scopus期刊目录更新
Scopus官网近日更新了9月期刊目录，此次更新与上次（2023年8月）相比，有5本期刊不再被收录，详情如下： / Scopus期刊目录说明 / • SCOPUS 和 SCI 的相同点：
简单来说…
讯飞机器翻译调用 C# 详解
讯飞的官方文档： https://www.xfyun.cn/doc/nlp/xftrans/API.html
文档中没有C# .Net的示例，因此我来做一个。
首先还是一样去 https://www.xfyun.cn/service/xftrans 注册一个试用的API，并开通机器翻译 得到appid, apikey和apisecret
基本…
人工智能在电商领域的五大应用场景及未来趋势
作者：禅与计算机程序设计艺术
1.简介
欢迎来到第七期《人工智能在电商领域的五大应用场景及未来趋势》专题。人工智能（Artificial Intelligence）一直都是互联网行业的热点话题，电子商务网站的营销活动、商品推荐系统等领域均采用了人工智能技术。因此，对电商运营者来说，…
3 — NLP 中的标记化：分解文本数据的艺术
一、说明 这是一个系列文章的第三篇文章， 文章前半部分分别是：
1 、NLP 的文本预处理技术
2、NLP文本预处理技术：词干提取和词形还原 在本文中，我们将介绍标记化主题。在开始之前，我建议您阅读我之前介绍的关…
探索主题建模：使用LDA分析文本主题
在数据分析和文本挖掘领域，主题建模是一种强大的工具，用于自动发现文本数据中的隐藏主题。Latent Dirichlet Allocation（LDA）是主题建模的一种常用技术。本文将介绍如何使用Python和Gensim库执行LDA主题建模，并探讨主题…
作为一个初学者，该如何入门大模型？
在生成式 AI 盛行的当下，你是否被这种技术所折服，例如输入一段简简单单的文字，转眼之间，一幅精美的图片，又或者是文笔流畅的文字就展现在你的面前。
相信很多人有这种想法，认为生成式 AI 深不可测…
Talk | 阿里巴巴算法专家王潇斌：开箱即用的文本理解大模型
本期为TechBeat人工智能社区第538期线上Talk！ 北京时间10月18日(周三)20:00阿里巴巴算法专家—王潇斌的Talk已准时在TechBeat人工智能社区开播！ 他与大家分享的主题是: “开箱即用的文本理解大模型”，介绍了他们提出的SeqGPT以及EcomGPT两个文…
智能语音和自然语言处理技术
一、定义
智能语音和自然语言处理技术是指通过计算机技术实现人机交互的一种技术。它可以让计算机和人类之间进行自然而流畅的交流，从而实现更高效、更便捷、更智能的信息交流和处理。
智能语音和自然语言处理技术主要包括语音识别、语音合成、自然语言理解、自然…
第三章:人工智能深度学习教程-基础神经网络(第一节-ANN 和 BNN 的区别)
你有没有想过建造大脑之类的东西是什么感觉，这些东西是如何工作的，或者它们的作用是什么？让我们看看节点如何与神经元通信，以及人工神经网络和生物神经网络之间有什么区别。
1.人工神经网络：人工神经网络（…
第一章:深度学习教程
深度学习是机器学习的一个分支，完全基于人工神经网络，因为神经网络要模仿人脑，所以深度学习也是对人脑的一种模仿。
本深度学习教程是您学习有关深度学习的一切的一站式指南。它涵盖了基本和高级概念，为初学者和专业人士提供了对…
第三章:人工智能深度学习教程-基础神经网络(第四节-从头开始的具有前向和反向传播的深度神经网络 – Python)
本文旨在从头开始实现深度神经网络。我们将实现一个深度神经网络，其中包含一个具有四个单元的隐藏层和一个输出层。实施将从头开始，并实施以下步骤。算法：
1. 可视化输入数据
2. 确定权重和偏置矩阵的形状
3. 初始化矩阵、要使用的函数
4. 前…
机器翻译目前广泛应用于文档翻译以及硬件翻译
机器翻译（Machine Translation，MT）是一种自动化技术，用于将一种语言的文本转换为另一种语言的文本。它通常被用于跨语言交流和全球化的需求。
机器翻译目前可分为软件和硬件，软件常用的则是文档翻译、文字翻译、图片翻…
新的LLM 评价方法优化
新的LLM 评价方法 torch 版本定义草稿概念补充说明测试代码def ming_que_du_paddle(x,short=2,long=10):""":param x: [b,s,vos_size]:return: [1]"""score_sort = paddle.sort
AI：73-结合语法知识的神经机器翻译研究
🚀 本文选自专栏：AI领域专栏 从基础到实践，深入了解算法、案例和最新趋势。无论你是初学者还是经验丰富的数据科学家，通过案例和项目实践，掌握核心概念和实用技能。每篇案例都包含代码实例，详细讲解供大家学习。 📌📌📌在这个漫长的过程，中途遇到了不少问题，但是…
使用清华智谱ChatGLM2大模型搭建本地私有知识库
首先放上该方案项目的git地址：https://github.com/chatchat-space/Langchain-Chatchat 以下是我的搭建和踩坑经验记录 一、环境准备
1、python安装
在环境中安装python，我安装的是3.9版本的python，官方要求的是Python 3.8 - 3.10 版本。不知…
如何做一个无符号数识别程序
1.状态分析
我们可以把无符号数分为：整数，带小数，带指数部分三种形式。以此构建一个DFA。首先需识别输入是整数还是小数点，若是整数部分输入然后还要再循环识别一次是否有小数点，最后识别是否有指数部分，指…
在NLP中一下常见的任务，可以用作baseline；MRPC，CoLA，STS-B，RTE
1.MRPC（Microsoft Research Paraphrase Corpus）任务
是一个用于文本匹配和相似度判断的任务。在MRPC任务中，给定一对句子，模型需要判断它们是否是语义上等价的。MRPC任务的训练集和测试集由约5700对英语句子组成。每个句子对都有…
基础课10——人工智能的基础：大数据
人工智能和大数据是相互依存、相互促进的关系。
大数据是人工智能的重要基础，没有大数据，人工智能就难以发挥其作用。同时，人工智能也提供了处理和分析大数据的工具和方法，使得大数据能够得到更有效的利用。
在应用方面…
外文文献阅读方法八个步骤
外文文献阅读方法主要包括以下几个步骤：
1、确定研究目的和问题：在阅读前，需要明确自己的研究目的和问题，以便更好地理解文献内容。
2、选择合适的资源：根据研究目的和问题，选择合适的外文文献资源&#…
ChatGLM2-6B模型尝鲜
一、前言
ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性： 更强大的性能：基于 ChatGLM 初代模型的开发经验&#…
RPA除了和OCR、NLP技术结合，还能和什么技术结合？
鉴于业内现在也经常把RPA称为数字员工，就虚拟一个人的形象来解答吧。
首先是头部，实现人的“听看说想”能力：
听：ASR（语音识别技术），主要用于听取和理解语音输入，让RPA能处理语音数…
【nlp】2.5 人名分类器实战项目（对比RNN、LSTM、GRU模型）
人名分类器实战项目 0 项目说明1 案例介绍2 案例步骤2.1 导入必备的工具包2.2 数据预处理2.2.1 获取常用的字符数量2.2.2 国家名种类数和个数2.2.3 读数据到python环境中2.2.4 构建数据源NameClassDataset2.2.5 构建迭代器遍历数据2.3 构建RNN及其变体模型2.3.1 构建RNN模型2.3…
深度学习实战59-NLP最核心的模型：transformer的搭建与训练过程详解，手把手搭建与跑通
大家好，我是微学AI，今天给大家介绍一下深度学习实战59-NLP最核心的模型：transformer的搭建与训练过程详解，手把手搭建与跑通。transformer是一种基于自注意力机制的深度学习模型，由Vaswani等人在2017年的论文《Attention is All You Need》中提出。它最初被设计用来处理序…
大数据知识图谱项目——基于知识图谱的电影问答系统（超详细讲解及源码）
大数据知识图谱项目——基于知识图谱的电影问答系统（超详细讲解及源码）
一、项目概述
知识图谱是将知识连接起来形成的一个网络。由节点和边组成，节点是实体，边是两个实体的关系，节点和边都可以有属性。知识图谱除了…
自然语言处理（NLP）-spacy简介以及安装指南（语言库zh_core_web_sm）
spacy 简介
spacy 是 Python 自然语言处理软件包，可以对自然语言文本做词性分析、命名实体识别、依赖关系刻画，以及词嵌入向量的计算和可视化等。
1.安装 spacy
使用 “pip install spacy" 报错， 或者安装完 spacy，无法正…
首发！动手学大模型应用开发教程来了
大模型正逐步成为信息世界的新革命力量，其通过强大的自然语言理解、自然语言生成能力，为开发者提供了新的、更强大的应用开发选择。随着国内外井喷式的大模型 API 服务开放，如何基于大模型 API 快速、便捷地开发具备更强能力、集成大模型的应…
![释放搜索潜力：基于ES(ElasticSearch)打造高效的语义搜索系统，让信息尽在掌握[1.安装部署篇--简洁版]，支持Linux/Windows部署安装](https://img-blog.csdnimg.cn/img_convert/33d45a5081f5189406376336b54e5459.jpeg)
释放搜索潜力：基于ES(ElasticSearch)打造高效的语义搜索系统，让信息尽在掌握[1.安装部署篇--简洁版]，支持Linux/Windows部署安装
搜索推荐系统专栏简介：搜索推荐全流程讲解（召回粗排精排重排混排）、系统架构、常见问题、算法项目实战总结、技术细节以及项目实战（含码源） 专栏详细介绍：搜索推荐系统专栏简介：搜索推荐全流程讲…
强化学习------PPO算法
目录 简介一、PPO原理1、由On-policy 转化为Off-policy2、Importance Sampling（重要性采样）3、off-policy下的梯度公式推导 二、PPO算法两种形式1、PPO-Penalty2、PPO-Clip 三、PPO算法实战四、参考 简介
PPO 算法之所以被提出，根本原因在于…
HMM与LTP词性标注之马尔科夫模型（HMM代码实现）
目录 原始代码请介绍下面代码的 整体流程 的和要实现的目的像debug一样逐行解释下面的代码 原始代码
import numpy as npstatus [rainy, sunny] # 隐藏序列
obs [walk, shop, clean] # 观测序列# 初始状态PI (必须是一维向量)
init_probability np.array([0.6, 0.4])
# 状…
ChatGLM系列八：微调医疗问答系统
一、ChatGLM2-6B
ChatGLM2-6B 是 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，同时引入了许多新特性，如：更强大的性能、更长的上下文、更高效的推理、更开放的协议等。
二、P-tun…
零资源的大语言模型幻觉预防
零资源的大语言模型幻觉预防 摘要1 引言2 相关工作2.1 幻觉检测和纠正方法2.2 幻觉检测数据集 3 方法论3.1 概念提取3.2 概念猜测3.2.1 概念解释3.2.2 概念推理 3.3 聚合3.3.1 概念频率分数3.3.2 加权聚合 4 实验5 总结 摘要
大语言模型（LLMs）在各个领域…
大模型的全面回顾，看透大模型 | A Comprehensive Overview of Large Language Models
大模型的全面回顾：A Comprehensive Overview of Large Language Models 返回论文和资料目录
论文地址
1.导读
相比今年4月的中国人民大学发表的大模型综述，这篇综述角度更侧重于大模型的实现，更加硬核，更适合深入了解大模型的一…
【大语言模型】Docker部署清华大学ChatGLM3教程
官方地址：https://github.com/THUDM/ChatGLM3
1 将代码保存至本地
方法1：
git clone https://github.com/THUDM/ChatGLM3
方法2：
https://github.com/THUDM/ChatGLM3/archive/refs/heads/main.zip
2 创建Docker文件
注：请先…
![【NLP】什么是语义搜索以及如何实现 [Python、BERT、Elasticsearch]](https://img-blog.csdnimg.cn/img_convert/9512e7ff7193be9616e602a7bfd51f74.jpeg)
【NLP】什么是语义搜索以及如何实现 [Python、BERT、Elasticsearch]
语义搜索是一种先进的信息检索技术，旨在通过理解搜索查询和搜索内容的上下文和含义来提高搜索结果的准确性和相关性。与依赖于匹配特定单词或短语的传统基于关键字的搜索不同，语义搜索会考虑查询的意图、上下文和语义。
语义搜索在搜索结果的精度和相关…
【nlp】2.4 GRU模型
GRU模型 1 GRU介绍2 GRU的内部结构图2.1 GRU结构分析2.2 Bi-GRU介绍2.3 使用Pytorch构建GRU模型2.4 GRU优缺点3 RNN及其变体1 GRU介绍
GRU（Gated Recurrent Unit）也称门控循环单元结构, 它也是传统RNN的变体, 同LSTM一样能够有效捕捉长序列之间的语义关联, 缓解梯度消失或爆…
「NLP+网安」相关顶级会议期刊 投稿注意事项+会议等级+DDL+提交格式
「NLP网安」相关顶级会议&期刊投稿注意事项 写在最前面一、会议ACL (The Annual Meeting of the Association for Computational Linguistics)IH&MMSec (The ACM Workshop on Information Hiding, Multimedia and Security)CCS (The ACM Conference on Computer and Co…
Python大语言模型实战-利用MetaGPT框架自动开发一个游戏软件（附完整教程）
实现功能
MetaGPT是一个应用在软件开发领域的多智能体框架，其主要创新点在于将SOP标准流水线和Agent结合在了一起，使得拥有不同技能的Role之间配合完成一项较为复杂的任务。本文将用一个案例来演示整个流程。
实现代码 项目地址：https://gi…
【nlp】2.6 注意力机制Attention
注意力机制 1 注意力机制介绍1.1 注意力概念1.2 注意力计算规则1.3 常见的注意力计算规则2 什么是深度神经网络注意力机制3 注意力机制的作用4 注意力机制实现步骤4.1 步骤4.2 代码实现1 注意力机制介绍
1.1 注意力概念
我们观察事物时，之所以能够快速判断一种事物(当然允许…
2022最新版-李宏毅机器学习深度学习课程-P50 BERT的预训练和微调
模型输入无标签文本（Text without annotation），通过消耗大量计算资源预训练（Pre-train）得到一个可以读懂文本的模型，在遇到有监督的任务是微调（Fine-tune）即可。
最具代表性是BERT&…
LangChain 组件
输入输出模块 该模块负责与LLM做交互，通过该接口向模型输入 Prompt 并提取模型输出信息。主要包括：提示词、语言模型，输出解析器。
数据连接 已训练好的大语言模型，在训练时使用了大量的训练数据，但这些训练数据中可能…
长短期记忆（LSTM）与RNN的比较：突破性的序列训练技术
长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。 Why LSTM提出的动机是为了解…
使用 Hugging Face Transformer 微调 BERT
微调 BERT有助于将其语言理解能力扩展到更新的文本领域。BERT 的与众不同之处在于它能够掌握句子的上下文关系，理解每个单词相对于其邻居的含义。我们将使用 Hugging Face Transformers 训练 BERT，还将教 BERT 分析 Arxiv 的摘要并将其分类为 11 个类别之一。 为什么微调 BER…
n-gram语言模型——句子概率分布计算与平滑
n-gram语言模型——句子概率分布计算与平滑 前言 语言模型 等价假设 n元语法 句子概率分布计算方式 数据平滑 Lidstone平滑(1-gram) Laplace平滑(1-gram) 附上两种平滑在1-gram下代码 Lidstone平滑与Laplace平滑(2-gram) 附上两种平滑在2-gram下代码 前言 语言模型…
【nlp】1.2文本张量表示方法(词向量word2seq和词嵌入Word Embedding)
文本张量的表示方法 1 one-hot词向量表示1.1 实操演示1.2 one-hot编码使用1.3 one-hot编码的优劣势2 word2vec模型2.1 模型介绍2.2 word2dev的训练和使用2.2.1 数据集的下载与预处理2.2.2 词向量的训练2.2.3 查询单词对应的词向量2.2.4 模型效果检验2.2.5 网络超参数设定3 词嵌…
ChatRule：基于知识图推理的大语言模型逻辑规则挖掘11.10
ChatRule：基于知识图推理的大语言模型逻辑规则挖掘 摘要引言相关工作初始化和问题定义方法实验 摘要
逻辑规则对于揭示关系之间的逻辑联系至关重要，这可以提高推理性能并在知识图谱（KG）上提供可解释的结果。虽然已经有许多努力&a…
NLP领域的突破催生大模型范式的形成与发展
当前的大模型领域的发展，只是范式转变的开始，基础大模型才刚刚开始改变人工智能系统在世界上的构建和部署方式。
1、大模型范式
1.1 传统思路（2019年以前） NLP领域历来专注于为具有挑战性的语言任务定义和设计系统，…
宝马——使用人工智能制造和驾驶汽车
德国汽车制造商宝马(BMW)每年在全球制造和销售250万台汽车，其品牌包括宝马、MINI和劳斯莱斯。
宝马汽车以其卓越的性能和对新技术的应用而著名，它是道路上最精致的汽车之一，并且和其竞争对手戴姆勒(Daimler)一样，在将自动驾驶汽车…
n-gram语言模型——文本生成源码
n-gram语言模型——文本生成源码 n-gram模型的基本原理 文本生成的步骤 1. 准备和分词 2. 构建n-gram模型 3. 平滑技术的应用 4. 生成文本 源码 在自然语言处理的领域中，n-gram语言模型是一种基础而强大的工具。它通过考虑词汇的序列来预测文本内容ÿ…
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks - 翻译学习
知识密集型NLP任务的检索增强生成 - 论文学习 文章目录 Abstract1 Introduction2 Methods2.1 Models2.2 Retriever: DPR2.3 Generator: BART2.4 Training2.5 Decoding 3 Experiments3.1 Open-domain Question Answering3.2 Abstractive Question Answering3.3 Jeopardy Questio…
NLP中 大语言模型LLM中的思维链 Chain-of-Thought(CoT) GoT
文章目录 介绍思路CoT方法Few-shot CoTCoT Prompt设计CoT投票式CoT-自洽性（Self-consistency）使用复杂的CoT自动构建CoTCoT中示例顺序的影响Zero-shot CoT 零样本思维链 GoT,Graph of Thoughts总结 介绍
在过去几年的探索中，业界发现了一个现…
【nlp】4.3 nlp中常用的预训练模型（BERT及其变体）
nlp中常用的预训练模型 1 当下NLP中流行的预训练模型1.1 BERT及其变体1.2 GPT1.3 GPT-2及其变体1.4 Transformer-XL1.5 XLNet及其变体1.6 XLM1.7 RoBERTa及其变体1.8 DistilBERT及其变体1.9 ALBERT1.10 T5及其变体1.11 XLM-RoBERTa及其变体2 预训练模型说明3 预训练模型的分类1…
人机交互——自然语言生成
自然语言生成是让计算机自动或半自动地生成自然语言的文本。这个领域涉及到自然语言处理、语言学、计算机科学等多个领域的知识。
1.简介
自然语言生成系统可以分为基于规则的方法和基于统计的方法两大类。基于规则的方法主要依靠专家知识库和语言学规则来生成文本࿰…
【nlp】2.3 LSTM模型
LSTM模型 1 LSTM介绍2 LSTM的内部结构图2.1 LSTM结构分析2.2 Bi-LSTM介绍2.3 使用Pytorch构建LSTM模型2.4 LSTM优缺点1 LSTM介绍
LSTM（Long Short-Term Memory）也称长短时记忆结构， 它是传统RNN的变体，与经典RNN相比能够有效捕捉长序列之间的语义关联，缓解梯度消失或爆炸…
生成式AI与大语言模型，东软已经准备就绪
伴随着ChatGPT的火爆全球，数以百计的大语言模型也争先恐后地加入了这一战局，掀起了一场轰轰烈烈的“百模大战”。毋庸置疑的是，继方兴未艾的人工智能普及大潮之后，生成式AI与大语言模型正在全球开启新一轮生产力革新的科技浪潮。 …
【nlp】4.1 fasttext工具介绍（文本分类、训练词向量、词向量迁移）
fasttext工具介绍与文本分类 1 fasttext介绍1.1 fasttext作用1.2 fasttext工具包的优势1.3 fasttext的安装1.4 验证安装2 fasttext文本分类2.1 文本分类概念2.2 文本分类种类2.3 文本分类的过程2.4 文本分类代码实现2.4.1 获取数据2.4.2 训练集与验证集的划分2.4.3 训练模型2.4…
【nlp】4.4 Transformer库的使用（管道模式pipline、自动模式auto，具体模型BertModel）
Transformer库的使用 1 了解Transformers库2 Transformers库三层应用结构3 管道方式完成多种NLP任务3.1 文本分类任务3.2 特征提取任务3.3 完型填空任务3.4 阅读理解任务3.5 文本摘要任务3.6 NER任务4 自动模型方式完成多种NLP任务4.1 文本分类任务4.2 特征提取任务4.3 完型填空…
大语言模型的好坏是由您提示水平高底决定的
大语言模型是有"嫌贫爱富“特点的，当你的水平高于大语言模型时它常常可以帮你，当你的水平低于大语言模型时它往往会骗你。 这主要是因为大语言模型在处理文本时具有较强的生成能力，可以根据已有的语境生成合乎逻辑的文本。当你的水平高于…
基于字面的文本相似度计算和匹配搜索
搜索推荐系统专栏简介：搜索推荐全流程讲解（召回粗排精排重排混排）、系统架构、常见问题、算法项目实战总结、技术细节以及项目实战（含码源） 专栏详细介绍：搜索推荐系统专栏简介：搜索推荐全流程讲解（召回粗排精排重排混排）、系统架构、常见问题、算法项目实战总结、技术…
COGVLM论文解读(COGVLM:VISUAL EXPERT FOR LARGE LANGUAGE MODELS)
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言一、摘要二、引言三、模型方法1、模型思路2、融合公式 四、训练方法总结 前言
2023年5月18日清华&智谱AI发布并开源VisualGLM-6B以来，清华KEG&…
大语言模型有那些能力和应用
目录
能力
应用 能力 理解语义的能力：LLM 具有强大的语义理解能力，能够理解大部分文本，包括不同语言（人类语言或计算机语言）和表达水平的文本，即使是多语言混杂、语法用词错误，也在多数情况下…
Large Language Models areVisual Reasoning Coordinators
目录
一、论文速读
1.1 摘要
1.2 论文概要总结
二、论文精度
2.1 论文试图解决什么问题？
2.2 论文中提到的解决方案之关键是什么？
2.3 用于定量评估的数据集是什么？代码有没有开源？
2.4 这篇论文到底有什么贡献࿱…
翻译: GPT4等大型语言模型的原理解析和未来预测慢思考和模型自我迭代和LLM安全
YouTube: Intro to Large Language Models - YouTube
1. Large Language Model LLM 大家好，最近我做了一个关于大型语言模型的 30 分钟演讲，有点像介绍性演讲，不幸的是，那个演讲没有被录制下来，但很多人在演讲结束后…
亚马逊云AI大语言模型应用下的创新Amazon Transcribe的使用
Transcribe简介
语音识别技术，也被称为自动语音识别（Automatic Speech Recognition，简称ASR），其目标是将人类的语音中的词汇内容转换为计算机可读的输入，例如按键、二进制编码或者字符序列。语音识别技术已…
国内LLMs大型语言模型排行榜！
在人工智能领域，语言模型是一种被广泛应用的技术。它能够理解和生成人类语言，为我们的生活和工作带来了很多便利。
在国内，有许多大型语言模型在不断发展和进步，为用户提供更好的语言交互体验。下面就让我们来看看国内大型语言模…
大语言模型的三阶段训练
为了训练专有领域模型，选择LLaMA2-7B作为基座模型，由于LLaMA模型中文词表有限，因此首先进行中文词表的扩展，然后进行三阶段训练（增量预训练，有监督微调，强化学习）。
代码将全部上传…
brat文本标注工具——安装
目录
一、Linux系统安装
1. centOS系统
2. Ubuntu系统
3. macOS系统
4.说明
二、Google Chrome安装
1. 打开命令行，切换到管理者权限
2. 安装依赖
3. 下载Google浏览器的安装包
4. 安装Google Chrome
三、yum更新
四、Apache安装
安装Apache
启动Apac…
【UCAS自然语言处理作业二】训练FFN, RNN, Attention机制的语言模型，并计算测试集上的PPL
前言
本次实验主要针对前馈神经网络，RNN，以及基于注意力机制的网络学习语言建模任务，并在测试集上计算不同语言模型的PPL
PPL计算：我们采用teacher forcing的方式，给定ground truth context，让其预测next…
【nlp】4.2 nlp中标准数据集（GLUE数据集合中的dev.tsv 、test.tsv 、train.tsv）
nlp中标准数据集 1 GLUE数据集合介绍1.1 数据集合介绍1.2 数据集合路径2 GLUE子数据集的样式及其任务类型2.1 CoLA数据集文件样式2.2 SST-2数据集文件样式2.3 MRPC数据集文件样式2.4 STS-B数据集文件样式2.5 QQP数据集文件样式2.6 (MNLI/SNLI)数据集文件样式2.7 (QNLI/RTE/WNLI…
人工智能-机器翻译：技术发展与代码实战
在本文中，我们深入探讨了机器翻译的历史、核心技术、特别是神经机器翻译（NMT）的发展，分析了模型的优化、挑战及其在不同领域的应用案例。同时，我们还提出了对未来机器翻译技术发展的展望和潜在的社会影响。 关注TechLe…
SpringBoot进行自然语言处理，利用Hanlp进行文本情感分析
. # 📑前言 本文主要是SpringBoot进行自然语言处理，利用Hanlp进行文本情感分析，如果有什么需要改进的地方还请大佬指出⛺️ 🎬作者简介：大家好，我是青衿🥇 ☁️博客首页：CSDN主页放风…
【基于NLP的微博情感分析：从数据爬取到情感洞察】
基于NLP的微博情感分析：从数据爬取到情感洞察 背景数据集技术选型功能实现创新点 今天我将分享一个基于NLP的微博情感分析项目，通过Python技术、NLP模型和Flask框架，对微博数据进行清洗、分词、可视化，并利用NLP和贝叶斯进行情感分…
macos下安装科研绘图软件Origin
科研人必备软件Origin，主要是考虑到很多期刊都要求绘制origin可编辑的图，所以有些时候必须用这个软件，但是这个软件macos并不支持，所以必须考虑其他的方案，我没有安装虚拟机，而是使用crossover
安装crosso…
动手学深度学习-自然语言处理：应用
自然语言处理中的应用主要有哪些？ 自然语言处理：应用 情感分析及数据集
情感分析研究人们在文本中的情感，这被认为是一个文本分类问题，它将可变长度的文本序列进行转换为固定长度的文本类别。经过预处理后，我们可以使…
人工智能与量子计算：开启未知领域的智慧之旅
导言 人工智能与量子计算的结合是科技领域的一场创新盛宴，引领我们进入了探索未知领域的新时代。本文将深入研究人工智能与量子计算的交汇点，探讨其原理、应用以及对计算领域的深远影响。 量子计算的崛起为人工智能领域注入了新的活力，开启了…
综述 | 揭秘高效大型语言模型：技术、方法与应用展望
深度学习自然语言处理 原创作者：Xnhyacinth 近年来，大型语言模型（LLMs）在自然语言处理领域取得了显著的进展，如GPT-series(GPT-3, GPT-4)、Google-series(Gemini, PaLM), Meta-series(LLAMA1&2), BLOOM, GLM等模型…
2023年度佳作：AIGC、AGI、GhatGPT、人工智能大语言模型的崛起与挑战
目录 前言
01 《ChatGPT 驱动软件开发》
内容简介
02 《ChatGPT原理与实战》
内容简介
03 《神经网络与深度学习》
04 《AIGC重塑教育》
内容简介
05 《通用人工智能》
目 录 前言
2023年是人工智能大语言模型大爆发的一年，一些概念和英文缩写也在这一…
【自然语言处理】利用sklearn库函数绘制三维瑞士卷
一，原理介绍
sklearn.datasets.make_swiss_roll（）函数提供了三维瑞士卷的数据集，我们可以利用他来生成瑞士卷，该函数的用法见sklearn官方文档：官网文档：sklearn.datasets.make_swiss_roll&…
Java封装讯飞星火大模型历险记
问题描述与分析
现状描述与目标 在使用讯飞星火大模型API的过程中，API的返回结果在可以在其他线程中进行分次打印，但是在main方法中直接打印返回结果，显示为空。这种情况下不利于二次封装，希望在main方法中获取完整的API返回结果…
tree_voc简单的生成
tree_voc简单的生成 代码解析代码
import pandas as pd
# from tqdm import tqdm
import numpy as npdef get_head(seq):head = dict()for i in range(
活动预告 | 微盟技术沙龙 - Elasticsearch 在微盟的实践 12/21/2023
微盟技术沙龙
「微盟技术沙龙」是由微盟研发中心发起并联合各方小伙伴为开发者举办的系列技术沙龙，从用户，产品，技术等方面与开发者进行交流。
微盟技术沙龙关注开发者在实际应用中遇到的问题。提供最真实的干货，以技术会友&…
自动驾驶技术：驶向未来的智能之路
导言 自动驾驶技术正引领着汽车产业向着更安全、高效、智能的未来演进。本文将深入研究自动驾驶技术的核心原理、关键技术、应用场景以及对交通、社会的深远影响。
1. 简介 自动驾驶技术是基于先进传感器、计算机视觉、机器学习等技术的创新，旨在实现汽车在不需要人…
英文论文降重修改技巧 papergpt
大家好，今天来聊聊英文论文降重修改技巧，希望能给大家提供一点参考。
以下是针对论文重复率高的情况，提供一些修改建议和技巧，可以借助此类工具： 英文论文降重修改技巧 作为网站编辑，我们经常需要处理大量…
自然语言处理阅读第二弹
HuggingFace
镜像网站模型库
NLP中的自回归模型和自编码模型
自回归：根据上文内容预测下一个可能的单词，或者根据下文预测上一个可能的单词。只能利用上文或者下文的信息，不能同时利用上文和下文的信息。自编码：对输入的句子随…
深兰科技入选财联社“2023科创好公司”榜单
12月13日，“2023科创好公司”评选榜单正式公布，深兰科技成功入选，获得该榜单中“新能源汽车及自动驾驶”赛道的“科创好公司”称号。 “科创好公司”榜评选是由财联社及《科创板日报》联合打造的一级市场投后服务体系中的重要活动项目&#x…
Nature | 大型语言模型(LLM)能够发现和产生新知识吗？
大型语言模型（LLM）是基于大量数据进行预训练的超大型深度学习模型。底层转换器是一组神经网络，这些神经网络由具有自注意力功能的编码器和解码器组成。编码器和解码器从一系列文本中提取含义，并理解其中的单词和短语之间的关系。通…
042、文本与语言模型
之——nlp基础
目录
之——nlp基础
杂谈
正文
1.文本预处理
2.语言模型
3.语言模型实现 杂谈 在语言模型中，需要对文本进行预处理，进行数字化的一系列操作，而后才能进行网络的拟合。 以前的相关：词性判断 正文
1.文本预处…
掌握大型语言模型（LLM）技术：推理优化
原文链接：Mastering LLM Techniques: Inference Optimization | NVIDIA Technical Blog 大模型相关技术文章已整理到Github仓库，欢迎start! 堆叠Transformer层以创建大型模型可以获得更好的准确性、few-shot学习能力，甚至在各种语言任务中具有…
![[wordpiece]论文分析：Google’s Neural Machine Translation System](https://img-blog.csdnimg.cn/direct/2308b76a075047bf9150125761a11ea1.png)
[wordpiece]论文分析：Google’s Neural Machine Translation System
文章目录 一、论文解读1.1 模型介绍1.2 模型架构1.3 wordpiece 二、整体总结 论文：Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation 作者：Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le,…
实在智能数字员工全新升级，AI WORD智慧文本闪亮登场！
就在前天，中国载人航天工程再传喜讯，神州十三号载人航天飞船成功发射，标志着我国航天人对于外太空边界探索的脚步从未停下，且始终不断突破，而在我们的地球表面，实在智能人所做的，正是对IPA能力边…
词向量模型 Word2Vec 2022-1-18
人工智能基础总目录 词向量模型一 One hot编码缺点PCA/SVD后的问题二 Word2vec1.1 目标函数2.1 主流计算方法1 Skip gram2 CBOW2.2 计算方面的优化方法1 Tree softmax2 Negative Sampling （NEG）三 Glove 模型四 句子向量Word embedding 是自然语言处理中…
大型语言模型作为属性化训练数据生成器
大型语言模型作为属性化训练数据生成器，提出一种使用多样化属性提示的数据生成方法，可以生成具有多样性和属性的训练数据，从而提高了模型的性能和数据生成的效率。
动机：大型语言模型(LLM)最近被用作各种自然语言处理(NLP)任务的…
BERT模型的若干问题整理记录 思考
1.BERT的基本原理是什么？
BERT来自Google的论文Pre-training of Deep Bidirectional Transformers for Language Understanding，BERT是”Bidirectional Encoder Representations from Transformers”的首字母缩写，整体是一个自编码语言模型&…
句子理解主题模型概率图模型 2022-1-18
人工智能基础总目录 自然语言处理初步一 句子理解1 分词与分句2 词性识别3 命名实体识别4 依存句法分析5 序列标注1 贝叶斯图2 马尔可夫图1 条件随机场2 最大团3 边缘分布4 条件概率二 主题模型有监督模型无监督模型LSAPLSALDA三 概率图模型3.1 贝叶斯概率图1 条件独立2 D分离定…
NLP——操作步骤讲义与实践链接
数据集与语料
语料是NLP的生命之源，所有NLP问题都是从语料中学到数据分布的规律语料的分类：单语料，平行语料，复杂结构 语料的例子：Penn Treebank, Daily Dialog, WMT-1x翻译数据集，中文闲聊数据集…
2022-CS224n-Assignment1-exploring_word_vectors
CS224N Assignment 1: Exploring Word Vectors
Part 1: Count-Based Word Vectors
Question 1.1: Implement distinct_words
思路： corpus_words: 语料库中不同单词经过排序后的列表 1.根据提示使用列表推导将语料库中所有单词放入;corpus_words列表, 也可用双重…
从NLP到聊天机器人
一、说明 今天，当打电话给银行或其他公司时，听到电话另一端的机器人向你打招呼是很常见的：“你好，我是你的数字助理。请问你的问题。是的，机器人现在不仅可以说人类语言，还可以用人类语言与用户互动。这是由…
【论文极速读】视频检索中的模态均衡方法
【论文极速读】视频检索中的模态均衡方法 FesianXu 20231206 at Baidu Search Team 前言
传统的视频搜索系统相关性部分主要以文本匹配为基础手段，在其中引入多模态向量容易收到『模态不均衡』的问题，论文[1]尝试对其进行解决，本文进行笔记。…
NLP自然语言处理学习笔记
参考：NLP（自然语言处理）介绍 - 知乎 (zhihu.com) 一、NLP是什么
自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自…
中文分词演进（查词典，hmm标注，无监督统计）新词发现
查词典和字标注 目前中文分词主要有两种思路：查词典和字标注。 首先，查词典的方法有：机械的最大匹配法、最少词数法，以及基于有向无环图的最大概率组合，还有基于语言模型的最大概率组合，等等。 查词典的方法…
一起学习：大型语言模型（LLM）中的QKV（Query, Key, Value）和多头注意力机制
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…
大模型应用_AutoGPT
1 功能
整体功能，想解决什么问题 单独使用 ChatGPT 时，只提供基本的聊天，无法实现具体的功能，如果想提供某种功能，则需要结合程序实现。AutoGPT目标是建立和使用 AI Agent，设定一个或多个目标，…
Re58：读论文 REALM: Retrieval-Augmented Language Model Pre-Training
诸神缄默不语-个人CSDN博文目录 诸神缄默不语的论文阅读笔记和分类
论文名称：REALM: Retrieval-Augmented Language Model Pre-Training 模型名称：Retrieval-Augmented Language Model pre-training (REALM)
本文是2020年ICML论文，作者来自…
【论文解读】System 2 Attention提高大语言模型客观性和事实性
一、简要介绍 本文简要介绍了论文“System 2 Attention (is something you might need too) ”的相关工作。基于transformer的大语言模型（LLM）中的软注意很容易将上下文中的不相关信息合并到其潜在的表征中，这将对下一token的生成产生不利影响…
Re60：读论文 FILM Adaptable and Interpretable Neural Memory Over Symbolic Knowledge
诸神缄默不语-个人CSDN博文目录 诸神缄默不语的论文阅读笔记和分类
论文名称：Adaptable and Interpretable Neural Memory Over Symbolic Knowledge 模型名称：Fact Injected Language Model (FILM)
NAACL版网址：https://aclanthology.org/2…
「NLP主题分析」LDA隐含狄利克雷分布（Latent Dirichlet Allocation）
是基于贝叶斯思想的无监督的聚类算法，广泛用于文本聚类，文本分析，文本关键词等场景。LDA主题模型主要用于推测文档的主题分布，可以将文档集中每篇文档的主题以概率分布的形式给出根据主题进行主题聚类或文本分类。
LDA主题模型不…
浅谈NLP和大模型的关系
目录
一、什么是NLP
二、NLP的应用举例
三、NLP的Python实现举例
四、NLP和大模型的关系
五、NLP的难点
5.1 内容的有效界定
5.2 消歧和模糊性
5.3 有瑕疵的或不规范的输入
5.4 语言行为与计划
六、研究热点 一、什么是NLP
如果单独说NLP这3个字母，具有两…
简洁高效的 NLP 入门指南: 200 行实现 Bert 文本分类 (Pytorch 版)
简洁高效的 NLP 入门指南: 100 行实现 Bert 文本分类 Pytorch 版 概述NLP 的不同任务Bert 概述MLM 任务 (Masked Language Modeling)TokenizeMLM 的工作原理为什么使用 MLM NSP 任务 (Next Sentence Prediction)NSP 任务的工作原理NSP 任务栗子NSP 任务的调整和局限性 安装和环…
使用 NLP 从临床文本中提取医疗信息
介绍
人工智能（AI）在各个行业都取得了长足的进步，医疗保健也不例外。医疗保健人工智能中最有前途的领域之一是自然语言处理（NLP），它有可能通过促进更高效、更准确的数据分析和通信来彻底改变患者护理。
NLP 已被证明是医疗保健领域的游戏规则改变者。NLP 正在改变医疗保…
自然语言处理——中文——网民疫情情绪情感分析 DataFountain
DataFountain疫情网民情感分类
2019新型冠状病毒（2019-nCoV）感染的肺炎疫情发生对人们生活生产的方方面面产生了重要影响，并引发国内舆论的广泛关注，众多网民参与疫情相关话题的讨论。为了帮助政府掌握真实社会舆论情况ÿ…
自然语言处理从入门到应用——LangChain：链（Chains）-[通用功能：链的保存（序列化）与加载（反序列化）]
分类目录：《自然语言处理从入门到应用》总目录 本文介绍了如何将链保存（序列化）到磁盘和从磁盘加载（反序列化）。我们使用的序列化格式是json或yaml。目前，只有一些链支持这种类型的序列化。随着时间的推移&…
MATLAB算法实战应用案例精讲-【深度学习】自然语言处理模型N-Gram
目录
命名实体识别
BiLSTM+CRF实现命名实体识别
1. 使用BiLSTM+CRF实现NER
2. 回归CRF建模原理本身
社区反作弊工作的一点体会
针对社区网站的作弊行为大致可以分为两种，一种是个人在社区中发布的所谓的不和谐内容；另一种是利用社区的信息传播机制向社区内的其他用户进行的广告推广活动，社区进行SEO，信息诈骗，垃圾灌水等行为也属于此类。前者在西…
自然语言处理在智能客服和聊天机器人中的应用
文章目录 1. 引言2. NLP基础2.1 词法分析2.2 语法分析2.3 语义理解2.4 情感分析 3. 智能客服中的应用3.1 自动问答3.2 意图识别3.3 情感分析与情绪识别 4. 聊天机器人中的应用4.1 对话生成4.2 上下文理解 5. 技术原理与挑战5.1 语言模型5.2 数据质量和多样性5.3 上下文理解 6. …
Hugging Face Transformer 的APIs应用实例
拥抱面变压器 API 简要摘要 一、说明 Hugging Face 的变压器库提供了广泛的 API，可用于处理各种 NLP 任务的预训练变压器模型。在本教程中，我们将探讨主要 API 并提供示例来帮助你了解它们的用法。 二、导入模型
1. 分词器接口： 分词器 AP…
自然语言处理从入门到应用——LangChain：链（Chains）-[通用功能：LLMChain和RouterChain]
分类目录：《自然语言处理从入门到应用》总目录 LLMChain
LLMChain是查询LLM对象最流行的方式之一。它使用提供的输入键值（如果有的话，还包括内存键值）格式化提示模板，将格式化的字符串传递给LLM，并返回LLM…
Attention is all you need -- 阅读笔记
这篇文章是2017年发表在NIPS会议上的论文，也是Transformer的开山之作。最先应用是在NLP领域的机器翻译任务上，由于其简单的结构、强悍的表现，经过几年的发展，越来越多的领域开始使用基于Transformer的深度学习网络。下面是我自己的…
开源双语对话语言模型 ChatGLM-6B 本地私有化部署
本文首发于：https://www.licorne.ink/2023/08/llm-chatglm-6b-local-deploy/
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级…
中文分词和tfidf特征应用
文章目录 引言1. NLP 的基础任务 --分词2. 中文分词2.1 中文分词-难点2.2 中文分词-正向最大匹配2.2.1 实现方式一2.2.2 实现方式二 利用前缀字典 2.3 中文分词-反向最大匹配2.4 中文分词-双向最大匹配2.5 中文分词-jieba分词2.5.1 基本用法2.5.2 分词模式2.5.3 其他功能 2.6 三…
LLMs NLP模型评估Model evaluation ROUGE and BLEU SCORE
在整个课程中，你看到过类似模型在这个任务上表现良好，或者这个微调模型在性能上相对于基础模型有显著提升等陈述。
这些陈述是什么意思？如何形式化你的微调模型在你起初的预训练模型上的性能改进？让我们探讨一些由大型语言模型开…
几个nlp的小任务（生成任务(摘要生成)）
几个nlp的小任务生成任务——摘要生成 安装库选择模型加载数据集展示数据集数据预处理 tokenizer注意特殊的 token处理组成预处理函数调用map，对数据集进行预处理微调模型，设置参数设置数据收集器，将处理好的数据喂给模型封装测评方法将参数传给 trainer，开始训练安装库 选…
论文学习——基于斜率表示的时间序列相似性度量方法
文章目录1 摘要2 引言3 介绍时间序列的斜率集表示3.1 模式的概念3.2 斜率集3.3 斜率集搜索算法3.4 模式距离3.5 斜率距离分析3.6 时间对等过程4 实验分析写在前面：《模式识别与人工智能》；2007年 1 摘要
针对含有大量噪声，并存在数据缺失的高…
李宏毅2021春季机器学习课程笔记7： Seq2seq Transformer
文章目录1. Seq2seq2. Encoder2.1 Block2. Decoder2.1 Autoregressive（AT）2.2 Non-autoregressive（NAT）2.3 Cross attention4. Training4.1 Copy Mechanism4.2 Guided Attention4.3 Beam Search4.4 Cross entropy & BLEU scor…
几个nlp的小任务(生成式任务——语言模型(CLM与MLM))
@TOC
本章节需要用到的类库 微调任意Transformers模型（CLM因果语言模型、MLM遮蔽语言模型）
CLM MLM 准备数据集 展示几个数据的结构
资讯精选 |【全球人工智能学科高校排名】CMU居榜首_清华大学第4
本文来源于阿里云-云栖社区，原文点击这里。 CSRankings.org 的计算机科学高校排名依据的是院校在计算机科学各领域顶级会议发表的论文数量。它将计算机科学分为了 4 个门类：AI、Systems、Theory、Interdisciplinary Areas。在 AI 这一门类下，…
RNN(电影评论情感分析： RNN循环网络原理及自然语言处 理NLP应用)
数据源：imdb.com 预处理
分词 词的数字化表示方法与词嵌入 更合理的方案 http://word2vec.googlecode.com/svn/trunk/
https://nlp.stanford.edu/projects/glove/
https://nlp.stanford.edu/projects/glove/ IMDB数据集获取与处理（非TF集成模式&#…
深度学习在自然语言处理中的十大应用领域
文章目录 1. 机器翻译2. 文本分类3. 命名实体识别4. 问答系统5. 文本生成6. 情感分析7. 语言生成与处理8. 信息检索与摘要9. 文本纠错与修复10. 智能对话系统总结 🎉欢迎来到AIGC人工智能专栏~深度学习在自然语言处理中的十大应用领域 ☆* o(≧▽≦)o *☆嗨~我是IT陈…
自然语言处理: 第十章GPT的API使用
理论基础
现在的以GPT为首的生成类模型，它拥有对话的能力，它会根据你输入的暗示(prompt)或者指令(instruct)生成对应的回答。所以，不同的输入会导致不同的输出(其实由于chatgpt最终生成的答案是beam_search 以及随机采样的机制，所…
【自然语言处理】关系抽取 —— DialogRE 讲解
Dialogue-Based Relation Extraction 论文信息 标题：Dialogue-Based Relation Extraction 作者：Dian Yu, Kai Sun, Claire Cardie, Dong Yu 期刊：ACL 2020 发布时间与更新时间：2020.04.17 主题：自然语言处理、关系抽取、对话场景、跨语句、DialogRE arXiv：[2004.08056] D…
1分钟实现 CLIP + Annoy + Gradio 文搜图+图搜图 系统
多模态图文搜索系统
CLIP 进行 Text 和 Image 的语义EmbeddingAnnoy 向量数据库实现树状结构索引来加速最近邻搜索Gradio 轻量级的机器学习 Web 前端搭建
文搜图 图搜图 CLIP图像语义提取功能！
书生·浦语大模型实战营——两周带你玩转微调部署评测全链路
引言
人工智能技术的发展日新月异，其中大模型的发展尤其迅速，已然是 AI 时代最炙手可热的当红炸子鸡。
然而，大模型赛道对于小白开发者来说还是有不小的门槛。面对内容质量参差不齐的课程和实际操作中遇到的问题，许多开发者往往…
同义词替换降低论文抄袭率的有效性探讨 papergpt
大家好，今天来聊聊同义词替换降低论文抄袭率的有效性探讨，希望能给大家提供一点参考。
以下是针对论文重复率高的情况，提供一些修改建议和技巧，可以借助此类工具： 标题：同义词替换降低论文抄袭率的有效性探…
人工智能在法务领域的未来趋势
#人工智能在法务领域的未来趋势
近些年，人工智能技术发展迅猛，随之市场上也出现了各种跟人工智能相关的服务于不同领域的产品，比如智能合同审核系统、智能法律咨询系统、AI机器人等。
智合同-采用深度学习、自然语言处理技术、知识图谱等人…
自然语言处理阅读第一弹
Transformer架构
encoder和decoder区别
Embeddings from Language Model (ELMO)
一种基于上下文的预训练模型,用于生成具有语境的词向量。原理讲解ELMO中的几个问题
Bidirectional Encoder Representations from Transformers (BERT)
BERT就是原生transformer中的Encoder两…
人工智能自然语言处理：语言之美，算法之智
导言 自然语言处理（Natural Language Processing, NLP）是人工智能领域中备受关注的分支，致力于让计算机能够理解、处理和生成人类语言。本文将深入研究人工智能在自然语言处理领域的关键技术、应用场景以及未来发展趋势。
1. 简介 自然语言处…
谷歌Gemini API 应用(二)：LangChain 加持
昨天我完成了谷歌Gemini API 应用(一)：基础应用这篇博客，今天我们要在此基础上实现Gemini模型的Langchian加持，因为Gemini API刚发布没几天，所以langchian还没有来得及将其整合到现有的langchain包的架构内，langchain公…
简洁高效的 NLP 入门指南: 200 行实现 Bert 文本分类 TensorFlow 代码纯享版
简洁高效的 NLP 入门指南: 200 行实现 Bert 文本分类 TensorFlow 代码纯享版 概述NLP 的不同任务Bert 概述MLM 任务 (Masked Language Modeling)TokenizeMLM 的工作原理为什么使用 MLM NSP 任务 (Next Sentence Prediction)NSP 任务的工作原理NSP 任务栗子NSP 任务的调整和局限…
跨界于自然语言处理的广泛应用领域
目录 前言1 图灵测试和Imitation Game2 基于数据的NLP应用3 Google搜索引擎与在线广告的机制4 知识图谱：连接现实世界的实体5 智能音箱（虚拟助手）的交互能力6 机器翻译：连接全球多语言7 情感分析和意见挖掘8 社会学研究与文化分析…
大数据深度解析NLP文本摘要技术：定义、应用与PyTorch实战
文章目录 大数据深度解析NLP文本摘要技术：定义、应用与PyTorch实战1. 概述1.1 什么是文本摘要？1.2 为什么需要文本摘要？ 2. 发展历程2.1 早期技术2.2 统计方法的崛起2.3 深度学习的应用2.4 文本摘要的演变趋势 3. 主要任务3.1 单文档摘要3.2 …
社交媒体用户热词挖掘与情感分析：Python、NLP与Flask的综合应用
社交媒体用户热词挖掘与情感分析：Python、NLP与Flask的综合应用 正文： 社交媒体作为信息传播的主要平台，用户在平台上产生的大量文本数据蕴含着丰富的信息。本文将介绍一种基于Python技术、NLP模型以及Flask框架的社交媒体用户热词挖掘系统&a…
Prompt 提示工程学习笔记
一、Prompt设计的四个关键要素：
任务描述、输入数据、上下文信息、提示风格
（1）任务描述：描述想要让LLM遵循的指令。描述应详细清晰，可进一步使用关键词突出特殊设置，从而更好地指导LLM工作。 ࿰…
NLP论文阅读记录 - 以大语言模型为参考学习总结
文章目录 前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献 二.相关工作2.1文本生成模型的训练方法2.2 基于LLM的自动评估2.3 LLM 蒸馏和基于 LLM 的数据增强 三.本文方法3.1 Summarize as Large Language Models3.1.1 前提3.1.2 大型语言模型作为参考具有…
机器翻译：跨越语言边界的智能大使
导言 机器翻译作为人工智能领域的瑰宝，正在以前所未有的速度和精度，为全球沟通拓展新的可能性。本文将深入研究机器翻译的技术原理、应用场景以及对语言交流未来的影响。
1. 简介 机器翻译是一项致力于通过计算机自动将一种语言的文本翻译成另一种语言的…
探索人工智能中的语言模型：原理、应用与未来发展
导言 语言模型在人工智能领域中扮演着重要的角色，它不仅是自然语言处理的基础，也是许多智能系统的核心。本文将深入研究语言模型的原理、广泛应用以及未来发展趋势。
1. 语言模型的原理
统计语言模型： 基于概率统计的传统语言模型&…
大型语言模型：RoBERTa — 一种稳健优化的 BERT 方法
slavahead 一、介绍 BERT模型的出现BERT模型带来了NLP的重大进展。 BERT 的架构源自 Transformer，它在各种下游任务上取得了最先进的结果：语言建模、下一句预测、问答、NER标记等。 尽管 BERT 性能出色，研究人员仍在继续尝试其配置࿰…
DALL-E:Zero-Shot Text-to-Image Generation
DALL-E
论文是一个文本生成图片模型。 训练分为两个阶段
第一阶段，训练一个dVAE（discrete variational autoencoder离散变分自动编码器），其将256 x 256的RGB图片转换为32 x 32的图片token。目的：降低图片的分辨率。图…
论文笔记--Learning Political Polarization on Social Media Using Neural Networks
论文笔记--Learning Political Polarization on Social Media Using Neural Networks 1. 文章简介2. 文章概括3. 相关工作4. 文章重点技术4.1 Collection of posts4.1.1 数据下载4.1.2 数据预处理4.1.3 统计显著性分析 4.2 Classification of Posts4.3 Polarization of users 5…
认识“DRESS”：通过自然语言反馈与人类协调和互动的大视觉语言模型 (LVLM)
大视觉语言模型（LVLM）可以解释视觉线索并为用户交互提供简单的答复。这是通过巧妙地将大型语言模型 (LLM) 与大规模视觉指令微调融合来实现的。然而，LVLM 只需要手工制作或 LLM 生成的数据集即可通过监督微调 (SFT) 进行对齐。尽管将 LVLM 从…
ChatGPT 发布了免费提示指南 用PROMPT法打造完美的ChatGPT对话
ChatGPT 刚刚发布了免费提示指南。
但大多数人仍在为课程付费。
这里有 6 种免费策略，可以帮助您获得更好的即时结果： 1. 明确的指示
→ 准确表达您的要求。 → 对于简短的回复，请提及。 → 需要更多细节？直接询问。 → 展示您…
国产ToolLLM的课代表---OpenBMB机构（清华NLP）旗下ToolBench的安装部署与运行（附各种填坑说明）
ToolBench项目可以理解为一个能直接提供训练ToolLLM的平台，该平台同时构建了ToolLLM的一个开源训练指令集。，该项目是OpenBMB机构（面壁智能与清华NLP联合成立）旗下的一款产品，OpenBMB机构名下还同时拥有另外一款明星产…
人机交互——自然语言理解
人机交互中的自然语言理解是人机交互的核心，它是指用自然语言（例如中文、英文等）进行交流，使计算机能理解和运用人类社会的自然语言，实现人机之间的自然语言通信。
自然语言理解在人工智能领域中有着非常重要的地位&a…
【EMNLP 2023】面向垂直领域的知识预训练语言模型
近日，阿里云人工智能平台PAI与华东师范大学数据科学与工程学院合作在自然语言处理顶级会议EMNLP2023上发表基于双曲空间和对比学习的垂直领域预训练语言模型。通过比较垂直领域和开放领域知识图谱数据结构的不同特性，发现在垂直领域的图谱结构具有全局稀…
【CCF BDCI 2023】多模态多方对话场景下的发言人识别 Baseline 0.71 NLP 部分
【CCF BDCI 2023】多模态多方对话场景下的发言人识别 Baseline 0.71 NLP 部分 概述NLP 简介文本处理词嵌入上下文理解 文本数据加载to_device 函数构造数据加载样本数量 len获取样本 getitem 分词构造函数调用函数轮次嵌入 RobertaRoberta 创新点NSP (Next Sentence Prediction…
NLP论文阅读记录 - AAAI 23 | 02 SUMREN：总结有关新闻事件的报道演讲
文章目录 前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献 二.相关工作2.1新闻摘要2.2 以查询为中心的摘要2.3 新闻归因 三.本文方法3.1 SumREN 基准3.1.1基准建设3.1.2 统计3.1.3 银牌训练数据生成 3.2 Models3.2.1以查询为中心的摘要基线3.2.2 基于管道…
2023ChatGPT浪潮，2024开源大语言模型会成王者？
《2023ChatGPT浪潮，2024开源大语言模型会成王者？》
一、2023年的回顾
1.1、背景
我们正迈向2023年的终点，回首这一年，技术行业的发展如同车轮滚滚。尽管互联网行业在最近几天基本上处于冬天，但在这一年间我们仍然经…
什么是 NLP (自然语言处理）
NLP（自然语言处理）到底是做什么？ NLP 的全称是 Natural Language Processing，翻译成中文称作：自然语言处理。它是计算机和人工智能的一个重要领域。顾名思义，该领域研究如何处理自然语言。
自然语言就是我…
【数据保护】数据匿名的自定义NLP方法
自我介绍 做一个简单介绍，酒架年近48 ，有20多年IT工作经历，目前在一家500强做企业架构．因为工作需要，另外也因为兴趣涉猎比较广，为了自己学习建立了三个博客，分别是【全球IT瞭望】，【…
【起草】【第十章】免费代写论文！让ChatGPT协助你写毕业论文
你还在花费几万元找抢手代写毕业论文吗？要不你自己开一个chatGPT代写论文提纲工作室？
让ChatGPT协助你写毕业论文，搞不好比和你导师沟通更频繁？ 1.鉴于ChatGPT只会说一些陈词滥调的内容，让它生成论文大纲似乎比写具体…
面向 NLP 任务的大模型 Prompt 设计
很久之前，我们介绍到，prompt是影响下游任务的关键所在，当我们在应用chatgpt进行nlp任务落地时，如何选择合适的prompt，对于SFT以及推理环节尤为重要。
不过，硬想不是办法，我们可以充分参考开源的…
微软近日推出了Phi-2，这是一款小型语言模型，但其性能却十分强大
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…
VideoPoet: Google的一种用于零样本视频生成的大型语言模型
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…
Java注解之@Autowired，一文掌握@Autowired注解知识(3)
🏆作者简介，普修罗双战士，一直追求不断学习和成长，在技术的道路上持续探索和实践。 🏆多年互联网行业从业经验，历任核心研发工程师，项目技术负责人。 🎉欢迎 👍点赞✍评论…
Python之自然语言处理库snowNLP
一、介绍
SnowNLP是一个python写的类库，可以方便的处理中文文本内容，是受到了TextBlob的启发而写的，由于现在大部分的自然语言处理库基本都是针对英文的，于是写了一个方便处理中文的类库，并且和TextBlob不同的是&…
初识Java并发，一问读懂Java并发知识文集(3)
🏆作者简介，普修罗双战士，一直追求不断学习和成长，在技术的道路上持续探索和实践。 🏆多年互联网行业从业经验，历任核心研发工程师，项目技术负责人。 🎉欢迎 👍点赞✍评论…
【自然语言处理】扩展命名实体识别器（NER）以使用spaCy标记新实体
自我介绍 做一个简单介绍，酒架年近48 ，有20多年IT工作经历，目前在一家500强做企业架构．因为工作需要，另外也因为兴趣涉猎比较广，为了自己学习建立了三个博客，分别是【全球IT瞭望】，【…
AI人工智能大模型讲师叶梓《基于人工智能的内容生成（AIGC）理论与实践》培训提纲
【课程简介】
本课程介绍了chatGPT相关模型的具体案例实践，通过实操更好的掌握chatGPT的概念与应用场景，可以作为chatGPT领域学习者的入门到进阶级课程。 【课程时长】
1天（6小时/天） 【课程对象】
理工科本科及以上࿰…
大语言模型（LLM）框架及微调 (Fine Tuning)
大语言模型（LLM） 技术作为人工智能领域的一项重要创 新在今年引起了广泛的关注。 LLM 是利用深度学习和大数据训练的人工智能系统，专门 设计来理解、生成和回应自然语言。这些模型通过分析大量 的文本数据来学习语言的结构和用法，…
【BERT】深入BERT模型2——模型中的重点内容，两个任务
前言
BERT出自论文：《BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding》 2019年
近年来，在自然语言处理领域，BERT模型受到了极为广泛的关注，很多模型中都用到了BERT-base或者是BE…
Java注解学习，一文掌握@Autowired 和 @Resource 注解区别
🏆作者简介，普修罗双战士，一直追求不断学习和成长，在技术的道路上持续探索和实践。 🏆多年互联网行业从业经验，历任核心研发工程师，项目技术负责人。 🎉欢迎 👍点赞✍评论…
【自然语言处理】第3部分：识别文本中的个人身份信息
自我介绍 做一个简单介绍，酒架年近48 ，有20多年IT工作经历，目前在一家500强做企业架构．因为工作需要，另外也因为兴趣涉猎比较广，为了自己学习建立了三个博客，分别是【全球IT瞭望】，【…
GPT技术：人工智能的语言革命
在人工智能的领域中，自然语言处理（NLP）一直是一个极具挑战性的研究领域。随着技术的进步，一个名为GPT（Generative Pre-trained Transformer）的模型出现在了公众的视野中，它不仅改变了我们与机器…
2024年原创深度学习算法项目分享
原创深度学习算法项目分享，包括以下领域： 图像视频、文本分析、知识图谱、推荐系统、问答系统、强化学习、机器学习、多模态、系统界面、爬虫、增量学习等领域… 有需要的话，评论区私聊
LSTM与注意力机制结合，会有怎样的创新❓
LSTM与注意力机制结合，会有怎样的创新❓ #论文辅导一对一
1️⃣自适应时序注意力机制： 一项创新的思路是设计一种自适应时序注意力机制，使模型能够在序列的不同时间步上动态调整关注度。这可以通过在LSTM的每个时间步引入自适应的注意力权重…
Fine-Tuning Language Models from Human Preferences
Abstract
奖励学习（reward learning）可以将强化学习（RL）应用到由人类判断定义奖励的任务中，通过询问人类问题来构建奖励模型。奖励学习的大部分工作使用了模拟环境，但是关于价值的复杂信息经常是以自然语言的形式表达的。我们相信语言奖励学习是使强化学习在现实世界任务…
【LLM】大型语言模型：2023年完整指南
Figure 1: Search volumes for “large language models”
近几个月来，大型语言模型（LLM）引起了很大的轰动（见图1）。这种需求导致了利用语言模型的网站和解决方案的不断开发。ChatGPT在2023年1月创下了用户群增长最快…
BERT（从理论到实践）: Bidirectional Encoder Representations from Transformers【2】
这是本系列文章中的第二弹，假设你已经读过了前文。先来简单回顾一下BERT的想法：
1）在Word2Vec【1】中，每个单词生成的Embedding是固定的。但这就带来了一个显而易见的问题：同一个单词在不同上下文中的意思是不同的。例如mouse，可以是鼠标的意思，也可以是老鼠的意思。但…
LLM、AGI、多模态AI 篇一：开源大语言模型简记
文章目录 系列开源大模型LlamaChinese-LLaMA-AlpacaLlama2-ChineseLinlyYaYiChatGLMtransformersGPT-3（未完全开源）BERTT5QwenBELLEMossBaichuan
【NLP论文】03 基于 jiagu 的情感分析
本篇是NLP论文系列的最后一篇，主要介绍如何计算情感分析结果，并将其融入到XX评价体系和物流关键词词库，之前我已经写了两篇关于情感分析的文章，分别是 SnowNLP 和 Cemotion 技术，最终我才用了 jiagu 来写我的论文&…
【AI视野·今日NLP 自然语言处理论文速览 第六十八期】Tue, 2 Jan 2024
AI视野今日CS.NLP 自然语言处理论文速览 Tue, 2 Jan 2024 Totally 48 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
A Computational Framework for Behavioral Assessment of LLM Therapists Authors Yu Ying Chiu, Ashish Shar…
BERT（从理论到实践）: Bidirectional Encoder Representations from Transformers【1】
预训练模型：A pre-trained model is a saved network that was previously trained on a large dataset, typically on a large-scale image-classification task. You either use the pretrained model as is or use transfer learning to customize this model to a given t…
![[书生·浦语大模型实战营]——轻松玩转书生·浦语大模型趣味 Demo](https://img-blog.csdnimg.cn/direct/0c7f413061c645f199e18e38ff90515c.png)
[书生·浦语大模型实战营]——轻松玩转书生·浦语大模型趣味 Demo
Part1 大模型及InternLM模型简介
1.1 什么是大模型？
定义大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练，并且拥有数十亿甚至数千亿个参数。 发展大模型的出现和发展得益于增…
用判断对齐大语言模型
1、写作动机：
目前的从反馈中学习方法仅仅使用判断来促使LLMs产生更好的响应，然后将其作为新的示范用于监督训练。这种对判断的间接利用受到无法从错误中学习的限制，这是从反馈中学习的核心精神，并受到LLMs的改进能力的制约。
2…
李宏毅 自然语言处理（Speech Recognition） 笔记
李宏毅NLP(自然语言处理)完整课程，强推！_哔哩哔哩_bilibili
从Ng那里跑路来学NLP了，之前其实ML入门听的就是宝可梦捕获大师（）的课，目前计划是，本博文作为上面链接所示课程的笔记记录。听完之后…
【python、pytorch】NLP模型
自然语言处理（Natural Language Processing，简称NLP）是计算机科学与语言学中关注于计算机与人类语言间转换的领域。
1. 文本预处理
文本预处理详情
4. RNN模型
【LLM】人工智能应用构建的十大预训练NLP语言模型
在人工智能领域，自然语言处理（NLP）被广泛认为是阅读、破译、理解和理解人类语言的最重要工具。有了NLP，机器可以令人印象深刻地模仿人类的智力和能力，从文本预测到情感分析再到语音识别。
什么是自然语言处理…
2024年“计算机视觉处理设计开发工程师”最后几天报考中！
为进一步贯彻落实中共中央印发《关于深化人才发展体制机制改革的意见》和国务院印发《关于“十四五”数字经济发展规划》等有关工作的部署要求，深入实施人才强国战略和创新驱动发展战略，加强全国数字化人才队伍建设，持续推进人工智能专业人员…
Word2Vector介绍
Word2Vector 2013 word2vec也叫word embeddings，中文名“词向量”，google开源的一款用于词向量计算的工具，作用就是将自然语言中的字词转为计算机可以理解的稠密向量。在word2vec出现之前，自然语言处理经常把字词转为离散的单独的…
自然语言处理(第17课 文本分类和聚类)
一、学习目标
1.学习文本分类的两种传统机器学习方法：朴素贝叶斯和支持向量机
2.学习文本分类的深度学习方法
3.学习文本分类的性能评估标准
4.学习文本聚类的相似性度量、具体算法、性能评估 二、文本分类 1.概述 将文本分类，主要工作是让机器分析文…
论文简读 LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
论文地址：https://arxiv.org/pdf/2106.09685.pdf 项目地址：https://github.com/microsoft/LoRA 全文翻译地址：https://zhuanlan.zhihu.com/p/611557340 本来想自行翻译的，但最近没有空
1、关键凝练
1.1 LORA是什么？ …
![[NLP]LLM---FineTune自己的Llama2模型](https://img-blog.csdnimg.cn/a3137a07771c4a2598564de391049b6d.png)
[NLP]LLM---FineTune自己的Llama2模型
一 数据集准备
Let’s talk a bit about the parameters we can tune here. First, we want to load a llama-2-7b-hf model and train it on the mlabonne/guanaco-llama2-1k (1,000 samples), which will produce our fine-tuned model llama-2-7b-miniguanaco. If you’re …
【CS324】Large Language Models（持续更新）
note 文章目录 note一、引言二、大模型的能力三、大模型的有害性（上）四、大模型的有害性（下）五、大模型的数据Reference 一、引言
语言模型最初是在信息理论的背景下研究的，可以用来估计英语的熵。 熵用于度量概率分布…
R语言中利用word2vec包创建词向量
介绍
将词汇向量化是自然语言处理的基本一步，这里解释如何利用R语言中的word2vec实现该功能。
函数word2vec()介绍
word2vec(x,type c("cbow", "skip-gram"),dim 50,window ifelse(type "cbow", 5L, 10L),iter 5L,lr 0.05,h…
Lost in the Middle: How Language Models Use Long Contexts
本文是LLM系列文章，针对《Lost in the Middle: How Language Models Use Long Contexts》的翻译。 迷失在中间：语言模型如何使用长上下文 摘要1 引言2 语言模型3 多文档问答4 语言模型如何从输入上下文中检索？5 为什么语言模型很难使用它们的…
NLP中的文本分类、实体识别、关系识别和三元组识别
在自然语言处理（NLP）领域，文本分类、实体识别、关系识别和三元组识别是重要的主题。本文将深入探讨这些关键问题，并介绍相关算法和技术。
文本分类
首先，我们关注文本分类。不同的文本分类算法和技术被详细介绍&…
Huawei 华为云 机器翻译调用 详解
#在完成了阿里百度腾讯有道搜狗讯飞字节火山等等的对接挑战之后，今天来处理华为的机器翻译对接
还是先申请华为的接口https://support.huaweicloud.com/nlp/index.html 注册申请后，去控制台>我的凭证 建立项目并下载凭证（AK/SK࿰…
机器学习/深度学习/自然语言处理学习路线
原文地址:http://www.cnblogs.com/cyruszhu/p/5496913.html 1 基础 l Andrew NG 的 Machine Learning视频。
连接：主页，资料。 l 2.2008年Andrew Ng CS229 机器学习
当然基本方法没有太大变化，所以课件PDF可下载是优点。
中文字幕视频网…
解密 AI 客服；在不同硬件设备上运行大型语言模型的可能性
🦉 AI新闻
🚀 微软必应首席执行官称必应聊天优于OpenAI的GPT-4，但成本更高
摘要：微软必应的首席执行官米哈伊尔・帕拉欣表示，必应聊天表现优于OpenAI的GPT-4，但使用了更高成本的检索增强推理技术。必应聊…
HuggingFace开源的自然语言处理AI工具平台
HuggingFace是一个开源的自然语言处理AI工具平台，它为NLP的开发者和研究者提供了一个简单、快速、高效、可靠的解决方案，让NLP变得更加简单、快速、高效、可靠。
Hugging Face平台主要包括以下几个部分：
Transformers：一个提供了…
【AI视野·今日NLP 自然语言处理论文速览 第四十五期】Mon, 2 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Mon, 2 Oct 2023 Totally 44 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Efficient Streaming Language Models with Attention Sinks Authors Guangxuan Xiao, Yuandong Tian, Beidi C…
第四章:人工智能深度学习教程-激活函数(第一节-激活函数)
简单来说，人工神经元计算其输入的“加权和”并添加偏差，如下图所示的净输入。 从数学上来说， 现在净输入的值可以是从 -inf 到 inf 之间的任何值。神经元并不真正知道如何绑定到值，因此无法决定激发模式。因此激活函数是人工神经网…
GPT系列论文解读：GPT-2
GPT系列
GPT（Generative Pre-trained Transformer）是一系列基于Transformer架构的预训练语言模型，由OpenAI开发。以下是GPT系列的主要模型： GPT：GPT-1是于2018年发布的第一个版本，它使用了12个Transformer…
NLP：Attention和self-attention的区别
核心思想是根据不同的上下文为不同的信息分配不同的注意力权重
效果：
Attention：它允许模型在解码时聚焦于输入的特定部分，从而更好地捕获上下文信息。Self-attention：它帮助模型捕获输入序列内部的关系，无论这些关系…
NLP - 数据预处理 - 文本按句子进行切分
NLP - 数据预处理 - 文本按句子进行切分 文章目录 NLP - 数据预处理 - 文本按句子进行切分一、前言二、环境配置1、安装nltk库2、下载punkt分句器 三、运行程序四、额外补充 一、前言 在学习对数据训练的预处理的时候遇到了一个问题，就是如何将文本按句子切分&#…
通用语言模型蒸馏-GLMD
文章目录 GLMD一、PPT内容论文背景P1 BackgroundP2 Approach 相关知识P3 知识蒸馏P4 语言建模词预测逻辑 方法P5 两阶段词汇预测蒸馏P6P7 词汇压缩 实验结果P8 results 二、论文泛读2.1 论文要解决什么问题？2.2 论文采用了什么方法？2.4 论文达到什么效果…
QA-LORA: QUANTIZATION-AWARE LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
本文是LLM系列文章，针对《QA-LORA: QUANTIZATION-AWARE LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS》的翻译。 Qa-lora:大型语言模型的量化感知低秩自适应 摘要1 引言2 相关工作3 提出的方法4 实验5 结论 摘要
近年来，大型语言模型(llm)得到了迅速…
【NLTK系列01】：nltk库介绍
一、说明 NLTK是个啥？它是个复杂的应用库，可以实现基本预料库操作，比如，、将文章分词成独立token，等操作。从词统计、标记化、词干提取、词性标记，停用词收集，包括语义索引和依赖关系解析等。
…
【自然语言处理】关系抽取 —— DialogRE
Dialogue-Based Relation Extraction 论文信息 标题：Dialogue-Based Relation Extraction 作者：Dian Yu, Kai Sun, Claire Cardie, Dong Yu 期刊：ACL 2020 发布时间与更新时间：2020.04.17 主题：自然语言处理、关系抽取、对话场景、跨语句、DialogRE arXiv：[2004.08056] D…
LLMs之BELLE：源码解读(sft_train.py文件)源码解读(sft_train.py文件)采用LoRA微调模型—解析命令行参数→参数与日志初始化→初始化模型和标记器→模型优化(LoRA/梯
LLMs之BELLE：源码解读(sft_train.py文件)源码解读(sft_train.py文件)采用LoRA微调模型—解析命令行参数→参数与日志初始化→初始化模型和标记器→模型优化(LoRA/梯度检查点/flash_attention)→加载训练和验证数据集→模型训练 目录
源码解读(sft_train.py文件)采用LoRA微调模…
Meta Semantic Template for Evaluation of Large Language Models
本文是LLM系列文章，针对《Meta Semantic Template for Evaluation of Large Language Models》的翻译。 大型语言模型评估的元语义模板 摘要1 引言2 相关工作3 方法4 实验5 结论 摘要
大型语言模型(llm)是否真正理解语言的语义，或者只是记住训练数据?…
在SIP 语音呼叫中出现单通时要怎么解决？
在VoIP的环境中，特别是基于SIP通信的环境中，我们经常会遇到一些非常常见的问题，例如，单通，注册问题，回声，单通等。这些问题事实上都有非常直接的排查方式和解决办法，用户可以按照一定…
用Python和开源NLP工具库开发一个小型聊天机器人原型
为了创建一个小型聊天机器人原型，我们可以使用Python和开源NLP工具库spaCy。在本示例中，我们将演示如何创建一个简单的问答聊天机器人，它可以回答一些基本问题。
首先，确保您已经安装了Python和spaCy，然后下载spaCy的…
2024 年初的大语言模型编程实践
首先我要明确，这篇文章并不旨在回顾大语言模型。显而易见，2023 年对人工智能来说是不平凡的一年，再去强调这一点似乎没有多大必要。这篇文章更多是作为一位程序员的个人体验分享。自从 ChatGPT 出现，再到使用本地运行的大语言模型…
（详细版）Vary: Scaling up the Vision Vocabulary for Large Vision-Language Models
Haoran Wei1∗, Lingyu Kong2∗, Jinyue Chen2, Liang Zhao1, Zheng Ge1†, Jinrong Yang3, Jianjian Sun1, Chunrui Han1, Xiangyu Zhang1 1MEGVII Technology 2University of Chinese Academy of Sciences 3Huazhong University of Science and Technology arXiv 2023.12.11 …
人工智能“自然语言及语音处理设计开发工程师”证书报名条件及报考流程
为进一步贯彻落实中共中央印发《关于深化人才发展体制机制改革的意见》和国务院印发《关于“十四五”数字经济发展规划》等有关工作的部署求，深入实施人才强国战略和创新驱动发展战略，加强全国数字化人才队伍建设，持续推进人工智能专业人员能…
NLP论文阅读记录 - wos | 01 使用深度学习对资源匮乏的语言进行抽象文本摘要
文章目录 前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献 二.相关工作三.本文方法四 实验效果4.1数据集4.2 对比模型4.3实施细节4.4评估指标4.5 实验结果4.6 细粒度分析 五 总结思考 前言 Abstractive text summarization of lowresourced languages usi…
NLP论文阅读记录 - 2021 | WOS 使用 GA-HC 和 PSO-HC 改进新闻文章的文本摘要
文章目录 前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试 二.相关工作三.本文方法3.1 总结为两阶段学习3.1.1 基础系统 3.2 重构文本摘要 四 实验效果4.1数据集4.2 对比模型4.3实施细节4.4评估指标4.5 实验结果4.6 细粒度分析 五 总结思考 前言 Improved Text Summa…
transfomer中Multi-Head Attention的源码实现
简介
Multi-Head Attention是一种注意力机制,是transfomer的核心机制,就是图中黄色框内的部分.
Multi-Head Attention的原理是通过将模型分为多个头，形成多个子空间，让模型关注不同方面的信息。每个头独立进行注意力运算，得到一个注意力权…
NLP论文阅读记录 - 2022 | WOS 用于摘要法律文本的有效深度学习方法
文章目录 前言0、论文摘要一、Introduction1.1目标问题 二.相关工作三.本文方法四 实验效果4.1数据集4.2 对比模型4.3实施细节4.4评估指标4.5 实验结果4.6 细粒度分析 五 总结 前言 Effective deep learning approaches for summarization of legal texts（22&#x…
【AI视野·今日NLP 自然语言处理论文速览 第七十二期】Mon, 8 Jan 2024
AI视野今日CS.NLP 自然语言处理论文速览 Mon, 8 Jan 2024 Totally 17 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
DeepSeek LLM: Scaling Open-Source Language Models with Longtermism Authors DeepSeek AI Xiao Bi, Deli Ch…
自然语言处理-用于预训练词嵌入的数据集
word2vec模型的技术细节和大致的训练方法，让我们来看看它们的实现。具体地说，用于预训练词嵌入模型的数据集开始：数据的原始格式将被转换为可以在训练期间迭代的小批量。
import math
import os
import random
import torch
from d2l import…
GPT2:Language Models are Unsupervised Multitask Learners
目录
一、背景与动机
二、卖点与创新
三、几个问题
四、具体是如何做的
1、更多、优质的数据，更大的模型
2、大数据量，大模型使得zero-shot成为可能
3、使用prompt做下游任务
五、一些资料 一、背景与动机 基于 Transformer 解码器的 GPT-1 证明…
![[每周一更]-(第82期)：认识自然处理语言（NLP）](https://img-blog.csdnimg.cn/direct/92a86b286d9440acbccd06ccafa7949a.png#pic_center)
[每周一更]-(第82期)：认识自然处理语言（NLP）
GPT的大火，带起了行业内大模型的爆发；国内外都开始拥有或者研发自己的大模型，下边我们从NLP来进一步深入了解大模型、AI。
一、什么是NLP？
自然语言处理（英语：Natural Language Processing，缩…
2024年，谷歌云首席技术官眼中的生成AI三大支柱，来看看有啥新花样
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…
NLP论文阅读记录 - 2023 | EXABSUM：一种新的文本摘要方法，用于生成提取和抽象摘要
文章目录 前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献 二.相关工作三.本文方法四 实验效果4.1数据集4.2 对比模型4.3实施细节4.4评估指标4.5 实验结果4.6 细粒度分析 五 总结思考 前言 EXABSUM: a new text summarization approach for generating ex…
【ACL 2023】 The Art of Prompting Event Detection based on Type Specific Prompts
【ACL 2023】 The Art of Prompting: Event Detection based on Type Specific Prompts 论文：https://aclanthology.org/2023.acl-short.111/
代码：https://github.com/VT-NLP/Event_APEX
Abstract
我们比较了各种形式的提示来表示事件类型࿰…
1、理解Transformer：革新自然语言处理的模型
目录
一、论文题目
二、背景与动机
三、卖点与创新
四、解决的问题
五、具体实现细节
0. Transformer 架构的主要组件
1. 注意力、自注意力（Self-Attention）到多头注意力（Multi-Head Attention）
注意力到底是做什么的&…
用通俗易懂的方式讲解：Stable Diffusion WebUI 从零基础到入门
本文主要介绍 Stable Diffusion WebUI 的实际操作方法，涵盖prompt推导、lora模型、vae模型和controlNet应用等内容，并给出了可操作的文生图、图生图实战示例。适合对Stable Diffusion感兴趣，但又对Stable Diffusion WebUI使用感到困惑的同学。…
neo4j 图数据库 py2neo 操作 示例代码
文章目录 摘要前置NodeMatcher & RelationshipMatcher创建节点查询获取节点节点有则查询，无则创建创建关系查询关系关系有则查询，无则创建 Cypher语句创建节点 摘要
利用py2neo包，实现把excel表里面的数据，插入到neo4j 图数据…
【自然语言处理】【深度学习】文本向量化、one-hot、word embedding编码
因为文本不能够直接被模型计算，所以需要将其转化为向量 把文本转化为向量有两种方式：
转化为one-hot编码转化为word embedding
一、one-hot 编码
在one-hot编码中，每一个token使用一个长度为N的向量表示，N表示词典的数量。 即&…
NLP论文阅读记录 - 2022 | WOS 一种新颖的优化的与语言无关的文本摘要技术
文章目录 前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献 二.前提三.本文方法四 实验效果4.1数据集4.2 对比模型4.3实施细节4.4评估指标4.5 实验结果4.6 细粒度分析 五 总结思考 前言 A Novel Optimized Language-Independent Text Summarization Techni…
【马来西亚站 | SPIE独立出版，ISSN: 0277-786X | 往届均已ei检索】诚邀投稿参会
【马来西亚站 | SPIE独立出版，ISSN: 0277-786X | 往届均已ei检索】
第三届电子信息工程与数据处理国际学术会议（EIEDP 2024）可点击投稿/参会/了解会议详情
重要信息
时间地点：2024年3月15-17日 马来西亚 吉隆坡
征稿主题&…
大语言模型推理提速：TensorRT-LLM 高性能推理实践
作者：顾静
TensorRT-LLM 如何提升 LLM 模型推理效率
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型。底层转换器是一组神经网络，这些神经网络由具有 self-attention 的编码器和解码器组…
AI大模型中的Bert
1.全方位上下文理解：与以前的模型（例如GPT）相比，BERT能够双向理解上下文，即同时考虑一个词 的左边和右边的上下文。这种全方位的上下文理解使得BERT能够更好地理解语言，特别是在理解词义、 消歧等复杂任务上…
python jieba 词性标注 中文词性分类 nlp jieba.posseg
参考：https://blog.csdn.net/yellow_python/article/details/83991967
from jieba.posseg import dt
dt.word_tag_tab[好看]
>>> vflag_en2cn { ‘a’: ‘形容词’, ‘ad’: ‘副形词’, ‘ag’: ‘形语素’, ‘an’: ‘名形词’, ‘b’: ‘区别词’, ‘…
【AI视野·今日NLP 自然语言处理论文速览 第五十四期】Fri, 13 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Fri, 13 Oct 2023 Totally 75 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Tree-Planner: Efficient Close-loop Task Planning with Large Language Models Authors Mengkang Hu, Yao M…
基础课3——自然语言处理的应用
自然语言处理是一种将人类语言转换为机器语言，以实现人机交互的技术。应用非常广泛，例如： 人机交互：自然语言处理技术可以应用于人机交互，让机器能够理解和运用人类语言，从而实现更加智能化的交互体验。 机…
NarrowBERT: Accelerating Masked Language Model Pretraining and Inference
本文是LLM系列文章，针对《NarrowBERT: Accelerating Masked Language Model Pretraining and Inference》的翻译。 NarrowBERT：加速掩蔽语言模型的预训练和推理 摘要1 引言2 NarrowBERT3 实验4 讨论与结论局限性 摘要
大规模语言模型预训练是自然语言处…
OPENCHAT: ADVANCING OPEN-SOURCE LANGUAGE MODELS WITH MIXED-QUALITY DATA
本文是LLM系列文章，针对《OPENCHAT: ADVANCING OPEN-SOURCE LANGUAGE MODELS WITH MIXED-QUALITY DATA》的翻译。 OPENCHAT：利用混合质量数据推进开源语言模型 摘要1 引言2 前言3 OpenChat4 实验5 分析6 相关工作7 结论与未来工作 摘要
如今࿰…
自然语言处理---RNN经典案例之构建人名分类器
1 案例介绍 关于人名分类问题：以一个人名为输入, 使用模型帮助判断它最有可能是来自哪一个国家的人名，这在某些国际化公司的业务中具有重要意义，在用户注册过程中，会根据用户填写的名字直接给他分配可能的国家或地区选项ÿ…
【自然语言处理】NLTK库的概念和作用
文章目录 一、NLTK库介绍二、NLTK库的使用2.1 初级使用2.2 中级使用 参考资料 一、NLTK库介绍
Natural Language Toolkit (NLTK)是一个广泛使用的Python自然语言处理工具库，由Steven Bird、Edward Loper和Ewan Klein于2001年发起开发。NLTK的目的是为自然语言处理&…
Prevalence and prevention of large language model use in crowd work
本文是LLM系列文章，针对《Prevalence and prevention of large language model use in crowd work》的翻译。 众包工作中使用大型语言模型的流行率和预防 摘要1 研究1：LLM使用的普遍率2 研究2：LLM使用的预防3 讨论4 材料与方法 摘要
我们表…
nlp与知识图谱代码解读
词嵌入
简单原理
我们要给一群14岁的孩子讲解词嵌入。可以使用一些比喻和生活中的例子： 老师： 你们还记得玩乐高积木的时候，每个积木块代表了一个特定的事物或形状吗？现在，想象一下，每个词都像是一个乐高…
进阶课5——人工智能数据分类
数据类型是指数据在计算机中的存储方式，根据数据的不同特征和表示方式，可以将数据分为不同的类型。在IT领域中，随着数字化信息技术的应用不断扩大，数据的种类和格式也越来越多。
从人机交互数据类型的视角来看，人工智…
利用检索和存储访问知识库上增强大型语言模型10.30
利用检索和存储访问知识库上增强大型语言模型 摘要引言2 相关研究3方法3.1 任务定义3.2 知识检索3.2.1 代码实现3.2.2 实体链接3.2.3 获取实体信息3.2.4 查找实体或值3.2.5 查找关系 3.3 知识存储 4 实验 摘要
大型语言模型（LLM）在自然语言处理领域展现…
1 — NLP 的文本预处理技术
一、说明 在本文中，我们将讨论以下主题：1为什么文本预处理很重要？2 文本预处理技术。这个文对预处理做一个完整化、程序化处理，这对NLP处理项目中有很大参考性。 二、为什么文本预处理很重要？ 数据质量显着影响机器学习…
阿里AnyText：多语种图像文字嵌入的突破
模型简介
随着Midjourney、Stable Difusion等产品的兴起，文生图像技术迅速发展。然而，在图像中生成或嵌入精准文本一直是一个挑战，尤其是对中文的支持。阿里巴巴的研究人员开发了AnyText，这是一个多语言视觉文字生成与编辑模型&a…
【文本到上下文 #5】：RNN、LSTM 和 GRU
一、说明 欢迎来到“完整的 NLP 指南：文本到上下文 #5”，这是我们对自然语言处理 （NLP） 和深度学习的持续探索。从NLP的基础知识到机器学习应用程序，我们现在深入研究了神经网络的复杂世界及其处理语言的深刻能力。 在…
【文本到上下文 #6】高级词嵌入：Word2Vec、GloVe 和 FastText
一、说明 欢迎来到“完整的 NLP 指南。到目前为止，我们已经探索了自然语言处理的基础知识、应用程序和挑战。我们深入研究了标记化、文本清理、停用词、词干提取、词形还原、词性标记和命名实体识别。我们的探索包括文本表示技术，如词袋、TF-IDF 以及词嵌…
自然语言处理实战项目25-T5模型和BERT模型的应用场景以及对比研究、问题解答
大家好，我是微学AI，今天给大家介绍一下自然语言处理实战项目25-T5模型和BERT模型的应用场景以及对比研究、问题解答。T5模型和BERT模型是两种常用的自然语言处理模型。T5是一种序列到序列模型，可以处理各种NLP任务，而BERT主要用于预训练语言表示。T5使用了类似于BERT的预训…
大模型+AI，Smartbi对话式分析再创新高度
早在2022年发布的Smartbi V10.5版本中，Smartbi就引领智能潮流，实现了AI和BI的结合，通过对话式分析实现即问即答，帮助用户智能洞察数据。 而在2023年，随着ChatGPT的火爆，大模型以迅雷不及掩耳之势进入各界的…
自然语言处理-文本对分类或回归
我们研究了自然语言推断。它属于文本对分类，这是一种对文本进行分类的应用类型。
以一对文本作为输入但输出连续值，语义文本相似度是一个流行的“文本对回归”任务。 这项任务评估句子的语义相似度。例如，在语义文本相似度基准数据集&#x…
NLP自然语言处理实战
一、自然语言处理的概念
1.1 自然语言处理的起源
语言是人类社会发展过程的产物，是最能体现人类智慧和文明的证明，也是人类与动物最大的区别。它是一种人与人交流的载体，像计算机网络一样，我们使用语言相互传递知识。在人类历史…
思腾合力邀您共赴第四届长三角国际文化产业博览会
由上海、江苏、浙江、安徽一市三省党委宣传部共同主办的「第四届长三角国际文化产业博览会」，将于2023年11月16日-19日在国家会展中心（上海）全新亮相。思腾合力作为行业领先的人工智能基础架构解决方案商，受邀参加本次盛会。思腾合…
IDCNN（迭代扩张卷积神经网络）在NLP-NER任务中的应用
IDCNN（迭代扩张卷积神经网络）在NLP-NER任务中的应用
IDCNN（Iterated Dilated Convolutional Neural Network）是一种特别设计的卷积神经网络（CNN），用于处理自然语言处理（NLP…
NLP深入学习（八）：感知机学习
文章目录 0. 引言1. 感知机1.1 基本概念与结构1.2 学习策略 2. 感知机学习算法2.1 原始形式2.2 对偶形式 3. 参考 0. 引言
前情提要： 《NLP深入学习（一）：jieba 工具包介绍》 《NLP深入学习（二）：…
LLM：Training Compute-Optimal Large Language Models
论文：https://arxiv.org/pdf/2203.15556.pdf
发表：2022 前文回顾：
OpenAI在2020年提出《Scaling Laws for Neural Language Models》：Scaling Laws(缩放法则）也一直影响了后续大模型的训练。其给出的结论是最佳计算效…
《自然语言及语音处理设计开发工程师》证书怎么考？报考条件怎样？含金量如何?
为进一步贯彻落实中共中央印发《关于深化人才发展体制机制改革的意见》和国务院印发《关于“十四五”数字经济发展规划》等有关工作的部署要求，深入实施人才强国战略和创新驱动发展战略，加强全国数字化人才队伍建设，持续推进人工智能专业人员…
暴雨信息：专业咨询助力企业级 AI 应用迎来 “黄金时代”
随着生成式 AI 技术的到来，企业对 AI 的应用开启了一个新的篇章，也将迎来新的“黄金时代”。尽管“让 AI 成为核心生产力”已成为企业日益迫切的需求，但实际的落地应用却非一日之功。面对各不相同的应用场景和复杂需求，企业管理者…
一篇综述洞悉医学大型语言模型的原理，应用和挑战
在过去的一年中，随着 GPT-4、LLaMA、Mistral，PaLM 等先进技术的突飞猛进，大型语言模型（Large Language Models）已经引领全球人工智能进入了一个全新的基础模型时代，这一时代不仅开启了技术创新的新篇章&…
使用 Neo4j 和 LangChain 集成非结构化知识图增强 QA
目前基于大模型的信息检索有两种方法，一种是基于微调的方法，一种是基于 RAG 的方法。
信息检索和知识提取是一个不断发展的领域，随着大型语言模型（LLM）和知识图的出现，这一领域发生了显着的变化࿰…
创建大模型的新方法 - 配比两个模型
原文：创建大模型的新方法 - 配比两个模型 - 知乎
现在，创建大模型的新方法还可以使用配比两个模型- 正如炼金术巫师那样。 工具1 medusa：https://github.com/FasterDecoding/Medusa
Medusa 为 LLM 添加了额外的“头”，以同时预测…
大语言模型系列-word2vec
文章目录 前言一、word2vec的网络结构和流程1.Skip-Gram模型2.CBOW模型 二、word2vec的训练机制1. Hierarchical softmax2. Negative Sampling 总结 前言
在前文大语言模型系列-总述已经提到传统NLP的一般流程：
创建语料库 > 数据预处理 > 分词向量化 > …
自然语言处理的崛起：从人工智能的黎明到现代技术的融合
一、发展历程
自然语言处理的发展经历了多个阶段，大致可以分为以下四个阶段：
萌芽期（1956年以前）：这一时期可以看作自然语言处理的基础研究阶段。一方面，人类文明经过几千年的发展，积累了大量…
【论文阅读】GPT4Graph: Can Large Language Models Understand Graph Structured Data?
文章目录 0、基本介绍1、研究动机2、准备2.1、图挖掘任务2.2、图描述语言（GDL） 3、使用LLM进行图理解流程3.1、手动提示3.2、自提示 4、图理解基准4.1、结构理解任务4.1、语义理解任务 5、数据搜集5.1、结构理解任务5.2、语义理解任务 6、实验6.1、实验设…
国产AI新篇章：书生·浦语2.0带来200K超长上下文解决方案
总览：大模型技术的快速演进
自2023年7月6日“书生浦语”（InternLM）在世界人工智能大会上正式开源以来，其在社区和业界的影响力日益扩大。在过去半年中，大模型技术体系经历了快速的演进，特别是100K级别的长…
NLP论文阅读记录 - 2022 | WOS 04.基于 XAI 的强化学习方法，用于社交物联网内容的文本摘要
文章目录 前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献 二.相关工作三.本文方法3.1 总结为两阶段学习3.1.1 基础系统 3.2 重构文本摘要 四 实验效果4.1数据集4.2 对比模型4.3实施细节4.4评估指标4.5 实验结果4.6 细粒度分析 五 总结思考 前言 XAI-Base…
微软使其AI驱动的阅读导师免费
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…
了解维特比算法：通信系统和自然语言处理中解码的基石
一、介绍 在数字通信和信号处理领域，维特比算法是一种革命性的纠错和解码方法。该算法以 1967 年推出的 Andrew Viterbi 的名字命名，已成为数字通信和自然语言处理领域的基础。本文旨在深入研究维特比算法的复杂性，探讨其理论基础、实际应用以…
Python NLP:自然语言入门（Python和Java）
自然语言处理（Natural Language Processing，NLP）是一种涉及将计算机与人类语言进行交互的技术。它涉及将自然语言文本转换为计算机可以理解和处理的形式，以实现各种任务，如文本分类、情感分析、机器翻译等。
Python和…
UNVEILING A CORE LINGUISTIC REGION IN LARGE LANGUAGE MODELS
本文是LLM系列文章，针对《UNVEILING A CORE LINGUISTIC REGION IN LARGE LANGUAGE MODELS》的翻译。 揭示大型语言模型中的核心语言区域 摘要1 引言2 前言和背景3 核心语言能力区4 讨论和未来工作5 结论 摘要
大脑定位描述了大脑特定区域与其相应功能之间的联系&a…
An Empirical Study of Instruction-tuning Large Language Models in Chinese
本文是LLM系列文章，针对《An Empirical Study of Instruction-tuning Large Language Models in Chinese》的翻译。 汉语大语言模型指令调整的实证研究 摘要1 引言2 指令调整三元组3 其他重要因素4 迈向更好的中文LLM5 结论局限性 摘要
ChatGPT的成功验证了大型语…
ceval 数据集明文位置编码嵌入
明文位置编码嵌入 数据集地址嵌入代码解释说明数据集地址
ceval 数据集
嵌入代码
import pandas as pd
from glob import glob
from tqdm import tqdm# 训练集数据处理
voc = set()
one_data_list = []
Factuality Challenges in the Era of Large Language Models
本文是LLM系列文章，针对《Factuality Challenges in the Era of Large Language Models》的翻译。 TOC
摘要
基于大型语言模型（LLM）的工具的出现，如OpenAI的ChatGPT、微软的Bing聊天和谷歌的Bard，引起了公众的极大关…
智安网络|探索人机交互的未来：自然语言处理的前沿技术
自然语言处理是人工智能领域中研究人类语言和计算机之间交互的一门学科。它涉及了语言的理解、生成、翻译、分类和摘要等多个方面。随着人们对自然语言处理的重视和需求不断增长，成为了热门的研究方向。
首先，我们需要了解自然语言处理的基本概念。自然…
Challenges and Applications of Large Language Models
本文是LLM系列文章，针对《Challenges and Applications of Large Language Models》的翻译。 大语言模型的挑战与应用 摘要1 引言2 挑战3 应用3.1 聊天机器人3.2 计算生物学3.3 计算机程序3.4 创造性工作3.5 知识工作3.6 法律3.7 医学3.8 推理3.9 机器人和嵌入式代…
自然语言处理（一）：RNN
「循环神经网络」（Recurrent Neural Network，RNN）是一个非常经典的面向序列的模型，可以对自然语言句子或是其他时序信号进行建模。进一步讲，它只有一个物理RNN单元，但是这个RNN单元可以按照时间步骤进行展开…
NLP（5）--自编码器
目录
一、自编码器
1、自编码器概述
2、降噪自编码器
二、特征分离
三、自编码器的其他应用
1、文本生成
2、图像压缩
3、异常检测
四、VAE
1、极大似然估计
2、GSM
3、GMM
4、VAE的引出
5、VAE 一、自编码器
1、自编码器概述 自编码器（Auto-Encode…
ChatGLM GPT原理介绍
图解GPT 除了BERT以外，另一个预训练模型GPT也给NLP领域带来了不少轰动，本节也对GPT做一个详细的讲解。 OpenAI提出的GPT-2模型(https://openai.com/blog/better-language-models/) 能够写出连贯并且高质量的文章，比之前语言模型效果好很多。GPT-2是基于Transformer搭建的，相…
【自然语言处理】关系抽取 —— CoIn 讲解
CoIn 论文信息 标题：Consistent Inference for Dialogue Relation Extraction 作者：Xinwei Long, Shuzi Niu, Yucheng Li 期刊：IJCAI 2021 主题：自然语言处理、关系抽取、对话场景、跨语句、DialogRE、GCN、Mask、Attention、Gate 代码：xinwei96/CoIn_dialogRE: Source co…
Python手写自然语言处理（NLP）
Python手写自然语言处理（NLP）
1. 算法思维导图
以下是使用Mermanid代码表示的算法实现原理的思维导图： #mermaid-svg-DNPGKexg459qtryn {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#merma…
EasyEdit: An Easy-to-use Knowledge Editing Framework for Large Language Models
本文是LLM系列文章，针对《EasyEdit: An Easy-to-use Knowledge Editing Framework for Large Language Models》的翻译。 EasyEdit：一个易于使用的大型语言模型知识编辑框架 摘要1 引言2 背景3 设计和实现4 评估5 实验6 结论和未来工作 摘要
大型语言模…
世界互联网大会领先科技奖发布 百度知识增强大语言模型关键技术获奖
11月8日，2023年世界互联网大会乌镇峰会正式开幕，今年是乌镇峰会举办的第十年，本次峰会的主题为“建设包容、普惠、有韧性的数字世界——携手构建网络空间命运共同体”。 目录 百度知识增强大语言模型关键技术荣获“世界互联网大会领先科技奖”…
工商网银转账截图生成器，支持农业建设邮政浦发，易语言回执单制作，代码版
用易语言的画板标签透明编辑框给大家制作了一个网银转账回执单生成器，核心就是这几个控件，模版图是我从百度上搜出来的，然后用PS把没用的给消掉了，然后结合代码就实现成了这么一个功能，通过单选框你可以选择固定的模版…
【AI视野·今日NLP 自然语言处理论文速览 第四十一期】Tue, 26 Sep 2023
AI视野今日CS.NLP 自然语言处理论文速览 Tue, 26 Sep 2023 Totally 75 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Physics of Language Models: Part 3.1, Knowledge Storage and Extraction Authors Zeyuan Allen Zhu, Yuanz…
【数据挖掘】使用 Python 分析公共数据【01/10】
一、说明 本文讨论了如何使用 Python 使用 Pandas 库分析官方 COVID-19 病例数据。您将看到如何从实际数据集中收集见解，发现乍一看可能不那么明显的信息。特别是，本文中提供的示例说明了如何获取有关疾病在不同国家/地区传播速度的信息。
二、准备您的…
ChatGPT Prompting开发实战（十二）
一、如何开发prompts实现个性化的对话方式
通过设置“system”和“user”等roles，可以实现个性化的对话方式，并且可以结合参数“temperature”的设定来差异化LLM的输出内容。在此基础上，通过构建一个餐馆订餐对话机器人来具体演示对话过程。…
【nlp】2.1 认识RNN模型
认识RNN模型 1 什么是RNN模型2 RNN模型的作用3 RNN模型的分类:1 什么是RNN模型
RNN(Recurrent Neural Network),，中文称作循环神经网络，它一般以序列数据为输入， 通过网络内部的结构设计有效捕捉序列之间的关系特征，一般也是以序列形式进行输出。
一般单层神经网络结构：…
机器学习笔记 - 隐马尔可夫模型的简述
隐马尔可夫模型是一个并不复杂的数学模型，到目前为止，它一直被认为是解决大多数自然语言处理问题最为快速、有效的方法。它成功地解决了复杂的语音识别、机器翻译等问题。看完这些复杂的问题是如何通过简单的模型得到描述和解决，我们会由衷地感叹数学模型之妙。 人类信息交流…
自然语言处理：Transformer与GPT
Transformer和GPT（Generative Pre-trained Transformer）是深度学习和自然语言处理（NLP）领域的两个重要概念，它们之间存在密切的关系但也有明显的不同。
1 基本概念
1.1 Transformer基本概念
Transformer是一种深度学…
【AI视野·今日NLP 自然语言处理论文速览 第六十六期】Tue, 31 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Tue, 31 Oct 2023 (showing first 100 of 141 entries) Totally 100 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
The Eval4NLP 2023 Shared Task on Prompting Large Language Models a…
基于深度学习的文本分类
通过构建更复杂的深度学习模型可以提高分类的准确性，即分别基于TextCNN、TextRNN和TextRCNN三种算法实现中文文本分类。 项目地址：zz-zik/NLP-Application-and-Practice: 本项目将《自然语言处理与应用实战》原书中代码进行了实现，并在此基础…
通义千问 Qwen-7B-Chat-Int4 模型本地化部署
如需在本地或离线环境下运行本项目，需要首先将项目所需的模型下载至本地，通常开源 LLM 与 Embedding 模型可以从 HuggingFace 下载。
以本项目中默认使用的 LLM 模型 THUDM/ChatGLM2-6B 与 Embedding 模型 moka-ai/m3e-base 为例：
下载模型…
【nlp】4.5 迁移学习实践项目（相关概念、中文分类、填空、句子关系、模型微调）
迁移学习实践项目 1 迁移学习1.1 定义与基本思想1.2 迁移学习的基本概念1.3 迁移学习的类型1.4 迁移学习的应用1.5 迁移学习的优势1.6 迁移学习的缺点1.7 迁移学习有关概念1.7.1 预训练模型(Pretrained model)1.7.2 微调(Fine-tuning)1.7.3 两种迁移方式2 迁移学习项目实战说明…
让 OpenAI GPT4 出 10 道题测试其他开源大语言模型
让 OpenAI GPT4 出 10 道题测试其他开源大语言模型 1. 中文题目及答案2. 日文题目及答案3. 英文题目及答案 1. 中文题目及答案 数学题：一个矩形的长是10厘米，宽是5厘米，求它的面积。 答案：面积 长 x 宽 10厘米 x 5厘米 50平方厘…
玄学调参实践篇 | 深度学习模型 + 预训练模型 + 大模型LLM
😍 这篇主要简单记录一些调参实践，无聊时会不定期更新~ 文章目录 0、学习率与batch_size判断1、Epoch数判断2、判断模型架构是否有问题3、大模型 - 计算量、模型、和数据大小的关系4、大模型调参相关论文经验总结5、训练时模型的保存 0、学习率与batch_s…
在很多nlp数据集上超越tinybert 的新架构nlp神经网络模型
在很多nlp数据集上超越tinybert 的新架构nlp神经网络模型 网络结构图测试代码网络结构图 测试代码
import paddle
import numpy as np
import pandas as pd
from tqdm import tqdmclass FeedFroward(paddle.nn.Layer):
用通俗的方法讲解：大模型微调训练详细说明（附理论+实践代码）
本文内容如下 介绍了大模型训练的微调方法，包括prompt tuning、prefix tuning、LoRA、p-tuning和AdaLoRA等。 介绍了使用deepspeed和LoRA进行大模型训练的相关代码。 给出了petals的介绍，它可以将模型划分为多个块，每个用户的机器负责其中一…
Attention Is All You Need原理与代码详细解读
文章目录 前言一、Transformer结构的原理1、Transform结构2、位置编码公式3、transformer公式4、FFN结构 二、Encode模块代码解读1、编码数据2、文本Embedding编码3、位置position编码4、Attention编码5、FFN编码 三、Decode模块代码解读1、编码数据2、文本Embedding与位置编码…
LLM-Intro to Large Language Models
LLM
some LLM’s model and weight are not opened to user
what is?
Llama 270b model 2 files parameters file parameter or weight of neural networkparameter – 2bytes, float number code run parameters(inference) c or python, etcfor c, 500 lines code withou…
详细介绍如何使用 SSD 进行实时物体检测：单次 MultiBox 探测器-含源码
介绍
在实时对象检测中，主流范例传统上采用多步骤方法，包括边界框、像素或特征重采样以及高质量分类器应用的提议。虽然这种方法已经实现了高精度，但其计算需求往往阻碍了其对实时应用的适用性。然而，单次多框检测器 (SSD) 代表了基于深度学习的对象检测的突破性飞跃。SSD…
ELasticsearch：什么是语义搜索？
语义搜索定义
语义搜索是一种解释单词和短语含义的搜索引擎技术。 语义搜索的结果将返回与查询含义匹配的内容，而不是与查询中的单词字面匹配的内容。
语义搜索是一组搜索引擎功能，其中包括根据搜索者的意图及其搜索上下文理解单词。
此类搜索旨在通过…
初识人工智能领域学习，一文读懂人工智能概论。
🏆作者简介，普修罗双战士，一直追求不断学习和成长，在技术的道路上持续探索和实践。 🏆多年互联网行业从业经验，历任核心研发工程师，项目技术负责人。 🎉欢迎 👍点赞✍评论…
bert其他内容个人记录
Pre-training a seq2seq model
BERT只是一个预训练Encoder，有没有办法预训练Seq2Seq模型的Decoder？
在一个transformer的模型中，将输入的序列损坏，然后Decoder输出句子被破坏前的结果，训练这个模型实际上是预训练一个…
【AI视野·今日NLP 自然语言处理论文速览 第五十九期】Fri, 20 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Fri, 20 Oct 2023 Totally 74 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
AutoMix: Automatically Mixing Language Models Authors Aman Madaan, Pranjal Aggarwal, Ankit Anand, Sriv…
基础课9——机器学习
1.概念
机器学习是一种数据分析技术，它使计算机能够像人类一样从经验中学习。机器学习算法使用计算方法直接从数据中获取信息，而不依赖于预定方程模型。当可用于学习的样本数量增加时，这些算法可以自适应提高性能。
机器学习是人工智能的一…
李宏毅gpt个人记录
参考：
李宏毅机器学习--self-supervised：BERT、GPT、Auto-encoder-CSDN博客 用无标注资料的任务训练完模型以后，它本身没有什么用，GPT 1只能够把一句话补完，可以把 Self-Supervised Learning 的 Model做微微的调整&am…
Elasticsearch：什么是大语言模型（LLM）？
大语言模型定义
大语言模型 (LLM) 是一种深度学习算法，可以执行各种自然语言处理 (natural language processing - NLP) 任务。 大型语言模型使用 Transformer 模型，并使用大量数据集进行训练 —— 因此规模很大。 这使他们能够识别、翻译、预测或生成文…
自然语言处理第2天：自然语言处理词语编码
☁️主页 Nowl 🔥专栏 《自然语言处理》 📑君子坐而论道，少年起而行之 文章目录 一、自然语言处理介绍二、常见的词编码方式1.one-hot介绍缺点 2.词嵌入介绍说明 三、代码演示四、结语 一、自然语言处理介绍 自然语言处理…
[nlp] 大模型gpu机器推理测速踩坑 (llama/gpt类)
cpu没报错，换gpu就报错。
坑1：要指定gpu，可以在import torch之前指定gpu。
model = LlamaForCausalLM.from_pretrained(model_path, trust_remote_code=True).to(device)
报错: RuntimeError(Expected all tensors to be on the same device, but found at least two dev…
冲鸭~~！10分钟部署清华ChatGLM2-6B，效果测试：不愧是中文榜单第一
来源: AINLPer公众号（每日干货分享！！） 编辑: ShuYini 校稿: ShuYini 时间: 2023-9-25 引言 今年6月份清华大学发布了ChatGLM2，相比前一版本推理速度提升42%。最近，终于有时间部署测试看看了，部署…
大语言模型占显存的计算和优化
可以优化的地方：
per_device_train_batch_size（相当于batch size，越小显存占的越小）
gradient_accumulation_steps（per_device_train_batch_size*gradient_accumulation_steps计算梯度的数据数）
gradien…
ChatGLM3-6B：新一代开源双语对话语言模型，流畅对话与低部署门槛再升级
项目设计集合（人工智能方向）：助力新人快速实战掌握技能、自主完成项目设计升级，提升自身的硬实力（不仅限NLP、知识图谱、计算机视觉等领域）：汇总有意义的项目设计集合，助力新人快速实…
Talk | UCSB博士生赵宣栋：生成式AI时代的水印技术
本期为TechBeat人工智能社区第546期线上Talk！ 北京时间11月15日(周三)20:00，UC Santa Barbara博士生—赵宣栋的Talk已准时在TechBeat人工智能社区开播！ 他与大家分享的主题是: “生成式AI时代的水印技术”，系统地介绍了他的团队在…
垂直领域对话系统架构
垂直领域对话系统是指针对特定领域或行业的需求而构建的对话系统。这种系统通常需要具备高度的专业知识和对特定领域的知识库进行深入的学习和训练，以便能够提供准确、高效、实用的服务。
垂直领域对话系统的构建通常包括以下步骤：
确定目标领域或行业…
Prompt提示工程上手指南:基础原理及实践(一)
想象一下，你在装饰房间。你可以选择一套标准的家具，这是快捷且方便的方式，但可能无法完全符合你的个人风格或需求。另一方面，你也可以选择定制家具，选择特定的颜色、材料和设计，以确保每件家具都符合你的喜…
【AI视野·今日NLP 自然语言处理论文速览 第六十七期】Mon, 1 Jan 2024
AI视野今日CS.NLP 自然语言处理论文速览 Mon, 1 Jan 2024 Totally 42 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Principled Gradient-based Markov Chain Monte Carlo for Text Generation Authors Li Du, Afra Amini, Lucas…
【python爬虫开发实战 情感分析】利用爬虫爬取城市评论并对其进行情感分析
🚀个人主页：为梦而生~ 关注我一起学习吧！ 💡专栏： python网络爬虫从基础到实战 带你学习爬虫从基础到实战 深度学习带你感受AI的魅力 💡往期推荐： ⭐️前面比较重要的基础内容： 【Py…
【自然语言处理】Transformer-XL 讲解
Transformer-XL
首先需要明确，Transformer-XL（XL 是 extra long 的简写）只是一个堆叠了自注意力层的 BPTT 语言模型，并不是 Transformer 原始论文中提到的编码器-解码器架构，也不是原始 Transformer 中的编码器部分或者解码器部分，根据其大致实现可以将其理解为丢弃 cro…
【NLP】2024年改变人工智能的前六大NLP语言模型
在快速发展的人工智能领域，自然语言处理已成为研究人员和开发人员关注的焦点。作为这一领域显著进步的证明，近年来出现了几种开创性的语言模型，突破了机器能够理解和生成的界限。在本文中，我们将深入研究大规模语言模型的最新进展…
BART论文解读：BERT和GPT结合起来会发生什么？
BART:Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension
主要工作 提出了BART (Bidirectional and Auto-Regressive Transformers)， 是一种用于自然语言生成、翻译和理解的序列到序列的预训练方法。它…
03.用于LLMs不同的任务-transformer 架构
大多数现代LLMs都依赖于 transformer 架构，这是 2017 年论文 Attention Is All You Need 中介绍的深度神经网络架构。要理解LLMs，我们必须简要回顾一下最初的转换器，它最初是为机器翻译而开发的，将英语文本翻译成德语和法语。变压器架构的简化版本如图 1.4 所示。
图 1.4 …
快速了解ChatGPT（大语言模型）
目录
GPT原理：文字接龙，输入一个字，后面会接最有可能出现的文字。
GPT4
学会提问：发挥语言模型的最大能力 参考李宏毅老师的课快速了解大语言模型做的笔记：
Lee老师幽默的开场： GPT：chat Ge…
centos 显卡驱动安装(chatglm2大模型安装步骤一)
1.服务器配置
服务器系统：Centos7.9 x64 显卡：RTX3090 （24G）
2.安装环境
2.1 检查显卡驱动是否安装
输入命令：nvidia-smi（显示显卡信息） 如果有以下显示说明，已经有显卡驱动。否则需要重装。
2.2 下载显卡驱动
第一步：浏览器输入https://www.nvidia.cn/Downloa…
01.大型语言模型背后的基本概念的高级解释 （LLMs）
像 ChatGPT 这样的大型语言模型 （LLMs） 是过去几年开发的深度神经网络模型。他们开创了自然语言处理（NLP）的新时代。在大型语言模型出现之前，传统方法擅长分类任务，例如垃圾邮件分类和简单的模式识别，这些任务可以通过手工制定的规则或更简单的模型来捕获。然而，它们通…
工智能基础知识总结--词嵌入之Word2Vec
词嵌入要解决什么问题 在自然语言系统中，词被看作最为基本的单元，如何将词进行向量化表示是一个很基本的问题，词嵌入（word embedding）就是把词映射为低维实数域向量的技术。 下面先介绍几种词的离散表示技术，然后总结其缺点，最后介绍词的分布式表示及其代表技术（word2v…
国内外十大语言模型横向对比测评（截至2023.12.8）
主要参考资料： B站Up主贯一智能科技《国内外十大语言模型之横向对比测评》 现在有非常多的开源测试数据集，比如MMLU、AGIEval、CEval 但是根据Up主描述比较费时成本高，其次这类标准化评测更多考察模型在各个学科和领域的综合表现，…
多语言生成式语言模型用于零样本跨语言事件论证提取（ACL2023）
1、写作动机：
经过预训练的生成式语言模型更好地捕捉实体之间的结构和依赖关系，因为模板提供了额外的声明性信息。先前工作中模板的设计是依赖于语言的，这使得很难将其扩展到零样本跨语言转移设置。
2、主要贡献：
作者提出了一…
谷歌最新医学领域LLM大模型：AMIE
2024年1月11日Google 研究院发布最新医疗大模型AMIE：用于诊断医学推理和对话的研究人工智能系统。 文章链接：Articulate Medical Intelligence Explorer (AMIE) giuthub：目前代码未开源
关于大模型之前有过一篇总结：大语言模型(L…
ChatGPT新出Team号 年付费
之前一直传的团队版ChatGPT终于来了，这个对拼单的比较合算。每人每月25美元，只能按年支付。
团队版比普通版多的权益有：
◈更多的GPT-4消息上限，三小时100次。 ◈可以创建与团队内部共享的GPTs。 ◈用于工作空间管理的管理员控…
预训练语言模型与其演进
目录 前言1 语言模型2 预训练语言模型3 预训练语言模型的演进3.1 word2vec：开创预训练时代3.2 Pre-trained RNN3.3 GPT：解决上下文依赖3.4 BERT：双向预训练的革新 4 GPT与BERT的对比5 其他模型：Robust BERT和ELECTRA5.1 Robust BE…
Text2SQL学习整理（三）SQLNet与TypeSQL模型
导语
上篇博客：Text2SQL学习整理（二）：WikiSQL数据集介绍简要介绍了WikiSQL数据集的一些统计特性和数据集特点，同时简要概括了该数据集上一个baseline：seq2sql模型。本文将介绍seq2SQL模型后一个比较知名的…
NLP论文阅读记录 - | 使用GPT对大型文档集合进行抽象总结
文章目录 前言0、论文摘要一、Introduction二.相关工作2.1Summarization2.2 神经网络抽象概括2.2.1训练和测试数据集。2.2.2 评估。 2.3 最先进的抽象摘要器 三.本文方法3.1 查询支持3.2 文档聚类3.3主题句提取3.4 语义分块3.5 GPT 零样本总结 四 实验效果4.1数据集4.2 对比模型…
NLP论文阅读记录 - ACL 2022 | 抽象文本摘要的拒绝学习
文章目录 前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献 二.相关工作三.本文方法3.1拒绝中学习3.1.1 问题表述3.1.2 拒绝损失 3.2拒绝解码 四 实验效果4.1数据集4.2 对比模型4.3实施细节4.4评估指标4.5 实验结果4.5.1真实性评估自动评估结果人工评价 五…
什么是大语言模型的Token
我们来用一个简单的比喻来解释什么是大语言模型的Token。
你可以把Token想象成是一种“语言的货币”。当我们说话或者写作时，会用到很多不同的词、标点和其他符号来组成我们的语句。在大语言模型中，这些词、标点和符号都需要被转换成一种标准化的格式&a…
自然语言处理23-NLP中关键步骤：句子嵌入的原理与应用，并通过多种形式实现
大家好，我是微学AI，今天给大家介绍一下自然语言处理23-NLP中关键步骤：句子嵌入的原理与应用，并通过多种形式实现。句子嵌入是将句子映射到一个固定维度的向量表示形式，它在NLP中有着广泛的应用，也是词语输入到模型的构建一步。通过将句子转化为向量表示，可以使得计算机能…
通过自然语言处理增强推荐系统：协同方法
一、介绍 自然语言处理 (NLP) 是人工智能的一个分支，专注于使机器能够以有意义且有用的方式理解、解释和响应人类语言。它包含一系列技术，包括情感分析、语言翻译和聊天机器人。 另一方面，推荐系统（RecSys）是旨在向用户…
OpenChat-3.5：70亿参数下的AI突破
引言
在对话AI的发展史上，OpenChat-3.5标志着一个新纪元的到来。拥有70亿参数的这一模型，不仅是对现有语言学习模型（LLMs）的重大改进，更是在多模态任务中树立了新的标准。
模型概述
OpenChat-3.5作为一款先进的多模…
计算机视觉与自然语言处理（Open AI）
1.语音识别技术
语音识别是将语音转换为文本的技术， 是自然语言处理的一个分支。通过特征的提取、模式的匹配将语音信号变为文本或命令，以实现机器识别和理解语音。 按照应用场景的不同，可以大致分为三类； • 电信级系统应用&…
Talk | 北京大学博士生汪海洋：通向3D感知大模型的前置方案
本期为TechBeat人工智能社区第559期线上Talk。 北京时间12月28日(周四)20:00，北京大学博士生—汪海洋的Talk已准时在TechBeat人工智能社区开播！ 他与大家分享的主题是: “通向3D感知大模型的前置方案”，介绍了他的团队在3D视觉大模型的前置方…
自然语言处理2——轻松入门情感分析 - Python实战指南
目录 写在开头1.了解情感分析的概念及其在实际应用中的重要性1.1 情感分析的核心概念1.1.1 情感极性1.1.2 词汇和上下文1.1.3 情感强度1.2 实际应用中的重要性 2. 使用情感分析库进行简单的情感分析2.1 TextBlob库的基本使用和优势2.1.1 安装TextBlob库2.1.2 文本情感分析示例2…
【BERT】深入理解BERT模型1——模型整体架构介绍
前言
BERT出自论文：《BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding》 2019年
近年来，在自然语言处理领域，BERT模型受到了极为广泛的关注，很多模型中都用到了BERT-base或者是BE…
NLP项目之语种识别
目录 1. 代码及解读2. 知识点n-grams仅保留最常见的1000个n-grams。意思是n1000 ? 1. 代码及解读
in_f open(data.csv)
lines in_f.readlines()
in_f.close()
dataset [(line.strip()[:-3], line.strip()[-2:]) for line in lines]
print(dataset[:5])[(1 december wereld…
李宏毅 自然语言处理（Voice Conversion） 笔记
前一章笔记：李宏毅 自然语言处理（Speech Recognition） 笔记
引入
什么是voice conversion？ 输入一段声音，输出另一段声音，我们希望这两端声音：内容一样，其他方面不一样（…
自然语言处理24-T5模型的介绍与训练过程，利用简单构造数据训练微调该模型，体验整个过程
大家好，我是微学AI，今天给大家介绍一下自然语言处理24-T5模型的介绍与训练过程，利用简单构造数据训练微调该模型，体验整个过程。在大模型ChatGPT发布之前，NLP领域是BERT,T5模型为主导，T5（Text-to-Text Transfer Transformer）是一种由Google Brain团队在2019年提出的自然…
机器学习-基于Word2vec搜狐新闻文本分类实验
机器学习-基于Word2vec搜狐新闻文本分类实验
实验介绍
Word2vec是一群用来产生词向量的相关模型，由Google公司在2013年开放。Word2vec可以根据给定的语料库，通过优化后的训练模型快速有效地将一个词语表达成向量形式，为自然语言处理领域的应…
大语言模型LLM微调技术：P-Tuning
1 引言
Bert时代，我们常做预训练模型微调（Fine-tuning），即根据不同下游任务，引入各种辅助任务loss和垂直领域数据，将其添加到预训练模型中，以便让模型更加适配下游任务的方式。每个下游任务都存…
【NeRF数据集】LLFF格式数据集处理colmap结果记录
【NeRF数据集】LLFF格式数据集处理colmap结果记录 1. 基于colmap的配置与运行，获取图像及其对应的相机位姿；2. 使用 LLFF格式数据集制作，将匹配的位姿转化为LLFF格式；3. 上传所需文件和设置配置文件，将所需文件上传至N…
NLP基础——中文分词
简介
分词是自然语言处理（NLP）中的一个基本任务，它涉及将连续的文本序列切分成多个有意义的单元，这些单元通常被称为“词”或“tokens”。在英语等使用空格作为自然分隔符的语言中，分词相对简单，因为大部分…
【LLM】自主GPT-4：从ChatGPT到AutoGPT、AgentGPT、BabyAGI、HuggingGPT等
LangChain和LlamaIndex集成趋势后，GPT-4的新兴任务自动化和人工智能代理 ChatGPT和LLM技术的出现是革命性的。这些最先进的语言模型席卷了世界，激励开发人员、爱好者和组织探索集成和构建这些尖端模型的创新方法。因此，LangChain和LlamaIndex…
合并多个大语言模型文件的方法
合并多个大语言模型文件的方法 1. 合并多个大语言模型文件的方法 1. 合并多个大语言模型文件的方法
运行下面命令，
（示例）Linux and macOS:
cat swallow-70b-instruct.Q6_K.gguf-split-* > swallow-70b-instruct.Q6_K.gguf && …
2024年1月18日Arxiv最热NLP大模型论文：Large Language Models Are Neurosymbolic Reasoners
大语言模型化身符号逻辑大师，AAAI 2024见证文本游戏新纪元
引言：文本游戏中的符号推理挑战
在人工智能的众多应用场景中，符号推理能力的重要性不言而喻。符号推理涉及对符号和逻辑规则的理解与应用，这对于处理现实世界中的符号性…
内测挤爆的文心一言，能否迎战GPT-4？
2月7日，百度宣布推出ChatGPT类型人工智能产品“文心一言”，并于3月份完成内测向公众开放。一个多月后的今日，在北京百度总部和上海张江人工智能岛，文心一言如期而至。
百度董事长兼CEO李彦宏介绍，文心一言在商业文案创…
自然语言处理-词向量技术
一.词向量技术的简介
词向量（Word Embedding）是一种将单词表示为实数向量的技术，它在自然语言处理（NLP）和机器学习中得到广泛应用。词向量的目标是捕捉单词之间的语义关系，使得语义相似的单词在向量空间中…
大语言模型系列-GPT-1
文章目录 前言一、GPT-1网络结构和流程二、GPT-1的创新点总结 前言
前文提到的ELMo虽然解决了词嵌入多义词的问题，但存在如下缺点：
基于RNN的网络结构使得其特征提取能力弱，训练难且时间长预训练模型（仅用于特征抽取）…
【 文本到上下文 #4】NLP 与 ML
一、说明 欢迎回到我们的 NLP 博客系列！当我们进入第四部分时，焦点转移到机器学习 （ML） 和自然语言处理 （NLP） 之间的动态相互作用上。在本章中，我们将深入探讨 ML 和 NLP 的迷人协同作用&#…
中文词向量训练-案例分析
1 数据预处理，解析XML文件并分词
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# process_wiki_data.py 用于解析XML，将XML的wiki数据转换为text格式
import logging
import os.path
import sys
from gensim.corpora import WikiCorpus
import jieba…
第一个现象级音乐生成产品Suno；GenAI动画技能全图；超级个体的技术写作手册；大语言模型入门新书 | ShowMeAI日报
👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦！ 👀 AI将彻底摧毁阅读文化，书籍这种内容载体真的过时了吗？ https://www.kdpcommunity.com/s/article/Addition-of-…
大语言模型系列-BERT
文章目录 前言一、BERT的网络结构和流程1.网络结构2.输入3.输出4.预训练Masked Language ModelNext Sentence Predictionloss 二、BERT创新点总结 前言
前文提到的GPT-1开创性的将Transformer Decoder架构引入NLP任务，并明确了预训练（学习 text 表征&am…
自然语言处理的就业前景
国家发展大势所趋，促进各行各业智能化、数字化转型，而计算机自然语言处理是一个快速发展的领域，随着人工智能技术的不断发展和应用，对自然语言处理的需求也越来越大。因此，计算机自然语言处理的就业前景非常好。
在就…
从头开始构建大型语言模型
了解如何从头开始构建大型语言模型，从而创建、训练和调整大型语言模型！LLMs 在“从头开始构建大型语言模型”中，你将了解如何从内到外LLMs工作。在这本富有洞察力的书中，畅销书作家塞巴斯蒂安拉施卡 （Sebastian Raschk…
【NPL】自然语言处理（Natural Language Processing，NLP）的发展简述
大家好，我是全栈小5，欢迎阅读文章！ 此篇是【话题达人】序列文章，这一次的话题是《自然语言处理的发展》 文章将以博主的角度进行讲述，理解和水平有限，不足之处，望指正。 目录 背景发展线路研发关…
中文自然语言处理（NLP）的命名实体识别（NER）任务常见序列标注方法
中文NLP的NER任务中的数据集序列标注方法，主要有以下几种常用的标注方案： BIO标注法（Begin-Inside-Outside）： B（Begin）表示实体的开始部分。I（Inside）表示实体的中间部分…
【自然语言处理】【深度学习】NLP中的N-gram理解
N-gram是自然语言处理（NLP）中的一个概念，它描述的是文本中连续的n个项（通常是单词或字符）。这个概念主要用于语言建模和文本分析中。
具体来说： Unigram (1-gram): 包含一个单词的序列，例如句子…
ART: Automatic multi-step reasoning and tool-use for large language models 导读
ART: Automatic multi-step reasoning and tool-use for large language models 本文介绍了一种名为“自动推理和工具使用（ART）”的新框架，用于解决大型语言模型（LLM）在处理复杂任务时需要手动编写程序的问题。该框架可…
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models导读
通过生成一系列中间推理步骤（即“思维链”）显著提高大型语言模型进行复杂推理的能力
这篇论文探讨了如何通过生成一系列中间推理步骤（即“思维链”）显著提高大型语言模型进行复杂推理的能力。研究人员使用一种简单的方法——思维…
Emergent Abilities of Large Language Models 机翻mark
摘要
证明通过扩大语言模型可以可靠地提高性能和样本效率在广泛的下游任务。相反，本文讨论了我们称之为大型语言模型的新兴能力的一种不可预测的现象。我们认为如果一个能力不存在于较小的模型中，但在较大的模型中存在，则该能力就是新兴的。…
人工智能的未来展望：自然语言处理（NLP）与计算机视觉（CV）
NLP和CV是人工智能的两个重要分支，它们在处理和分析信息方面有不同的侧重点和挑战。
NLP（自然语言处理）旨在让计算机理解和生成人类语言，主要处理的是文本信息。NLP的研究和应用主要集中在如何让计算机理解和生成人类语言&#x…
自然语言nlp学习 三
4-8 Prompt-Learning--应用_哔哩哔哩_bilibili
Prompt Learning（提示学习）是近年来在自然语言处理领域中，特别是在预训练-微调范式下的一个热门研究方向。它主要与大规模预训练模型如GPT系列、BERT等的应用密切相关。
在传统的微调过程中&a…
启英泰伦推出「离线自然说」，离线语音交互随意说，不需记忆词条
离线语音识别是指不需要依赖网络，在本地设备实现语音识别的过程，通常以端侧AI语音芯片作为载体来进行数据的采集、计算和决策。但是语音芯片的存储空间有限，通过传统的语音算法技术，最多也只能存储数百条词条，导致用户…
【python、nlp】文本预处理
文本预处理及其作用：
文本语料在输送给模型前一般需要一系列的预处理工作，才能符合模型输入的要求，如：将文本转化成模型需要的张量，规范张量的尺寸等，而且科学的文本预处理环节还将有效指导模型超参数的选…
NLP技术在搜索推荐场景中的应用
NLP技术在搜索推荐中的应用非常广泛，例如在搜索广告的CTR预估模型中，NLP技术可以从语义角度提取一些对CTR预测有效的信息；在搜索场景中，也经常需要使用NLP技术确定展现的物料与搜索query的相关性，过滤掉相关性较差的物…
![[学习笔记]刘知远团队大模型技术与交叉应用L1-NLPBig Model Basics](https://img-blog.csdnimg.cn/direct/8cda58fa1f5a435babaf16db33637321.png)
[学习笔记]刘知远团队大模型技术与交叉应用L1-NLPBig Model Basics
本节主要介绍NLP和大模型的基础知识。提及了词表示如何从one-hot发展到Word Embedding。语言模型如何从N-gram发展成预训练语言模型PLMs。然后介绍了大模型在NLP任务上的表现，以及它遵循的基本范式。最后介绍了本课程需要用到的编程环境和GPU服务器。
一篇NLP方向的…
NLP论文阅读记录 - 2021 | WOS 抽象文本摘要：使用词义消歧和语义内容泛化增强序列到序列模型
文章目录 前言0、论文摘要一、Introduction二.前提三.本文方法3.1 总结为两阶段学习3.1.1 基础系统 3.2 重构文本摘要 四 实验效果4.1数据集4.2 对比模型4.3实施细节4.4评估指标4.5 实验结果4.6 细粒度分析 五 总结思考 前言 Abstractive Text Summarization: Enhancing Sequen…
![[每周一更]-(第86期)：NLP-实战操作-文本分类](https://img-blog.csdnimg.cn/direct/2bf37135b78b4fc081b0ec22b2ae81bd.jpeg#pic_center)
[每周一更]-(第86期)：NLP-实战操作-文本分类
NLP文本分类的应用场景
医疗领域 - 病历自动摘要： 应用： 利用NLP技术从医疗文档中自动生成病历摘要，以帮助医生更快速地了解患者的状况。
法律领域 - 法律文件分类： 应用： 使用文本分类技术自动分类法律文件…
ICLR 2024 | Mol-Instructions: 面向大模型的大规模生物分子指令数据集
发表会议：ICLR 2024 论文标题：Mol-Instructions: A Large-Scale Biomolecular Instruction Dataset for Large Language Models 论文链接：https://arxiv.org/pdf/2306.08018.pdf 代码链接：https://github.com/zjunlp/Mol-Instruct…
深兰科技陈海波出席CTDC2024第五届首席技术官领袖峰会：“民主化AI”的到来势如破竹
1月26日，CTDC 2024 第五届首席技术官领袖峰会暨出海创新峰会在上海举行。深兰科技创始人、董事长陈海波受邀出席了本届会议，并作为首个演讲嘉宾做了题为“前AGI时代的生产力革命范式”的行业分享。 作为国内顶级前瞻性技术峰会，CTDC首席技术官…
深度学习自然语言处理（NLP）模型BERT：从理论到Pytorch实战
文章目录 深度学习自然语言处理（NLP）模型BERT：从理论到Pytorch实战一、引言传统NLP技术概览规则和模式匹配基于统计的方法词嵌入和分布式表示循环神经网络（RNN）与长短时记忆网络（LSTM）Transform…
书生谱语-大语言模型测试demo
课程内容简介 通用环境配置
开发机
InterStudio
配置公钥 在本地机器上打开 Power Shell 终端。在终端中，运行以下命令来生成 SSH 密钥对： ssh-keygen -t rsa您将被提示选择密钥文件的保存位置，默认情况下是在 ~/.ssh/ 目录中。按 Enter …
基于生成模板的动态前缀微调事件抽取（ACL2022）
1、写作动机：
尽管将事件抽取任务转换为具有提示的序列生成问题越来越多，但基于生成的方法仍存在两个重大挑战，包括使用欠佳的提示和静态事件类型信息。
欠佳的提示：手动为每种事件类型设计提示，没有调优，…
现代循环神经网络：门控循环单元(GRU)
专栏：神经网络复现目录
门控循环单元(GRU)
门控循环神经网络（Gated Recurrent Neural Network，简称“门控循环神经网络”或“门循环神经网络”）是一种改进的循环神经网络（RNN）架构。它包含了一些门控机制…
ChatGPT爆火的背后，到底是什么在跟我们对话？
2022年11月底美国人工智能研究实验室OpenAI新推出的一种人工智能技术驱动的自然语言处理工具——ChatGPT聊天机器人。一经推出便迅速在社交媒体上走红，成为AI领域最炙手可热的话题，掀起了新一轮的人工智能浪潮。 ChatGPT不单是聊天机器人，它会…
OpenAI公布GPT-4：可在考试中超过90%的人类
当地时间周二(3月14日)，人工智能研究公司OpenAI公布了其大型语言模型的最新版本——GPT-4.该公司表示，GPT-4在许多专业测试中表现出超过绝大多数人类的水平。，时长24:27OpenAI GPT-4官方演示视频OpenAI表示，我们已经创建了GPT-4&a…
【NLP】一文读懂Bert模型
Bert模型0、Bert模型简介 BERT的全称为Bidirectional Encoder Representation from Transformers，是一个预训练的语言表征模型。它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的masked …
百度的文心一言 ，没有想像中那么差
robin 的演示
我们用 robin 的演示例子来对比一下 文心一言和 ChatGPT 的真实表现（毕竟发布会上是录的）。 注意，我使用的 GPT 版本是 4.0
文学创作
1 三体的作者是哪里人？
文心一言：
ChatGPT：
嗯&a…
百度文心一言正式亮相
OpenAI 刚发布了 GPT-4，百度预热已久的人工智能生成式对话产品也终于亮相了。昨天下午，文心一言 (ERNIE Bot)—— 百度全新一代知识增强大语言模型、文心大模型家族的新成员，正式在百度总部 “挥手点江山” 会议室里发布。 发布会一开场&…
基于BERT的自然语言处理垃圾邮件检测模型
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
超长输入输出任意长度的nlp串行编码网络
import paddleclass OEncoder(paddle.nn.Layer):def __init__(self, o_voc_size, s_len):super(OEncoder, self).__init__(
【NLP入门教程】二、分词
分词（Tokenization）是自然语言处理的基本步骤之一，它将文本拆分成更小的组成部分，如单词、短语或符号等。这些拆分后的组成部分称为“词元”（Token）。分词在许多NLP任务中都有重要应用，如文本分类、情感分析和机器翻译等。
2.2.1 英文分词
英文分词相对简单，因为单词…
【NLP入门教程】八、数据清洗
数据清洗是文本预处理的第一步，主要目的是去除文本中的噪声和无关信息，使文本更加干净、规范化。数据清洗通常包括以下几个方面：
1 去除HTML标签
当我们从网页抓取文本数据时，可能会遇到包含HTML标签的文本。为了使文本更加可读，我们需要去除这些标签。可以使用Python的…
一次性搞懂dBSPL、dBm、dBu、dBV、dBFS的区别！
相信学习音乐制作的同学在混音阶段经常会碰到各种关于声音的单位，其中最具代表性的可能就是分贝家族的单位了，如dBSPL、dBm、dBu、dBV、dBFS等。
那么，这些单位分别表示什么，又有什么区别呢？
描述声音信号强弱的单位…
从零开始理解Hugging Face中的Tokenization类
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
如何使用Hugging Face微调大语言模型（LLMs）
大语言模型（LLMs）在过去一年取得了显著进步。从ChatGPT爆发以来，后来逐步发展了众多开源大模型LLMs，如Meta AI的Llama 2、Mistrals Mistral & Mixtral模型，TII Falcon等。这些LLMs能够胜任多种任务，包括…
“Morpheus-1”的全新人工智能模型声称能引发清醒梦境
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…
论文精读--BERT
不像视觉领域，在Bert出现之前的nlp领域还没有一个深的网络，使得能在大数据集上训练一个深的神经网络，并应用到很多nlp的任务上
Abstract We introduce a new language representation model called BERT, which stands for Bidirectional En…
ChatGPT引爆AI热潮，未来有哪些核心落地场景与投资机遇？
自ChatGPT面世以来，AI行业再度被引爆，AI大模型作为新一代颠覆性技术同时掀起了一波又一波热潮，头部厂商与创业者纷纷涌入，备受业界瞩目与市场追捧。
在这汹涌的狂欢背后，实则代表着AI发展的阶跃，即AI直接创…
一文理解Transformer整套流程
【备注】部分图片引至他人博客，详情关注参考链接
【PS】query 、 key & value 的概念其实来源于推荐系统。基本原理是：给定一个 query，计算query 与 key 的相关性，然后根据query 与 key 的相关性去找到最合适的 value。举个例…
nn.Conv1d简单理解
1. 官方文档的定义
In the simplest case, the output value of the layer with input size (N,Cin,L)(N, C_{\text{in}}, L)(N,Cin,L) and output (N,Cout,Lout)(N, C_{\text{out}}, L_{\text{out}})(N,Cout,Lout) can be precisely described as: out(Ni,Coutj)bias(C…
Python 无监督学习实用指南：1~5
原文：Hands-on unsupervised learning with Python 协议：CC BY-NC-SA 4.0 译者：飞龙 本文来自【ApacheCN 深度学习 译文集】，采用译后编辑（MTPE）流程来尽可能提升效率。 不要担心自己的形象，只关…
【ACL 2023】Enhancing Document-level EAE with Contextual Clues and Role Relevance
【ACL 2023】Enhancing Document-level Event Argument Extraction with Contextual Clues and Role Relevance 论文：https://aclanthology.org/2023.findings-acl.817/
代码：https://github.com/LWL-cpu/SCPRG-master
Abstract
与句子级推理相比&…
【李宏毅机器学习】Transformer 内容补充
视频来源：10.【李宏毅机器学习2021】自注意力机制 (Self-attention) (上)_哔哩哔哩_bilibili
发现一个奇怪的地方，如果直接看ML/DL的课程的话，有很多都是不完整的。开始思考是不是要科学上网。
本文用作Transformer - Attention is all you…
自然语言处理中词嵌入降维方法-Random Fourier Feature
Random Fourier Feature介绍代码测试小结介绍 RandomFourierFeatures(RFF)Random Fourier Features (RFF)RandomFourierFeatures(RFF)是一种用于处理高维数据的技术，它通过将高维输入数据映射到低维的随机特征空间来加速核方法的计算。这种技术特别适用于处理大规模…
分享几个国内免费的ChatGPT镜像网址(亲测有效-4月25日更新)
最近由于ChatGPT的爆火也让很多小伙伴想去感受一下ChatGPT的魅力，那么今天就分享几个ChatGPT国内的镜像网址，大家可以直接使用！记得点赞收藏一下呦！
1、AQ Bot，网址：点我
https://su.askaiw.com/aq 缺点&…
为了摸鱼，我开发了一个工具网站
🏡 博客首页：派 大 星 ⛳️ 欢迎关注 🐳 点赞 🎒 收藏 ✏️ 留言 🎢 本文由派大星原创编撰 🚧 系列专栏：《开源专栏》 🎈 本系列主要输出作者自创的开源项目 🔗 作品&…
【ChatGPT】前世今生，真的那么强大吗？NLP技术不断成熟. || 附：【深度学习】在PyTorch中使用LSTM进行新冠病例预测
近期，一款名为ChatGPT的智能聊天机器人 火爆全球，它究竟是什么？它会对哪些行业产生冲击？对此，我整理了一些资料，简要介绍ChatGPT的——前世今生。 此外，新冠终于离我们远去，大家的生活也回到正轨。使用LSTM模型对新冠病例进行预测拟合，看一下它曾经的“爆发”…我们所…
因果推断7--深度因果模型综述（个人笔记）
目录
0摘要
1介绍
2预习
3治疗和指标
4深层因果模型的发展
4.1发展时间表 4.2模型分类
5典型的深层因果模型
6实验指南
6.1数据集
6.2code
6.3实验
7结论
参考
编码
1.自编码器(AE)：
2.去噪自编码器(DAE)
3.变分自编码器VAE
4.去耦变分自编码 文章…
CRF条件随机场 | 关键原理+面试知识点
😄 CRF之前跟人生导师：李航学习过，这里结合自己的理解，精简一波CRF，总结一下面试中高频出现的要点。个人觉得没网上说的那么复杂，我看网上很大部分都是一长篇先举个例子，然后再说原理。没必要原…
【博学谷学习记录】超强总结，用心分享丨人工智能 自然语言处理 文本特征处理小结
目录文本特征处理作用常见的文本特征处理方法添加n-gram特征说明提取n-gram文本长度规范说明实现导包问题记录心得文本特征处理作用
文本特征处理包括为语料添加具有普适性的文本特征, 如:n-gram特征
以及对加入特征之后的文本语料进行必要的处理, 如: 长度规范.
这些特征处…
NLP - IRSTLM、SRILM
文章目录IRSTLM关于 IRSTLM安装SRILM关于 SRILM安装使用 ngram-countKenLM 的安装使用，可参考文章： https://blog.csdn.net/lovechris00/article/details/125424808 IRSTLM
关于 IRSTLM
github : https://github.com/irstlm-team/irstlm官方主页&#…
新书上市丨开启学习自然语言处理与ChatGPT的精彩旅程，你需要这本书！
2022年10月30日，ChatGPT 的横空出世，引起了全球范围内的广泛关注。微软创始人比尔盖茨 (Bill Gates) 认为 “ChatGTP 与互联网具有同等重要的意义”。作为一个人工智能系统，ChatGPT 能准确识别用户意图，与用户进行对话并提供有价值…
前沿探索，AI 在 API 开发测试中的应用
目录 一、引言二、AI 加持下的 API 设计1、NLP 在 API 设计中的应用2、DL 在 API 设计中的应用能力一：Apikit 如何利用 AI 生成最佳的 API 设计方案能力二： Apikit 如何利用 AI 提高 API 的可用性和易用性 三、AI 加持下的 API 开发能力三：Ap…
《花雕学AI》新版必应 Bing 登场：轻松注册，一站式搜索、聊天与绘画应有尽有
引言： 你是否曾经在网上搜索信息时感到困惑或沮丧？你是否曾经想要在网上创造一些有趣或有用的内容，却不知道从何开始？你是否曾经想要用文字描述一个图像，却无法找到合适的图片？如果你的答案是肯定的&#x…
自动修改文章的软件-文章原创软件
免费版自动修改文章的软件
免费版自动修改文章的软件是一种又快速、易用且免费的文章修改软件，可以帮助用户批量修改文章和图文，并为用户提供高质量的修改服务。用户仅需上传待修改的文章文件，软件就能自动检测出文章中的语法、拼写错误和表…
一文搞懂！如何高效微调你的 LLM
作者 | guolipa 整理 | NewBeeNLP 公众号 https://zhuanlan.zhihu.com/p/621700272 当前以 ChatGPT 为代表的预训练语言模型（PLM）规模变得越来越大，在消费级硬件上进行全量微调（Full Fine-Tuning）变得不可行。此外&am…
【In-Context Learning】What Makes Good In-Context Examples for GPT-3?
【In-Context Learning】What Makes Good In-Context Examples for GPT-3?
In-Context Learning是最近比较火热的方向，其主要针对超大规模模型（例如1750B参数量的GPT-3模型），在只提供少量标注样本作为提示的前提下，即…
【Attention】深度学习中的注意机制:理解序列模型中的注意机制How Attention works in Deep Learning
【学习资源】
How Attention works in Deep Learning: understanding the attention mechanism in sequence models
目录
Sequence to sequence learning
A high-level view of encoder and decoder
The limitations of RNN’s
Attention to the rescue!
Types of atte…
【ChatGPT4】王老师零基础《NLP》（自然语言处理）第二课
我的已经在起、点开了书《王老师带我成为救世主》，那个更新及时 （1）----------------------------------------------------------------------------------------
我：
1我/喜欢/吃/苹果，因为/它/们/很/好吃。
2 Th…
自然语言处理（六）： Deep Learning for NLP: Feedforward Networks
目录
1. Deep Learning
1.2 Feed-forward NN
1.3 Neuron
1.4 Matrix Vector Notation 矩阵向量表示法
1.5 Output Layer
1.6 Learning from Data
1.7 Regularisation 正则化
1.8 Dropout
2. Applications in NLP
2.1 Topic Classification
2.2 Topic Classification…
Word2Vec：一种基于预测的方法
Word2Vec是一种用于自然语言处理（NLP）的机器学习算法，它能够将文本中的词语转换为向量形式，这些向量在数学上具有有意义的几何特征。在本文中，我将介绍Word2Vec算法的原理、实现和应用方向。 算法介绍 Word2Vec是一种用…
Word2Vec进阶 - ELMO
Word2Vec进阶 - ELMO – 潘登同学的NLP笔记 文章目录Word2Vec进阶 - ELMO -- 潘登同学的NLP笔记ELMO原理整体架构Char Encoder LayerBiLSTMELMO词向量实验结果总结ELMO
ELMo出自Allen研究所在NAACL2018会议上发表的一篇论文《Deep contextualized word representations》&…
【自然语言处理】不同策略的主题建模方法比较
不同策略的主题建模方法比较 本文将介绍利用 LSA、pLSA、LDA、NMF、BERTopic、Top2Vec 这六种策略进行主题建模之间的比较。
1.简介
在自然语言处理（NLP）中，主题建模一词包含了一系列的统计和深度学习技术，用于寻找文档集中的隐…
PaddlePaddle NLP学习笔记1 词向量
文章目录1.语言模型 Language Model1.1 语言模型是什么1.2 语言模型计算什么1.3 n-gram Language Model2.神经网络语言模型NNLM2.1 N-gram模型的问题3. 词向量3.1 词向量(word Embedding)word2vec 词向量训练算法3.2 如何把词转换为词向量？3.3如何让向量具有语义信息…
【NLP实战】基于Bert和双向LSTM的情感分类【中篇】
文章目录前言简介模型、优化器与损失函数选择神经网络的整体结构优化器选择损失函数选择需要导入的包和说明第一部分：搭建整体结构step1: 定义DataSet，加载数据step2:装载dataloader，定义批处理函数step3:生成层--预训练模块，测试…
【NLP教程】用python调用百度AI开放平台进行情感倾向分析
一、背景
Hi，大家！我是 马哥python说 ，一名10年程序猿。
今天我来演示一下：通过百度AI开放平台，利用python调用百度接口进行中文情感倾向分析，并得出情感极性分为积极、消极还是中性以及置信度结果。
二…
【今日重磅—国产大模型首批内测机会来了】什么是讯飞星火，如何获得内测和使用方法
♥️作者：白日参商 🤵♂️个人主页：白日参商主页 ♥️坚持分析平时学习到的项目以及学习到的软件开发知识，和大家一起努力呀！！！ 🎈🎈加油！ 加油！…
chatGPT对js匿名函数的解答
前言
笔者在使用chatGPT的过程中发现它越来越聪明，它可以对一个问题连续的解答，也预示着chatGPT的出现，百度等搜索引擎的即将消亡，chatGPT是聪明的这令笔者是大吃一惊的下面是对chatGPT的问答内容
chatGPT对js匿名函数的解答
问…
NLP模型（一）——word2vec实现
文章目录1. 整体思路2. 数据处理3. 数据准备4. 创建数据管道5. 构建模型6. 模型训练7. 加载模型得到词向量8. 总结前面我介绍了word2vec算法的两种实现算法，Skip−gramSkip-gramSkip−gram 以及 CBOWCBOWCBOW 算法，我认为理解一个算法最好的方法就是复现…
超详细！linux系统nlg-eval安装指南
前言：最近在做文本生成的任务，需要用到bleu等评价指标，看到其他研究工作中都在用nlg-eval这个github库，就想把它拿过来用，然而安装过程并不是一帆风顺的，谨以此篇博客记录之，为后来者提供一些经…
【NLP相关】Transformer模型：从Seq2Seq到自注意力机制（Transformer原理、公式推导和案例）
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
《动手学深度学习》Task03：过拟合、欠拟合及其解决方案+梯度消失、梯度爆炸+循环神经网络进阶
文章目录1 过拟合、欠拟合及其解决方案1.1 模型选择、过拟合和欠拟合1.2 过拟合和欠拟合1.3 权重衰减1.4 丢弃法2 梯度消失、梯度爆炸2.1 梯度消失和梯度爆炸2.2 考虑环境因素3 循环神经网络进阶3.1 GRU3.2 LSTM3.3 双向循环神经网络文章目录过拟合、欠拟合及其解决方案
梯度消…
《ChatGPT是怎样炼成的》
ChatGPT 在全世界范围内风靡一时，我现在每天都会使用 ChatGPT 帮我回答几个问题，甚至有的时候在一天内我和它对话的时间比和正常人类对话还要多，因为它确实“法力无边，功能强大”。 ChatGPT 可以帮助我解读程序，做翻译…
人为差错 （Human Error）（三）
第二章 人的差错研究这一章主要论证了一些对人类差错研究具有杰出贡献的理论。其主要目的是为了概括人类差错研究对之后章节（主要是第三到五章）中提到的论点所带来的主要影响。但笔者也希望能在这章介绍一下认知理论的研究现状给那些不是研究这个领域的读…
什么是Natural Language Understanding(NLU)？
文章目录 1.什么是NLU？2.NLU的应用有哪些？3.NLU的实现方式有哪些？4.NLU实现的难点 1.什么是NLU？
自然语言理解(Natural Language Understanding, NLU)是所有支持机器理解文本内容的方法模型或任务的总称，即能够进行常…
正向逆向最大匹配算法实现自动分词python
原理指路这。 直接上实验过程。
1、199801人民日报语料 这是已经分词而且词性标记好的，我们用来获取里面的词，作为后续自己分词的底表。
2、生成底表
# 匹配词性
def cixing(data):dic {}for line in data: # 匹配普通词性标注pattern re.findall…
【数字设计与计算机体系结构】2021-10-01-数字设计与计算机体系课程（六）（第二章）
【写在前面：第一章的番外经过研究发现好像没有太大意义，而且和电路与电子线路相关性太大，我看着比较困难，所以决定不再写它】 【现在是这么一个情况，基本上电子笔记比纸质笔记快多了而且省去了很多记录的功夫ÿ…
【自然语言处理】【大模型】CodeGen：一个用于多轮程序合成的代码大语言模型
CodeGen：一个用于多轮程序合成的代码大语言模型 《Code Gen: An Open Large Language Model For Code with Multi-Turn Program Synthesis》 论文地址：https://arxiv.org/pdf/2203.13474.pdf?trkpublic_post_comment-text 相关博客 【自然语言处理】【大…
每日学术速递5.11
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 Subjects: cs.CV
1.Diffusion Explainer: Visual Explanation for Text-to-image Stable Diffusion 标题：扩散解释器：文本到图像稳定扩散的视觉解释
作者：Seongmin…
bert中的数据输入制作data_generate
数据生成器（自动生成训练、验证、测试集）1.需要创建一个类data_generator，这个类继承DataGenerator类（bert4kreas.snippets）这个类主要是做数据生成的迭代器2. 创建 DateProcess() 类：3.测试‘’’ 这的数据…
每日学术速递5.17
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 Subjects: cs.CV
1.HACK: Learning a Parametric Head and Neck Model for High-fidelity Animation 标题：HACK：学习用于高保真动画的参数化头颈模型
作者：Longwe…
ERINE系列论文解读
ERNIE3.0论文解读 -潘登同学的NLP笔记 文章目录ERNIE3.0论文解读 -潘登同学的NLP笔记从ERNIE 1.0开始知识集成模型架构数据规模预训练任务到ERNIE 2.0预训练任务模型结构与Bert的比较再到ERNIE3.0模型总览预训练任务实验结果fine-tune实验从ERNIE 1.0开始
ERINE 1.0的核心思想…
每日学术速递5.20
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 Subjects: cs.CV
1.Improved baselines for vision-language pre-training 标题：改进视觉语言预训练的基线
作者：Enrico Fini, Pietro Astolfi, Adriana Romero-Soriano, Jak…
小试牛刀：应用深度强化学习优化文本摘要思路及在裁判文书摘要上的实践效果
一、引言
近期，随着大模型的出现，强化学习再一次的引起了本人的兴趣，本文将应用深度强化学习来优化文本摘要模型，使生成的摘要更加的流畅。在此之前，大家都采用了很多种方式训练摘要系统，例如：…
GreedySearch和BeamSearch解码方式
GreedySearch和BeamSearch解码方式 – 潘登同学的NLP笔记 文章目录GreedySearch和BeamSearch解码方式 -- 潘登同学的NLP笔记GreedySearchBeam Search（束搜索）prefix beam search重要一点： CTC Loss是在训练OCR的时求的Loss采用的，…
Transformer架构解析
1.Transformer架构图
本文主要来自：http://nlp.seas.harvard.edu/annotated-transformer/#hardware-and-schedule
论文地址: https://arxiv.org/pdf/1810.04805.pdf
1.1 Transformer模型的作用
基于seq2seq架构的transformer模型可以完成NLP领域研究的典型任务,…
Focal loss Tensorflow实现
数据不均衡--Focal loss Tensorflow实现def focal_loss(prediction_tesnsor,target_tensor,weights None,alpha 0.25,gamma2):"""FL -alpha *(z-p)^gamma*log(p) - (1-alpha)*p^gamma *log(1-p)which alpha 0.25,gamma 2,p sigmoid(x),z target_tensor&q…
命名实体识别数据预处理--格式转换
命名实体识别数据预处理--格式转换成BIEO格式常见的预料库数据预处理代码常见的预料库
链接: 微软数据. 链接: 人民日报. 链接: 微博语料数据.
数据预处理代码
下面展示一些 将我不是<per>江莱</per>转换成‘BIOE标准格式’。
import codecs
import sys def…
Ubuntu 18.04 机器学习环境设置
写在前面的话：环境为ubuntu18.04 cuda 10.0 anaconda cudnn pytorch python 3.8pycharm 版本不同的话也可以按照这个去安装
ubuntu设置
1.进入bios中关闭secure boot，这一步很关键 不然cuda起不来，如果你用扩展屏的话也起不来ÿ…
D3交互式可视化Python自然语言工具包命名实体识别
命名实体识别 (NER) 可能是信息提取的第一步，旨在将文本中的命名实体定位和分类为预定义的类别，例如人名、组织、位置、时间表达、数量、货币价值、百分比 等。 NER 在自然语言处理 (NLP) 的许多领域都有使用，它可以帮助回答许多现实世界的问…
PyTorch自然语言处理
特点
展示如何使用基于 Python 的深度学习库 PyTorch 应用这些方法演示如何使用 PyTorch 构建应用程序探索计算图和监督学习范式掌握 PyTorch 优化张量操作库的基础知识概述传统的 NLP 概念和方法学习构建神经网络所涉及的基本思想使用嵌入来表示单词、句子、文档和其他特征探…
提示词工程师入门 百度文心Prompt课之十大技巧（适用所有AI大模型）
Promot知识 大模型基本原理 给模型输入什么数据，模型就会尝试学习什么内容Prompt十个技巧 三大类 迭代法 1、定基础 优先保证任务生成主体能够生成出我们想要的内容细节形式 在给出任务生成主体的情况下，模型生成效果较差，可增加细节词也无济…
基于SKEP模型和ERNIE模型在情感分析任务上的对比
项目地址：飞桨AI Studio星河社区-人工智能学习与实训社区 (baidu.com) 一、引言
本文利用千言数据集中ChnSentiCorp酒店评价数据集分别对模型ERNIE_SKEP和模型ERNIE3.0对情感分析任务中的效果进行对比，研究哪种预训练模型的效果更好，最终得…
Next-GPT: Any-to-Any Multimodal LLM
Next-GPT: Any-to-Any Multimodal LLM 最近在调研一些多模态大模型相关的论文，发现Arxiv上出的论文根本看不过来，遂决定开辟一个新坑《一页PPT说清一篇论文》。自己在读论文的过程中会用一页PPT梳理其脉络和重点信息，旨在帮助自己和读者快速了…
探索 Python：发现有趣的库——第 3 章：玩转自然语言处理
代码侠和算法仙正在一间充满科技感的实验室里探讨自然语言处理（NLP）的奥秘。
代码侠： 嘿，算法仙，我最近在研究自然语言处理，但感觉有点复杂啊。
算法仙： 呵呵，别担心，我…
NLP_语言模型的雏形 N-Gram 模型
文章目录 N-Gram 模型1.将给定的文本分割成连续的N个词的组合(N-Gram)2.统计每个N-Gram在文本中出现的次数，也就是词频3.为了得到一个词在给定上下文中出现的概率，我们可以利用条件概率公式计算。具体来讲，就是计算给定前N-1个词时࿰…
开源大型语言模型概览：多语种支持与中文专注
开源大型语言模型概览：多语种支持与中文专注 开源大型语言模型概览：多语种支持与中文专注什么是大型语言模型如何工作大型语言模型的发展应用领域 开源大语言模型概览支持多种语言的开源LLMsLLaMA（由Meta开发）BERT（由G…
大语言模型系列-T5
文章目录 前言一、T5的网络结构和流程二、T5的预训练过程三、其他训练结论总结 前言
目前已经讲解了目前LLM的三大流派的两个起始模型：GPT-1（Decoder only）、BERT（Encoder only），但是这两个模型针对不同下…
PaddleNLP的简单使用
1 介绍
PaddleNLP是一个基于PaddlePaddle深度学习平台的自然语言处理（NLP）工具库。
它提供了一系列用于文本处理、文本分类、情感分析、文本生成等任务的预训练模型、模型组件和工具函数。
PaddleNLP有统一的应用范式：通过 paddlenlp.Task…
RAG应用-七个最常见的故障点
近日，国外研究者发布了一篇论文《Seven Failure Points When Engineering a Retrieval Augmented Generation System》，探讨了在实际工程落地RAG应用过程中容易出的七类问题。
论文地址：https://arxiv.org/pdf/2401.05856.pdf 一、丢失内容&…
iOS 17.4 苹果公司正在加倍投入人工智能
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…
使用Pycharm在本地调用chatgpt的接口
目录
1.安装环境
2.建立多轮对话的完整代码（根据自己使用的不同代理需要修改端口（port））
3.修改代码在自己的Pycharm上访问chagpt的api并实现多轮对话，如果不修改是无法成功运行的。需要确定秘钥和端口以保证正常访…
使用 PyTorch 构建 NLP 聊天机器人
一、说明 聊天机器人提供自动对话，可以帮助用户完成任务或寻求信息。随着深度学习的最新进展，聊天机器人正变得越来越具有对话性和实用性。这个全面的教程将利用 PyTorch 和 Python 从头开始构建聊天机器人，涵盖模型架构、数据准备、训练循环…
The Rise and Potential of Large Language Model Based Agents: A Survey 中文翻译
大型语言模型代理的崛起与潜力：综述
摘要
长期以来，人类一直追求与或超越人类水平的人工智能（AI），而人工智能代理被视为实现这一目标的有希望的方式。人工智能代理是感知环境、做出决策并采取行动的人工实体。已经有…
大语言模型的未来进化路径及其影响
随着人工智能技术的飞速发展，大语言模型已成为智能时代的重要标志之一。从早期基于规则和统计学习的语言模型，到如今基于深度学习框架下的Transformer架构，如GPT系列、BERT等，大语言模型已经在自然语言处理领域取得了前所未有的突…
【自然语言处理】P2 PyTorch 基础 - 张量
目录 安装 PyTorch张量创建张量操作张量索引、切片、联合操作 CUDA张量 本系列博文我们将使用 PyTorch 来实现深度学习模型等。PyTorch 是一个开源的、社区驱动的深度学习框架。拥有强大的工具和库生态系统，包含 TorchVision（用于图像处理）、…
构建用于预警大型语言模型辅助生物威胁创建的系统
深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/ 。 Op…
自然语言处理（02/10）：自然语言处理任务和应用程序
一、描述 在广阔的人工智能领域，自然语言处理 （NLP） 是一个迷人而充满活力的领域。NLP 弥合了计算机和人类语言之间的鸿沟，使机器能够理解、解释和生成类似人类的文本。这项变革性技术具有深远的影响，影响着我们日常生…
像人一样浏览网页执行任务，腾讯AI lab发布多模态端到端Agent
Agent的发展成为了LLM发展的一个热点。只需通过简单指令，Agent帮你完成从输入内容、浏览网页、选择事项、点击、返回等一系列需要执行多步，才能完成的与网页交互的复杂任务。
比如给定任务：“搜索Apple商店，了解iPad智能保护壳Sm…
论文浅尝 | 大型语言模型的人类对齐
笔记整理：方润楠、习泽坤，浙江大学硕士，研究方向为自然语言处理 链接：https://arxiv.org/abs/2307.12966 概述 这份综述探讨了针对大型语言模型（LLMs）的人类期望进行对齐的技术，涵盖了以下几个方…
复旦大学NLP团队发布86页大模型Agent综述
复旦大学自然语言处理团队（FudanNLP）发布了一篇长达86页的综述论文，探讨了基于大型语言模型的智能代理的现状和未来。该论文从AI Agent的历史出发，全面梳理了基于大型语言模型的智能代理现状，包括LLM-based Agent的背景…
【使用 Python 进行 NLP】 第 2 部分 NLTK
一、说明 Python 有一些非常强大的 NLP 库，NLTK — 自然语言工具包 — NLTK 是一个强大的开源库，用于 NLP 的研究和开发。它内置了 50 多个文本语料库和词汇资源。它支持文本标记化、词性标记、词干提取、词形还原、命名实体提取、分割、分类、语义推理。…
【LangChain-04】利用权重和偏差跟踪和检查LangChain代理的提示
利用权重和偏差跟踪和检查LangChain代理的提示
一、说明
考虑到（生成）人工智能空间，（自主）代理现在无处不在！除了更强大且幸运的是开放的大型语言模型（LLM）之外，LangCh…
大模型｜基础_word2vec
文章目录 Word2Vec词袋模型CBOW Continuous Bag-of-WordsContinuous Skip-Gram存在的问题解决方案 其他技巧 Word2Vec 将词转化为向量后，会发现king和queen的差别与man和woman的差别是类似的，而在几何空间上，这样的差别将会以平行的关系进行表…
![[自然语言处理|NLP] 文本分类与情感分析，数据预处理流程，包括了同义词替换和拼写纠正，以及使用NLTK库和TextBlob库进行标记化和情感分析（附代码）](https://img-blog.csdnimg.cn/direct/48f1bd6566364ab88ba1f5fb9cb9b583.png)
[自然语言处理|NLP] 文本分类与情感分析，数据预处理流程，包括了同义词替换和拼写纠正，以及使用NLTK库和TextBlob库进行标记化和情感分析（附代码）
[自然语言处理|NLP] 文本分类与情感分析，数据预处理流程，包括了同义词替换和拼写纠正，以及使用NLTK库和TextBlob库进行标记化和情感分析（附代码）。
自然语言处理（Natural Language Processing，简称NLP）是人工智能领域的一个重要分支，涉及了处理和理解人类语言的技术…
EMNLP 2023精选：Text-to-SQL任务的前沿进展（上篇）——正会论文解读
导语
本文记录了今年的自然语言处理国际顶级会议EMNLP 2023中接收的所有与Text-to-SQL相关（通过搜索标题关键词查找得到，可能不全）的论文，共计12篇，包含5篇正会论文和7篇Findings论文，以下是对这些论文的略…
深度学习实战32-构建ChatT5模型，实现智能问答系统，类ChatGPT(CPU部署)
大家好，我是微学AI，今天给大家介绍一下深度学习实战32-构建ChatT5模型，实现智能问答系统，类ChatGPT(CPU部署)，ChatT5使用了T5架构来处理输入文本，具有高度的并行性和扩展性，使其能够快速处理大规模数据集。与传统NLP模型不同，ChatT5采用端到端的方式进行训练，从而可以…
一个BLIP2加两个ChatGPT就能造一个机器人？KAUST提出具身智能框架LLM-Brain
最近，来自阿卜杜拉国王科技大学（KAUST）的研究团队开发了一种基于现有LLMs的机器人交互框架LLM-Brain，LLM-Brain可以直接将LLM作为机器人的大脑，并以此来构建一个以自我为中心的记忆和控制框架。 论文链接： …
NLP与GPT联合碰撞：大模型与小模型联合发力
目录标题 NLP是什么东西？Al大小模型联合发力 NLP是自然语言处理，而GPT是自然语言生成模型。
它们的联合碰撞结果是大模型与小模型联合发力，是因为大模型可以提供更好的语言理解和生成能力，而小模型则可以更快地进行推理和预测。 …
LLM时代NLP研究何去何从？一个博士生的角度出发
深度学习自然语言处理 原创作者：Winni 前言 最近，大语言模型（LLMs）在许多任务上表现出接近人类水平的性能，这引发了行业兴趣和资金投入的激增，有关LLMs的论文最近也层出不穷。 看起来，NLP领域似…
NLP系列(6)_从NLP反作弊技术看马蜂窝注水事件
作者： 龙心尘 时间：2018年11月 出处：https://blog.csdn.net/longxinchen_ml/article/details/84205459
按：本文基于网易云课堂公开课分享内容整理补充完成。感谢志愿者july同学的贡献。
10月21日，朋友圈被一篇名为《…
深度学习与自然语言处理(7)_斯坦福cs224d 语言模型，RNN，LSTM与GRU
翻译：胡杨(superhy199148hotmail.com) && 胥可(feitongxiaokegmail.com) 校对调整：寒小阳 && 龙心尘 时间：2016年7月 出处： http://blog.csdn.net/han_xiaoyang/article/details/51932536 http://blog.csdn.…
深度学习与自然语言处理(4)_斯坦福cs224d 大作业测验1与解答
深度学习与自然语言处理(4)_斯坦福cs224d 大作业测验1与解答
作业内容翻译：胡杨(superhy199148hotmail.com) && 胥可(feitongxiaokegmail.com) 解答与编排：寒小阳 && 龙心尘 时间：2016年6月 出处： http://bl…
深度学习与自然语言处理(3)_斯坦福cs224d Lecture 3
原文作者：Rohit Mundra, Richard Socher 原文翻译：熊杰(jie.xiong.csgmail.com) && 王昱森(ethanwang92outlook.com) && 范筑军老师( fanzhjmail.sysu.edu.cn) && OWEN(owenj1989126.com) 内容校正：寒小阳 &&a…
斯坦福cs224d（深度学习在自然语言处理上的应用）Lecture 2
原文作者：Rohit Mundra, Richard Socher 原文翻译：熊杰(jie.xiong.csgmail.com) && 王昱森 内容调整与校对：寒小阳 && 龙心尘 特别鸣谢：面包包包包包同学的帮助 时间：2016年6月 出处：…
NLP系列(2)_用朴素贝叶斯进行文本分类(上)
作者：龙心尘 && 寒小阳
时间：2016年1月。
出处：
http://blog.csdn.net/longxinchen_ml/article/details/50597149
http://blog.csdn.net/han_xiaoyang/article/details/50616559
声明：版权所有，转载请联系…
BartModel 输出变量解释（来自hugging face 网站）
last_hidden_state ： (类型为 torch.FloatTensor ，形状 (batch_size, sequence_length, hidden_size))
模型的最后一层解码器输出的隐藏状态序列。
如果使用past_key_values，则只输出形状为（batch_size, 1, hidden_size…
多业务线下，IT企业如何应对市场经济下行危机？
多业务线下，IT企业如何应对市场经济下行危机？
市场经济下行就像是一辆行驶的车子遇到了坡道，速度开始变慢甚至停下来。在这个情况下，经济的增长变得较为缓慢，消费减少，投资减少，也对企业会带来…
自然语言处理的数据集（语料库）制作
最近在做一些敏感内容检测的研究工作。 苦于数据集缺乏，折腾了很久后发现没有合适的数据集可供使用，遂决定自行开发数据集，并期望在这个数据集上发一系列的文章。 查看了很多资料后发现网上大部分资料描述的数据制作方法都不是一个完整的方案…
玄子Share-自然语言编程(NLP)_快速了解知识向 ChatGPT 提问的最佳模板
玄子Share-自然语言编程(NLP)_快速了解知识向 ChatGPT 提问的最佳模板 以下内容均为 ChatGPT 回答 问题描述精确的重要性
玄子： 我向你提问时，问题描述精确的重要性 ChatGPT 3.5 问题描述的精确性非常重要，因为它可以让回答者更好地理解您的…
NLP学习笔记三-数据处理基础
NLP学习笔记三-数据处理基础
NLP设计的处理处理技术也比较多，我们简单介绍一部分： 1.Tokenization
NLP当中的Tokenization，博主以前无论是在文章中还是在代码中都能经常看到，这在自然语言处理中也是比较常用的技术。 Tokenizati…
自然语言处理: N-Gram实战
自然语言处理: 第一章N-Gram 一. 理论
定义: 语言模型在wiki的定义是统计式的语言模型是一个几率分布，给定一个长度为 m 的字词所组成的字串 W1 , W2 ， ，Wn ，派几率的字符串P(S) P(W1 , W2 , ，Wn ， )而其…
mixSeq: A Simple Data Augmentation Method for Neural Machine Translation阅读笔记
Abstract
数据增强是指通过操纵输入(如添加随机噪声、屏蔽特定部分)来扩大数据集。大多数数据增强技术都是在单一的输入上操作的，这限制了训练语料库的多样性。在本文中，我们提出了一种简单而有效的神经机器翻译数据增强技术，mixSeq…
淦、我的服务器又被攻击了
「作者简介」：CSDN top100、阿里云博客专家、华为云享专家、网络安全领域优质创作者 「推荐专栏」：对网络安全感兴趣的小伙伴可以关注专栏《网络安全入门到精通》 最近老是有粉丝问我，被黑客攻击了，一定要拔网线吗？还有…
从RNN到LSTM：深度学习在自然语言处理领域的惊艳算法
当谈到计算机科学时，算法是一个重要的话题，因为它们能帮助解决很多问题。而有些算法，其高效性和惊人表现，令人感到惊艳。
在自然语言处理领域，有很多受到关注的算法，比如词向量、语言模型、注意力机制等&a…
【NLP模型】文本建模（2）TF-IDF关键词提取原理
一、说明 tf-idf是个可以提取文章关键词的模型；他是基于词频，以及词的权重综合因素考虑的词价值刻度模型。一般地开发NLP将包含三个层次单元：最大数据单元是语料库、语料库中有若干文章、文章中有若干词语。这样从词频上说，就有词…
预训练、微调和上下文学习
最近语言模型在自然语言理解和生成方面取得了显著进展。这些模型通过预训练、微调和上下文学习的组合来学习。在本文中将深入研究这三种主要方法，了解它们之间的差异，并探讨它们如何有助于语言模型的学习过程。 预训练
预训练（Pre-training&…
中文开源文本加噪的数据增强小工具，很实用！
分享一款开源的中文文本加噪的数据增强工具，此处链接。
该工具主要实现以下功能：
分别实现了四种加噪方法，即冗余、缺失、选词、词序，并实现了一种综合加噪方法，即随机选择以上四种加噪方法进行加噪。分别从字词粒度…
NLP——Question Answering 问答模型
文章目录 2 key approachesInformation retrieval-based QAQuestion Processing 问题处理Answer Types Retrieval 文档检索Answer Extraction 答案提取 Knowledge-based QASemantic Parsing 语义解析 Hybrid QAEvaluation 2 key approaches Information retrieval-based QA 基于…
NLP——Summarization
文章目录 Extractive summarisationSingle-documentcontent selectionTFIDF MethodLog Likelihood Ratio Method对数似然比Sentence Centrality Method 句子中心法 RST Parsing Multi-documentContent selectionMaximum Marginal Relevance 最大边际相关性Information Ordering…
使用Vision Transformers实现高效语义分割的内容感知共享Token
文章目录 Content-aware Token Sharing for Efficient Semantic Segmentation with Vision Transformers摘要本文方法Content-aware token sharing frameworkContent-aware token sharing policy 实验结果 Content-aware Token Sharing for Efficient Semantic Segmentation wi…
实在智能获评2021AI趋势先锋Insight、最具商业价值解决方案TOP30
2022年1月17日，由国内领先的前沿科技媒体和产业服务平台机器之心举办的「AI中国」2021年度评选系列榜单正式揭晓。 实在智能凭借行业领先的技术实力、突出的商业落地效果，从近千家企业中脱颖而出，成功入选「2021AI趋势先锋Insight」、「最具商…
Gorilla: 连接海量API的大语言模型
Gorilla是一个基于LLaMA（Large Language Model with API）的大型语言模型，它可以生成适当的API调用。它是在三个大型的机器学习库数据集上训练的：Torch Hub, TensorFlow Hub和HuggingFace。它还可以快速地添加新的领域，…
《动手学深度学习》Task02：文本预处理+语言模型+循环神经网络基础
文章目录
1 文本预处理
2 语言模型
3 循环神经网络基础1 文本预处理
文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤： 读入文本分词建立字典，将…
构建交互式数据框架：使用Gradio的Dataframe模块
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
NLP模型（四）——seq2seq模型与Attention机制介绍
文章目录 1. seq2seq模型介绍2. 模型计算2.1 LSTM结构单元2.2 seq2seq计算流程 3. Attention机制3.1 引入Attention3.2 计算全局对齐权重 4. seq2seq加入Attention机制5. 模型理解6. 模型细节6.1 解码器结构6.2 加入信息方式 参考文章 1. seq2seq模型介绍
传统的RNN只能处理 1…
自然语言处理: 第四章Seq2Seq
自然语言处理: 第四章Seq2Seq
理论基础
开始之前，首先提出一个问题，电脑是怎么识别人类的命令的，首先人们通过输入代码(编码) ，带入输入给计算机然后再经过处理(解码)得到最终的命令。所以可以看到这其实是一个编码 解码的过程…
如何评估大型语言模型（LLM）？
编者按：近期几乎每隔一段时间，就有新的大语言模型发布，但是当下仍然没有一个通用的标准来评估这些大型语言模型的质量，我们急需一个可靠的、综合的LLM评估框架。 本文说明了为什么我们需要一个全面的大模型评估框架，并…
深入理解深度学习——GPT（Generative Pre-Trained Transformer）：在不同任务中使用GPT
分类目录：《自然语言处理从入门到应用》总目录 相关文章： GPT（Generative Pre-Trained Transformer）：基础知识 GPT（Generative Pre-Trained Transformer）：在不同任务中使用GPT GP…
《自然语言处理》第三次作业：词向量
文章目录 作业要求代码运行结果作业要求
题目：词向量
数据集：input.zh.txt数据集
任务： 1.确定数据集的TFIDF词向量（随机选择20%数据进行训练）；
2.确定数据集的Word2vec词向量（调用gensim函数实现训练）；
3.选择10个词根据词向量确定其Top5相似词；
代码
"…
自然语言处理——词性标注、词干提取、词形还原
目录词性标注方法工具实例词干提取和词形还原算法步骤词性标注
一般而言，文本里的动词可能比较重要，而助词可能不太重要：
我今天真好看我今天真好看啊
甚至有时候同一个词有着不同的意思：
我一把把把把住了
越是常用的词&…
Word2vec——Efficient Estimation of Word Representations in Vector Space
目录摘要介绍NNLMRNNLMWord2vecLog-linear model原理Skip-gramCBOW复杂度模型复杂度实验结果研究意义总结关键点创新点启发点摘要
提出了两种新颖的模型结构用来计算词向量采用一种词相似度的任务来评估对比词向量质量大量降低模型计算量可以提升词向量质量进一步，…
自然语言处理——文本数据的读写及操作
目录txt 文本数据的读写CSV 及 Excel 文本数据的读写DataFrame 操作数据规模太大txt 文本数据的读写
对于 txt 文本数据，Python 中的内置函数 open() 和 write() 就可以实现读取或者写入操作。
file: 文件路径（相对或者绝对路径）。mode: 文…
自然语言处理——字符串基础操作及应用
目录
一、字符串操作
二、正则表达式 一、字符串操作
.count() 方法返回特定的子串在字符串中出现的次数。
seq 12345,1234,123,12,1
seq1 1
a seq.count(seq1)
a# 输出结果如下
# 5.strip()方法可以去除字符串首尾的指定符号。无指定时，默认去除空格符 和…
2021-02-22
基于Bert-NER构建特定领域中文信息抽取框架
导语：知识图谱（Knowledge Graph）主要由实体、关系和属性构成，而信息抽取（Information Extraction）作为构建知识图谱最重要的一个环节，目的就是从文本…
Tensorflow2.0框架的使用感悟
1. 即时执行模式
Tensorflow2.0版本的框架时，一般默认为即使执行模式。但是如果你使用的是tensorflow1.x版本框架，必须在导入相应的库函数之后，还需要调用这个函数：tf.enable_eager_execution()，启用及时执行模式&…
![1.[每日算法题] --最优打字策略](https://img-blog.csdnimg.cn/20200922225559329.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5namlucGVp,size_16,color_FFFFFF,t_70#pic_center)
1.[每日算法题] --最优打字策略
1.[每日算法题] --最优打字策略 解题思路1： 1.首先遍历字符串的长度，这个是最小的按键次数 2.判断连续两个输入的状态，遍历字符串（需要额外的按键次数） （1）首先因为默认小写输入，设置…
2021-09-21---markdown
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注…
transformer的学习记录【完整代码+详细注释】（系列四）
文章目录1 子层连接结构1.1 子层连接结构的代码1.2 完整的代码就不放了，放在下一节2 编码器层2.1 编码器层的作用2.2 代码分析2.3 编码器层的代码3 编码器3.1 代码实现3.2 编码器的输出3 到目前为止的完整的代码3.1 输出第一节：transformer的架构介绍 输…
transformer的学习记录【完整代码+详细注释】（系列二）
文章目录1 编码器部分实现1.1 掩码张量1.1.1 用 np.triu 生产上三角矩阵1.1.2 生成掩码张量的代码1.1.3 掩码张量可视化展示1.1.4 掩码张量学习总结1.2 注意力机制1.2.1 注意力机制 vs 自注意力机制1.2.2 注意力机制代码解读1.2.3 masked_fill 函数介绍1.2.3 注意力机制的实现代…
择校秘籍｜天大计算机 和 南开计算机 应该怎么选？
写在前面
我们都知道北京大学和清华大学是国内响当当的Top2，并且两位学校一直在争做第一，同样的情况我们在天津这个城市也能看到。天津有两所著名的985高校，分别是天津大学和南开大学，两所院校的计算机专业也是非常有竞争力。那么…
最新2020window10 安装Paddlepaddle-GPU 图文详解
这次在安装过程中遇到了很多坑
1.python安装
目前 paddlepaddle 支持Python版本为： Python 2 版本是 2.7.15 Python 3 版本是 3.5.1/3.6/3.7
pip/pip3 版本要求是 9.0.1 Python 和 pip 均是 64 位
需要有英伟达显卡
我安装的是3.8版本的不支持&#x…
NLP_词的向量表示Word2Vec 和 Embedding
文章目录 词向量Word2Vec：CBOW模型和Skip-Gram模型通过nn.Embedding来实现词嵌入Word2Vec小结 词向量
下面这张图就形象地呈现了词向量的内涵:把词转化为向量，从而捕捉词与词之间的语义和句法关系，使得具有相似含义或相关性的词语在向量空间…
建设一个私有知识库问答网站
在上一篇博客中，我用Flask和开源大模型建立了一个智能问答网站用Flask打造一个大模型智能问答WEB网站-CSDN博客，可以根据用户的问题来进行回答。但是模型能回答的知识受限于其训练数据，如果我们有一些私有的知识想让模型回答，模型是无法给出答案的。为此我们可以让模型根据…
从领域外到领域内：LLM在Text-to-SQL任务中的演进之路
导语
本文介绍了ODIS框架，这是一种新颖的Text-to-SQL方法，它结合了领域外示例和合成生成的领域内示例，以提升大型语言模型在In-context Learning中的性能。
标题：Selective Demonstrations for Cross-domain Text-to-SQL会议&am…
NLP_“预训练+微调大模型”模式和Prompt/Instruct模式的异同
文章目录 “预训练微调大模型”的模式以提示/指令模式直接使用大模型“预训练微调大模型”模式和Prompt/Instruct模式的异同小结 “预训练微调大模型”的模式
经过预训练的大模型所习得的语义信息和所蕴含的语言知识，很容易向下游任务迁移。NLP应用人员可以根据自己…
基线提升至96.45%：2022 司法杯犯罪事实实体识别+数据蒸馏+主动学习
本项目给出本次法研杯详细的技术方案，从UIE-base开始到UIE数据蒸馏以及主动学习的建议，欢迎大家尝试，ps：主动学习标注需要自行实现，参考项目，楼主就不标注了。
项目链接：https://aistudio.baid…
环境配置 | 有关NLP的库安装学习使用示例，原理解释及出错解析
1.Spacy库学习 1.1.介绍
spacy:文本预处理库，Python和Cython中的高级自然语言处理库，它建立在最新的研究基础之上，从一开始就设计用于实际产品。spaCy带有预先训练的统计模型和单词向量，目前支持20多种语言的标记。它具有世界上速…
Bert下载和使用（以bert-base-uncased为例）
Bert官方github地址：https://github.com/google-research/bert?tabreadme-ov-file 【hugging face无法加载预训练模型】OSError：Can‘t load config for ‘./bert-base-uncased‘. If you‘re trying 如何下载和在本地使用Bert预训练模型 以bert-base-u…
Talk｜香港科技大学苟耘豪：MoCLE - 指令聚类MoE+通用专家解决多模态大模型任务冲突
本期为TechBeat人工智能社区第571期线上Talk。 北京时间2月8日(周四)20:00，香港科技大学博士生—苟耘豪的Talk已准时在TechBeat人工智能社区开播！ 他与大家分享的主题是: “MoCLE - 指令聚类MoE通用专家解决多模态大模型任务冲突”，系统地介绍…
NLP_神经概率语言模型(NPLM)
文章目录 NPLM的起源NPLM的实现1.构建实验语料库2.生成NPLM训练数据3.定义NPLM4.实例化NPLM5.训练NPLM6.用NPLM预测新词 NPLM小结 NPLM的起源
在NPLM之前，传统的语言模型主要依赖于最基本的N-Gram技术，通过统计词汇的共现频率来计算词汇组合的概率。然而…
实战二十六：基于字符串匹配的实体对齐任务 代码+数据 （可作为毕设）
任务描述：本教程通过将在两个不同本体体系下的实例进行对齐的例子来介绍和实现一个简单的实体对齐方法。实体对齐是对于给定的两种知识库，找到分别位于两个知识库中的相同实体。本教程通过加载和预处理数据、构建本体体系、构建实例和实体对齐算法得到一个可以应用的实体对齐…
全都会！预测蛋白质标注！创建讲义！解释数学公式！最懂科学的智能NLP模型Galactica尝鲜 ⛵
💡 作者：韩信子ShowMeAI 📘 机器学习实战系列：https://www.showmeai.tech/tutorials/41 📘 深度学习实战系列：https://www.showmeai.tech/tutorials/42 📘 自然语言处理实战系列：htt…
GPT-4模型的创造力
超级的创造力是GPT-4等高级语言模型的重要特征之一。它们不仅能够精确地模拟和再现各类文本样式、结构和内容，而且在生成新的文本时，能够通过深度学习算法对海量训练数据中捕捉到的模式进行创新性的重组与拓展： 词汇创新：基于已学…
论文浅尝 | 在图上思考：基于知识图谱的深度且负责的大语言模型推理
笔记整理：孙硕硕，东南大学硕士，研究方向为自然语言处理 链接：https://arxiv.org/abs/2307.07697 1. 动机 本文的动机是大型语言模型在各种任务中取得了较大的进步，但它们往往难以完成复杂的推理，并且在知识…
LLM的参数微调、训练、推理；LLM应用框架；LLM分布式训练
大模型基础 主流的开源大模型有哪些？ GPT-3：由 OpenAI 开发，GPT-3 是一个巨大的自回归语言模型，拥有1750亿个参数。它可以生成文本、回答问题、翻译文本等。GPT-Neo：由 EleutherAI 开发，GPT-Neo 是一个开源…
NLP是什么?神经语言编程和自然语言处理是同一种技术吗？
NLP是什么?
可能是两种技术：神经语言编程（Neuro Linguistic Programming，NLP） 和 自然语言处理（Natural Language Processing，NLP）
Neuro Linguistic Programming和Natural Language Process…
vLLM vs Text Generation Interface：大型语言模型服务框架的比较
在大型语言模型（LLM）的世界中，有两个强大的框架用于部署和服务LLM：vLLM 和 Text Generation Interface (TGI)。这两个框架都有各自的优势，适用于不同的使用场景。在这篇博客中，我们将对这两个框架进行详细的…
torch.tensor 与 torch.Tensor 的区别
Tensor 和tensor 都能用于生成新的张量
torch.Tensor() python类，默认张量类型torch.FloatTensor()的别名， torch.Tensor([1,2])会调用Tensor类的构造函数__init__，生成单精度浮点类型的张量。
a torch.Tensor([1, 2])
print(a) # tensor…
3分钟快速了解GPT-4
编者按：3分钟快速了解GPT-4，高效获取目前关于GPT-4的重点信息。话不多说，Enjoy!作者 | 岳扬01 GPT-4简介说到GPT-4，可能你不知道，在北京时间今天凌晨OpenAI发布之前你可能已经用过了。根据这篇Bing Blog的内容…
微机原理 || MOV 指令使用规则（详细+例题）
MOV 目标， 源 DST目标操作数：通用寄存器、段寄存器、存储单元、立即数
SRC源操作数：通用寄存器、段寄存器、存储单元 MOV指令使用规则:(1) 目标操作数无立即方式 例如，MOV 03H，AL; 为错误指令(2)数据传送应注意数据…
【期刊征稿】1/2区计算机类，影响因子即将突破5分，SCIEI双检，数据科学和电力系统的进展研究，听说有SCI才能毕业？
1/2区计算机类
【期刊分区】IF：4.5-5.0，JCR1/2区，中科院3区
【检索情况】SCI&EI 双检，正刊
【征稿领域】数据科学在电力系统中的进展研究
包括用于电力系统稳定性分析、控制和态势分析，如发电机的详细模型、控…
ChatGPT4也来了，大语言模型未来可期？注重当下很关键！
当地时间周二（3月14日），人工智能研究公司OpenAI公布了其大型语言模型的最新版本——GPT-4。该公司表示：“GPT-4在许多专业测试中表现出超过绝大多数人类的水平。”在内部评估中，GPT-4产生正确回应的可能性要比GPT-3.5高…
文档分割和文档词向量化的几种实现方式
即前一篇文章，基于gensim实现文档词向量化之外。本文主要基于大模型，或调用大模型API实现文档的分割和文档词的向量化，类似于word2vec机制，大家在未来做相关分析、情感分析、文字生成、智能推荐等方面，都需要先将已管理的文档进行分割和向量化，文本分割是为了将大的篇幅变…
【AI视野·今日NLP 自然语言处理论文速览 第七十九期】Thu, 18 Jan 2024
AI视野今日CS.NLP 自然语言处理论文速览 Thu, 18 Jan 2024 Totally 35 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Deciphering Textual Authenticity: A Generalized Strategy through the Lens of Large Language Semantics …
【自然语言处理】：实验1布置，Word2VecTranE的实现
清华大学驭风计划
因为篇幅原因实验答案分开上传，答案链接http://t.csdnimg.cn/5cyMG
如果需要详细的实验报告或者代码可以私聊博主
有任何疑问或者问题，也欢迎私信博主，大家可以相互讨论交流哟~~
实验1： Word2Vec&TranE的…
NLP_搭建GPT核心组件Transformer
文章目录 Transformer架构剖析编码器-解码器架构各种注意力的应用Transformer中的自注意力Transformer中的多头自注意力Transformer中的编码器-解码器注意力Transformer中的注意力掩码和因果注意力 编码器的输入和位置编码编码器的内部结构编码器的输出和编码器-解码器的连接解…
【自然语言处理-工具篇】spaCy＜1＞--介绍及安装指南
目录
前言
安装指南
pip
conda
spaCy升级
总结 前言 spaCy是一个开源的自然语言处理库，用于处理和分析文本数据。它提供了许多功能，包括分词、词性标注
【自然语言处理】微调 Fine-Tuning 各种经典方法的概念汇总
【自然语言处理】微调 Fine-Tuning 各种经典方法的概念汇总 前言请看此微调 Fine-TuningSFT 监督微调（Supervised Fine-Tuning）概念：监督学习，无监督学习，自监督学习，半监督学习，强化学习的区别…
谷歌内部开发AI大语言模型“鹅”；OpenAI CEO 寻求大规模AI芯片全球生产投资
🦉 AI新闻
🚀 谷歌内部开发AI大语言模型“鹅”
摘要：谷歌正在积极将AI技术融入其产品中，并为提升员工效率而开发了一个名为“鹅”的AI大语言模型。这一模型仅供公司内部团队使用，旨在辅助新产品的开发。据悉…
【自然语言处理】:实验4布置，预训练语言模型实现与应用
清华大学驭风计划
因为篇幅原因实验答案分开上传，自然语言处理专栏持续更新中，期待的小伙伴敬请关注
有任何疑问或者问题，也欢迎私信博主，大家可以相互讨论交流哟~~
案例简介 2018年，Google提出了预训练语言模型BE…
从查字典到查网络再到查大语言模型
随着科技的发展，人们查找信息的方式也在不断演变。从过去的查字典，到查网络再到现在的查大语言模型，每一步的进化都为人们提供了更加便捷和准确的信息查询方式。 查字典：过去，人们需要查找某个词语的定义、释义、发音…
语音叠加和谐振的计算
语音叠加和谐振的计算
什么是语音处理？ 1.语音信号的研究和这些信号的处理方法 2.数字信号的一个特例应用于语音信号的处理符号
什么是声音？ 声能,机械,海浪, 空气穿过的振动（或其他介质）,（空气）压力变化…
【AIGC】商汤SenseNova大模型“超市”
1. 商汤发布「日日新 SenseNova」
随着 ChatGPT 掀起的全球狂潮，，国内大厂争先恐后，大模型如雨后春笋遍地开花。
2023年 4月10日，重量级选手「商汤」发布「日日新SenseNova」大模型超市。 看这名字，真的很像超市。
…
【PyTorch深度学习项目实战100例】—— 基于RNN+CNN实现NLP判别新闻真伪 | 第45例
前言
大家好，我是阿光。
本专栏整理了《PyTorch深度学习项目实战100例》，内包含了各种不同的深度学习项目，包含项目原理以及源码，每一个项目实例都附带有完整的代码+数据集。
正在更新中~ ✨
🚨 我的项目环境： 平台：Windows10语言环境：python3.7编译器：PyCharmPy…
【Transformers】第 8 章：使用高效的 Transformer
🔎大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流🔎 📝个人主页－Sonhhxg_柒的博客_CSDN博客 📃 🎁欢迎各位→点赞…
5.2 词向量Word Embedding
在自然语言处理任务中，词向量（Word Embedding）是表示自然语言里单词的一种方法，即把每个词都表示为一个N维空间内的点，即一个高维空间内的向量。通过这种方法，实现把自然语言计算转换为向量计算。
如 图1 …
大白话式粗浅地聊聊NLP语言模型
前言
在聊NLP领域的语言模型的时候，我们究竟在聊什么？这就涉及nlp语言模型的定义。语言模型发展至今，其实可以简单的分为传统意义上的语言模型和现代的语言模型，传统语言模型主要是指利用统计学计算语料序列的概率分布࿰…
第七章 基于 RNN 的生成文本
目录7.1 使用语言模型生成文本7.1.1 使用 RNN 生成文本的步骤7.1.2 文本生成的实现7.1.3 更好的文本生成7.2 seq2seq 模型7.2.1 seq2seq 的原理7.2.2 时序数据转换的简单尝试7.2.3 可变长度的时序数据7.2.4 加法数据集7.3 seq2seq 的实现7.3.1 Encoder类7.3.2 Decoder类7.3.3 S…
UniLM模型简单介绍
目录 一、概要
二、深入扩展
2.1 预训练任务
2.2 模型精调 一、概要 如果将基于Transformer的双向语言模型（如BERT模型中的掩码语言模型）与单向的自回归语言模型（如BART模型的解码器）进行对比，可以发现，…
LLM少样本示例的上下文学习在Text-to-SQL任务中的探索
导语
本文探索了如何通过各种提示设计策略，来增强大型语言模型（LLMs）在Few-shot In-context Learning中的文本到SQL转换能力。通过使用示例SQL查询的句法结构来检索演示示例，并选择同时追求多样性和相似性的示例可以提高性能&…
Enhance the Visual Representation via Discrete Adversarial Training
在自然语言处理NLP中，AT可以从泛化中受益，我们注意到AT在NLP任务中的有优点可能来自于离散和符号输入空间。为了借鉴NLP风格AT的优势，我们提出了离散对抗训练（DAT）。DAT利用VQGAN将图像数据改为离散的类似文本的输入&a…
Transformer结构解读(Multi-Head Attention、AddNorm、Feed Forward)
咱们还是照图讨论，transformer结构图如下，本文主要讨论Encoder部分，从低端输入inputs开始，逐个结构进行：图一一、首先说一下Encoder的输入部分：在NLP领域，个人理解，这个inputs就是我…
ChatGPT及相关产品体验与研究
ChatGPT及相关产品体验与研究
我的Github博客仓库链接：ChatGPT及相关产品体验与研究 - Github
一、ChatGPT介绍
1. ChatGPT概述 一句话描述ChatGPT：一个能够通过对话得到你想要的答案的聊天机器人。 ChatGPT 是由 OpenAI 开发的一种基于深度学习的自然…
【跟着ChatGPT学深度学习】ChatGPT教我文本分类
【跟着ChatGPT学深度学习】ChatGPT教我文本分类 ChatGPT既然无所不能，我为啥不干脆拜他为师，直接向他学习，岂不是妙哉。说干就干，我马上就让ChatGPT给我生成了一段文本分类的代码，不看不知道，一看吓一跳&am…
又一个国内类ChatGPT模型？【秘塔科技上线自研LLM大模型「对话写作猫」】
又一个国内类ChatGPT模型？【秘塔科技上线自研LLM大模型「对话写作猫」】
说个题外话，今天一大早就收到了Biying的邮件。前段时间不是申请了New Biying的内测吗？下午可以尝试一下玩一会儿。如果体验感还不错或者还有很多bug，那我到…
以ChatGPT为例进行自然语言处理学习——入门自然语言处理
⭐️我叫忆_恒心，一名喜欢书写博客的在读研究生👨🎓。 如果觉得本文能帮到您，麻烦点个赞👍呗！ 近期会不断在专栏里进行更新讲解博客~~~ 有什么问题的小伙伴 欢迎留言提问欧，喜欢的小伙伴给个三…
pytorch文本分类_pytorch中的cnns进行文本分类
pytorch文本分类“Deep Learning is more than adding layers”“深度学习不仅仅是增加层次”The objective of this blog is to develop a step by step text classifier by implementing convolutional neural networks. So, this blog is divided into the following sectio…
从“口号”到“实践”，抖音外卖剑指何方？
随着移动支付和“互联网”生活方式的普及，外卖行业得以迅速发展。
打包是最早出现的外卖形式，到后来的电话订餐，再到如今的网络订餐。外卖行业发展越来越快，经过数十年的竞争，最终形成了美团、饿了么双寡头格局。
但…
净利率远低同行，诺威健康如何在CRO跑道上争排位？
医疗企业上市的这股风似乎就没停止过。 继堃博医疗通过港交所聆讯之后，又一家医疗企业完成港交所的“考核”。
9月5日，港交所披露，诺威健康更新招股说明书，将于本周开始预路演，预计募集约15亿美元，高盛、瑞…
Borel measurability
波莱尔可测性 第一次看见这个名词是在deep learning上，文中只是简单的提到了这么一个词，用于解释深度神经网络能够进行训练的原因分析，有限次的波莱尔函数的叠加仍然是波莱尔函数，而根据波莱尔的性质可知，（…
数据增强方法（NLP）
显式数据增强
给定一个输入文本，在尽可能不改变原是文本语义的情况下，微调或修改部分字符或词可以实现快速的增强，主要包括如下几种类型：
同义词替换 （SR） ：随机挑选n个 非停用词 ，…
大语言模型之三 InstructGPT训练过程
大语言模型 GPT历史文章中简介的大语言模型的的发展史，并且简要介绍了大语言模型的训练过程，本篇文章详细阐述训练的细节和相关的算法。
2020年后全球互联网大厂、AI创业公司研发了不少AI超大模型（百亿甚至千亿参数），…
深度学习6：自然语言处理-Natural language processing | NLP
目录
NLP 为什么重要？
什么是自然语言处理 – NLP
NLP 的2大核心任务
自然语言理解 – NLU|NLI
自然语言生成 – NLG
NLP(自然语言处理) 的5个难点
NLP 的4个典型应用
NLP 的 2 种途径、3 个核心步骤
总结
自然语言处理 NLP 为什么重要？ “语言…
自然语言处理nlp 数据集下载地址
代表性的数据集、基准(预训练)模型、语料库、排行榜。本文选择一系列有一定代表性的任务对应的数据集，做为测试基准的数据集。这些数据集会覆盖不同的任务、数据量、任务难度。
中文数据集下载
中文语言理解测评基准： https://www.cluebenchmarks…
ValueError: cannot reshape array of size 39571797 into shape (2,newaxis)
在读取音频文件和改音频文件的过程中出现了一个bug
wave_data np.frombuffer(str_data,dtype np.short)读取的数据wave_data是
<class numpy.ndarray>ValueError: cannot reshape array of size 39571797 into shape (2,newaxis)原因：39571797是奇数&…
什么是word embedding？
Word embedding 的任务是把词转换成可以计算的向量 https://easyai.tech/ai-definition/word-embedding/#representation
transformer、bert总结
1、transformer 其实transformer最重要的就是，输入的是什莫，输出是什么，主要的组成部分是什么？ 现在明白一点输入和另外一个的输入其实相差一位，output主要是为了训练的时候，让下一个知道之前都发生了什么&…
tensorflow.python.framework.errors_impl.UnknownError: Failed to get convolution algorithm出错
神经网络训练时出现 无法获取卷积算法的问题tensorflow.python.framework.errors_impl.UnknownError: Failed to get convolution algorithm. This is probably because cuDNN failed to initialize
使用训练环境： Tensorflow 2.3.0，CUDA 10.1ÿ…
4 个可以颠覆你人生的能力
这里写目录标题1. 4 个可以颠覆你人生的能力1.1. 深度阅读的能力1.2. 自我认知能力1.3. 掌控自己欲望的能力1.4. 用语言表达自己思想的能力1. 4 个可以颠覆你人生的能力
1.1. 深度阅读的能力
让自己学会并开始沉浸式阅读那些对自己有用却可能无趣的内容。
1.2. 自我认知能力…
解读未知：文本识别算法的突破与实际应用
解读未知：文本识别算法的突破与实际应用
1.文本识别算法理论
背景介绍
文本识别是OCR（Optical Character Recognition）的一个子任务，其任务为识别一个固定区域的的文本内容。在OCR的两阶段方法里，它接在文本检测后面…
文本标注技术方案（NLP标注工具）
Doccano doccano 是一个面向人类的开源文本注释工具。它为文本分类、序列标记和序列到序列任务提供注释功能。您可以创建用于情感分析、命名实体识别、文本摘要等的标记数据。只需创建一个项目，上传数据，然后开始注释。您可以在数小时内构建数据集。 支持…
ChatGPT Prompting开发实战（三）
一、关于chaining prompts与CoT的比较
前面谈到的CoT的推理过程，可以比作是一次性就烹调好一顿大餐，那么接下来要说的“chaining prompts”，其背后的理念是分多次来完成这样一项复杂任务，每次只完成其中一步或者一个子任务。核心…
【Datawhale】AI夏令营第三期——基于论文摘要的文本分类笔记(上)
暑期参加了Datawhale的第三期AI夏令营，学习的是NLP方向，在此期间，我们通过比赛打榜的形式进行NLP的学习。今天，主要分享和记录一下这一期夏令营的学习历程和笔记。 文章目录 赛题背景赛题任务赛题数据集评价指标解题思路任务一&am…
论文浅尝 | 利用对抗攻击策略缓解预训练语言模型中的命名实体情感偏差问题...
笔记整理：田家琛，天津大学博士，研究方向为文本分类 链接：https://ojs.aaai.org/index.php/AAAI/article/view/26599 动机 近年来，随着预训练语言模型（PLMs）在情感分类领域的广泛应用，…
Spatio-Temporal Representation With Deep Neural Recurrent Network in MIMO CSI Feedback阅读笔记
Abstract
在MIMO系统中，利用发射机可用的信道状态信息（CSI）进行预编码对于提高频分双工（FDD）网络的性能至关重要。在MIMO系统中，在CSI feedback transmission中压缩大量信道状态信息是一个主要挑战。本文中…
不要Prompt的Few-shot NER
前言
基于prompt的方法本质上是为句子级别的任务设计的，很难适应于token级别的任务。因为：针对token级别的template的搜索空间变大；在少量样本上训练容易过拟合。
输入端 b中是提出的模型，它没有添加prompts，但他的l…
加入标点符号进行增强，仅适用于文本分类
在1到1/3的句子长度中，随机生成一个数字a。用a个标点符号在句子中随机插入。这些标点符号为：[., ,, !, ?, ;, :]。 理论基础：对于文本分类来说，EDA方法，如论是同义词替换，还是随机替换、随机插入、随机删除…
NLP | 基于LLMs的文本分类任务
比赛链接：讯飞开放平台
来源：DataWhale AI夏令营3（NLP） Roberta-base（BERT的改进）
①Roberta在预训练的阶段中没有对下一句话进行预测（NSP）
②采用了动态掩码 ③使用字符级和词级…
刷人脸也可绿码，通过。
“您好，请出示健康码”疫情以来，健康码核验测温机已成为各场所日常必须进行的防范举措。健康码人脸识别测温一体机，不同于一般的红外线测温仪，不仅带有必备的测温功能，还有考勤、门禁、口罩识别、健康码核验功能。健康…
生成式摘要的四篇经典论文
文章目录论文1. 生成式摘要的开篇之作 EMNLP2015论文2. 进阶之作(姐妹篇) NAACL2016论文3. 钻研摘要任务本质的全技能之作 CoNLL2016论文4. 生成-抽取方法的进阶之作 ACL2017本文重温经典，从生成式摘要的开篇之作起，讲解四篇经典论文和它们的相关文献。这…
文本表示模型(2)：静态词表示Word2Vec、FastText、GloVe
目录文本表示模型静态词嵌入Word2VecFastTextGloVe文本表示模型
文本表示模型可分为以下几种：
基于one-hot, tf-idf, textrank等的bag-of-words；基于计数的，主题模型，如LSA, pLSA, LDA基于预测的，静态词嵌入…
文本表示模型(1)：主题模型LSA、pLSA、LDA
目录文本表示模型主题模型LSApLSALDA文本表示模型
文本表示模型可分为以下几种：
基于one-hot, tf-idf, textrank等的bag-of-words；基于计数的，主题模型，如LSA, pLSA, LDA基于预测的，静态词嵌入，如Word2Ve…
NLP-聊天机器人全代码教程
01.代码小练 小学生级别问答
基于有规则的回答
import random#打招呼
greetings = [hola,hello,hi,hey,hey!]
#回复打招呼
random_greetings = random.choice(greetings)
print(random_greetings)#对于”你怎么样“？这个问题的回复
question = [How are you ?,How are you …
GPT-3 最强应用，动动手指就自动写代码的神器来了！
作者 | 马超责编 | 伍杏玲出品 | CSDN（ID：CSDNnews） 前不久OpenAI发布最新的NLP模型GPT-3，这两天霸榜GitHub趋势榜：这个模型的出现证明在AI领域的“大力出奇迹”，GPT3使用的数据集容量达到45TB，…
【自然语言处理】大模型高效微调：PEFT 使用案例
文章目录 一、PEFT介绍二、PEFT 使用2.1 PeftConfig2.2 PeftModel2.3 保存和加载模型 三、PEFT支持任务3.1 Models support matrix3.1.1 Causal Language Modeling3.1.2 Conditional Generation3.1.3 Sequence Classification3.1.4 Token Classification3.1.5 Text-to-Image Ge…
Coursera课程答案分享
Coursera课程答案分享大家好，我是Three~
欢迎大家到访我的GitHub，这个仓库里面有我之前写过的Coursera课程的题目。 目前，仓库中有以下课程的答案：
Deep Learning系列 （吴恩达）
该系列包含以下课程&…
【Bert101】最先进的 NLP 模型解释【01/4】
0 什么是伯特？ BERT是来自【Bidirectional Encoder Representations from Transformers】变压器的双向编码器表示的缩写，是用于自然语言处理的机器学习（ML）模型。它由Google AI Language的研究人员于2018年开发，可作为…
第二章（2）：从零开始掌握PyTorch基础知识，打造NLP学习利器
第二章（2）：从零开始掌握PyTorch基础知识，打造NLP学习利器！ 目录第二章（2）：从零开始掌握PyTorch基础知识，打造NLP学习利器！1. Pytorch基础1.1 Pytorch安装1.1.…
小说情感倾向分析工具
目前有很多中英文小说情感倾向工具，以下是一些常用的工具：
情感分析工具：可以对文本进行情感识别，根据文本中包含的情感信息，将其转化成情感值，通常有积极情感值、消极情感值、中性情感值等，常…
d2l解码编码器与seq2seq
seq2seq难死了，卡了好久，好不容易有些头绪了。。。
目录
1.编码器与解码器
1.1原理
1.2实现
2.seq2seq
2.1构造编码器
2.2构造解码器
repeat与cat探索
总结nn.rnn\GRU\LSTM输入输出
看一下解码器的输出
2.3损失计算
2.4训练
2.5预测
2.6预…
第三章（1）：自然语言处理概述：应用、历史和未来
第三章（1）：自然语言处理概述：应用、历史和未来 目录第三章（1）：自然语言处理概述：应用、历史和未来1. 自然语言处理概述：应用、历史和未来1.1 主要应用1.2 历史1.3 NLP的新…
2023-03-01干活小计
昨天组会，元气大伤，拖更直接。今天继续，三月加油！
python魔术方法：
__repr__:print()时候调用，注意函数返回值就是打印值。
__len__:len()时候调用
__call__:实例()时候调用
__getitem__:self[i]时候调…
搜广推 Product-based Neural Networks (PNN) - 改进特征交叉的方式
😄 PNN：2016年上海交通大学提出。 文章目录 1、PNN1.1、原理1.2、创新点：product层1.3、product层z部分的输出：l~z~ 的计算方式：1.4、product层z部分的输出：l~p~ 的计算方式：1.4.1、IPNN1.4.2、OPNN1.5、优点1.6、缺点Reference1、PNN PNN：Product-based Neural Netwo…
内容算法解读：提高内容摘要与原文的一致性（Faithfulness）
全文摘要：受益于预训练语言模型的发展，应用神经网络模型提取内容摘要的技术也获得了长足进步。但目前还存在一个未被很好解决的问题：神经网络模型提取的摘要不能如实反映原文档的中心思想，没有做到忠实（not faithful&a…
轻松玩转开源大语言模型bloom（一）
前言
chatgpt已经成为了当下热门，github首页的trending排行榜上天天都有它的相关项目，但背后隐藏的却是openai公司提供的api收费服务。作为一名开源爱好者，我非常不喜欢知识付费或者服务收费的理念，所以便有决心写下此系列&#…
BERT常见面试题问题
算法工程师常见面试问题总结之BERT面试常见问题总结 1.简单描述下BERT的结构 答：BERT是Google在2018年提出的一种基于Transformers的预训练语言模型。BERT的设计理念是通过大规模无标注语料库的预训练，使得模型能够学习到丰富的语言知识，并将…
浅谈ChatGPT 和 对AI 的思考
新世纪以来，人工智能作为一个非常热门话题，一直收到大众的广泛的关注。从一开始的图像的分类，检测，到人脸的识别，到视频分析分类，到事件的监测，到基于图片的文本生成，到AI自动写小说…
![推荐系统[九]项目技术细节讲解z2：搜索Query理解[Term Weight、Query 改写、同义词扩写]和语义召回技术](https://img-blog.csdnimg.cn/e8e2fbfee5c84d96b5cf05598e7cb0dd.png)
推荐系统[九]项目技术细节讲解z2：搜索Query理解[Term Weight、Query 改写、同义词扩写]和语义召回技术
搜索Query理解和语义召回技术 随着用户规模和产品的发展， 搜索面临着越来越大的 query 长尾化挑战，query 理解是提升搜索召回质量的关键。本次将介绍搜索在 query term weighting，同义词扩展，query 改写，以及语义召回等方向上的实践方法和落地情况。
1.面临问题：长尾 qu…
python中文情感分析分类和英文情感分析的库和方法汇总
情感分析是自然语言处理中的一个常见任务。以下是用 Python 写的一个简单的情感分析分类函数的代码示例： import jieba
import numpy as npdef sentiment_analysis(text):# 读取情感词典sentiment_words []with open(sentiment_words.txt, r, encodingutf-8) as f:…
pycorrector一键式文本纠错工具，整合了BERT、MacBERT、ELECTRA、ERNIE等多种模型，让您立即享受纠错的便利和效果
pycorrector：一键式文本纠错工具，整合了Kenlm、ConvSeq2Seq、BERT、MacBERT、ELECTRA、ERNIE、Transformer、T5等多种模型，让您立即享受纠错的便利和效果 pycorrector: 中文文本纠错工具。支持中文音似、形似、语法错误纠正，pytho…
dialogbot：开箱即用的对话机器人解决方案，涵盖问答型对话、任务型对话和聊天型对话等多种场景，为您提供全方位的对话交互体验。
dialogbot：开箱即用的对话机器人解决方案，涵盖问答型对话、任务型对话和聊天型对话等多种场景，支持网络检索问答、领域知识问答、任务引导问答和闲聊问答，为您提供全方位的对话交互体验。 人机对话系统一直是AI的重要方向…
揭秘国产chatGPT大语言模型能力PK之001：ChatGLM1-2
一、问题清单: 1.我女朋友的老公应该叫我什么？ 2.为什么我的女朋友还有老公？ 3.你觉得我应该怎么做？ 4.我想要获得爱情，我女朋友也爱我，我女朋友也爱她的老公，但他的老公恨我，我该怎么办&am…
鸽王-稚晖君，“远征”A1启程
看到这篇文章的人，想必对野生钢铁侠-稚晖君，都有所了解。作为华为的天才少年，获得了很多的荣誉，作为B站有名的鸽王，在沉浮一段时间后终于要带着新的东西和大家见面了。动态-哔哩哔哩https://b23.tv/Jv7tIjg 众所周知&a…
2022-kaggle-nlp赛事：Feedback Prize - English Language Learning（超多注释讲解）
2022-kaggle-nlp赛事：Feedback Prize - English Language Learning
零、比赛介绍
比赛地址Feedback Prize - English Language Learning | Kaggle
0.1 比赛目标
写作是一项基本技能。可惜很少学生能够磨练，因为学校很少布置写作任务。学习英语作为第…
保单OCR识别技术助力保单管理
关键词：保单识别 保单OCR识别 保单OCR识别技术
近日，最新一期“宏利亚洲关怀调查”报告发布，重点指出中国消费者最感兴趣的险种为重疾险、意外险和人寿保险，其中超过半数（56%）人士通过数字化平台进行保单的…
机器学习——自然语言处理（NLP）一
机器学习——自然语言处理（NLP）一 文章目录 前言一、TF-IDF算法1.1. 原理1.2. 算法步骤：1.2.1. 文本预处理1.2.2. 构建词袋模型1.2.3. 计算TF-IDF值1.2.4. 特征选择 1.3. 代码实现1.3.1. TF-IDF1.3.2 计数器向量化文本1.3.3. 两者的区别1.3.4…
如何使用NLP库解析Python中的文本
Python是一种强大的面向对象的编程（object-oriented programming，OOP）语言，在人工智能领域有着广泛的用途。正是鉴于其实用性，以Google为首的大型科技公司，已经对其开发了Tensorflow等代码库，帮…
self-attention（自注意力机制）
先举个有趣的例子理解 Q 、 K 、 V Q、K、V Q、K、V： 将我们要查询的内容，和商品列表进行相似度匹配，先拿出相似度更高的商品列表。 再根据以往的评价，计算出总分，按照分数进行排序。
self-attention d k \sqrt{d_k}…
基于进制嵌入及累计解码的大模型研究
摘要： 随着深度学习领域的快速发展，许多复杂的神经网络已经在各个领域取得了重要的突破。然而，大型神经网络一般需要大量的计算能力、存储空间和时间复杂度，在现有的硬件资源下，降低这些巨型模型的训练和预测成本仍具有挑战性。为此，本文提出了基于进制嵌入（EmAdd）和累…
使用 AutoGPTQ 和 transformers 让大语言模型更轻量化
大语言模型在理解和生成人类水平的文字方面所展现出的非凡能力，正在许多领域带来应用上的革新。然而，在消费级硬件上训练和部署大语言模型的需求也变得越来越难以满足。 🤗 Hugging Face 的核心使命是 让优秀的机器学习普惠化 ，而…
![[NLP]LLM 训练时GPU显存耗用量估计](https://img-blog.csdnimg.cn/da62d616b2d24733874a7f6667931ef4.png)
[NLP]LLM 训练时GPU显存耗用量估计
以LLM中最常见的Adam fp16混合精度训练为例，分析其显存占用有以下四个部分： GPT-2含有1.5B个参数，如果用fp16格式，只需要1.5G*2Byte3GB显存, 但是模型状态实际上需要耗费1.5B*1624GB.
比如说有一个模型参数量是1M，在…
【深度学习，NLP，LM】Alpaca-Lora ，Colab上部署与调用
【深度学习，NLP，LM】Alpaca-Lora ，Colab上部署与调用前言安装环境运行generate代码前言
Alpaca-Lora Huggingface项目 Tloen/Alpaca-Lora GitHub项目如何简单使用Colab
安装环境
首先按照需要安装相应依赖
!pip install sentencepiece
%c…
简历信息提取论文笔记Information Extraction from Resume Documents in PDF Format
标题：Information Extraction from Resume Documents in PDF Format下载地址：https://library.imaging.org/ei/articles/28/17/art00013长度：8页发表时间：2016引用量cite27先读标题、摘要、结论、然后 methods/experiment design,…
Python 人工智能：11~15
原文：Artificial Intelligence with Python 协议：CC BY-NC-SA 4.0 译者：飞龙 本文来自【ApacheCN 深度学习 译文集】，采用译后编辑（MTPE）流程来尽可能提升效率。 不要担心自己的形象，只关心如何…
358 篇论文, 最新知识图谱KG综述！
获取结构化的人类知识是设计高级人工智能的重要基础。为此，早期研究者做了大量工作以从不同数据源中自动提取可以提供有用信息（事实）的数据模式；进一步地，学者的研究兴趣转向自动构建概念化的结构良好的知识图谱&#…
【博学谷学习记录】超强总结，用心分享丨人工智能 自然语言处理 迁移学习部分笔记
目录FastText作用优势安装文本分类种类过程训练词向量词向量迁移迁移学习标准数据集预训练模型加载和使用预训练模型的步骤FastText
作用
进行文本分类训练词向量
优势
保持较高精度的情况下, 快速的进行训练和预测
安装
pip install fasttext文本分类
种类
二分类单标…
Jieba进行词频统计与关键词提取
文章目录1 词频统计1.1 简单词频统计1.2 加入停用词2 关键词提取2.1 关键词提取原理2.2 关键词提取代码1 词频统计
1.1 简单词频统计
导入jieba库并定义文本
import jieba
text "Python是一种高级编程语言，广泛应用于人工智能、数据分析、Web开发等领域。&…
深入理解NLP中的文本匹配任务
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
自然语言处理（Natural Language Processing，NLP）简要
自然语言处理（Natural Language Processing，NLP）简要一、发展状况二、发展优势三、发展瓶颈四、具体研究方向五、自然语言处理工具六、未来发展方向自然语言处理（Natural Language Processing，NLP）是计算机…
Elasticsearch：使用 NLP 问答模型与你喜欢的圣诞歌曲交谈
自然语言处理 (NLP) 是人工智能 (AI) 的一个分支，旨在通过将计算语言学与统计、机器学习和深度学习模型相结合，尽可能接近人类解释地理解人类语言。
NLP 的最大挑战之一是在考虑到各种语言表示的情况下预训练文本数据的过程。
2018 年，谷歌…
InstanceNorm LayerNorm
InstanceNorm && LayerNorm
author: SUFEHeisenberg
date: 2023/01/26
先说结论:
将Transformer类比于RNN：一个token就是一层layer，对一整句不如token有意义原生Bert代码或huggingface中用的都是InstanceNorm instead of LayerNormÿ…
RoFormer: Enhanced Transformer with Rotary Position Embedding论文解读
RoFormer: Enhanced Transformer with Rotary Position Embedding 论文：RoFormer: Enhanced Transformer with Rotary Position Embedding (arxiv.org)
代码：ZhuiyiTechnology/roformer: Rotary Transformer (github.com)
期刊/会议：未发表…
损失函数(Loss Function)一文详解-分类问题常见损失函数Python代码实现+计算原理解析
目录
前言
一、损失函数概述
二、损失函数分类
1.分类问题的损失函数
1.交叉熵损失函数（Cross Entropy Loss）
2.Hinge损失函数
3.余弦相似度损失函数（Cosine Similarity Loss）
4.指数损失函数（Exponential Los…
生成对抗网络项目：6~9
原文：Generative Adversarial Networks Projects 协议：CC BY-NC-SA 4.0 译者：飞龙 本文来自【ApacheCN 深度学习 译文集】，采用译后编辑（MTPE）流程来尽可能提升效率。 不要担心自己的形象，只关心…
ChatGPT重量级对手产品：Claude对外发布
什么是ClaudeClaude是下一代人工智能助手，基于 Anthropic 对训练有用、诚实和无害的人工智能系统的研究。Claude 可通过我们的开发人员控制台中的聊天界面和 API 进行访问，能够执行各种对话和文本处理任务，同时保持高度的可靠性和可预测性。克…
从 ELMo 到 ChatGPT：历数 NLP 近 5 年必看大模型
目录AI21 LabsAlibabaAllen Institute for AIAmazonAnthropicBAAIBaiduBigScienceCohereDeepMindEleutherAIGoogleHuggingfaceiFLYTEKMetaMicrosoftNVidiaOpenAISalesforceTsinghua UniversityUC BerkeleyYandex持续更新中 ...参考团队博客: CSDN AI小组 先上 “万恶之源”&…
情感分析实战：自然语言处理领域中的热门任务
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
大模型高效调参—PEFT库（ Parameter-Efficient Fine-Tuning）
介绍
在面对特定的下游任务时，如果进行Full FineTuning（即对预训练模型中的所有参数都进行微调），太过低效；而如果采用固定预训练模型的某些层，只微调接近下游任务的那几层参数，又难以达到较好的…
CCF大数据与计算智能大赛-基于人工智能的漏洞数据分类冠军方案
基于人工智能的漏洞数据分类
前言
为及时跟踪国际信息安全趋势，需对国际公开的漏洞数据内容进行及时统计和梳理，例如CVE漏洞平台。CVE平台的漏洞信息包含有CVE编号、漏洞评分、漏洞描述等内容，其中漏洞描述含有对漏洞的利用条件、受影响的范…
从0探索NLP——导航帖
从0探索NLP——导航帖
人工智能是一个定义宽泛、知识组成复杂的领域，而NLP是人工智能领域中的一类任务，他在哪呢？Emmmmm~不能说都有涉猎只能说全都都沾点：
每次想要针对NLP的某一点进行讲解时，不讲那写细枝末节&…
【动手学习深度学习-----自然语言处理：预训练】
词嵌入（Word2vec）
word2vec工具包含两个模型，即跳元模型（skip-gram）和连续词袋（CBOW），对于在语义上有意义的表示，它们的训练依赖于条件概率，条件概率可以被看…
【自然语言处理】【大模型】DeepMind的大模型Gopher
DeepMind的大模型Gopher《Scaling Language Models: Methods, Analysis & Insights from Training Gopher》论文：https://arxiv.org/pdf/2112.11446.pdf 相关博客 【自然语言处理】【大模型】DeepMind的大模型Gopher 【自然语言处理】【大模型】Chinchilla&…
探究Hugging Face Pipeline类：一站式自然语言处理工具
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
【NLP相关】深度学习领域不同编程IDE对比
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
NLP 与 Python：构建知识图谱实战案例
概括
积累了一两周，好久没做笔记了，今天，我将展示在之前两周的实战经验：如何使用 Python 和自然语言处理构建知识图谱。 网络图是一种数学结构，用于表示点之间的关系，可通过无向/有向图结构进行可视化展示…
Transformer 代码详细解析
Transformer 代码详细解析 文章目录 Transformer 代码详细解析一、Transformer 背景介绍1.1 Transformer 的诞生1.2 Transformer 的优势1.3 Transformer 的市场 二、Transformer架构解析2.1 认识 Transformer 架构2.1.1 Transformer模型的作用2.1.2 Transformer 总体架构图 2.2…
![推荐系统[五]：重排算法详解相关概念、整体框架、常用模型；涉及用户体验[打散、多样性]，算法效率[多任务融合、上下文感知]等](https://img-blog.csdnimg.cn/b935ff75e3e84d7f88de39613bb02bad.png)
推荐系统[五]：重排算法详解相关概念、整体框架、常用模型；涉及用户体验[打散、多样性]，算法效率[多任务融合、上下文感知]等
1.前言：召回排序流程策略算法简介 推荐可分为以下四个流程，分别是召回、粗排、精排以及重排： 召回是源头，在某种意义上决定着整个推荐的天花板；粗排是初筛，一般不会上复杂模型；精排是整个推荐环节的重中之重，在特征和模型上都会做的比较复杂；重排，一般是做打散或满足…
WizardKM:Empowering Large Language Models to Follow Complex Instructions
WizardKM:Empowering Large Language Models to Follow Complex Instructions Introduction参考 Introduction
作者表明当前nlp社区的指令数据比较单一，大部分都是总结、翻译的任务，但是在真实场景中，人们有各式各样的需求，这限制…
推荐NLP基础 RNN循环神经网络
NLP概述
Natural Language Processing(NLP, 自然语言处理)
目的：让计算机处理或“理解”自然语言，以执行语言翻译和问题回答等任务；最终 来讲就是构建机器语言和人类语言之间的沟通桥梁，实现人机交流为最终目的。 常见应用&…
自然语言处理（NLP）在放射学报告评价中的应用：应用和技术进展
自然语言处理（NLP）在放射学报告评价中的应用：应用和技术进展 写在最前面摘要引言先进的技术BERT算法优点 Applications in Radiology 放射学应用Quality 质量将关键发现通知转诊临床医生放射科关键绩效指标和评估 个别放射科医生的表现同行学…
OpenAI-ChatGPT最新官方接口《聊天交互多轮对话》全网最详细中英文实用指南和教程，助你零基础快速轻松掌握全新技术（二）（附源码）
目录Chat completions Beta 聊天交互前言Introduction 导言Response format 提示格式Managing tokensCounting tokens for chat API calls 为聊天API调用标记计数Instructing chat models 指导聊天模型Chat vs Completions 聊天与完成FAQ 问与答其它资料下载Chat completions B…
OpenAI私有自然语言处理模型、ChatGPT官方模型、百度智能云UNIT模型定制三者的使用方式、应用场景及区别
目录
前言
1、ChatGPT私有自然语言模型数据响应
1.1、私有模型列表
1.2、搭建属于自己的 WEB AI 应用
1.3、模型介绍及使用场景
1.3.1、text-embedding-ada-002模型
1.3.2、davinci模型
2、ChatGPT官方模型
2.1、OpenAI GPT-4介绍
2.2、能力
2.3、优势
2.4、官方模…
【AI with ML】第 7 章 ：用于自然语言处理的递归神经网络
🔎大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流🔎 📝个人主页－Sonhhxg_柒的博客_CSDN博客 📃 🎁欢迎各位→点赞…
【LLM大模型】LLM模型和指令微调方法
note 文章目录 note零、AIGC生成式模型1. 核心要素2. LLM evolutionary tree3. 几个bigScience里的概念 二、LLM大模型1. ChatGLM（1）GLM-130B（2）ChatGLM-6B 2. LLaMA3. RoBERTa4. Bloom5. PaLM 三、模型指令微调1. 指令微调的注意…
【AI帮我写代码，上班摸鱼不是梦】手摸手图解CodeWhisperer的安装使用
IDEA插件
除了借助ChatGPT通过问答的方式生成代码，也可以通过IDEA插件在写代码是直接帮助我们生成代码。
目前，IDEA插件有CodeGeeX、CodeWhisperer、Copilot。其中，CodeGeeX和CodeWhisperer是完全免费的，Copilot是收费的&#x…
自然语言处理-01神经网络
数学和PY
向量是同时拥有大小和方向的量。向量可以表示为排成一排的数字集合，在 Python 实现中可以处理为一维数组。 向量和矩阵可以分别用一维数组和二维数组表示。另外，在矩阵中，将水平方向上的排列称为行（row）&…
ChatGPT技术原理 第六章：对话生成技术
目录 6.1 任务定义
6.2 基于检索的方法
6.3 基于生成的方法
6.4 评价指标 6.1 任务定义 对话生成技术是指使用自然语言处理技术生成与人类语言相似的对话。在对话生成任务中，模型需要理解输入的语境、用户的意图和上下文信息，然后生成能够回答用户问题…
命名实体识别(NER)知识汇总
介绍 命名实体识别（Named Entity Recognition，NER）是NLP领域中一项基础的信息抽取任务，NER 是关系抽取、知识图谱、问答系统等其他诸多NLP任务的基础。NER从给定的非结构化文本中识别命名实体，并对实体分类，…
NLP：训练一个中文问答模型Ⅰ-Step by Step
训练一个中文问答模型I-Step by Step 本文基于经典的NMT架构（Seq2SeqAttention)，训练了一个中文问答模型，把问题到答案之间的映射看作是问题到答案的翻译。基于Tensorflow 2.x实现，分词采用了jieba，在中文词汇粒度上训…
NLP自然语言处理NLTK常用英文功能汇总
自然语言处理 (NLP) 是一门研究如何让计算机程序理解人类语言的学科。NLTK (Natural Language Toolkit) 是一个 Python 包，可以用于 NLP 的应用开发。
很多数据都是非结构化的，而且包含可以被人类读懂的文本。在用编程方式分析这些数据之前，我们需要对它们进行预处理。在本…
生成对抗网络项目：1~5
原文：Generative Adversarial Networks Projects 协议：CC BY-NC-SA 4.0 译者：飞龙 本文来自【ApacheCN 深度学习 译文集】，采用译后编辑（MTPE）流程来尽可能提升效率。 不要担心自己的形象，只关心…
详解Transformer （Attention Is All You Need）
先导知识
Attention残差网络Layer Normalization
前言
注意力（Attention）机制[2]由Bengio团队与2014年提出并在近年广泛的应用在深度学习中的各个领域，例如在计算机视觉方向用于捕捉图像上的感受野，或者NLP中用于定位关键token…
CV、NLP顶刊顶会
1. CV顶刊顶会
1.1 CV三大会议
CVPR: International Conference on Computer Vision and Pattern Recognition (每年，6月开会) 网址：https://dblp.uni-trier.de/db/conf/cvpr/index.html
ICCV: International Conference on Computer Vision (奇数年&…
【NLP】斯密斯-沃特曼的对齐算法（python）
一、说明 在生物技术中，需要用到局部序列对齐 (LSA)，所以使用 Smith-Waterman 算法在较长的子字符串 a 中找到部分匹配的子字符串 b。同样，在NLP中，也存在串比较问题，比如语音序列。因为这里用 Python 编码的，所以我们确信已经有很多实现可以使用了。我确实找到了一些代码…
AI应用的领域以及局限性
目录
AI是什么
ChatGPT是什么
GPT模型是什么
ChatGPT目前应用领域
OpenAI是什么
OpenAI当前应用领域
OpenAI与ChatGPT对比
AI技术现状
AI技术应用局限性 AI是什么
AI的全称为Artificial Intelligence，意思为“人工智能”，是指由计算机程序或系…
windows10 + python -m bitsandbytes
python -m bitsandbytes - UDA Setup failed despite GPU being available. Please run the following command to get more information:
win10 系统 cuda12.1 torch2.0.1
官方未提供对应的 bitsandbytes的win版本；
非官方地址: https://github.com/jllllll/bi…
当众讲话与演讲口才沙龙活动策划方案
活动名称：当众讲话与演讲口才沙龙
活动目的：
当众讲话与演讲口才沙龙旨在提升参与者的演讲口才能力，培养自信心和表达能力，促进交流与分享。通过举办此活动，我们希望能够帮助参与者克服公众演讲的恐惧，提…
05_Output_Parsers(输出解析器)
模型输出为文本，有时候需要输出结果为结构化数据，如数组、字典等类型，这个时候需要输出解析器。
LangChain框架提供了基础的解析器类BaseOutputParser，其他的解析器都是继承自该类，
实现的两个主要方法
1. get_form…
解锁ChatGLM-6B的潜力：优化大语言模型训练，突破任务困难与答案解析难题
解锁ChatGLM-6B的潜力：优化大语言模型训练，突破任务困难与答案解析难题
LLM（Large Language Model）通常拥有大量的先验知识，使得其在许多自然语言处理任务上都有着不错的性能。
但，想要直接利用 LLM 完成…
词性标记：隐马尔可夫模型简介（1/2)
一、说明 作为人类，我们比这个星球上的任何动物都更了解自然语言的许多细微差别。比如说：“你吃了吗”，“企业吃不饱”，“吃豆腐”，“吃醋了”；同样一个“吃”，意义不同，从一个符号出…
【新品发布】ChatWork企业知识库系统源码
系统简介
基于前后端分离架构以及Vue3、uni-app、ThinkPHP6.x、PostgreSQL、pgvector技术栈开发，包含PC端、H5端。
ChatWork支持问答式和文档式知识库，能够导入txt、doc、docx、pdf、md等多种格式文档。
导入数据完成向量化训练后，用户提问…
![NLP文本匹配任务Text Matching [无监督训练]：SimCSE、ESimCSE、DiffCSE 项目实践](https://img-blog.csdnimg.cn/img_convert/44d419b05793d534eec259bf37dde5f9.png)
NLP文本匹配任务Text Matching [无监督训练]：SimCSE、ESimCSE、DiffCSE 项目实践
NLP文本匹配任务Text Matching [无监督训练]：SimCSE、ESimCSE、DiffCSE 项目实践
文本匹配多用于计算两个文本之间的相似度，该示例会基于 ESimCSE 实现一个无监督的文本匹配模型的训练流程。文本匹配多用于计算两段「自然文本」之间的「相似度」。
例如…
A Survey on Multimodal Large Language Models
本文是LLM系列的文章之一，主要是讲解多模态的LLM。针对《A Survey on Multimodal Large Language Models》的翻译。 多模态大语言模型的综述 摘要1 引言2 概述3 方法3.1 多模态指令调整3.1.1 引言3.1.2 前言3.1.3 模态对齐3.1.4 数据3.1.5 模态桥接3.1.6 评估 3.2 …
【AI理论学习】语言模型：掌握BERT和GPT模型
语言模型：掌握BERT和GPT模型 BERT模型BERT的基本原理BERT的整体架构BERT的输入BERT的输出 BERT的预训练掩码语言模型预测下一个句子 BERT的微调BERT的特征提取使用PyTorch实现BERT GPT模型GPT模型的整体架构GPT的模型结构GPT-2的Multi-Head与BERT的Multi-Head之间的…
How Language Model Hallucinations Can Snowball
本文是LLM系列文章，针对《How Language Model Hallucinations Can Snowball》的翻译。 语言模型幻觉是如何产生雪球的 摘要1 引言2 为什么我们期待幻觉像滚雪球一样越滚越大？3 实验4 我们能防止雪球幻觉吗？5 相关工作6 结论局限性 摘要
在实…
国内外大语言模型调研（更新到2023.09.12）
目录
国外
OpenAI-ChatGPT
Anthropic-Claude
Google-Bard
国内
百度-文心一言
清华大学&智谱AI-ChatGLM
百川智能-百川大模型
科大讯飞-星火
阿里-通义千问
360-360智脑
腾讯-混元大模型
华为-盘古大模型
字节跳动-云雀大模型
好未来-MathGPT
商汤科技-商量…
自然语言处理(七)：来自Transformers的双向编码器表示（BERT）
来自Transformers的双向编码器表示（BERT）
BERT（Bidirectional Encoder Representations from Transformers）是一种预训练的自然语言处理模型，由Google于2018年提出。它是基于Transformer模型架构的深度双向࿰…
从零开始-与大语言模型对话学技术-gradio篇（4）
前言
本文介绍「星火杯」认知大模型场景创新赛中的落选项目- AI命理分析系统，属于个人娱乐练手。总结提炼了往期文章精华并发掘出新的知识。 包括本地部署版本和Web在线版本，两种打包方式基于 半自动化使用.bat手动打包迁移python项目
如何把 Gradio …
机器学习深度学习——从编码器-解码器架构到seq2seq（机器翻译）
👨🎓作者简介：一位即将上大四，正专攻机器学习的保研er 🌌上期文章：机器学习&&深度学习——注意力提示、注意力池化（核回归） 📚订阅专栏：机器学习&a…
简化转换器：使用您理解的单词进行最先进的 NLP — 第 1 部分 — 输入
一、说明 变形金刚是一种深度学习架构，为人工智能的发展做出了杰出贡献。这是人工智能和整个技术领域的一个重要阶段，但也有点复杂。截至今天，变形金刚上有很多很好的资源，那么为什么要再制作一个呢？两个原因ÿ…
![[NLP]深入理解 Megatron-LM](https://img-blog.csdnimg.cn/f8384b9d4a8e483f9eb62bff34159b70.png)
[NLP]深入理解 Megatron-LM
一. 导读
NVIDIA Megatron-LM 是一个基于 PyTorch 的分布式训练框架，用来训练基于Transformer的大型语言模型。Megatron-LM 综合应用了数据并行（Data Parallelism），张量并行（Tensor Parallelism）和流水线并…
【AI视野·今日NLP 自然语言处理论文速览 第三十六期】Wed, 20 Sep 2023
AI视野今日CS.NLP 自然语言处理论文速览 Wed, 20 Sep 2023 Totally 64 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
SlimPajama-DC: Understanding Data Combinations for LLM Training Authors Zhiqiang Shen, Tianhua Tao, Li…
GPT 内部 — I ： 了解文本生成
年轻的陀思妥耶夫斯基被介绍给生成AI，通过Midjourney创建 一、说明 我经常与不同领域的同事互动，我喜欢向几乎没有数据科学背景的人传达机器学习概念的挑战。在这里，我试图用简单的术语解释 GPT 是如何连接的，只是这次是书面形式。…
MaPLe: Multi-modal Prompt Learning
本文也是LLM系统的文章，主要是面向多模态的大语言模型，针对《MaPLe: Multi-modal Prompt Learning》的翻译。 MaPLe：多模态提示学习 摘要1 引言2 相关工作3 方法4 实验5 结论 摘要
CLIP等预先训练的视觉语言（V-L）模型…
A Survey on Large Language Model based Autonomous Agents
本文是LLM系列的文章，针对《A Survey on Large Language Model based Autonomous Agents》的翻译。 基于大模型的自动agents综述 摘要1 引言2 基于LLM的自动代理构建3 基于LLM的自动代理应用4 基于LLM的自动代理评估5 相关综述6 挑战6.1 角色扮演能力6.2 广义与人对…
深入探索OCR技术：前沿算法与工业级部署方案揭秘
深入探索OCR技术：前沿算法与工业级部署方案揭秘 注：以上图片来自网络
1. OCR技术背景
1.1 OCR技术的应用场景
OCR是什么
OCR（Optical Character Recognition，光学字符识别）是计算机视觉重要方向之一。传统定义的OC…
ChatGPT Prompting开发实战（五）
一、如何编写有效的prompt
对于大语言模型来说，编写出有效的prompt能够帮助模型更好地理解用户的意图(intents)，生成针对用户提问来说是有效的答案，避免用户与模型之间来来回回对话多次但是用户不能从LLM那里得到有意义的反馈。本文通过具体…
![[NLP] LLM---训练一个中文LLama2的步骤](https://img-blog.csdnimg.cn/img_convert/c2c4ae4d1afeaeaeeae3e0d16ea19b30.webp?x-oss-process=image/format,png)
[NLP] LLM---训练一个中文LLama2的步骤
一 数据集 【Awesome-Chinese-LLM中文数据集】 【awesome-instruction-dataset】【awesome-instruction-datasets】【LLaMA-Efficient-Tuning-数据集】Wiki中文百科（25w词条）wikipedia-cn-20230720-filteredBaiduBaiKe（563w词条） …
从零实现深度学习框架：Seq2Seq从理论到实战【理论篇】
来源：投稿 作者：175 编辑：学姐 往期内容：
从零实现深度学习框架1：RNN从理论到实战（理论篇）
从零实现深度学习框架2：RNN从理论到实战（实战篇）
从零实现深度…
OpenAI-ChatGPT最新官方接口《语音智能转文本》全网最详细中英文实用指南和教程，助你零基础快速轻松掌握全新技术（六）（附源码）
Speech to text 语音智能转文本 Introduction 导言Quickstart 快速开始Transcriptions 转录python代码cURL代码 Translations 翻译python代码cURL代码 Supported languages 支持的语言Longer inputs 长文件输入Prompting 提示其它资料下载 Speech to text 语音转文本 Learn how…
玄子Share-自然语言编程(NLP)_Java开发小白向 ChatGPT 提问的最佳模板
玄子Share-自然语言编程(NLP)_Java开发小白向 ChatGPT 提问的最佳模板 以下内容均为 ChatGPT 回答 玄子： 我向你提问时，问题描述精确的重要性 ChatGPT 3.5 问题描述的精确性非常重要，因为它可以让回答者更好地理解您的问题，并且更…
广告行业中那些趣事系列62：keybert在实际业务中的使用分享
导读：本文是“数据拾光者”专栏的第六十二篇文章，这个系列将介绍在广告行业中自然语言处理和推荐系统实践。本篇作为之前keybert的补充主要介绍了keybert在实际业务中的使用分享，对于希望在实际业务场景中使用keybert的小伙伴可能有帮助。 欢…
![深度学习基础入门篇[9.2]：卷积之1*1 卷积（残差网络）、2D/3D卷积、转置卷积数学推导、应用实例](https://img-blog.csdnimg.cn/img_convert/5522720459e122e93f0176ed852f1a12.gif)
深度学习基础入门篇[9.2]：卷积之1*1 卷积（残差网络）、2D/3D卷积、转置卷积数学推导、应用实例
【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等 专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化…
每日学术速递5.21
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 Subjects: cs.CV
1.Going Denser with Open-Vocabulary Part Segmenta 标题：通过开放式词汇部分分割变得更密集
作者：Peize Sun, Shoufa Chen, Chenchen Zhu, Fanyi Xiao, Pi…
【自然语言处理】- 作业5: 智能问答在法律智能领域的应用
课程链接: 清华大学驭风计划
代码仓库：Victor94-king/MachineLearning: MachineLearning basic introduction (github.com) 驭风计划是由清华大学老师教授的，其分为四门课，包括: 机器学习(张敏教授) ， 深度学习(胡晓林教授), 计算…
【自然语言处理】- 作业4: 预训练语言模型BERT实现与应用
课程链接: 清华大学驭风计划
代码仓库：Victor94-king/MachineLearning: MachineLearning basic introduction (github.com) 驭风计划是由清华大学老师教授的，其分为四门课，包括: 机器学习(张敏教授) ， 深度学习(胡晓林教授), 计算…
多模态应用展望——看图聊天、BLIP2
看图聊天
BLIP2 是 salesforce 公司开源的多模态模型，其大致的原理，可以类比看图写作，当前 AI 在文生图模式之外，也支持图生文模式，可以将照片中的核心元素识别出来。然后把这些元素作为上下文，交给 ChatG…
chatgpt赋能python：Python词性分析：一步步了解自然语言处理技术
Python词性分析：一步步了解自然语言处理技术
Python是一种高级编程语言，拥有广泛的应用领域。自然语言处理技术是其中一个重要的领域，它包含了词性分析、命名实体识别、句法分析等多项任务。词性分析是自然语言处理中的基本任务之一…
![前沿重器[34] | Prompt设计——LLMs落地的版本答案](https://img-blog.csdnimg.cn/img_convert/cea34d38cb706fd6142f76d19450d007.png)
前沿重器[34] | Prompt设计——LLMs落地的版本答案
前沿重器 栏目主要给大家分享各种大厂、顶会的论文和分享，从中抽取关键精华的部分和大家分享，和大家一起把握前沿技术。具体介绍：仓颉专项：飞机大炮我都会，利器心法我还有。（算起来，专项启动已经…
![[NLP] LLM---扩充词表LLama2-构建中文tokenization](https://img-blog.csdnimg.cn/1c4ccf9d0a864e3092f16c7757ee24c9.png)
[NLP] LLM---扩充词表LLama2-构建中文tokenization
使用SentencePiece的除了从0开始训练大模型的土豪和大公司外，大部分应该都是使用其为当前开源的大模型扩充词表，比如为LLama扩充通用中文词表（通用中文词表，或者 垂直领域词表）。那这部分工作有没有意义呢？…
LLMs之Baichuan 2：Baichuan 2的简介、安装、使用方法之详细攻略
LLMs之Baichuan 2：Baichuan 2的简介、安装、使用方法之详细攻略 目录
相关文章
LLMs之Baichuan：Baichuan-13B模型的简介(包括Baichuan-7B)、安装、使用方法之详细攻略
LLMs之Baichuan 2：Baichuan 2的简介、安装、使用方法之详细攻略
LLMs…
自然语言处理应用(一)：情感分析
情感分析
随着在线社交媒体和评论平台的快速发展，大量评论的数据被记录下来。这些数据具有支持决策过程的巨大潜力。 情感分析（sentiment analysis）研究人们在文本中 （如产品评论、博客评论和论坛讨论等）“隐藏”的情…
《UNILMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training》论文笔记
UniLMs
UniLMs由《Unified Language Model Pre-training for Natural Language Understanding and Generation》（2019）提出，其核心是通过不同的注意力机制，在同一模型下进行Unidirectional Language Model， Bidirecti…
【论文学习】Transformer-XL
目录简介模型Vanilla Transformerrecurrence mechanism相对位置编码pytorch实现——batch_size为第一维度参考资料简介
RNN及其变体是训练语言模型（Language Modeling）的经典结构，其优点就是能够学习到序列之间的依赖关系，缺点&a…
【Python装饰器】functools.wraps函数保留被装饰函数的元信息
前言
装饰器一般被用于修饰函数，为被修饰的函数增添某些功能，其输入一般为函数，输出为同一个函数，或者另一不同的函数。除注册装饰器外，大多数装饰器会返回与被装饰函数不同的函数对象。另一方面，由于装饰…
nlp系列（7）三元组识别（Bert+CRF）pytorch
模型介绍
在实体识别中：使用了Bert模型，CRF模型
在关系识别中：使用了Bert模型的输出与实体掩码，进行一系列变化，得到关系
Bert模型介绍可以查看这篇文章：nlp系列（2）文本分类&…
ChatGPT Prompting开发实战（八）
一． 什么是归纳总结式的prompt开发
有时候需要对一段文本进行归纳总结，那么可以采取以下的方案：
-按照给定单词、句子或者字符的数量限制来让模型裁剪文本，使内容更精炼
-基于聚焦的主题进行总结
-只根据需求抽取相关的文本信…
基于大语言模型知识问答应用落地实践 – 知识库构建（下）
上篇介绍了构建知识库的大体流程和一些优化经验细节，但并没有结合一个具体的场景给出更细节的实战经验以及相关的一些 benchmark 等，所以本文将会切入到一个具体场景进行讨论。 目标场景：对于 PubMed 医疗学术数据中的 1w 篇文章进行知识库构…
paddle 1-高级
目录
为什么要精通深度学习的高级内容
高级内容包含哪些武器
1. 模型资源
2. 设计思想与二次研发
3. 工业部署
4. 飞桨全流程研发工具
5. 行业应用与项目案例
飞桨开源组件使用场景概览
框架和全流程工具
1. 模型训练组件
2. 模型部署组件
3. 其他全研发流程的辅助…
【杂谈】关于中国足球的AI对话
请评价一下中国足球。 关于中国足球的评价,我观点如下:
1. 整体实力仍落后于世界一流强队,与足球强国还有比较大的差距。无论从球员个人技能、战术水平和联赛质量等方面都存在距离。
2. 青训体系还不够完善,缺乏高水平的青年队和青训教练。导致高水平球员的梯队建设不足。
3. 职…
Google科研团队：20大改变生活的研究项目
Google拥有一支由400多名科学家组成的研发团队，专门研究推动计算机科学和技术发展的最基本的问题。虽然他们并不研究无人驾驶汽车或是改良智能手机，但他们的工作有助于培养出更优秀的计算机程序员和工程师。 从事深度研究已经成为Google血液里的一部分&a…
GoT：用大语言模型解决复杂的问题
GoT：用大语言模型解决复杂的问题 摘要介绍背景和符号表示语言模型和上下文学习Input-Output（IO）Chain of thought（CoT）Multiple CoTTree of thoughts（ToT） GoT框架推理过程思维变换聚合变换&…
Hugging Face 实战系列 总目录
PyTorch 深度学习 开发环境搭建 全教程
Transformer:《Attention is all you need》
Hugging Face简介 1、Hugging Face实战-系列教程1：Tokenizer分词器（Transformer工具包/自然语言处理） Hungging Face实战-系列教程1：Tokenize…
解决：NLTK包下载出错问题及NLP环境测试
Python 2.7 IDE Pycharm 5.0.3 NLTK 3.2.1 前言 需要用到自然语言处理了，安装调试过程记录一下，省的下次再找 【注意：软件安装需求：Python、NLTK、NLTK-Data必须安装，NumPy和Matplotlin推荐安装，NetworkX和…
NLP（六十七）BERT模型训练后动态量化（PTDQ）
本文将会介绍BERT模型训练后动态量化（Post Training Dynamic Quantization，PTDQ）。
量化 在深度学习中，量化（Quantization）指的是使用更少的bit来存储原本以浮点数存储的tensor，以及使用更少的…
NLP：生成熟悉NLP开源工具，如NLTK、 HanLP等，并搜寻、下载和熟悉PKU、 CoreNLP, LTP MSR, AS CITYI 等语料库。
目录 一、NLTK
二、HanLP
三、PKU
四、CoreNLP
五、LTP
六、MSR 一、NLTK NLTK（Natural Language Toolkit）是Python的一个开源自然语言处理库。它提供了大量已经预处理好的文本数据和语料库，以及一些常用的文本处理算法和NLP工具。例如&…
在Windows 10上部署ChatGLM2-6B：掌握信息时代的智能对话
在Windows 10上部署ChatGLM2-6B：掌握信息时代的智能对话 硬件环境ChatGLM2-6B的量化模型最低GPU配置说明准备工作ChatGLM2-6B安装部署ChatGLM2-6B运行模式解决问题总结 随着当代科技的快速发展，我们进入了一个数字化时代，其中信息以前所未有的…
LLMs之Baichuan 2：《Baichuan 2: Open Large-scale Language Models》翻译与解读
LLMs之Baichuan 2：《Baichuan 2: Open Large-scale Language Models》翻译与解读 导读：2023年9月6日，百川智能重磅发布Baichuan 2。科技论文主要介绍了Baichuan 2，一个开源的大规模语言模型，以及其在多个领域的性能表现…
入门人工智能 ——自然语言处理介绍，并使用 Python 进行文本情感分析（5）
入门人工智能 ——自然语言处理介绍，并使用 Python 进行文本情感分析（5）） 入门人工智能 ——自然语言处理介绍，并使用 Python 进行文本情感分析介绍自然语言处理的挑战NLP的基本任务NLP的基本技术NLP的应用领域 使用 P…
【小沐学NLP】Python使用NLTK库的入门教程
文章目录 1、简介2、安装2.1 安装nltk库2.2 安装nltk语料库 3、测试3.1 分句分词3.2 停用词过滤3.3 词干提取3.4 词形/词干还原3.5 同义词与反义词3.6 语义相关性3.7 词性标注3.8 命名实体识别3.9 Text对象3.10 文本分类3.11 其他分类器3.12 数据清洗 结语 1、简介
NLTK - 自然…
人工智能深度学习，100天掌握所有人工智能深度学习 –第二章：（ 第 1 – 10 天第一节线性代数-线性方程组）
矩阵的迹：设A=[a ij ] nxn是n阶方阵，则对角元素之和称为矩阵的迹，记为tr(A)。tr(A) = a 11 + a 22 + a 33 + ……….+ a nn
矩阵迹的性质：设A和B为任意两个n阶方阵，则 tr(kA) = k tr(A) 其中 k 是标量。 tr(A+B) = tr(A)+tr(B) tr(AB) = tr(A)-tr(B) tr(AB) = tr(BA)…
怎么洗稿容易过稿-在线洗稿软件
自媒体洗稿软件 即使您是一位优秀的自媒体写作人员，也难免遇到让人头疼的撰写问题，例如无法处理大量原始文本、需要手动删除冗余信息、缺少时间针对每篇文章进行深入修改等问题。但是，现在有了我们的一款自媒体洗稿软件，您再也不需…
ChatGPT通用人工智能：初心与未来
至少从 20 世纪 50 年代起，人们就开始大肆宣传可能很快就会创造出一种能够与人类智能的全部范围和水平相匹配的机器。现在，我们已经成功地创造出了能够解决特定问题的机器，其准确度达到甚至超过了人类，但我们仍然无法获得通用智能…
每日学术速递5.28
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 Subjects: cs.CL
1.Improving Factuality and Reasoning in Language Models through Multiagent Debate 标题：通过多主体辩论改进语言模型中的事实性和推理
作者：Yilun Du,…
洗稿伪原创工具-洗稿生成器
chatgpt快速洗稿一篇文章
做自媒体创作的人都知道，文案创作是一件十分耗时间和精力的事情，而且要做好一篇文章，还需要考虑排版、语法和语气等问题。为了让自媒体写作更简单、更快速，我们推出了一款名为ChatGPT的快速洗稿软件&…
每日学术速递5.27
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 Subjects: cs.CV
1.Control-A-Video: Controllable Text-to-Video Generation with Diffusion Models 标题：Control-A-Video：使用扩散模型生成可控的文本到视频
作者ÿ…
Ai时代降临，我们的未来又在哪里？
文章目录 背景AI智能迭代进步码农的未来展望借助gpt快速成长总结 背景
随着人工智能的不断发展，自然语言处理技术也一直在不断的进步和发展，GPT（Generative Pre-trained Transformer）模型作为自然语言处理领域最前沿的技术之一&a…
【提示学习】HPT: Hierarchy-aware Prompt Tuning for Hierarchical Text Classification
论文信息
名称内容论文标题HPT: Hierarchy-aware Prompt Tuning for Hierarchical Text Classification论文地址https://arxiv.org/abs/2204.13413研究领域NLP, 文本分类, 提示学习, 层级标签文本分类提出模型HPT(Hierarchy-aware Prompt Tuning)来源EMNLP 2022源码https://gi…
ProbTransformer：应对RNA折叠等自然过程数据模糊的神秘力量
编译 | 于洲 今天我们介绍来自德国弗赖堡大学计算机科学系的Jrg K.H. Franke, Frederic Runge以及Frank Hutter发表在NeurIPS 2022会议上的工作，该文章介绍了一种新颖的基于概率的神经网络架构ProbTransformer，它是Transformer生态系统的一种层级增强&…
究诸经典，探寻大模型演变之踪迹
编者按：在仅仅五年的时间里，大语言模型、transformers几乎完全改变了自然语言处理领域。 为了便于快速、扎实、深入地学习大语言模型，本文整理一个简单的经典学术资料列表，供正在入门中的机器学习研究人员和开发者参考。 以下是译…
【自然语言处理】【大模型】ChatGLM-6B模型结构代码解析(单机版)
ChatGLM-6B模型结构代码解析(单机版) 本文介绍ChatGLM-6B的模型结构，代码来自https://huggingface.co/THUDM/chatglm-6b/blob/main/modeling_chatglm.py。 相关博客 【自然语言处理】【大模型】ChatGLM-6B模型结构代码解析(单机版) 【自然语言处理】【大模型】BL…
每日学术速递6.14
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 Subjects: cs.CV
1.Realistic Saliency Guided Image Enhancement 标题：现实显着性引导图像增强
作者：S. Mahdi H. Miangoleh, Zoya Bylinskii, Eric Kee, Eli Shechtman, Ya…
Lion：闭源大语言模型的对抗性蒸馏
通过调整 70k 指令跟踪数据，Lion (7B) 可以实现 ChatGPT 95% 的能力！
消息
我们目前正在致力于训练更大尺寸的版本（如果可行的话，13B、33B 和 65B）。感谢您的耐心等待。
**[2023年6月10日]**我们发布了微调过程中解…
![[NLP]LLM--使用LLama2进行离线推理](https://img-blog.csdnimg.cn/6478f9e37aed41148b835d26caccea97.png)
[NLP]LLM--使用LLama2进行离线推理
一 模型下载 二 模型推理
本文基于Chinese-LLaMA-Alpaca-2项目代码介绍，使用原生的llama2-hf
克隆好了Chinese-LLaMA-Alpaca-2 项目之后，基于GPU的部署非常简单。下载完成以后的模型参数(Hugging Face 格式)如下： 简单说明一下各个文件的作…
ChatGPT：革命性的自然语言处理技术
自然语言处理（NLP）技术的快速发展已经为我们的日常生活带来了巨大的变革。在这个领域，ChatGPT作为一个突出的代表，正在为我们带来更多的便利和机会。本文将介绍ChatGPT的基本概念、应用领域以及它在未来可能带来的影响。
ChatGPT…
NLP（1）--NLP基础与自注意力机制
目录
一、词向量
1、概述
2、向量表示
二、词向量离散表示
1、one-hot
2、Bag of words
3、TF-IDF表示
4、Bi-gram和N-gram
三、词向量分布式表示
1、Skip-Gram表示
2、CBOW表示
四、RNN
五、Seq2Seq 六、自注意力机制
1、注意力机制和自注意力机制
2、单个输出…
![[NLP]LLM---大模型指令微调中的“Prompt”](https://img-blog.csdnimg.cn/30633f862e0e4de8ba02fe17f604cd46.png)
[NLP]LLM---大模型指令微调中的“Prompt”
一 指令微调数据集形式太多
大家有没有分析过 prompt对模型训练或者推理的影响？之前推理的时候，发现不加训练的时候prompt，直接输入模型性能会变差的，这个倒是可以理解。假如不加prompt直接训练，是不是测试的时候不加…
使命召唤中将启用AI检测仇恨言论！
“ToxMod”将自动标记口头骚扰、欺凌和歧视。 周三，动视宣布的它将在即将于11月10日发布的中引入实时人工智能语音聊天调节功能使命召唤:现代战争3。该公司正与调整为了实现这一特性，我们使用了一种叫做托西莫德识别仇恨言论、欺凌、骚扰和歧视并采取行动…
Re45：读论文 GPT-1 Improving Language Understanding by Generative Pre-Training
诸神缄默不语-个人CSDN博文目录 诸神缄默不语的论文阅读笔记和分类
论文全名：Improving Language Understanding by Generative Pre-Training 论文下载地址：https://www.mikecaptain.com/resources/pdf/GPT-1.pdf
本文是2018年OpenAI的工作，…
An Efficient Memory-Augmented Transformer for Knowledge-Intensive NLP Tasks
本文是LLM系列文章，针对《An Efficient Memory-Augmented Transformer for Knowledge 一种用于知识密集型NLP任务的高效内存增强转换器 摘要1 引言2 相关工作3 高效内存增强Transformer4 EMAT的训练流程5 实验6 分析7 结论局限性 摘要
获取外部知识对于许多自然语言…
Secrets of RLHF in Large Language Models Part I: PPO
本文是LLM系列文章，针对《Secrets of RLHF in Large Language Models Part I: PPO》的翻译。 大型语言模型中RLHF的秘密（上）：PPO 摘要1 引言2 相关工作3 人类反馈的强化学习4 有益和无害的奖励模型5 PPO的探索6 评估和讨论局限性…
深度解析自然语言处理之篇章分析
在本文中，我们深入探讨了篇章分析的概念及其在自然语言处理（NLP）领域中的研究主题，以及两种先进的话语分割方法：基于词汇句法树的统计模型和基于BiLSTM-CRF的神经网络模型。 关注TechLead，分享AI全维度知识…
一文详解自然语言处理两大任务与代码实战：NLU与NLG
目录 1. 自然语言处理定义NLP的定义和重要性NLP的主要挑战 2. 基础模型语言模型统计语言模型n-gram模型 连续词袋模型 3. 基础概念词向量Word2VecSkip-Gram GloVeFastText1. 子词表示2. 词向量训练3. 文本分类4. 预训练模型 4. 文本预处理分词去除停用词词干提取和词形还原文本…
ChatGPT怎么运用在文学分析和文化研究中？
ChatGPT在文学分析和文化研究中具有巨大的潜力。它可以用于解析文学作品、探讨文学理论、分析文化现象以及协助研究者深入理解文学和文化的复杂性。在接下来的1500字中，我将详细回答如何运用ChatGPT在文学分析和文化研究中。
### 第一部分：文学分析
文…
【AI视野·今日NLP 自然语言处理论文速览 第三十五期】Mon, 18 Sep 2023
AI视野今日CS.NLP 自然语言处理论文速览 Mon, 18 Sep 2023 Totally 51 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
"Merge Conflicts!" Exploring the Impacts of External Distractors to Parametric Knowledge Gra…
开源日报 0823 | NLP 民工的乐园：中文 NLP 资源库的终极指南
文章中介绍了几个非常有用的开源项目，适用于不同领域的开发者和研究者。其中，NLP 民工的乐园是一个非常全面的中文 NLP 资源库，提供了丰富的语料库、词库、词法工具和预训练语言模型，适用于不同的 NLP 相关任务。Poetry 是一个简化…
自然语言处理实战项目19-基于ALBERT模型进行微调的项目-文本分类中的合同类型描述的分类
大家好，我是微学AI，今天给大家介绍一下自然语言处理实战项目19-基于ALBERT模型进行微调的项目-文本分类中的合同类型描述的分类。本文中，我主要将探讨如何使用预训练的ALBERT模型进行微调，以解决文本分类问题，特别是对合同类型的分类。在ALBERT这个模型中，Google研究人员…
自然语言处理应用(三)：微调BERT
微调BERT
微调（Fine-tuning）BERT是指在预训练的BERT模型基础上，使用特定领域或任务相关的数据对其进行进一步训练以适应具体任务的需求。BERT（Bidirectional Encoder Representations from Transformers）是一种基于Tr…
ChatGLM LoRA微调定制AI大模型
一、前言
对于 ChatGLM2-6B 模型基于 PEFT 的特定任务微调实验。
1.1 硬件需求 注：r 为LoRA 维数大小，p 为前缀词表大小，l 为微调层数，ex/s 为每秒训练的样本数。gradient_accumulation_steps 参数设置为 1。上述结果均来自于单个 Tesla V100 GPU，仅供参考。 1.2 微调方…
微调大型语言模型(一)：为什么要微调(Why finetune)?
今天我们来学习Deeplearning的在线课程 微调大型语言模型(一)的第一课：为什么要微调(Why finetune)。
我们知道像GPT-3.5这样的大型语言模型(LLM)它所学到的知识截止到2021年9月，那么如果我们向ChatGPT询问2022年以后发生的事情，它可能会产生…
MOTOROLA MVME5500 数字量控制模块
Motorola MVME5500 是一款嵌入式计算平台，不是数字量控制模块，而是用于嵌入式计算和控制的计算机硬件。通常情况下，它被用于工业自动化、控制系统、数据采集以及嵌入式应用中。以下是 Motorola MVME5500 的一般功能和特点： 计算性…
【自然语言处理】关系抽取 —— SpeechRE
SpeechRE 论文信息 标题：Towards Relation Extraction From Speech 作者：Tongtong Wu, Guitao Wang, Jinming Zhao, Zhaoran Liu, Guilin Qi, Yuan-Fang Li, Gholamreza Haffari 期刊：EMNLP 2022 发布时间与更新时间：2022.10.17 主题：自然语言处理、关系抽取、口语理解、S…
2023 年热门的大型语言模型 (LLMs)汇总【更新至9月26】
一、全景地图
整理了一张大语言模型的血缘图谱，如下图所示： 图中的大语言模型，都是自己做过评测的，主观了点，但是原汁原味，有好的可以推荐给我。
二、ChatGPT系列
ChaTGP是商业版本大语言模型的正统&…
用于自然语言处理的 Python：理解文本数据
一、说明 Python是一种功能强大的编程语言，在自然语言处理（NLP）领域获得了极大的普及。凭借其丰富的库集，Python 为处理和分析文本数据提供了一个全面的生态系统。在本文中，我们将介绍 Python for NLP 的一些基础知识&…
【AI视野·今日NLP 自然语言处理论文速览 第四十二期】Wed, 27 Sep 2023
AI视野今日CS.NLP 自然语言处理论文速览 Wed, 27 Sep 2023 Totally 50 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Attention Satisfies: A Constraint-Satisfaction Lens on Factual Errors of Language Models Authors Mert …
【NLP的Python库（04/4）】：Flair
一、说明 Flair是一个现代的NLP库。从文本处理到文档语义，支持所有核心 NLP 任务。Flair使用现代转换器神经网络模型来完成多项任务，并结合了其他Python库，可以选择特定的模型。其清晰的API和注释文本的数据结构，以及多语言支持&a…
文案润色软件-文案润色的技巧
文案速成改编方法
文案速成改编方法是指通过快速的学习和掌握文案创作技巧，较快地编写出高质量的文案内容。以下是几种常见的文案速成改编方法： 模仿学习法：通过模仿优秀的文案作品，学习其语言、用词、句式等优秀的创作技巧&…
![Prompt learning 教学[基础篇]：prompt基本原则以及使用场景技巧助力你更好使用chatgpt，得到你想要的答案](https://img-blog.csdnimg.cn/img_convert/cd93c27a13c217e61c77559a5d1d0010.png)
Prompt learning 教学[基础篇]：prompt基本原则以及使用场景技巧助力你更好使用chatgpt，得到你想要的答案
Prompt learning 教学[基础篇]：prompt基本原则以及使用场景技巧助力你更好使用chatgpt，得到你想要的答案
如果你想系统学习 如果你对 AI 和 Prompt Engineering 不是很了解，甚至连 ChatGPT 也不是很了解，那我建议你从基础篇开始读…
![深度学习进阶篇[7]：Transformer模型长输入序列、广义注意力、FAVOR+快速注意力、蛋白质序列建模实操。](https://img-blog.csdnimg.cn/img_convert/15d0de3275239031b89367901bf89247.jpeg)
深度学习进阶篇[7]：Transformer模型长输入序列、广义注意力、FAVOR+快速注意力、蛋白质序列建模实操。
【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等 专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化…
自然语言处理从入门到应用——自然语言处理（Natural Language Processing，NLP）基础知识
分类目录：《自然语言处理从入门到应用》总目录 自然语言通常指的是人类语言，是人类思维的载体和交流的基本工具，也是人类区别于动物的根本标志，更是人类智能发展的外在体现形式之一。自然语言处理（Natural Language Pr…
提示工程师指南2-基础提示 Basic Prompting
基础提示 Basic Prompting
在上一篇指南中，我们介绍了并且提供了一个基本的 prompt 示例。
在这篇指南中，我们将提供更多的 prompt 使用示例，并介绍在更高级的指南中将会很重要的关键概念。
通常，学习概念的最佳方法是通过示例…
Python爬虫| 一文掌握XPath
本文概要
本篇文章主要介绍利用Python爬虫爬取付费文章，适合练习爬虫基础同学，文中描述和代码示例很详细，干货满满，感兴趣的小伙伴快来一起学习吧！
🌟🌟🌟个人简介🌟&…
Lecture 6 Sequence Tagging: Hidden Markov Models
目录 Problems with POS Tagging 词性标注的问题Probabilistic Model of HMM HMM的概率模型Two Assumptions of HMM HMM的两个假设Training HMM 训练HMMMaking Predictions using HMM (Decoding) 使用HMM进行预测（解码）Viterbi AlgorithmHMMs in Practic…
小米AI实验室多模态图片翻译论文入选自然语言处理领域顶级会议ACL 2023
近日，ACL 2023的论文录用结果公布，小米AI实验室机器翻译团队联合厦门大学苏劲松教授团队在多模态图片翻译方向的最新研究成果已被ACL 2023主会录用，标志着小米在多模态机器翻译方向取得了重要进展。 ACL（Annual Meeting of the As…
掌握这些技巧，轻松入门人工智能论文
当你刚开始学习人工智能的时候，可能会觉得论文非常难懂。但是，只要你掌握了一些技巧，入门论文其实是非常简单的。在这篇文章中，我们将介绍一些入门人工智能论文的技巧，帮助你更好地理解论文内容。
首先，如…
卷起来！Dr. LLaMA：通过生成数据增强改进特定领域 QA 中的小型语言模型，重点关注医学问答任务...
大家好，最近突然发现了一篇在专门应用于医学领域的LLaMA，名为Dr.LLaMA（太卷了太卷了），就此来分享下该语言模型的构建方法和最终的性能情况。 论文：Dr. LLaMA: Improving Small Language Models in Domain-S…
Speech and Language Processing之word2vec
1、介绍 事实证明，在每一个NLP任务中，密集向量都比稀疏向量工作得更好。虽然我们不能完全理解其中的所有原因，但我们有一些直觉。首先，密集向量可以更成功地作为特征包含在机器学习系统中;例如，如果我们使用100维…
pytorch函数reshape()和view()的区别及张量连续性
目录
1.view()
2.reshape()
3.引用和副本：
4.区别
5.总结 在PyTorch中，tensor可以使用两种方法来改变其形状：view()和reshape()。这两种方法的作用是相当类似的，但是它们在实现上有一些细微的区别。
1.view()
view()方法是…
基于SVM+TensorFlow+Django的酒店评论打分智能推荐系统——机器学习算法应用(含python工程源码)+数据集+模型（三）
目录 前言总体设计系统整体结构图系统流程图 运行环境模块实现1. 数据预处理2. 模型训练及保存3. 模型应用 系统测试1. 训练准确率2. 测试效果3. 模型应用 相关其它博客工程源代码下载其它资料下载 前言
本项目以支持向量机（SVM）技术为核心，…
论文笔记--Enriching Word Vectors with Subword Information
论文笔记--Enriching Word Vectors with Subword Information 1. 文章简介2. 文章概括3 文章重点技术3.1 FastText模型3.2 Subword unit 4. 文章亮点5. 原文传送门6. References 1. 文章简介
标题：Enriching Word Vectors with Subword Information作者：…
ChatGPT Prompting开发实战（十三）
一． 如何评估prompts是否包含有害内容
用户在与ChatGPT交互时提供的prompts可能会包括有害内容，这时可以通过调用OpenAI提供的API来进行判断，接下来给出示例，通过调用模型“gpt-3.5-turbo”来演示这个过程。
prompt示例如下&…
数字时代的自我呈现：探索个人形象打造的创新工具——FaceChain深度学习模型工具
数字时代的自我呈现：探索个人形象打造的创新工具——FaceChain深度学习模型工具
1.介绍
FaceChain是一个可以用来打造个人数字形象的深度学习模型工具。用户仅需要提供最低一张照片即可获得独属于自己的个人形象数字替身。FaceChain支持在gradio的界面中使用模型训…
大语言模型之十七-QA-LoRA
由于基座模型通常需要海量的数据和算力内存，这一巨大的成本往往只有巨头公司会投入，所以一些优秀的大语言模型要么是大公司开源的，要么是背后有大公司身影公司开源的，如何从优秀的开源基座模型针对特定场景fine-tune模型具有广大的…
一文就懂大语言模型Llama2 7B+中文alpace模型本地部署
大语言模型Llama2 7B中文alpace模型本地部署 VX关注晓理紫并回复llama获取推理模型 [晓理紫] 1、Llama模型
一个由facebook发布的生成式语言模型，具体可以到其官方了解。 为了大家更好理解，这里把目录结构显示下一如下图。
2、 下载Llama并配置环境
…
如何避免大语言模型绕过知识库乱答的情况？LlamaIndex 原理与应用简介
本文首发于博客 LLM 应用开发实践 随着 LangChain LLM 方案快速普及，知识问答类应用的开发变得容易，但是面对回答准确度要求较高的场景，则暴露出一些局限性，比如向量查询方式得到的内容不匹配，LLM 对意图识别不准。所…
相似性搜索：第 5 部分--局部敏感哈希 （LSH）
SImilarity 搜索是一个问题，给定一个查询的目标是在所有数据库文档中找到与其最相似的文档。
一、介绍 在数据科学中，相似性搜索经常出现在NLP领域，搜索引擎或推荐系统中，其中需要检索最相关的文档或项目以进行查询。在大量数据中…
从零开始基于LLM构建智能问答系统的方案
本文首发于博客 LLM应用开发实践 一个完整的基于 LLM 的端到端问答系统，应该包括用户输入检验、问题分流、模型响应、回答质量评估、Prompt 迭代、回归测试，随着规模增大，围绕 Prompt 的版本管理、自动化测试和安全防护也是重要的话题&#x…
CLIP模型原理与代码实现详解
文章目录 前言一、CLIP模型原理1.背景介绍2.对比训练方式3.prompt推理方式4.图像与文本编码结构5.特征CLS token结构vit划分patch原理cls token原理 二、CLIP环境安装1.官方环境安装2.CLIP环境安装3.CLIP运行结果 三.CLIP的Transformer结构代码解读四、CLIP模型主函数代码解读五…
【NLP文本分类算法集锦】零基础入门经典文本分类项目实战（附代码+数据集）
前言
大家好，我是阿光。
本专栏整理了《NLP文本分类算法集锦》，内包含了各种常见的中英文文本分类算法，以及常见的NLP任务：情感分析、新闻分类以及谣言检测等。 文本分类是NLP的必备入门任务，在搜索、推荐、对话等场…
ChatGLM-6B模型结构组件源码阅读
一、前言
本文将介绍ChatGLM-6B的模型结构组件源码。
代练链接：https://huggingface.co/THUDM/chatglm-6b/blob/main/modeling_chatglm.py
二、激活函数
torch.jit.script
def gelu_impl(x):"""OpenAIs gelu implementation."""r…
PyTorch模型保存方法对比及其实现原理详解
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
【论文解读】Do Prompts Solve NLP Tasks Using Natural Language?
🍥关键词：文本分类、提示学习 🍥发表期刊：Arxiv 2022 🍥原始论文：https://arxiv.org/pdf/2203.00902 最近在做Prompted learning for text classification的工作，Prompted learning的核心在于设…
自然语言模型发展历程 及 Transformer GPT Bert简介
目录自然语言模型发展历程2003 年 Bengio 提出神经网络语言模型 NNLM，统一了 NLP 的特征形式——Embedding；2013 年 Mikolov 提出词向量 Word2vec，延续 NNLM 又引入了大规模预训练（Pretrain）的思路；2017 年…
NLP实战：基于Pytorch的文本分类入门实战
目录
一、前期准备
1.环境准备
2.加载数据
二、代码实战
1.构建词典
2.生成数据批次和迭代器
3. 定义模型
4. 定义实例
5.定义训练函数与评估函数
6.拆分数据集并运行模型
三、使用测试数据集评估模型
四、总结 这是一个使用PyTorch实现的简单文本分类实战案例。在…
chat错误代码1020是什么原因导致的-解决chat错误代码1020
ChatGPT拒绝访问1020是什么原因
ChatGPT拒绝访问1020可能是因为服务器故障、网络连接问题或者人工智能模型正在进行训练或调整等原因所致。一般来说，ChatGPT会在进行维护、升级或训练时暂停服务，这可能导致用户在访问ChatGPT时遇到拒绝访问的情况。在该…
命名实体识别BiLSTM-CRF
命名实体识别BiLSTM-CRF – 潘登同学的NLP笔记 文章目录命名实体识别BiLSTM-CRF -- 潘登同学的NLP笔记标注策略早期方法基于统计学习的方法深度学习方法BiLSTM-CRF如果不加CRF层CRF 层可以从训练数据学习限制CRF层Emission score(发射分数)Transition score(转移分数)Loss函数训…
技术解读丨多模数据湖：助力AI技术，推动内容管理平台智能化升级
随着数字化时代的到来，数据已经成为企业的重要资产之一。因此，构建高效的内容管理平台变得至关重要。本文重点介绍SequoiaDB多模数据湖技术在内容管理平台中的应用和成效，以及其对企业非结构化数据管理和AI的推动作用。 随着数字化时代的到来…
一步一步详解LSTM网络【从RNN到LSTM到GRU等，直至attention】
一步一步详解LSTM网络【从RNN到LSTM到GRU等，直至attention】 0、前言1、Recurrent Neural Networks循环神经网络2、The Problem of Long-Term Dependencies长期依赖的问题3、LSTM Networks4、The Core Idea Behind LSTMs5、Step-by-Step LSTM Walk Through6、Varian…
Big_models的解释
文章目录 大语言模型的解释1.自动化大模型解释（open AI 成果）1.1 三个步骤：1.2 涉及到的模型：1.3 具体实验步骤1.4 finds: 原文链接：https://openaipublic.blob.core.windows.net/neuron-explainer/paper/index.html
…
Live800:企业必修课｜新时代的全渠道营销解析（下）
接上文Live800:企业必修课｜新时代的全渠道营销解析（上） 三、全渠道营销的应用
理念变化：消费者和顾客转变为用户
在完整的全渠道体系中，企业需要重点建设数字化平台，将消费者、顾客转变为用户。哪怕企业的…
Live800:人工智能时代，客户服务的危与机
引言：人工智能已经到来，它就在我们身边，几乎无处不在。 它将引领一场比互联网影响更为深远的科技革命。
在数字与智能化技术日趋成熟的时代下，人工智能与人之间的比较、碰撞时常引发热议。以客服行业为例，"智能套…
为工作透支身体值不值得？客服人有更好的选择
为工作透支身体值不值得？每个人都有自己的答案。
近日话题"为工作透支身体值不值得？"上了微博热搜，在《女人三十加》中，杨天真谈到妈妈嘱咐她"不要为了工作牺牲身体。"而她却认为："为什么不…
客服人员如何摆脱工作上的负面情绪
原文链接
作为一个客服人员，感觉自己被这份工作磨平了棱角。顾客是上帝，骂不还口，笑脸相迎成了我们最基本的职业素养。长时间下来，我们也会有一些不满情绪，弄清负面情绪由来并化解这些不良情绪，对于呼叫中…
别再玩聊天自带小尾巴，客服专属标签更可爱
原文地址(http://www.wangpudata.com/newsinfo/627537.html)
**近日微信iOS 14测试版发布之后，微信聊天自带小尾巴功能，风靡爱上聊天。**有了与众不同的提示，就不用担心错话的时候，没有及时反应过来导致来不及撤回的问题。对于一…
NLP（3） Text Classification
文章目录 OverviewText classification 的主要任务Topic ClassificationSentiment AnalysisNative Language IdentificationNatural Language Inference 如何构造 Text ClassifierClassification AlgorithmsBias - Variance Balance朴素贝叶斯Logistic RegressionSupport Vecto…
4.3 - 信息收集 - 端口扫描，操作系统识别
「作者主页」：士别三日wyx 「作者简介」：CSDN top100、阿里云博客专家、华为云享专家、网络安全领域优质创作者 「专栏简介」：此文章已录入专栏《网络安全快速入门》 端口&系统版本 一、端口扫描1、telnet2、Nmap3、Masscan 二、操作系统…
Lecture 11 Contextual Representation
目录 Problems with Word Vectors/Embeddings 词向量/嵌入的问题RNN 语言模型Bidirectional RNN 双向 RNNEmbeddings from Language Models 基于语言模型的嵌入ELMo 架构Downstream Task: POS Tagging 下游任务：词性标注ELMo 的表现如何？Other Findings上…
GPT从入门到精通 之 GPT-2 模型进阶
GPT-2 模型进阶
在之前的文章中，我们已经介绍了如何在 Tensorflow2.x 环境中使用 GPT 模型进行文本生成。本篇文章中，我们将进一步讨论 GPT-2 模型的进阶应用，包括如何使用预训练模型和微调模型来提高模型的质量和效果。
GPT-2 模型原理 GP…
ChatGPT“保姆级教程”——手把手教你1分钟快速制作思维导图(Markmap/Xmind+Markdown)
目录 前言使用ChatGPT生成markdown格式主题Markmap Markdown使用Markmap生成思维导图 Xmind Markdown使用Xmind生成思维导图 建议其它资料下载 前言
思维导图是一种强大的工具，它可以帮助我们整理和展现复杂的思维结构，提升我们的思考能力和组织能力。…
Lecture 19 Question Answering
目录 introductionIR-based QA (dominant approach)Knowledge-based QAHybrid QAConclusion introduction
Definition: question answering (“QA”) is the task of automatically determining the answer for a natural language questionMostly focus on “factoid” quest…
通过目标实现步骤校验和提示来控制LLM计算
多位数加法的计算步骤如下：
将相加的多位数竖着排列，将各位数字对齐。从右向左一位一位地相加，首先计算个位上的数字，将它们相加并写下结果。如果结果超过10，应向前进位一位，并在十位上加上进位的1。接着计…
NLP学习笔记七-多层RNN和双向RNN
NLP学习笔记七-多层RNN和双向RNN
接着之前写的博客内容，多层RNN，其实就是在，simple RNN的基础上，再套一层或多层RNN单元。 看如下网络结构图：
上图中A就是表示一个RNN网络，这里，其实有一个疑…
初探BERTPre-trainSelf-supervise
初探Bert
因为一次偶然的原因，自己有再次对Bert有了一个更深层地了解，特别是对预训练这个概念，首先说明，自己是看了李宏毅老师的讲解，这里只是尝试进行简单的总结复述并加一些自己的看法。
说Bert之前不得不说现在的…
NLP学习笔记六-lstm模型
NLP学习笔记六-lstm模型
上一篇我们讲的是simple RNN模型，那么其实lstm模型更像是simple RNN模型的改进或者变种。
对于lstm模型，我们先看下面一张图： 其实lstm模型的思想是建立在simple RNN模型上的，但是要更加贴近于显示&…
Prompt是什么_揭秘Prompt:大模型时代的关键技术与实践应用
文章目录 1 Prompt是什么Prompt的定义和基本概念Prompt的工作原理 2 综合案例案例1：根据内容提取数据生成表格百度：文心一言科大讯飞：讯飞星火 案例2：文生图百度：文心一言科大讯飞：讯飞星火 案例3ÿ…
论文笔记 EMNLP 2020|Connecting the Dots: Event Graph Schema Induction with Path Language Modeling
文章目录1 简介1.1 创新2 问题表述3 方法3.1 实例图的构建3.2 自回归路径语言模型3.4 邻居路径分类3.5 图模式构建4 实验1 简介
论文题目：Connecting the Dots: Event Graph Schema Induction with Path Language Modeling 论文来源：EMNLP 2020 论文链接…
9k字长文理解Transformer: Attention Is All You Need
作者：猛码Memmat 目录 Abstract1 Introduction2 Background3 Model Architecture3.1 Encoder and Decoder Stacks3.2 Attention3.2.1 Scaled Dot-Product Attention3.2.2 Multi-Head Attention3.2.3 Applications of Attention in our Model 3.3 Position-wise Feed…
python 阿里面试 + 手撕代码，算法和nlp岗位
阿里的面试被扣到了这些问题，这些问题都是实际项目中常见的：
一、CRF原理简介
CRF（Conditional Random Fields）是一种机器学习算法，用于标注序列数据。CRF基于马尔可夫随机场（Markov Random Field&#x…
自然语言处理从入门到应用——静态词向量预训练模型：神经网络语言模型（Neural Network Language Model）
分类目录：《自然语言处理从入门到应用》总目录 《自然语言处理从入门到应用——自然语言处理的语言模型（Language Model，LM）》中介绍了语言模型的基本概念，以及经典的基于离散符号表示的N元语言模型（N-gram…
自然语言处理实战项目8- BERT模型的搭建，训练BERT实现实体抽取识别的任务
大家好，我是微学AI，今天给大家介绍一下自然语言处理实战项目8- BERT模型的搭建，训练BERT实现实体抽取识别的任务。BERT模型是一种用于自然语言处理的深度学习模型，它可以通过训练来理解单词之间的上下文关系，从而为下游…
2023年春季学期NLP总结作业
自然语言处理（Natural Language Processing，NLP）是计算机科学，人工智能，语言学关注计算机和人类（自然）语言之间的相互作用的领域。自然语言处理是计算机科学领域与人工智能领域中的一个重要方向…
论文笔记 CVPR 2019|Modular Multimodal Architecture for Document Classification
文章目录1 简介1.1 创新2 方法2.1 Image Model2.2 Text Model2.3 Meta-classifier3 实验1 简介
论文题目：Modular Multimodal Architecture for Document Classification 论文来源：CVPR 2019 论文链接：https://arxiv.org/abs/1912.04376
1.…
采用医疗AI、自然语言处理技术的java智能导诊导医系统源码
一套java智能导诊导医系统源码（演示自主版权商业项目应用） 随着人工智能技术的快速发展，语音识别与自然语言理解技术的成熟应用，基于人工智能的智能导诊导医逐渐出现在患者的生活视角中，智能导诊系统应用到医院就医场景…
为大模型而生！顶流大佬发起成立学术会议 COLM，或成为未来 NLP 最强顶会？！
夕小瑶科技说 原创 作者 | 智商掉了一地、ZenMoore
前段时间，ACL 2024 的主席公开抨击称“ arXiv是科研的毒瘤”，这引发了大范围的争论。 一时间，大家对 *CL 的抵触情绪愈发高涨，绝大多数学界都在这场辩论中站在了支持 arXivTwit…
【论文解读】Parameter-Efficient Transfer Learning for NLP
一. 介绍
1.1 为什么要引入Adapter
在存在许多下游任务的情况下，微调的参数效率很低:每个任务都需要一个全新的模型。作为替代方案，我们建议使用适配器模块进行传输。
1.2 论文目标
目标是建立一个在所有这些方面都表现良好的系统，但不需…
一文概览NLP句法分析：从理论到PyTorch实战解读
目录
一、引言
二、句法与语法：定义和重要性
什么是句法？
例子
什么是语法？
例子
句法与语法的重要性
句法的重要性
语法的重要性
三、句法理论：历史与分类
生成语法（Generative Grammar）
背景…
NLP：从头开始的文本矢量化方法
一、说明 NLP 项目使用文本，但机器学习算法不能使用文本，除非将其转换为数字表示。这种表示通常称为向量，它可以应用于文本的任何合理单位：单个标记、n-gram、句子、段落，甚至整个文档。 在整个语料库的统计 NLP 中&am…
自然语言处理---经典序列模型
1 HMM模型介绍
1.1 HMM模型的输入和输出
HMM(Hidden Markov Model), 中文称作隐含马尔科夫模型, 因俄国数学家马尔可夫而得名. 它一般以文本序列数据为输入, 以该序列对应的隐含序列为输出.
什么是隐含序列: * 序列数据中每个单元包含的隐性信息, 这些隐性信息之间也存在一定…
HNSW-分层可导航小世界 算法学习
一、knn的缺陷
1. K-NN方法的工作机制
K-Nearest Neighbors (K-NN) 是一种基于实例的分类方法。它通过逐一比较新样本与已有样本的相似度，挑选出与新样本最接近的k个已有样本，然后根据这些样本的类别，通过投票或加权的方式来决定新样本的类…
【AI视野·今日NLP 自然语言处理论文速览 第六十期】Mon, 23 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Mon, 23 Oct 2023 (showing first 100 of 108 entries) Totally 100 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Exploring Linguistic Probes for Morphological Generalization Autho…
【论文笔记】Unifying Large Language Models and Knowledge Graphs：A Roadmap
（后续更新完善） 2. KG-ENHANCED LLMS
2.1 KG-enhanced LLM Pre-training
以往将KGs集成到大型语言模型的工作主要分为三个部分:1)将KGs集成到训练目标中，2)将KGs集成到LLM输入中，3)将KGs集成到附加的融合模块中。
2.1.1 Integr…
掌握 BERT：自然语言处理 (NLP) 从初级到高级的综合指南（1）
简介 BERT（来自 Transformers 的双向编码器表示）是 Google 开发的革命性自然语言处理 (NLP) 模型。它改变了语言理解任务的格局，使机器能够理解语言的上下文和细微差别。在本文[1]中，我们将带您踏上从 BERT 基础知识到高级概念的旅…
基于BERT模型进行文本处理(Python)
基于BERT模型进行文本处理(Python)
所有程序都由Python使用Spyder运行。 对于BERT，在运行之前，它需要安装一些环境。 首先，打开Spyder。其次，在控制台中单独放置要安装的：
pip install transformers
pip install tor…
LongLoRA：超长上下文，大语言模型高效微调方法
麻省理工学院和香港中文大学联合发布了LongLoRA，这是一种全新的微调方法，可以增强大语言模型的上下文能力，而无需消耗大量算力资源。
通常，想增加大语言模型的上下文处理能力，需要更多的算力支持。例如，将…
BERT相关模型不能下载问题
Author:龙箬 Computer Application Technology Change the World with Data and Artificial Intelligence ! CSDNweixin_43975035 生有热烈，藏与俗常 由于网络原因，不能下载BERT相关模型 及 tokenizer urllib3.exceptions.MaxRetryError: HTTPSConnectio…
【AI视野·今日NLP 自然语言处理论文速览 第五十期】Mon, 9 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Mon, 9 Oct 2023 Totally 32 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective Augmentation Authors Fangyuan …
NLP之RNN的原理讲解（python示例）
目录 代码示例代码解读知识点介绍 代码示例
import numpy as np
import tensorflow as tf
from tensorflow.keras.layers import SimpleRNNCell# 第t时刻要训练的数据
xt tf.Variable(np.random.randint(2, 3, size[1, 1]), dtypetf.float32)
print(xt)
# https://www.cnblog…
生成模型常见损失函数Python代码实现+计算原理解析
前言
损失函数无疑是机器学习和深度学习效果验证的核心检验功能，用于评估模型预测值与实际值之间的差异。我们学习机器学习和深度学习或多或少都接触到了损失函数，但是我们缺少细致的对损失函数进行分类，或者系统的学习损失函数在不同的算法…
Prompt 设计与大语言模型微调，没有比这篇更详细的了吧！
本文主要介绍了Prompt设计、大语言模型SFT和LLM在手机天猫AI导购助理项目应用。
ChatGPT基本原理
“会说话的AI”，“智能体” 简单概括成以下几个步骤： 预处理文本：ChatGPT的输入文本需要进行预处理。 输入编码：ChatGPT将经过预…
Elasticsearch：RAG vs Fine-tunning (大语言模型微调)
如果你对 RAG 还不是很熟悉的话，请阅读之前的文章 “Elasticsearch：什么是检索增强生成 - RAG？”。你可以阅读文章 “Elasticsearch：在你的数据上训练大型语言模型 (LLM)” 来了解更多关于如何训练你的模型。在今天的文章中&#…
大语言模型(LLM)综述(六)：大型语言模型的基准和评估
A Survey of Large Language Models 前言7 CAPACITY AND EVALUATION7.1 基本能力7.1.1 语言生成7.1.2 知识利用7.1.3 复杂推理 7.2 高级能力7.2.1 人类对齐7.2.2 与外部环境的交互7.2.3 工具操作 7.3 基准和评估方法7.3.1 综合评价基准7.3.2 评估方法 7.4 实证评估7.4.1 实验设…
图文精灵升级离线版本
图文精灵升级离线版本 参考地址完成项目地址主代码解释参考地址
图文精灵
完成项目地址
aistudio地址
主代码
#!/usr/bin/python
# -*- coding: UTF-8 -*-
import pyautogui
from PIL import ImageGrab
from time import sleepfrom History import *
impor
大语言模型之十二 SentencePiece扩充LLama2中文词汇
大语言模型的发展潜力已经毋庸置疑了，如何让中文大语言模型更适合中小公司使用这是一道难题。在模型的选择上我们倾向于选择国外的LLama或者BLoom之类的，而不是百川之类的中文大模型，原因在于从基建到框架到数据国外的开源资料非常多…
大语言模型(LLM)综述(七)：大语言模型设计应用与未来方向
A Survey of Large Language Models 前言8 A PRACTICAL GUIDEBOOK OF PROMPT DESIGN8.1 提示创建8.2 结果与分析 9 APPLICATIONS10 CONCLUSION AND FUTURE DIRECTIONS 前言
随着人工智能和机器学习领域的迅速发展，语言模型已经从简单的词袋模型（Bag-of-…
基于自然语言处理的结构化数据库问答机器人系统
温馨提示：文末有 CSDN 平台官方提供的学长 Wechat / QQ 名片 :) 1. 项目简介 知识库，就是人们总结出的一些历史知识的集合，存储、索引以后，可以被方便的检索出来供后人查询/学习。QnA Maker是用于建立知识库的工具，使用…
定制你的Blocks UI布局：Gradio的Block Layouts模块介绍
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
NLP实战：中文文本分类-Pytorch实现
目录
一、准备工作
1.任务说明
2.加载数据 二、数据预处理
1.构建词典
2.生成数据批次和迭代器
三、模型构建
1. 搭建模型
2.初始化模型
3. 定义训练与评估函数
四、训练模型
1. 拆分数据集并运行模型 顺便测试指定数据 五、总结 🍨 本文为[🔗…
![Prompt learning 教学[最终篇]：Chatgpt使用场景推荐、优秀学习资料推荐、AI工具推荐](https://img-blog.csdnimg.cn/img_convert/cea915740a5705f12cb5b5c97dc6703f.jpeg)
Prompt learning 教学[最终篇]：Chatgpt使用场景推荐、优秀学习资料推荐、AI工具推荐
Prompt learning 教学[最终篇]：Chatgpt使用场景推荐、优秀学习资料推荐、AI工具推荐 1.chatgpt使用场景推荐 各位应该在各种平台看到不少可以尝试使用的场景，我这里仅收录：
有意思的场景：一般比较垂直或者小众，或者出…
【数据科学赛】HackAPrompt 挑战语言模型！
CompHub 实时聚合多平台的数据类(Kaggle、天池…)和OJ类(Leetcode、牛客…）比赛。本账号会推送最新的比赛消息，欢迎关注！
更多比赛信息见 CompHub主页[1] 以下信息由AI辅助创作，仅供参考，请以官网为准（文末…
以 LLM 为核心 LLM@Core：程序员的大语言模型技术指南
过去几个月里，我们对于大语言模型的一系列探索，如 ChatGPT 端到端实践与应用开发、LLaMA 与 ChatGLM 的微调试验、GitHub Copilot 逆向工程分析、动态上下文工程（即 LangChain）的研究，驱使着我去写一个总结，…
获取并处理中文维基百科语料
获取语料
下载链接
处理语料
直接下载下来的维基百科语料是一个带有html和markdown标记的文本压缩包，基本不能直接使用。目前主流的开源处理工具主要有两个：1、Wikipedia Extractor；2、gensim的wikicorpus库。
然而，这两个主流…
【IEEE CIM 2023】基于多目标进化算法的抗菌肽设计方法
Evolutionary Multi Objective Optimization in Searching for Various Antimicrobial Peptides 小生境共享（Niche Sharing）是生物进化算法中的一个重要概念。在传统的进化算法中，通常会假设每个个体都是独立且不同的，因此可能会导…
Adapter Tuning：详细解读Parameter-Efficient Transfer Learning for NLP
Diffusion Models专栏文章汇总：入门与实战 前言：大语言模型实在是太火了，各种技术日新月异，研究diffusion models的从LLMs中找一些研究灵感已经是基操了。当模型比较小的时候，微调全部参数还是可以的。但是现在的大预训练模型时代，微调所有参数不仅效果堪忧，对资源的消耗…
2021-09-01
《计算机网络原理》最全最详细的思维导图来了！
## 以下都是自己的学习总结，仅供参考 使用思维导图进行学习,可以成倍提高学习效率,增进了理解和记忆能力；把学习者的主要精力集中在关键的知识点上，节省时间 文章目录《计算机网络原…
Lecture 14 Context-Free Grammar
目录 Context-Free GrammarBasics of Context-Free GrammarsCFG Parsing ConstituentsSyntactic ConstituentsConstituents and PhrasesExample: A Simple CFG for English and generating sentencesCFG Trees CYK AlgorithmCYK AlgorithmConvert to Chomsky Normal FormThe CY…
NLP基础之RNN基础
感谢阅读自然语言处理概述词嵌入层通用代码：循环网络层自然语言处理概述
自然语言处理（Nature language Processing, NLP）研究的主要是通过计算机算法来理解自然语言。对于自然语言来说，处理的数据主要就是人类的语言，…
Transformer-XL模型简单介绍
目录
一、前言
二、整体概要
三、细节描述 3.1 状态复用的块级别循环
3.2 相对位置编码
四、论文链接 一、前言 以自注意力机制为核心的 Transformer 模型是各种预训练语言模型中的主要组成部分。自注意力机制能够构建序列中各个元素之间的上下文关联程度，挖掘…
基于词典的正向最大匹配和逆向最大匹配中文分词
中文分词中基于词典的正向最大匹配和逆向最大匹配
正向最大匹配和逆向最大匹配步骤类似，只是方向不同，我以正向匹配为例，先用一句话去总结它：
在做整个正向成词的过程中，我们做了两个步骤，首先按照字典最…
【自然语言处理】基于python的问答系统实现
一，文件准备 该问答系统是基于已知的问题和其一一对应的答案进行实现的。首先需要准备两个文本文件，分别命名为“question.txt”和“answer.txt”，分别是问题文件和答案文件，每一行是一个问题以及对应的答案。 问题文件: 中国的首…
第四章:人工智能深度学习教程-激活函数(第四节-深入理解激活函数)
什么是激活函数？ 在人工神经网络中，节点的激活函数定义了该节点或神经元对于给定输入或一组输入的输出。然后将该输出用作下一个节点的输入，依此类推，直到找到原始问题的所需解决方案。
它将结果值映射到所需的范围，例…
jupyter lab配置列表清单
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
LLM中的Prompt总结
Prompt 提示词 Prompt 初始为NLP下游任务设计的输入模版，如分类、聚类都会对应一种Prompt。在大模型中，则成为了LLM的输入统称，而模型输出被称为Completion。
提示词规则及技巧 提示指令清晰 Prompt 需要明确需求，模型才能明确意…
【AI视野·今日NLP 自然语言处理论文速览 第五十六期】Tue, 17 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Tue, 17 Oct 2023 (showing first 100 of 135 entries) Totally 100 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Step-by-Step Remediation of Students Mathematical Mistakes Authors…
代码解读-自然语言处理
目录 demo3文本转为向量代码解读给出每一步的输出 demo3文本转为向量
代码
from tensorflow.keras.preprocessing.text import Tokenizer # 标记器(每一个词，以我们的数值做映射，)words [LaoWang has a Wechat account., He is not a nice person., …
【计算机视觉】SimSiam 讲解
SimSiam 论文信息 标题：Exploring Simple Siamese Representation Learning 作者：Xinlei Chen, Kaiming He 期刊：CVPR 2021 发布时间与更新时间：2020.11.20 主题：计算机视觉、对比学习、孪生网络、EM 算法 arXiv：[2011.10566] Exploring Simple Siamese Representation L…
【自然语言处理】理解词向量、CBOW与Skip-Gram模型
文章目录 一、词向量基础知识1.1 One-hot表示1.2 Distributed表示 二、word2vec基础知识2.1 CBOW和Skip-gram 三、基于Hierarchical Softmax的 CBOW 模型和 Skip-gram 模型3.1 CBOW 模型3.2 Skip-gram 模型 参考资料 由于计算机不能直接对各种字符进行运算，为此需要…
ChatGLM系列二：ChatGLM2的介绍及代码实践
一、介绍
2023年06月25日，清华大学开源了 ChatGLM2-6B 模型，是 ChatGLM 模型的升级版本。ChatGLM2-6B 在多个方面有显著提升：模型性能更强，在各种测试集上的表现更好；支持更长的上下文，最大上下文长度提升…
Prompt设计与大语言模型微调
本文主要介绍了Prompt设计、大语言模型SFT和LLM在手机天猫AI导购助理项目应用。 ChatGPT基本原理 “会说话的AI”，“智能体” 简单概括成以下几个步骤： 预处理文本：ChatGPT的输入文本需要进行预处理。输入编码：ChatGPT将经过预处理…
ChatGLM系列六：基于知识库的问答
1、安装milvus
下载milvus-standalone-docker-compose.yml并保存为docker-compose.yml
wget https://github.com/milvus-io/milvus/releases/download/v2.3.2/milvus-standalone-docker-compose.yml -O docker-compose.yml运行milvus
sudo docker-compose up -d2、文档预处理…
![释放搜索潜力：基于ES(ElasticSearch)打造高效的语义搜索系统，让信息尽在掌握[2.项目讲解篇],支持Linux/Windows部署安装](https://img-blog.csdnimg.cn/d553c7dadca54bdb82a3a234befb74d8.png#pic_center)
释放搜索潜力：基于ES(ElasticSearch)打造高效的语义搜索系统，让信息尽在掌握[2.项目讲解篇],支持Linux/Windows部署安装
搜索推荐系统专栏简介：搜索推荐全流程讲解（召回粗排精排重排混排）、系统架构、常见问题、算法项目实战总结、技术细节以及项目实战（含码源） 专栏详细介绍：搜索推荐系统专栏简介：搜索推荐全流程讲解（召回粗排精排重排混排）、系统架构、常见问题、算法项目实战总结、技术…
nlp之加载电商评论集
目录 代码代码解读 代码
import pandas as pddf pd.read_csv("../data/Clothing Reviews.csv")
print(df.info())df[Review Text] df[Review Text].astype(str)
x_train df[Review Text]
y_train df[Rating]from tensorflow.keras.preprocessing.text import To…
GLoRE：大型语言模型的逻辑推理能力探究
最新研究揭示，尽管大语言模型LLMs在语言理解上表现出色，但在逻辑推理方面仍有待提高。为此，研究者们推出了GLoRE，一个全新的逻辑推理评估基准，包含12个数据集，覆盖三大任务类型。 实验对比发现，…
Elasticsearch：在你的数据上训练大型语言模型 (LLM)
过去的一两年，大型语言模型（LLM）席卷了互联网。 最近 Google 推出的 PaLM 2 和 OpenAI 推出的 GPT 4激发了企业的想象力。 跨领域构思了许多潜在的用例。 多语言客户支持、代码生成、内容创建和高级聊天机器人都是一些例子。 这些用例要求 LL…
独热编码和Word2Vec的区别
独热编码和Word2Vec都是自然语言处理中将词向量化的方式，但它们之间并没有直接的关系或依赖性。它们可以被视为在处理词向量时的两种不同方法或策略。 独热编码是一种简单直观的方法，每个词被表示为一个长向量，其中只有一个元素是1࿰…
【大模型】大语言模型语料下载
文章目录 概述Hugging Faceobs操作git-lfs例子RedPajama-Data-1TSlimPajama-627B/git clone续传 数据格式参考资料 概述
大模型训练中语料是非常重要的，目前公网上有各种各样的语料可以供下载，但是不可能每个用户、每次训练任务都通过公网去拉取语料&am…
论文笔记--Baichuan 2: Open Large-scale Language Models
论文笔记--Baichuan 2: Open Large-scale Language Models 1. 文章简介2. 文章概括3 文章重点技术3.1 预训练3.1.1 预训练数据3.1.2 模型架构 3.2 对齐3.2.1 SFT3.2.2 Reward Model(RM)3.2.3 PPO 3.3 安全性 4. 文章亮点5. 原文传送门 1. 文章简介
标题：Baichuan 2…
【nlp】1.5 文本数据增强（回译法）
文本数据增强 回译数据增强法回译数据增强法
回译数据增强目前是文本数据增强方面效果较好的增强方法， 一般基于google翻译接口，将文本数据翻译成另外一种语言(一般选择小语种)，之后再翻译回原语言,，即可认为得到与与原语料同标签的新语料，新语料加入到原数据集中即可认为…
自然语言处理实战项目21-两段文本的查重功能，返回最相似的文本字符串，可应用于文本查重与论文查重
大家好，我是微学AI，今天给大家介绍一下自然语言处理实战项目21-两段文本的查重功能，返回最相似的文本字符串，可应用于论文查重。本文想实现一种文本查重功能，通过输入两段文本，从中找出这两段文本中最相似的句子。这项技术有助于检测抄袭、抄袭的论文和文章，提高知识创新…
Word2Vec浅谈
论文地址：Efficient Estimation of Word Representations in Vector Space
word2vec是Google团队在2013年发表的一篇paper，当时一经问世直接将NLP领域带到了一个新的高度，在2018年bert被提出之前，word2vec一直是NLP算法工程师追捧…
llm模拟基本逻辑门
llm模拟基本逻辑门 全部代码代码解析全部代码
import paddle
import numpy as np
from tqdm import tqdmclass FeedFroward(paddle.nn.Layer):def __init__(self, hidden_dim)
智能导诊系统：基于机器学习和自然语言处理技术，可快速推荐合适的科室和医生
智能导诊系统是一种基于人工智能技术的新型系统，它能够为医院提供患者服务和管理，提高医院的管理效率和服务水平。
技术架构：springbootredismybatis plusmysqlRocketMQ 以下是智能导诊系统的应用场景和功能特点：
应用场景
1.患…
大语言模型|人工智能领域中备受关注的技术
个人主页：【😊个人主页】 系列专栏：【❤️其他领域】 文章目录 前言关于大语言模型大语言模型是什么？大语言模型有什么用?文案写作知识库回答文本分类代码生成 AWS 如何通过 LLM 提供帮助？Amazon BedrockAmazon SageM…
【NLP入门教程】十三、Word2Vec保姆教程
Word2Vec
概述
Word2Vec是一种广泛使用的词嵌入技术，它能够将单词表示为连续向量，将语义上相似的词映射到相近的向量空间。Word2Vec模型是由Tomas Mikolov等人于2013年提出的，它基于分布式假设，即上下文相似的单词具有相似的含义。
Word2Vec模型有两个主要的实现算法：连…
深入理解深度学习——BERT派生模型：RoBERTa（A Robustly Optimized BERT Pretraining Approach）
分类目录：《深入理解深度学习》总目录 现阶段，预训练语言模型总是可以通过更大的模型和更多的数据获得更好的性能，GPT系列模型就是此类优化方向的典范。RoBERTa（模型名源自论文名A Robustly Optimized BERT Pretraining Approach&…
Python：使用给定的语料库去构建二元语法模型
问题：写一个Python程序，使用给定的语料库（metadata.txt的第三列文本），构建二元语法模型，用MLE（最大似然估计）去估计bigram的概率，可以不使用数据平滑技术。
需要使用控制…
深入理解搜索引擎——基于语义检索LSTM-DSSM召回模型
众所周知，BM25算法是Elasticsearch全文检索引擎默认相似度算法，但此种算法仅考虑了文本Term之间的匹配关系，并未考虑文本语义之间的信息，所以导致很多场景下，语义相关的内容无法召回。随着深度学习在NLP的广泛应用&a…
Bertopic主题模型原理详解
Bertopic主题模型原理详解 – 潘登同学的NLP笔记 文章目录Bertopic主题模型原理详解 -- 潘登同学的NLP笔记Bertopic主题建模Nearest-Neighbor-Descent (构建K近邻图)算法详解理论推导算法步骤UMAP降维算法原理学习高维空间中的流形结构寻找最近的邻居UMAP的高维表示UMAP的低维表…
Lecture 16 Dependency Grammar
目录 Dependency GrammarDependency GrammarDependency RelationsApplication: Question AnsweringApplication: Information ExtractionDependency vs. ConstituencyProperties of a Dependency TreeProjectivityTreebank Conversion Transition-based ParsingDependency Pars…
论文笔记 EMNLP 2021|Learning Constraints and Descriptive Segmentation for Subevent Detection
文章目录1 简介1.1 创新2 背景知识3 方法3.1 约束学习3.2 联合任务学习4 实验1 简介
论文题目：Learning Constraints and Descriptive Segmentation for Subevent Detection 论文来源：EMNLP 2021 组织机构：宾夕法尼亚大学 论文链接ÿ…
论文笔记 EMNLP 2021|Exploring Sentence Community for Document-Level Event Extraction
文章目录1 简介1.1 创新2 方法2.1 Document Graph Construction2.2 Sentence Community Detection2.3 Event Type & Argument Classification3 实验1 简介
论文题目：Exploring Sentence Community for Document-Level Event Extraction 论文来源：EM…
论文笔记 EMNLP 2020|A Method for Building a Commonsense Inference Dataset based on Basic Events
文章目录1 简介1.1 创新2 方法3 实验1 简介
论文题目：A Method for Building a Commonsense Inference Dataset based on Basic Events 论文来源：EMNLP 2020 论文链接：https://aclanthology.org/2020.emnlp-main.192.pdf 代码链接࿱…
NLP领域的知识体系构建及成长之路
前言
博主准备去C9读CS博士了，其中的路有多难走，只有我自己知道，anyway，感谢那个不曾放弃的自己
由于以后可能会接触到大模型相关的知识，所以现在想迫切的构建一下自己的知识体系，之前也只是对于CV领域比…
论文笔记 EMNLP 2021|Joint Multimedia Event Extraction from Video and Article
文章目录1 简介1.1 动机1.2 创新2 背景知识3 方法3.1 构造数据集3.2 方法3.2.1 任务定义3.2.2 多模态事件共指消解3.2.3 多模态事件抽取和论元角色标注4 实验1 简介
论文题目：Joint Multimedia Event Extraction from Video and Article 论文来源：EMNLP…
论文笔记 ACL 2020|Exploring Interpretability in Event Extraction: Multitask Learning of a Neural Event C
文章目录1 简介1.1 创新2 方法2.1 事件抽取2.2 规则解码3 实验1 简介
论文题目：Exploring Interpretability in Event Extraction: Multitask Learning of a Neural Event Classifier and an Explanation Decoder 论文来源：ACL 2020 论文链接࿱…
论文笔记 ACL 2019|Rapid Customization for Event Extraction
文章目录1 简介1.1 创新2 方法2.1 新事件的触发词实例2.2 模型3 实验3.1 触发词分类3.2 论元分类1 简介
论文题目：Rapid Customization for Event Extraction 论文来源：ACL 2019 论文链接：https://arxiv.org/pdf/1809.07783.pdf
1.1 创新
…
论文笔记 ACL 2019|Open Domain Event Extraction Using Neural Latent Variable Models
文章目录1 简介1.1 创新2 背景知识3 任务和数据4 方法4.1 模型一4.2 模型二4.3 模型三4.4 推理5 实验1 简介
论文题目：Open Domain Event Extraction Using Neural Latent Variable Models 论文来源：ACL 2019 论文链接：https://arxiv.org/pd…
论文笔记 ACL 2018|Zero-Shot Transfer Learning for Event Extraction
文章目录1 简介1.1 创新2 方法3 实验1 简介
论文题目：Zero-Shot Transfer Learning for Event Extraction 论文来源：ACL 2018 论文链接：https://arxiv.org/pdf/1707.01066.pdf 代码链接：https://github.com/wilburOne/ZeroShotEv…
免费好用的文字转语音工具
自媒体可能是现在最火的东西，自媒体中最火的又是短视频，各家短视频平台都有简单好用的剪辑软件方便新手能轻松上手，但是语音这块的话却没有很好的解决办法，大部分需要真人出声或是拙劣的 AI 配音，但是像我这种普通话不…
HuggingFace Transformers框架使用教程
本文记录使用PyTorch、HuggingFace/Transformers 框架工作流程，仅供参考。
介绍
官网地址为Hugging Face。目前各种Pretrained的Transformer模型层出不穷，虽然这些模型都有开源代码，但是它们的实现各不相同，我们在对比不同模型时…
国产chatgpt：基于chatGLM微调nlp信息抽取任务
文章目录 一、传统nlp做信息抽取二、什么是零样本和少样本1. 零样本和少样本的概念：2. 零样本和少样本的应用场景：3. 零样本和少样本在大模型时代的优势和意义：4. 相比传统NLP，零样本和少样本学习具有以下优势： 三、大…
android10使用logcat -c无法清除log缓冲区
android10上面使用logcat -c无法清理log。
对解决问题方面非常不方便，因为抓取不到及时有效的LOG。对查看和分析问题造成了很大的困扰，初步分析可能是因为系统存在一个BUG。 跟进代码发现是因为时间戳问题，导致执行失败。通过打印log调试&am…
房产聊天问答匹配高分方案学习1
高分方案上 高分方案代码解析Post training(预训练的后操作)进行point-post-training-wwm-sop.py和pair-post-training-wwm-sop.py的训练1.分析point-post-training-wwm-sop.py文件next_sentence_prediction structmlm structpair-post-training-wwm-sop.pypet post-training后…
NLP-D32-毕设答辩准备-《人类语言处理》03-04
—0446呜呜呜，怎么会有人给我的csdn打赏呢？？？惊！感谢！！！ 今天的主要任务应该准备毕设的答辩&&下阶段学习任务确定&&日常学习
------0453可以开始该ppt啦~~
《人类…
Word2Vec进阶 -GPT2
Word2Vec进阶 - GPT2 – 潘登同学的NLP笔记 文章目录Word2Vec进阶 - GPT2 -- 潘登同学的NLP笔记GPT2网络结构预训练任务机器翻译自动摘要生成阅读理解Zero-shot,One-shot,Few-shot问题来了Bert与GPT2的区别Bert与GPT2的区别GPT2网络结构
Bert是用了Transformer的Encoder层&…
Encoder-Decoder框架与Attention机制
Attention机制 – 潘登同学的深度学习笔记 文章目录Attention机制 -- 潘登同学的深度学习笔记Encoder-Decode框架Encoder-Decode应用于聊天机器人数据预处理训练模型模型应用Attention机制计算相似度矩阵的方式论文提出的方法更常用的方法Self-Attention机制Multi headAttentio…
NLP----神经网络语言模型（NNLM），词向量生成，词嵌入，python实现
理论主要来自论文A Neural Probabilistic Language Model，可以百度到的
这篇博文对理论方面的介绍挺不错的 链接地址
一下是其中的一些截图，主要是算法步骤部分
算法步骤
前向计算 反向更新 个人实现的代码
import glob
import random
import ma…
NLP（2）N-gram language Model （缺了一些平滑的方式介绍）
文章目录 N-gram Language ModelTrigram Example存在的问题smoothingLaplacian （add-one） smoothing案例 1案例 2 Add-k smoothingAbsolute Discounting案例 Interpolation 在自然语言处理（NLP）中，语言模型（…
【java办公自动化（1）】-- Windows最好最快的查找文件神器
Windows最好最快的查找文件神器
前言
如果用本地的搜索栏搜索文件只能搜索名称或者扩张名，txt文件或java文件里面的字符却搜索不了，且慢。因此，开发一个“内部搜索引擎”是非常必要的，为了美观，加上高亮姨妈红
输入的方式有三种：’/’、 ‘\’ 、 r’’ os.chdir(‘C:…
阿里巴巴序列模型梳理
SIM：基于搜索的用户终身行为序列建模
论文：《Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction》 下载地址：https://arxiv.org/abs/2006.05639
1、用户行为序列建模回顾
1…
【自然语言处理（NLP）实战】LSTM网络实现中文文本情感分析（手把手与教学超详细）
目录
引言：
1.所有文件展示：
1.中文停用词数据（hit_stopwords.txt)来源于：
2.其中data数据集为chinese_text_cnn-master.zip提取出的文件。点击链接进入github，点击Code、Download ZIP即可下载。
2.安装依赖库&am…
【自然语言处理】【长文本处理】RMT：能处理长度超过一百万token的Transformer
相关博客 【自然语言处理】【长文本处理】RMT：能处理长度超过一百万token的Transformer 【自然语言处理】【大模型】MPT模型结构源码解析(单机版) 【自然语言处理】【大模型】ChatGLM-6B模型结构代码解析(单机版) 【自然语言处理】【大模型】BLOOM模型结构源码解析(…
【nlp】2.5(cpu version) 人名分类器实战项目（对比RNN、LSTM、GRU模型）
人名分类器实战项目 0 项目说明1 案例介绍2 案例步骤2.1 导入必备的工具包2.2 数据预处理2.2.1 获取常用的字符数量2.2.2 国家名种类数和个数2.2.3 读数据到python环境中2.2.4 构建数据源NameClassDataset2.2.5 构建迭代器遍历数据2.3 构建RNN及其变体模型2.3.1 构建RNN模型2.3…
【AI视野·今日NLP 自然语言处理论文速览 第六十五期】Mon, 30 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Mon, 30 Oct 2023 Totally 67 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
An Approach to Automatically generating Riddles aiding Concept Attainment Authors Niharika Sri Parasa,…
KnowledgeGPT：利用检索和存储访问知识库上增强大型语言模型10.30
利用检索和存储访问知识库上增强大型语言模型 摘要引言2 相关研究3方法3.1 任务定义3.2 知识检索3.2.1 代码实现3.2.2 实体链接3.2.3 获取实体信息3.2.4 查找实体或值3.2.5 查找关系 3.3 知识存储 4 实验 摘要
大型语言模型（LLM）在自然语言处理领域展现…
llava1.5模型安装、预测、训练详细教程
引言
本博客介绍LLava1.5多模态大模型的安装教程、训练教程、预测教程，也会涉及到hugging face使用与wandb使用。
源码链接:点击这里
demo链接:点击这里
论文链接:点击这里
一、系统环境
ubuntu 20.04 gpu: 2*3090 cuda:11.6
二、LLava环境安装
1、代码下载…
深入解析序列模型：全面阐释 RNN、LSTM 与 Seq2Seq 的秘密
探索序列建模的基础知识和应用。 简介 序列建模是许多领域的一个重要问题，包括自然语言处理 (NLP)、语音识别和语音合成、时间序列预测、音乐生成和「生物信息学」。所有这些任务的共同点是它们需要坚持。接下来的事情的预测是基于历史的。例如，在“哈桑…
大语言模型量化方法对比：GPTQ、GGUF、AWQ
在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。
说明：每次加载LLM示例后，建议清除缓存，以…
单词故事嵌入：通过自然语言处理解开叙事
一、介绍 在自然语言处理和文本分析领域，寻求理解和表示人类叙事丰富而复杂的结构是一个持续的挑战。在研究人员和数据科学家可以使用的众多工具和技术中，“Word Story Embeddings”作为一种创新且有前景的方法脱颖而出。这些嵌入建立在词嵌入的基础上&a…
VS Code中常用插件推荐
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
Sam Altman 被罢免细节曝光，投资 100+ 公司或成「话柄」？
2022 年 11 月，ChatGPT 发布掀起 AI 狂潮。时隔 1 年，2023 年 11 月，ChatGPT 之父、Sam Altman 的一项人事巨变，再次掀起了一场 AI 界的风暴，只是这次并不是技术革命，而是 OpenAI 巨头换帅——Sam Altman 被…
论文笔记--Toolformer: Language Models Can Teach Themselves to Use Tools
论文笔记--Toolformer: Language Models Can Teach Themselves to Use Tools 1. 文章简介2. 文章概括3 文章重点技术3.1 Toolformer3.2 APIs 4. 文章亮点5. 原文传送门 1. 文章简介
标题：Toolformer: Language Models Can Teach Themselves to Use Tools作者&#…
EMNLP 2023 | DeepMind提出大模型In-Context Learning的可解释理论框架
论文题目：In-Context Learning Creates Task Vectors 论文链接：https://arxiv.org/abs/2310.15916 01. 引言 此外，作者也提到本文的方法与软提示（soft-prompt）[1]方法类似，soft-prompt也是通过调整大模型内…
Inference with C# BERT NLP Deep Learning and ONNX Runtime
目录
效果
测试一
测试二
测试三
模型信息
项目
代码
下载 Inference with C# BERT NLP Deep Learning and ONNX Runtime
效果
测试一
Context ：Bob is walking through the woods collecting blueberries and strawberries to make a pie.
Question …
(六)、基于 LangChain 实现大模型应用程序开发 | 基于知识库的个性化问答 (文档分割 Splitting)
在上一章中，我们刚刚讨论了如何将文档加载到标准格式中，现在我们要谈论如何将它们分割成较小的块。这听起来可能很简单，但其中有很多微妙之处会对后续工作产生重要影响。 文章目录 1、为什么要做文档分割？2、文档分割方式3、基于…
BERT大模型：英语NLP的里程碑
BERT的诞生与重要性
BERT（Bidirectional Encoder Representations from Transformers）大模型标志着自然语言处理（NLP）领域的一个重要转折点。作为首个利用掩蔽语言模型（MLM）在英语语言上进行预训练的模型&…
大模型之亿级词表设计
亿级词表设计 论述简述论述 该论文旨在探讨一种基于词表压缩和索引学习的信息压缩方法。该方法通过建立一个超级大的词表，使用该词表的数据库索引进行信息表达，从而实现了信息的准确且高效的压缩。 一、引言 随着信息技术的飞速发展，人类产生的信息量正在呈指数级增长。如何…
NLP | SimKGC论文详解及项目实现
本文主要讲解了论文SimKGC：基于预训练语言模型的简单对比KGC的论文总结以及项目实现。 论文题目：2022_SimKGC: Simple Contrastive Knowledge Graph Completion with Pre-trained Language Models 论文地址：2022.acl-long.295.pdf (aclanthol…
释放搜索潜力：基于Docker快速搭建ES语义检索系统（快速版），让信息尽在掌握
搜索推荐系统专栏简介：搜索推荐全流程讲解（召回粗排精排重排混排）、系统架构、常见问题、算法项目实战总结、技术细节以及项目实战（含码源） 专栏详细介绍：搜索推荐系统专栏简介：搜索推荐全流程讲解（召回粗排精排重排混排）、系统架构、常见问题、算法项目实战总结、技术…
Re50：读论文 Large Language Models Struggle to Learn Long-Tail Knowledge
诸神缄默不语-个人CSDN博文目录 诸神缄默不语的论文阅读笔记和分类
论文名称：Large Language Models Struggle to Learn Long-Tail Knowledge
ArXiv网址：https://arxiv.org/abs/2211.08411
官方GitHub项目（代码和实体）…
人工标签不准确的一种解决方案：PCA降维可视化筛选正样本
背景
在实际的业务场景里，用会话文本构建模型（机器学习/深度学习）来做意图分类之类的任务时，经常会出现人工打标不够准确的问题，标签都不准确的话模型当然无法学习到有效信息了。这个问题真的非常头疼…除了与业务沟通…
English：classified word（continuously update）
Distant family members(远亲)
grandparents (外)祖父母 grandpa grandma grandchildren (外)孙女 aunt 姑姑 / 婶婶 / 姨 / 舅妈 uncle 叔叔 / 姑父 / 姨父/ 舅舅 niece 侄女 / 外甥女 nephew 侄子 / 外甥 cousin 堂 / 表兄弟姐妹
Appearance（外貌）
…
大模型之十二十-中英双语开源大语言模型选型
从ChatGPT火爆出圈到现在纷纷开源的大语言模型，众多出入门的学习者以及跃跃欲试的公司不得不面临的是开源大语言模型的选型问题。 基于开源商业许可的开源大语言模型可以极大的节省成本和加速业务迭代。 当前（2023年11月17日)开源的大语言模型如下&#…
掌握 AI 和 NLP：深入研究 Python — 情感分析、NER 等
一、说明 我们见证了 BERT 等预训练模型在情感分析方面的强大功能，使我们能够破译隐藏在文本数据中的情感。通过 SpaCy，我们探索了命名实体识别的迷人世界，揭开了隐藏在非结构化文本中的秘密。 二、问题陈述 命名实体识别（NER）是自然语言处理中的一项关键…
【nlp】3.4 Transformer论文复现：2. 编码器部分（规范化层、子层连接结构、编码器层）
3.4 Transformer论文复现：2. 编码器部分（规范化层、子层连接结构、编码器层） 2.6 规范化层2.6.1 规范化层的作用2.6.2 规范化层的代码实现2.6.3 规范化层总结2.7 子层连接结构2.7.1 子层连接结构2.7.2 子层连接结构的代码实现2.7.3 子层连接结构总结2.8 编码器层2.8.1 编码器…
Re54：读论文 How Context Affects Language Models‘ Factual Predictions
诸神缄默不语-个人CSDN博文目录 诸神缄默不语的论文阅读笔记和分类
论文名称：How Context Affects Language Models’ Factual Predictions
ArXiv网址：https://arxiv.org/abs/2005.04611
2020年AKBC论文，作者来自脸书和UCL。
本文主要关注…
百面深度学习-自然语言处理
自然语言处理
神经机器翻译模型经历了哪些主要的结构变化？分别解决了哪些问题？
神经机器翻译（Neural Machine Translation, NMT）是一种使用深度学习技术来实现自动翻译的方法。自从提出以来，NMT模型经历了几个重要的…
简单测试大语言模型 Yi-34B 的中日英能力
简单测试大语言模型 Yi-34B 的中日英能力 0. 背景1. 中文测试2. 日文测试3. 英文测试 0. 背景
简单测试一下C-Eval 排行榜第一（20231129时点）的 Yi-34B 的中日英能力， 1. 中文测试
问题1，回答正确。 问题2，回答正确。…
系统安全-WAF入侵防御系统测评指标
WAF（Web Application Firewall）是一种部署在web应用程序前面的安全系统，其作用是在用户请求到达web服务器之前对用户请求进行扫描和过滤，分析并校验每个用户请求的网络包，确保每个用户请求有效且安全，对无效…
WSDM 2024 | LLMs辅助基于内容的推荐系统增强BPR训练数据
本文提出了一种简单而有效的基于LLMs的图数据增强策略，称为LLMRec，以增强基于内容的推荐系统。LLMRec包含三种数据增强策略和两种去噪策略。数据增强策略包括从文本自然语言的角度挖掘潜在的协同信号, 构建用户画像(LLM-based), 并强化item side informa…
拥抱未来：大语言模型解锁平台工程的无限可能
01 了解大型语言模型 (LLM) 大型语言模型（LLM）是一种人工智能（AI）算法，它使用深度学习技术和海量数据集来理解、总结、生成和预测新内容。凭借合成大量信息的能力，LLM 可以提高以前需要人类专家的业务流程的…
【兔子王赠书第12期】赠ChatGPT中文范例的自然语言处理入门书
文章目录 写在前面自然语言处理图书推荐图书简介编辑推荐 推荐理由粉丝福利写在后面 写在前面
小伙伴们好久不见吖，本期博主给大家推荐一本入门自然语言处理的经典图书，一起来看看吧~
自然语言处理
自然语言处理（Natural Language Process…
LORA概述: 大语言模型的低阶适应
LORA概述: 大语言模型的低阶适应 LORA: 大语言模型的低阶适应前言摘要论文十问实验RoBERTaDeBERTaGPT-2GPT-3 结论代码调用 LORA: 大语言模型的低阶适应
前言 LoRA的核心思想在于优化预训练语言模型的微调过程，通过有效地处理权重矩阵的变化（即梯度更新…
elasticsearch 内网下如何以离线的方式上传任意的huggingFace上的NLP模型（国内闭坑指南）
es自2020年的8.x版本以来，就提供了机器学习的能力。我们可以使用es官方提供的工具eland，将hugging face上的NLP模型，上传到es集群中。利用es的机器学习模块，来运维部署管理模型。配合es的管道处理，来更加便捷的处理数据…
GPU深度学习性能的三驾马车：Tensor Core、内存带宽与内存层次结构
编者按：近年来，深度学习应用日益广泛，其需求也在快速增长。那么，我们该如何选择合适的 GPU 来获得最优的训练和推理性能呢？ 今天，我们为大家带来的这篇文章，作者的核心观点是：Tensor…
构建交互式数据集展示：Gradio的Dataset模块详解
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
NLP（五十六）LangChain的结构化输出
在使用大模型的时候，尽管我们的prompt已经要求大模型给出固定的输出格式，比如JSON，但很多时候，大模型还是会输出额外的信息，使得我们在对输出信息进行结构化的时候产生困难。LangChain工具可以很好地将输出信息进行结构…
大语言模型的百家齐放
基础语言模型
概念
基础语言模型是指只在大规模文本语料中进行了预训练的模型，未经过指令和下游任务微调、以及人类反馈等任何对齐优化。
如何理解 只包含纯粹的语言表示能力,没有指导性或特定目标。 只在大量无标注文本上进行无监督预训练,用于学习语言表示。 …
大厂出品的Web端AI语音转文字神器
有朋友在“十点神器”回复提问录音转文字的工具，手机上我一直在用讯飞语记，不过后期可能要收费，电脑上一直也没用到过语音转文字这样的场景，倒是文字转语音用过不少，不过既然有朋友问，那就责无旁贷地找一下…
对于算法工程师职业生涯规划的考虑
推荐关注：https://zhuanlan.zhihu.com/c_142467262。有关于AI算法的一切 移动端推荐关注「小李杜的科幻年」～～～
----
最近和很多p8，p9，p10..～后面我也迷糊了的级别的同学请教，也阅…
《动手学深度学习》Task05：卷积神经网络基础+LeNet+卷积神经网络进阶
文章目录1 卷积神经网络基础1.1 二维卷积层1.2 填充和步幅1.3 多输入通道和多输出通道1.4 卷积层与全连接层的对比1.4 池化2 LeNet2.1 LeNet 模型2.2 获取数据和训练模型3 卷积神经网络进阶3.1 深度卷积神经网络（AlexNet）3.2 使用重复元素的网络…
自然语言入行必知的基础概念
一、说明 自然语言处理中有些最一般的概念，因为活动在震荡中，无法沉淀下来，本文就简单讲讲NLP的一些已经固定的基本概念，分清这些概念，对于初学者是有益的。
二、基本概念集合
2.1 NLP的范围
自然语言处理 （NLP） 是指使用自然语言（如英语）与智能系统进行通信的 AI …
java实现实体关系抽取
前言：21年广州荔湾区成了疫情灾区，很多人都没有工作，被居家隔离，感染病毒概率死亡率是0.005%，没有工作死亡率是100%，因此作为普通老百姓，自己开发了一个数据分析工具，叫yandas。
信…
java实现快递单信息识别
前言：21年广州荔湾区成了疫情灾区，很多人都没有工作，被居家隔离，感染病毒概率死亡率是0.005%，没有工作死亡率是100%，因此作为普通老百姓，自己开发了一个数据分析工具，叫yandas。
命…
NLP-D19-Extractor算法动手pytorchD1笔记
–0557 0430起床，写日记，找资料，吃早饭，现在已经0557了，开始看论文吧！先把昨天的extractor看完！
一\Extractor
-----0818 终于看完了！！！这一篇的work load真…
关于SRL（semantic role label；Semantic Role Labeling）语义角色标注标签的含义
各个标签的意义如下： 具体的srl介绍参考这个：https://zhuanlan.zhihu.com/p/35789254 我通过Allennlp的SRL工具生成的角色标注的例子如下：
原句：‘Everyone really likes the newest benefits’
{‘verbs’: [{‘verb’: ‘lik…
关于word2vec的一些相关问题整理 思考
1.简述word2vec基本思想，并简要描述CBOW和Skip-gram模型
word2vec的基本思想是一个词的意思， 可以由这个词的上下文来表示。 相似词拥有相似的上下文， 这也就是所谓的离散分布假设（distributional hypothesis）&#x…
GNN for NLP综述
图1：分类法，它沿着四个轴系统地组织NLP的GNN：图构建、图表示学习、编码器-解码器模型和applications。
摘要
深度学习已经成为处理自然语言处理（NLP）中各种任务的主要方法。尽管文本输入通常表示为一系列标记&#x…
tf2.0做LSTM情感分析（二分类、2020李宏毅hw4）
前言
这段时间在做李宏毅ML/DL网课的第四次作业（2020），李老师讲得真的很棒，如果想自学的话我把课程链接放在这儿李宏毅2020网课，里面所有作业的数据集也放在这里：所有作业数据集，提取码&#x…
glove文本分类介绍
参考：https://www.biaodianfu.com/glove.html
GloVe的全称叫Global Vectors for Word Representation，它是一个基于全局词频统计（count-based & overall statistics）的词表征（word representation）工具…
自然语言处理发展历程
自然语言处理发展历程（算法进阶历史重要阶段）
作者：张qianer~
本文适合有一定NLP基础，想对NLP的知识有系统梳理的小伙伴~ 文章目录自然语言处理发展历程（算法进阶历史重要阶段）什么是自然语言处理&#x…
hanlp学习[1]分词，停用词
hanlp分词
为什么要使用hanlp分词？ 词典分词的精度并不是很好，分词在于速度而不是精度。hanlp在准确度相对精准的情况下能够做到速度也相对快
长短文本分词特性： hanlp所有的分词器都是继承自Segment这个基类 如果是短文本优先考虑…
自然语言处理：用paddle对人民日报语料进行分词，停用词，数据清洗和熵计算
自然语言处理：用paddle对人民日报语料进行分词，停用词，数据清洗和熵计算
数据集提取： 公众号：YOLO的学习进阶日常 然后回复：nlp1
安装本地飞桨
本人 win10 python3.7 用的CPU
安装方式： pip…
踩实底子|每日学习|02-特征工程和文本特征提取【下】
前文说到，特征工程是为了预测结果数据的处理步骤，也简单用了一两个实例说明了文本特征的提取，其中字典特征提取和文本特征主要是将特征数据化，也就是one-hot编码。为了不让一篇博文显得长篇大论，后面两个部分的视频&am…
【自然语言处理】NLP学习及实践记录 | part 01 自然语言实现中文分词|句法分析
项目需要，所以学习一下，自然语言处理，主要是【知识库构建】、【自动摘要生成】、【个性推荐算法】、【聊天机器人|问答系统】这几个部分的应用。
有哪些部分在我们学习NLP过程中提的比较多的呢？这是老师在讲课开始提的一个问题&a…
论文笔记--A Fine-grained Interpretability Evaluation Benchmark for Neural NLP
论文笔记--A Fine-grained Interpretability Evaluation Benchmark for Neural NLP 1. 文章简介2. 文章概括3 文章重点技术3.1 数据收集3.2 数据扰动3.3 迭代标注和检查根因3.4 度量3.4.1 Token F1-score3.4.2 MAP(Mean Average Precision) 4. 文章亮点5. 原文传送门 1. 文章简…
深度学习｜词嵌入的演变
文本嵌入，也称为词嵌入，是文本数据的高维、密集向量表示，可以测量不同文本之间的语义和句法相似性。它们通常是通过在大量文本数据上训练 Word2Vec、GloVe 或 BERT 等机器学习模型来创建的。这些模型能够捕获单词和短语之间的复杂关系&#x…
拆解大语言模型 RLHF 中的PPO算法
为什么大多数介绍大语言模型 RLHF 的文章，一讲到 PPO 算法的细节就戛然而止了呢？要么直接略过，要么就只扔出一个 PPO 的链接。然而 LLM x PPO 跟传统的 PPO 还是有些不同的呀。
其实在 ChatGPT 推出后的相当一段时间内，我一直在等…
NLP项目实战01--电影评论分类
介绍：
欢迎来到本篇文章！在这里，我们将探讨一个常见而重要的自然语言处理任务——文本分类。具体而言，我们将关注情感分析任务，即通过分析电影评论的情感来判断评论是正面的、负面的。
展示： 训练展示如下…
自然语言处理阅读第三弹
LLM微调
三种方法 Prefix-Tuning/Prompt-Tuning:在模型的输入或隐层添加k个额外可训练的前缀tokens(这些前缀是连续的伪tokens,不对应真实的tokens),只训练这些前缀参数； Prefix-tuning： 对于每个任务，都有一个特定的前缀被添加到输入序列的开始部分。这些前缀相当于任务特…
大模型工具_QUIVR
https://github.com/StanGirard/quivr/ 24.5K Star 1 功能
整体功能，想解决什么问题 实现了前后端结合的 RAG 方案。构建能直接使用的应用。提出了“第二大脑”，具体实现也是RAG，但针对不同用户不同场景支持多个“大脑”并存，每个…
【大语言模型】Transformer原理以及运行机制
目录
参考资料 Transformer 是一种序列到序列（Sequence-to-Sequence）的模型，用于处理自然语言处理任务。它是由谷歌公司提出的一种基于注意力机制的神经网络模型，被广泛应用于机器翻译、问答系统、文本摘要、对话生成等任务。
T…
【AI】人工智能复兴的推进器之自然语言处理
目录
一、什么是自然语言处理
二、词袋模型
三、向量
四、代码示例
五、大模型和自然语言处理 接上篇：【AI】人工智能复兴的推进器之机器学习-CSDN博客
一、什么是自然语言处理
自然语言处理（Natural Language Processing，NLP…
小巧而强大：Orca 2展示出与70-130亿参数大模型同等的推理性能
引言
在人工智能的发展历程中，模型的大小和性能一直是研究者关注的焦点。微软最新推出的Orca 2模型，以其较小的体积却展现出媲美大型模型的推理能力，引领了一个全新的研究方向。 Huggingface模型下载：https://huggingface.co/mic…
NLP基础——TF-IDF
TF-IDF
TF-IDF全称为“Term Frequency-Inverse Document Frequency”，是一种用于信息检索与文本挖掘的常用加权技术。该方法用于评估一个词语（word）对于一个文件集（document）或一个语料库中的其中一份文件的重要程度。…
Vue前端文字效果：如何让一段文本像是手动一个一个字打出来的
效果展示 自己做的AI聊天机器人界面，我觉得比微信还好看 由于这个前端略微复杂，下文用最简单的例子来展示：
分析需求
对于AI聊天工具的前端，如果AI生成的文本像是一个一个字打出来的，就会让AI看起来更像真的人&…
AIGC盛行，带你轻松调用开发
文章目录 前言一、📖AIGC简介二、📣开通体验开通模型获取API-KEY 三、📝基于java实现调用1.设置API-KEY2.体验大语言模型多轮对话演示补充流式输出 3.体验通义千问VL使用官方提供照片本地文件多轮对话流式输出 总结 前言
本篇文章基于java和…
2023第三届中国高效大数据挑战赛A题思路及代码
一、题目介绍
赛题 A 中文文本纠错 中文文本纠错的任务主要是针对中文文本中出现的错误进行检测和纠正，属 于人工智能自然语言处理的研究子方向。中文文本纠错通常使用的场景有政务公 文、裁判文书、新闻出版等，中文文本纠错对于以中文作为母语的使用者…
KG+LLM(一)KnowGPT: Black-Box Knowledge Injection for Large Language Models
论文链接：2023.12-https://arxiv.org/pdf/2312.06185.pdf
1.Background & Motivation
目前生成式的语言模型，如ChatGPT等在通用领域获得了巨大的成功，但在专业领域，由于缺乏相关事实性知识，LLM往往会产生不准确的…
【自然语言处理】【大模型】 ΨPO：一个理解人类偏好学习的统一理论框架
一个理解人类偏好学习的统一理论框架 《A General Theoretical Paradiam to Understand Learning from Human Preferences》 论文地址：https://arxiv.org/pdf/2310.12036.pdf 相关博客 【自然语言处理】【大模型】 ΨPO：一个理解人类偏好学习的统一理论框…
【起草】1-2 讨论 ChatGPT 在自然语言处理领域的重要性和应用价值
【小结：ChatGPT 在自然语言处理领域的八种典型应用】
ChatGPT是一种基于Transformer模型的端到端生成式对话系统，采用自监督学习的方式ChatGPT是一种基于Transformer模型的端到端生成式对话系统，采用自监督学习的方式在海量无标注数据集上进…
文本处理工具doctran（集成LLM和NLP库）
今天给大家推荐一款文本处理工具，可以Extract、Redact、Summarize、Refine、Translate、Interrogate，这个工具就是文档转换框架doctran。
欢迎关注公众号 doctran基于OpenAI的GPT模型和开源的NLP库来剖析文本数据。该工具也可以在LangChain框架document…
【论文阅读】LoRA: Low-Rank Adaptation of Large Language Models
code：GitHub - microsoft/LoRA: Code for loralib, an implementation of "LoRA: Low-Rank Adaptation of Large Language Models" 做法：
把预训练LLMs里面的参数权重给冻结；向transformer架构中的每一层，注入可训练的…
人工智能驱动的智慧城市：科技之光照亮未来城市发展
导言 人工智能在智慧城市建设中扮演着关键角色，通过智能化、自动化的手段，为城市提供高效、智能的管理和服务。本文将深入研究人工智能在智慧城市中的应用、创新技术以及对城市未来发展的引领作用。 智慧城市是利用先进的信息技术和大数据分析手…
基于hfl/rbt3模型的情感分析学习研究——文本挖掘
参考书籍《HuggingFace自然语言处理详解 》
什么是文本挖掘 文本挖掘（Text mining）有时也被称为文字探勘、文本数据挖掘等，大致相当于文字分析，一般指文本处理过程中产生高质量的信息。高质量的信息通常通过分类和预测来产生&…
【阅读笔记】LoRAHub：Efficient Cross-Task Generalization via Dynamic LoRA Composition
一、论文信息
1 论文标题
LoRAHub：Efficient Cross-Task Generalization via Dynamic LoRA Composition
2 发表刊物
NIPS2023_WorkShop
3 作者团队
Sea AI Lab, Singapore
4 关键词
LLMs、LoRA
二、文章结构 #mermaid-svg-Gn81hPysu7z59nlv {font-family:&…
DETR 【目标检测里程碑的任务】
paper with code - DETR 标题
End-to-End Object Detection with Transformers end-to-end 意味着去掉了NMS的操作（生成很多的预测框，nms 去掉冗余的预测框）。因为有了NMS ，所以调参，训练都会多了一道工序，…
大型语言模型，MirrorBERT — 将模型转换为通用词汇和句子编码器
大型语言模型，MirrorBERT — 将模型转换为通用词汇和句子编码器 一、介绍 BERT 模型在现代 NLP 应用中发挥着基础作用，这已不是什么秘密。尽管它们在下游任务上表现出色，但大多数模型在没有微调的情况下在特定问题上并不是那么完美。从原始预…
【LLM 】7个基本的NLP模型，为ML应用程序赋能
在上一篇文章中，我们已经解释了什么是NLP及其在现实世界中的应用。在这篇文章中，我们将继续介绍NLP应用程序中使用的一些主要深度学习模型。
BERT
来自变压器的双向编码器表示（BERT）由Jacob Devlin在2018年的论文《BERT:用于语言…
如何使用llm 制作多模态
首先将任何非字符的序列信息使用特殊n个token 编码。 具体编码方法以图像为例子说明： 将固定尺寸图像如256256 的图像分割为1616 的子图像块。 将已知的所有图像数据都分割后进行str将其看做是一个长的字符，而后去重后方式一个词表。 使用特殊1024 个tok…
【LLM】2023年大型语言模型训练
2022年底，大型语言模型（LLM）在互联网上掀起了风暴，OpenAI的ChatGPT在推出5天后就达到了100万用户。ChatGPT的功能和广泛的应用程序可以被认可为GPT-3语言模型所具有的1750亿个参数
尽管使用像ChatGPT这样的最终产品语言模型很容易…
中文自然语言处理库(SnowNLP)的简单使用
snownlp 是一个简单易用的 Python 库，专为处理中文文本而设计。它基于自然语言处理技术，提供了多种功能，包括分词、词性标注、情感分析、文本转换（简繁转换）等。这个库的核心优势在于对中文文本的处理能力，…
文本可视化之词云图的使用
环境安装：
pip install wordcloud -i https://pypi.tuna.tsinghua.edu.cn/simple/
conda install wordcloud
# -i 后面加镜像源网站 WordCloud(background_color,repeat,max_words600,height480, width584, max_font_size,font_path colormap,mask,mode,coll…
Large Language Models Paper 分享
论文1： ChatGPTs One-year Anniversary: Are Open-Source Large Language Models Catching up?
简介
2022年11月，OpenAI发布了ChatGPT，这一事件在AI社区甚至全世界引起了轰动。首次，一个基于应用的AI聊天机器人能够提供有帮助、…
【AI视野·今日NLP 自然语言处理论文速览 第七十一期】Fri, 5 Jan 2024
AI视野今日CS.NLP 自然语言处理论文速览 Fri, 5 Jan 2024 Totally 28 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
LLaMA Pro: Progressive LLaMA with Block Expansion Authors Chengyue Wu, Yukang Gan, Yixiao Ge, Zeyu Lu, …
自然语言处理中的语言模型
知乎好文章，建议参考学习语言模型 语言模型（Language Model, LM）是用于计算或预测一系列词语（句子或文本段落）出现概率的统计模型。它们能够基于已知的词序列来预测下一个词或者评估一个句子的语言学合理性。
发展历程…
Transformer - Attention is all you need 论文阅读
虽然是跑路来NLP，但是还是立flag说要做个project，结果kaggle上的入门project给的例子用的是BERT，还提到这一方法属于transformer，所以大概率读完这一篇之后，会再看BERT的论文这个样子。
在李宏毅的NLP课程中多次提到了…
nlp中的transformer中的mask
由于在实现多头注意力时需要考虑到各种情况下的掩码，因此在这里需要先对这部分内容进行介绍。在Transformer中，主要有两个地方会用到掩码这一机制。第1个地方就是在上一篇文章用介绍到的Attention Mask，用于在训练过程中解码的时候掩盖掉当前…
10款以上开源工具，用于大型语言模型应用开发
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…
AI大语言模型会带来了新一波人工智能浪潮？
以ChatGPT、LLaMA、Gemini、DALLE、Midjourney、Stable Diffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、思维导图、数据清洗、统计分析、高级编程、代码调试、算法学习、论文检索、写作、翻译、润色、文献辅助…
语境化语言表示模型-ELMO、BERT、GPT、XLnet
一.语境化语言表示模型介绍
语境化语言表示模型（Contextualized Language Representation Models）是一类在自然语言处理领域中取得显著成功的模型，其主要特点是能够根据上下文动态地学习词汇和短语的表示。这些模型利用了上下文信息…
查准率与查全率在自然语言处理中的核心概念与联系、核心概念和实践应用，如何使用朴素贝叶斯、SVM 和深度学习实现查准率和查全率的计算？
查准率与查全率在自然语言处理中的核心概念与联系、核心概念和实践应用，如何使用朴素贝叶斯、SVM 和深度学习实现查准率和查全率的计算？ 人工智能核心技术有：1. 深度学习；2.计算机视觉；3.自然语言处理；4.数据挖掘。其中，深度学习就是使用算法分析数据，从中学习并自动归…
书生·浦语大模型实战营-学习笔记2
目录 轻松玩转书生浦语大模型趣味Demo1. 大模型及 InternLM 模型介绍2. InternLM-Chat-7B 智能対话 Demo3. Lagent 智能体工具调用 Demo4. 浦语•灵笔图文创作理解 Demo5. 通用环境配置实验记录6. 课后作业 视频地址： (2)轻松玩转书生浦语大模型趣味Demo 文档教程&a…
#Prompt##提示词工程##AIGC##LLM#使用大型预训练语言模型的关键考量
如果有不清楚的地方可以评论区留言，我会给大家补上的！ 本文包括： Prompt 的一些行业术语介绍 Prompt 写好提示词的方法经验介绍（附示例教程） LLM自身存在的问题（可以用Prompt解决的以及无法用Prompt解决的&…
NLP论文阅读记录 - 2021 | WOS 使用深度强化学习及其他技术进行自动文本摘要
文章目录 前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献 二.相关工作2.1. Seq2seq 模型2.2.强化学习和序列生成2.3.自动文本摘要 三.本文方法四 实验效果4.1数据集4.2 对比模型4.3实施细节4.4评估指标4.5 实验结果4.6 细粒度分析 五 总结思考 前言 Auto…
NLP论文阅读记录 - 2022 W0S | 基于Longformer和Transformer的提取摘要层次表示模型
文章目录 前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献 二.相关工作三.本文方法四 实验效果4.1数据集4.2 对比模型4.3实施细节4.4评估指标4.5 实验结果4.6 细粒度分析 五 总结思考 前言 A Hierarchical Representation Model Based on Longformer and …
【python，机器学习，nlp】RNN循环神经网络
RNN(Recurrent Neural Network)，中文称作循环神经网络，它一般以序列数据为输入，通过网络内部的结构设计有效捕捉序列之间的关系特征，一般也是以序列形式进行输出。
因为RNN结构能够很好利用序列之间的关系，因此针对自…
NLP论文阅读记录 - 2021 | WOS 使用分层多尺度抽象建模和动态内存进行抽象文本摘要
文章目录 前言0、论文摘要一、Introduction1.3本文贡献 二.前提三.本文方法四 实验效果4.1数据集4.2 对比模型4.3实施细节4.4评估指标4.5 实验结果4.6 细粒度分析 五 总结思考 前言 Abstractive Text Summarization with Hierarchical Multi-scale Abstraction Modeling and Dy…
NLP论文阅读记录 - 2021 | WOS HG-News：基于生成式预训练模型的新闻标题生成
文章目录 前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献 二.相关工作三.本文方法四 实验效果4.1数据集4.2 对比模型4.3实施细节4.4评估指标4.5 实验结果4.6 细粒度分析 五 总结思考 前言 HG-News: News Headline Generation Based on a Generative Pre-…
国科大-自然语言处理复习
自然语言处理复习 实体关系联合抽取流水线式端到端方法 检索式问答系统流水线方式信息检索（IR）阶段阅读理解（RC）阶段基于证据强度的重排基于证据覆盖的重排结合不同类型的聚合 端到端方式Retriever-Reader的联合学习基于预训练的R…
【GitHub项目推荐--AI 开源项目/涵盖 OCR、人脸检测、NLP、语音合成多方向】【转载】
今天为大家推荐一个相当牛逼的AI开源项目，当前 Star 3.4k，但是大胆预判，这个项目肯定要火，未来 Star 数应该可以到 10k 甚至 20k！ 着急的，可以到 GitHub 直接去看源码
传送门：https://github.c…
自然语言处理中的词云生成
一.词云的介绍
自然语言处理中的词云技术是文本可视化的一种形式，用于展示文本数据中词语的频率分布。以下是词云在自然语言处理中的基本介绍和发展：
起源和发展： 词云的概念最初来源于信息可视化领域，用于将文本中的关键词以视…
大型语言模型 (LLM) 的开源训练数据集
大型语言模型（LLM）的出现引发了各行各业的革命性变革。ChatGPT 以其在诗歌写作方面的独创性给公众留下了深刻印象，而企业则正在采用深度学习人工智能模型来构建先进的神经信息处理系统，以满足垂直领域的需求。
GPT、LLaMA 和 Fal…
自然语言处理--双向匹配算法
自然语言处理作业1--双向匹配算法
一、概述
双向匹配算法是一种用于自然语言处理的算法，用于确定两个文本之间的相似度或匹配程度。该算法通常使用在文本对齐、翻译、语义匹配等任务中。
在双向匹配算法中，首先将两个文本分别进行处理，然后…
自然语言处理--概率最大中文分词
自然语言处理附加作业--概率最大中文分词
一、理论描述
中文分词是指将中文句子或文本按照语义和语法规则进行切分成词语的过程。在中文语言中，词语之间没有明显的空格或标点符号来分隔，因此需要通过分词工具或算法来实现对中文文本的分词处理。分词的…
自然语言处理--基于HMM+维特比算法的词性标注
自然语言处理作业2--基于HMM维特比算法的词性标注
一、理论描述
词性标注是一种自然语言处理技术，用于识别文本中每个词的词性，例如名词、动词、形容词等；
词性标注也被称为语法标注或词类消疑，是语料库语言学中将语料库内单词…
时间序列大模型：TimeGPT
论文：https://arxiv.org/pdf/2310.03589.pdf
TimeGPT，这是第一个用于时间序列的基础模型，能够为训练期间未见过的多样化数据集生成准确的预测。
大规模时间序列模型通过利用当代深度学习进步的能力，使精确预测和减少不确定性成为…
解析GPT-3、GPT-4和ChatGPT关系-迈向自然语言处理的新高度“
Hello，小索奇！很高兴为你拓展关于GPT-3、GPT-4、ChatGPT之间关系的信息，以及解释自然语言模型和Transformer的区别。
首先，GPT-3、GPT-4、ChatGPT都是建立在GPT系列技术基础上的自然语言处理模型。它们在不同的代数、性能和应用场…
自然语言处理（NLP）的发展
自然语言处理的发展
随着深度学习和大数据技术的进步，自然语言处理取得了显著的进步。人们正在研究如何使计算机更好地理解和生成人类语言，以及如何应用NLP技术改善搜索引擎、语音助手、机器翻译等领域。
方向一：技术进步 自然语言处理&…
Python NLP深度学习进阶：自然语言处理
自然语言处理（Natural Language Processing，NLP）是人工智能领域中的一个重要分支，涉及到处理和理解人类语言的方法和技术。随着深度学习的快速发展，NLP的研究和应用也在不断进步。
在Python中，有许多强大的…
自然语言处理-文本标注
文本标注
现在让我们考虑词元级任务，比如文本标注（text tagging），其中每个词元都被分配了一个标签。在文本标注任务中，词性标注为每个单词分配词性标记（例如，形容词和限定词）。 根据…
NLP入门系列—词嵌入 Word embedding
NLP入门系列—词嵌入 Word embedding
2013年，Word2Vec横空出世，自然语言处理领域各项任务效果均得到极大提升。自从Word2Vec这个神奇的算法出世以后，导致了一波嵌入（Embedding）热，基于句子、文档表达的wor…
五大自然语言处理技术里程碑浅析
自然语言处理的发展 随着深度学习和大数据技术的进步，自然语言处理取得了显著的进步。人们正在研究如何使计算机更好地理解和生成人类语言，以及如何应用NLP技术改善搜索引擎、语音助手、机器翻译等领域。 而自然语言处理的研究与业界发展中具有五大里程碑…
ArXiv| Graph-Toolformer: 基于ChatGPT增强提示以赋予大语言模型图数据推理能力
ArXiv| Graph-Toolformer: 基于ChatGPT增强提示以赋予大语言模型图数据推理能力. 来自加利福利亚大学戴维斯分校计算机科学系的IFM实验室发表在arXiv上的文章：“Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via Prompt Augmented by ChatGPT”。
文章的…
论文浅尝 | QA-GNN: 使用语言模型和知识图谱的推理问答
笔记整理：李继统，天津大学硕士 链接：https://arxiv.org/pdf/2104.06378.pdf 1. 动机 目前现有的方法，对于QA上下文使用LM处理，对于KG使用GNN进行处理，并且并不相互更新彼此的表示，也不做语义的对…
【文本到上下文 #7】探索 NLP 中的 Seq2Seq、编码器-解码器和注意力机制
一、说明 今天，我们将探讨序列到序列 （seq2seq） 模型的复杂工作原理，特别关注编码器-解码器架构和注意力机制。这些概念是各种 NLP 应用的基础，从机器翻译到问答系统。 这是可以期待的： Seq2Seq模型中的编码…
自然语言处理，基于预训练语言模型的方法，车万翔，引言部分
文章目录 自然语言处理应用任务1. 信息抽取2. 情感分析3. 问答系统4. 机器翻译5. 对话系统 自然语言处理应用任务
1. 信息抽取
信息抽取（Information Extraction, IE），是从非结构化的文本中，抽取出结构化信息的过程，…
开源之力与GPT的碰撞：探索未来技术的无限可能
摘要： 在本文中，我们将探讨开源软件与GPT（大型预训练语言模型）的完美结合如何推动技术的飞速发展。我们将简要介绍开源文化的价值观及其对技术创新的影响，分析GPT系列模型在开源社区中的发展与应用，并通过代…
自然语言处理 TF-IDF
✅作者简介：人工智能专业本科在读，喜欢计算机与编程，写博客记录自己的学习历程。 🍎个人主页：小嗷犬的个人主页 🍊个人网站：小嗷犬的技术小站 🥭个人信条：为天地立心&…
Meta开源Code Llama 70B,缩小与GPT-4之间的技术鸿沟
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…
【AI视野·今日NLP 自然语言处理论文速览 第七十七期】Mon, 15 Jan 2024
AI视野今日CS.NLP 自然语言处理论文速览 Mon, 15 Jan 2024 Totally 57 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Machine Translation Models are Zero-Shot Detectors of Translation Direction Authors Michelle Wastl, Ja…
人工智能时代：AI提示工程的奥秘 —— 驾驭大语言模型的秘密武器
文章目录 一、引言二、提示工程与大语言模型三、大语言模型的应用实践四、策略与技巧五、结语《AI提示工程实战：从零开始利用提示工程学习应用大语言模型》亮点内容简介作者简介目录获取方式 一、引言
随着人工智能技术的飞速发展，大语言模型作为一种新…
基于多种CNN模型在清华新闻语料分类效果上的对比
该实验项目目录如图： 1、 模型
1.1. TextCNN
# coding: UTF-8
import torch
import torch.nn as nn
import torch.nn.functional as F
import numpy as npclass Config(object):"""配置参数"""def __init__(self, dataset, embedd…
WhisperBot：整合了Mistral大型语言模型的实时语音转文本系统
项目简介
欢迎来到 WhisperBot。WhisperBot 基于 WhisperLive 和 WhisperSpeech 的功能而构建，在实时语音到文本管道之上集成了大型语言模型 Mistral (LLM)。WhisperLive 依赖于 OpenAI Whisper，这是一个强大的自动语音识别 (ASR) 系统。Mistral 和 Whi…
基于BiLSTM-CRF对清华语料文本进行分类
安装TorchCRF
!pip install TorchCRF1.0.6
构建BiLSTM-CRF
# encoding:utf-8import torch
import torch.nn as nn
from TorchCRF import CRFfrom torch.utils.data import Dataset
from sklearn.model_selection import train_test_split
import numpy as npimport torch
im…
自然语言处理（NLP）—— Dialogflow ES聊天机器人
1. 背景介绍 这个实验室的目标是让你了解并使用Google的Dialogflow服务。Dialogflow是一个可以让你创建聊天机器人的服务，这个过程不需要或者只需要很少的编程技能。
1.1 账号的创建 为了完成这个实验室，你需要在以下网站上创建账号：…
NLP深入学习：《A Survey of Large Language Models》详细学习（七）
文章目录 1. 前言2. 应用场景2.1 LLMs 对研究界的应用2.1.1 经典 NLP 任务2.1.2 信息检索2.1.3 推荐系统2.1.4 多模态大语言模型2.1.5 知识图谱增强型 LLM2.1.6 基于 LLM 的智能体2.1.7 用于评估 2.2 特定领域的应用 3. 参考 1. 前言
这是《A Survey of Large Language Models…
NLP入门系列—Attention 机制
NLP入门系列—Attention 机制
Attention 正在被越来越广泛的得到应用。尤其是 [BERT]火爆了之后。
Attention 到底有什么特别之处？他的原理和本质是什么？Attention都有哪些类型？本文将详细讲解Attention的方方面面。
Attention 的本质是什…
《计算机视觉处理设计开发工程师》证书如何获取及证书有何作用
计算机视觉是一门研究如何让计算机理解和处理图像、视频等多媒体数据的学科，其目标是通过算法和技术来实现对图像和视频的自动分析、识别、分类、跟踪等功能。计算机视觉在人工智能领域中具有重要的地位，广泛应用于医学影像分析、自动驾驶、安防监控、人…
有哪些流行的中文开源语言模型？
支持中文的流行开源语言模型有很多，这些模型在自然语言处理领域的中文任务上表现出色，包括文本分类、情感分析、机器翻译、问答系统等。以下是一些支持中文的流行开源语言模型：
1. **BERT-Base, Chinese**：Google发布的BERT模型的…
NLP_Bag-Of-Words(词袋模型)
文章目录 词袋模型用词袋模型计算文本相似度1.构建实验语料库2.给句子分词3.创建词汇表4.生成词袋表示5.计算余弦相似度6.可视化余弦相似度 词袋模型小结 词袋模型
词袋模型是一种简单的文本表示方法，也是自然语言处理的一个经典模型。它将文本中的词看作一个个独立…
支持534种语言，开源大语言模型MaLA-500
无论是开源的LLaMA 2还是闭源的GPT系列模型，功能虽然很强大，但对语言的支持和扩展比较差，例如，二者都是以英语为主的大模型。
为了提升大模型语言的多元化，慕尼黑大学、赫尔辛基大学等研究人员联合开源了，…
飞桨自然语言处理框架 paddlenlp的 trainer
飞桨（PaddlePaddle）的NLP库PaddleNLP中的Trainer类是一个用于训练和评估模型的简单但功能完整的循环。它被优化用于与PaddleNLP一起使用。Trainer类简化了训练过程，提供了自动的批处理、模型保存、日志记录等特性。 以下是Trainer类的主要参数…
大规模语言模型LLM介绍
大规模语言模型LLM
大规模语言模型
向量数据库和数据库向量支持。
LLM基础设施：编程语言
Python，Java，C ，js，新秀语言Mojo。 Mojo
这个语言是具有python和C，各取所长。结合了python的易用性和C语言的可…
大语言模型训练数据集（1）
CLUECorpusSmall CLUECorpusSmall包含新闻、社区互动、维基百科、评论语料。原始数据和细节描述在这里
语料 链接 CLUECorpusSmall---- https://share.weiyun.com/sC6PMhxx CLUECorpusSmall (BERT格式)---- https://share.weiyun.com/9SPPGUOK News Commentary v13 (ZH-EN) Ne…
大语言模型微调数据集（2）
CLUE 数据集 CLUE 是一个中文语言理解测评基准，包括分类、命名实体识别和机器阅读理解任务。CLUE中的数据集为JSON格式。对于分类和命名实体识别数据集，我们将JSON格式转换为TSV格式，以便TencentPretrain可以直接加载它们；对于机器阅读理解数据集，我们保留原始格式，并将数…
NLP自然语言处理的基本语言任务介绍
自然语言处理（Natural Language Processing，NLP）是计算机科学、人工智能和语言学领域的一个分支，它致力于使计算机能够理解、解释和生成人类语言。NLP的基本任务包括以下几个方面： 1. 分词（Tokenization&am…
#nlp|jieba分词词性对照
jieba词性对照表 a 形容词 ad 副形词 ag 形容词性语素 an 名形词 b 区别词 c 连词 d 副词 df dg 副语素 e 叹词 f 方位词 g 语素 h 前接成分 i 成语 j 简称略称 k 后接成分 l 习用语 m 数词 mg mq 数量词 n 名词 ng 名词性语素 nr 人名 nrfg nrt ns 地名 nt 机构团体名 nz 其他…
【NLP 自然语言处理(一)---词向量】
文章目录 什么是NLP自然语言处理发展历程自然语言处理模型模型能识别单词的方法词向量分词 一个向量vector表示一个词词向量的表示-one-hot多维词嵌入word embeding词向量的训练方法 CBOW Skip-gram词嵌入的理论依据 一个vector（向量）表示短语或者文章ve…
基于腾讯云自然语言处理 NLP服务实现文本情感分析
文章目录 一、前言二、NLP 服务简介三、Python 调用腾讯云 NLP 服务 SDK 构建情感分析处理3.1 开通腾讯云 NLP 服务3.2 创建的腾讯云持久证书（如果已创建请跳过）3.2 在腾讯云服务器中安装 Git 工具以及 Python 环境3.3 安装 qcloudapi-sdk-python3.4 部署…
【NLP冲吖~】二、隐马尔可夫模型（Hidden Markov model, HMM）
0、马尔可夫模型
某一状态只由前一个状态决定，即为一阶马尔可夫模型； 状态间的转移依赖于前n个状态的过程，即为n阶马尔可夫模型 马尔科夫链： 如果 S t 1 S_{t1} St1只依赖于前一时刻 S t S_t St，不依赖于 S 1 , …
OpenAI使用的海量数据集介绍
1. OpenAI使用的数据
OpenAI为了训练其尖端的自然语言处理模型，如GPT-4，采用了极为庞大的数据集。虽然具体的细节可能不完全公开，但我们可以根据历史信息和公开报道推测，这些数据集通常包含： WebText：早期…
大语言模型不适合的范围
大语言模型在某些情况下可能不适用，主要体现在以下几个方面： 1、特定领域知识不足 大语言模型可能缺乏某些特定领域的专业知识，导致在特定行业或领域的问题上表现不佳。例如，在医学、法律等专业领域的术语和规范性语言理解方面可能…
【文本到上下文 #8】NLP中的变形金刚：解码游戏规则改变者
一、说明 欢迎来到我们对不断发展的自然语言处理 （NLP） 领域的探索的第 8 章。在本期中，我们将重点介绍一项重塑 NLP 格局的突破性创新：Transformers。在我们之前对 seq2seq 模型、编码器-解码器框架和注意力机制的讨论之后&#…
神经语言程式(NLP)项目的15 个开源训练数据集
一个聊天机器人需要大量的训练数据，以便在无需人工干预的情况下快速解决用户的询问。然而，聊天机器人开发的主要瓶颈是获取现实的、面向任务的对话数据来训练这些基于机器学习的系统。
我们整理了训练聊天机器人所需的对话数据集，包括问答数据、客户支持数据、对话数据和多…
【开源训练数据集1】神经语言程式(NLP)项目的15 个开源训练数据集
一个聊天机器人需要大量的训练数据，以便在无需人工干预的情况下快速解决用户的询问。然而，聊天机器人开发的主要瓶颈是获取现实的、面向任务的对话数据来训练这些基于机器学习的系统。
我们整理了训练聊天机器人所需的对话数据集，包括问答数据、客户支持数据、对话数据和多…
NLP_ChatGPT的RLHF实战
文章目录 介绍小结 介绍
ChatGPT 之所以成为ChatGPT，基于人类反馈的强化学习是其中重要的一环。而ChatGPT 的训练工程称得上是复杂而又神秘的，迄今为止，OpenAl也没有开源它的训练及调优的细节。 从 OpenAl已经公开的一部分信息推知ÿ…
LLM 参数，显存，Tflops? 训练篇(1)
如果你要训练一个模型大概会考虑哪些因素？ 模型多大？参数 占用显存多少，能不能装的下 我需要多少算力来支撑 本文就针对一个标准的Transfomer模型的套路和大家简单说一下 为了后文大家看算式明白，我们先约定一下每个变量代表的意义 L: Trans…
自然语言处理从入门到应用——预训练模型总览：词嵌入的两大范式
分类目录：《自然语言处理从入门到应用》总目录 相关文章： 预训练模型总览：从宏观视角了解预训练模型 预训练模型总览：词嵌入的两大范式 预训练模型总览：两大任务类型 预训练模型总览：预训练模型的拓展 …
NLP（五十七）LangChain使用Google Search Agent
大模型存在的问题 大模型在给人带来眼前一亮的表现，深深地震撼各行各业人们的同时，其本身也存在着不少问题。 以OpenAI的ChatGPT模型为例，其存在的问题有：
事实错误，容易一本正经地胡说八道，造成幻觉问…
华丽海景办公楼，我们搬家了！
自5月24日起 深圳极视角科技有限公司乔迁至 深圳市南山区创业路1777号 海信南方大厦23层 欢迎莅临参观~ 1. 全新AI展厅
公司历程 荣誉墙 AI算法演示区 AI生态伙伴 2. 海景会议室
绝佳海景 会议室 3. 舒适办公区 新起点，新篇章
乔迁到新办公楼
极视角将会以全新态…
强化学习 V.S. 自然语言处理，计算机保研er应该选哪个？
写在前面
人工智能是21世纪对人类影响最大的技术之一。人工智能，就是像人一样的智能，而人的智能包括感知、决策和认知(从直觉到推理、规划、意识等)。
其中，感知解决what，在机器学习和深度学习技术的推动下,各行各业的AI应用得到…
终结篇：t5模型结构的阅读
问题关键：past_key_value模型的整体结构(由外到内)最外层generation_utils.py之中的greedy_search调用模型解读t5Stack模型的解读t5block网络层中内容解读t5layerselfattention的解读t5layerselfattentiont5layercrossattention中t5layerselfattention代码解读t5att…
探索Gradio的CheckboxGroup模块：交互式多选框组件
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
「极视角×绿城信息」战略合作签约，携手共建未来社区
4月20日，极视角科技有限公司（简称：极视角）与杭州绿城信息技术有限公司（简称：绿城信息）达成战略合作，签约仪式在杭州市绿城信息总部举行。极视角联合创始人罗韵、绿城信息副总经理江小…
NLP-D31-ARIMA《人类语言处理》开课考试放松
--------0918刚刚把《动手学pytorch》看完敲完了hhh，所以重新开了一个blog。 想去看看ARIMA，这也是我之前挖的一个坑，感觉现在可以看了~嗯，去试试吧！
----0927EEE好像也不是很难挖。。。还是落实在代码上，…
Radiology：脑损伤患者基于语言任务的功能磁共振成像与静息态功能磁共振成像对躯体运动网络的识别
在过去的几十年里，功能性磁共振成像(fMRI)被广泛用于术前规划，有证据表明，附加信息可以改变很大一部分脑肿瘤患者的治疗方法。术前功能磁共振成像有助于减小开颅手术的规模，并通过促进术中定位或减少对定位的需要来缩短手术时间。…
常用的自然语言处理分词工具
中科院ICTCLAS分词东北大学NIUPARSER清华大学THULAC复旦大学FUNLP HanLP MMSEG JCSEG Ansj LTPLingPipeWORDMMSEG4JIK-ANALYZERSMARTCNJIEBAStanford parserBerkeley parsernltk
【手把手带你学习神经机器翻译--代码篇】
中英机器翻译1.数据预处理1.1 相关工具下载1.2 数据集下载WMT系列数据集AI challenger 中英数据集1.3 中文分词处理1.4 标点符号标准化1.5 Tokenize1.6 BPE1.7 处理空白行1.8 生成训练测试验证集1.9 生成词表及二进制文件2 训练中英翻译模型3 测试中英翻译模型结果3.1 解码3.2 …
博客质量分计算——发布 version 5
目录 1. 背景2. 质量分 version 52.1 version 4 存在问题分析2.2 version 5 改进2.3 消融分析2.3.1 正向积极得分消融实验2.3.2 正向累积得分单变量实验2.3.3 非高分文章消融实验 2.4 V4 和 V5 版本质量分分布对比 3. 总结4. 参考 1. 背景
博客质量分顾名思义是用于衡量一篇博…
极荣誉 | 极视角荣获2020“九脉杯”AI产业推动奖
【导读】由深圳市智慧安防商会及九脉供应链联合主办的“2020九脉杯首届AI安防优质企业评选”，是对过去一年各企业的优秀成果、专业服务、影响力、认可度等进行评选表彰，以推动在智能化时代下，安防企业品牌力量的生长。
2021年4月15-16日&…
人脸实时入库，实时创建分类器，实时识别人脸信息
1.实时入库
import cv2
import os
def main():cam cv2.VideoCapture("1.mp4")cam.set(3, 640)cam.set(4, 480)face_detector cv2.CascadeClassifier(haarcascade_frontalface_default.xml)face_id input(输入人脸名字：)print("\n [INFO] Initial…
实现spaCy实体标注模型
命名实体识别是指对现实世界中某个对象的名称的识别。与词性标注一样，是自然语言处理的技术基础之一。它的作用主要是通过模型识别出文本中需要的实体，也可以推导出实体之间的关系（实体消歧）。 本文介绍的是运用Python从头训练一个…
利用百度API进行淘宝评论关键词提取
利用百度API自然语言处理技术中的评论观点抽取方面，对淘宝购物的评论进行分析，把关键词进行提取，方便买家快速了解该商品的相关特点，具体实现过程如下：
1、创建相关新应用
首先，需要登录百度AI平台&#…
NLP-D31-《动手学pytorch》完结BERTLayer_norm
---------0439我感觉今天终于可以阶段性地看完沐沐的课了！！！狂喜！马上终于可以看看宝可梦了嘿嘿嘿！
1、ELMo&GPT&BERT对比 2\位置嵌入参数
全局来看，应该也就只有一个位置嵌入参数
3\BERT的val…
NLP-D30-自注意力机制Transformer
—0526在啃黄瓜，已经看了一会沐沐叻。
1、Trandformer
看着看着简直要喷黄瓜了hhhhhhhh。 Tranformer也挺简单的，我一张ppt就讲完了。 不过这张ppt做的挺好的hhhh
-------0600看完了transformer，但对应代码还没看，看了多头的代…
词袋模型TF-IDF
前言
在许多NLP任务中，将文档转换成数学形式的“向量”是解决任务所必须的处理过程。其中词袋模型（Bag of Word）、TF-IDF是两种最基本的处理方式。
BOW原理
假设有MMM篇需处理的文档，那么怎样使用向量的形式来表示每一篇文档…
Huggingface简介及BERT代码浅析
Hugging face 是一家总部位于纽约的聊天机器人初创服务商，令它广为人知的是Hugging Face专注于NLP技术，拥有大型的开源社区，尤其是在github上开源的自然语言处理，预训练模型库 Transformers。最初叫 pytorch-pretrained-bert 。 安…
NLP-D21-HINTI动手学深度学习代码实践D2
—0600早上4点多就读上论文了，还差一点，先吃个饭。
—0617看了“糖果果的陈同学”关于AI入坑的建议：python和ML和DL快学；在自己的interest上待足够长的时间。我的interest可能就是nlp和图叭，要继续往下挖掘。
–0622…
NLP-D20-HINTI算法动手pytorchD1笔记+CRF+leetcode+翻译
—0514 开始读论文！！！一定要严防死守ddl！！！ HINTI UNICORN
—吃饭时看沐沐将CNN，好棒啊，硬核推理 第一原则–平移不变形，权重共享，抹掉i，j 第二…
深度学习与自然语言处理(5)_斯坦福cs224d 大作业测验2与解答
作业内容翻译：胡杨(superhy199148hotmail.com) && 面包君 && Fantzy同学 校正与调整：寒小阳 && 龙心尘 时间：2016年6月 出处： http://blog.csdn.net/han_xiaoyang/article/details/51815683 http://…
斯坦福大学CS224d基础1：线性代数知识
作者：Zico Kolter (补充： Chuong Do) 时间：2016年6月翻译：MOLLY（mollyeclagmail.com） OWEN（owenj1989126.com）校正：寒小阳(hanxiaoyang.mlgmail.com) 龙心尘(johnn…
NLP系列(4)_朴素贝叶斯实战与进阶
作者： 寒小阳 && 龙心尘 时间：2016年2月。 出处：http://blog.csdn.net/han_xiaoyang/article/details/50629608 http://blog.csdn.net/longxinchen_ml/article/details/50629613 声明：版权所有，转载请联系作者…
prometheus配置文件+标签
prometheus配置 通过这些暴露监控的指标 现在是查询不到数据的 配置文件中表示这里是抓取的目标 localhost:9090. 默认是9090/metrics。不用写metrics 表示清空文件 也可以在这里直接查看配置—看看有没有生效 监控目标
配置命令详解 web中api的作用是每次修改配置…
Probabilistic Knowledge Transfer for Deep Representation Learning（2018）----论文笔记
Probabilistic Knowledge Transfer for Deep Representation Learning写在前面Abstract1. Introduction后续存在问题：本文提出的方法：优点：贡献2 Related Work3 Probabilistic Knowledge Transfer4 Experimental Evaluation代码贴出来&#x…
Self-supervised Knowledge Distillation using Singular Value Decomposition（2018ECCV）----阅读笔记
Self-supervised Knowledge Distillation using Singular Value Decomposition----阅读笔记创新点，最重要一点。AbstractIntroduction2 Related Works2.1 Knowledge Distillation2.2 SVD and RBF2.3 Training Mechanism3 Method3.1 Proposed Distillation ModuleTru…
![[COLING 2018] Modeling Semantics with Gated Graph Neural Networks for KBQA 阅读笔记](https://img-blog.csdnimg.cn/9d909061f81a4c58a4cd7c9a0c40e1d4.png)
[COLING 2018] Modeling Semantics with Gated Graph Neural Networks for KBQA 阅读笔记
[COLING 2018] Modeling Semantics with Gated Graph Neural Networks for KBQA 阅读笔记
motivation:
大多数知识库问答方法都是基于语义分析的。在本文中，作者解决了由多个实体和关系组成的复杂语义解析的学习向量表示问题。以前的工作主要集中在为一个问题选择…
Are We NER Yet? Measuring the Impact of ASR Errors on Named Entity Recognition in Spontaneous Con
贡献
在本文中，我们研究了与识别命名实体的下游任务相关的 ASR-NLP 差距的真实大小。 使用基准和内部数据集（他们自己做的数据集）的组合，我们展示了最先进的语言模型如何无法发现自发人类对话记录中命名实体主要类别的实体跨度&a…
【coling 2020】Attentively Embracing Noise for Robust Latent Representation in BERT
原文链接：https://aclanthology.org/2020.coling-main.311.pdf intro
本文针对ASR转化成文本之后的文本分类任务进行鲁棒性研究。作者基于EBERT进行优化，EBERT比传统bert的优点在于后者只使用输入的第一个【CLS】token生成输入的表征，其余的…
【ACL2020】NAT: Noise-Aware Training for Robust Neural Sequence Labeling
原文链接：https://arxiv.org/abs/2005.07162 NAT acl2020源码链接：https://github.com/mnamysl/nat-acl2020
1Intro
对于有噪输入的序列标注问题，本文提出了2种Noise-Aware Training (NAT) 方法来提高有噪输入的序列标注任务系统的准确性和…
【EMNLP2021】Evaluating the Robustness of Neural Language Models to Input Perturbations
【EMNLP2021】Evaluating the Robustness of Neural Language Models to Input Perturbations
原文链接：https://arxiv.org/abs/2108.12237 扰动方法是使用NLTK库在Python中实现的。源码链接：https://github.com/mmoradi-iut/NLP-perturbation
intro
…
python3中shuffle函数要注意的地方
Python3中shuffle函数要注意的地方！1 shuffle函数与其他函数不一样的地方
shuffle函数没有返回值！shuffle函数没有返回值！shuffle函数没有返回值！仅仅是实现了对list元素进行随机排序的一种功能
请看下面的坑
1.1 误认为shuffle函…
【NIPS 2021】ASR-GLUE: A New Multi-task Benchmark for ASR-Robust Natural Language Understanding
原文链接：https://arxiv.org/abs/2108.13048 数据集：https://drive.google.com/drive/folders/1slqI6pUiab470vCxQBZemQZN-a_ssv1Q
intro
本文提出了ASR-GLUE benchmark，包含6个不同的NLU任务的新集合，用于评估3种不同背景噪声水…
【NAACL 2019】《 Adversarial Domain Adaptation Using Artificial Titlesfor Abstractive Title Generation》
【NAACL 2019】《 Adversarial Domain Adaptation Using Artificial Titlesfor Abstractive Title Generation》阅读笔记
英文标题：Adversarial Domain Adaptation Using Artificial Titlesfor Abstractive Title Generation 中文翻译：利用人工标题生成…
自然语言处理之：搭建基于HanLP的开发环境（转）
环境搭建比FNLP的简单，具体参考：https://github.com/hankcs/HanLP
各个版本的下载：https://github.com/hankcs/HanLP/releases
完毕后有一个报错：
字符类型对应表加载失败:
D:/eclipse_workspace/HanLPTest/HanLP/data/dictio…
Skip-Gram模型和负采样
Skip-Gram模型根据中心词，预测或生成它的上下文单词。比如，根据jumped，预测或生成{“the”,“cat”,“over”,“the”,“puddle”}。显然，交换CBOW模型的x和y，Skip-Gram模型的输入是中心词的one-hot向量x，定…
【ArXiv 2020】Tinybert: Distilling bert for natural language understanding
这篇文章基于语义空间嵌入和掩码语言模型来给 NLU 任务做增强，具体的做法是：
首先利用BERT的分词器将序列中的单词分为多个词块（word pieces），BERT有两大分词器，BasicTokenizer 和 WordpieceTokenizer&…
【ACL 2021】《 DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations》
【ACL 2021】《 DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations》阅读笔记
英文标题：DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations 中文翻译：DeCLUTR：无监督文本表示的深度…
【AAAI 2021】C2C-GenDA: Cluster-to-Cluster Generation for Data Augmentation of Slot Filling
通过 L 层 Transformer 对连接的多个输入话语进行编码，所提出的模型使用重复感知注意力和面向多样化的正则化来生成更多样的句子。解码后生成多个不与原话语重复且互相之间不重复的新话语。 两个关键点是重复感知注意力机制以及多样性正则化，让序列生成器…
【COLING 2018】Sequence-to-sequence data augmentation for dialogue language understanding
基于 seq-seq 生成模型的对话语言理解 DA
这篇文章的应用场景十分符合序列标注任务能用到的 DA 技术，核心是 Seq2Seq模型：输入一种表述的句子，生成不同表述的新句子。为了进一步鼓励多样化生成，我们把一种新的多样性等级嵌入到话…
【EMNLP2021】Data Augmentation for Cross-Domain Named Entity Recognition
链接： https://arxiv.org/abs/2109.01758 代码：https://github.com/RiTUAL-UH/style_NER. Abs& Intro 本文研究了通过数据投影将高资源域的数据投影至低资源域。具体来说，我们提出了一种新的神经架构，通过学习模式（…
【arxiv 2021】Robust Natural Language Processing: Recent Advances, Challenges, and Future Directions
https://arxiv.org/abs/2201.00768
一篇去噪的综述，感觉还是介绍为主，不是特别深入。 这篇有营养的部分主要这两部分
我们提供了各种最近的鲁棒性性研究的分类，在研究变量的范围内；例如，模型、嵌入技术、度量和技术等…
【EMNLP 2021】Learning from Noisy Labels for Entity-Centric Information Extraction
原文链接：https://arxiv.org/abs/2104.08656 代码：https://github.com/wzhouad/NLL-IE Abstract & Intro
本文从一个现象入手，很多的数据集存在标注错误（例如CoNLL03），深度神经模型很容易过拟合噪声标…
数据降维实际操作详细步骤
一、例题 二、用SPSS进行主成分分析 1.进行指标标准化 输出： 这时候量纲已经一致了 然后进行主成分分析 第一个特征值为3.042，他占所有特征值的百分比为50.704%；第二个特征值为2.596，它所占的百分比为43.263%࿱…
【CCF计算领域学术会议介绍：2024日程安排、CCF会议deadline汇总、2022年录用率】
CCF计算领域学术会议介绍：2024日程安排、CCF会议deadline汇总、2022年录用率
0、目录
1、2024日程安排及deadline汇总2、会议介绍及2022年录用率
1、2024日程安排及deadline汇总 1、Conference List
这个网站汇总了CCF学术会议2023及即将开启的2024学术会议&…
5003笔记 Statistic Chapter1-Basics of statistical computing and visualization
课程大纲 测评 Population & Sample
Parameters & Statistics Numeric & Graphics R 语言 Classical data type in R
自监督学习笔记——李宏毅老师《自监督学习》笔记
自监督学习 在没有label的情况下，自己做supervised learning。 将无label数据分成x’和x’’，然后将x’放入model进行学习，得到y，这个y要越接近x’越好。
我们拿BERT来举例。 我们将台湾大学中的“湾”字涂抹掉，可以…
文献阅读：RoFormer: Enhanced Transformer with Rotary Position Embedding
文献阅读：RoFormer: Enhanced Transformer with Rotary Position Embedding 1. 工作简介2. 常见位置编码方式 1. 绝对位置编码 1. Bert2. Attention Is All You Need 2. 相对位置编码 1. 经典相对位置编码2. XLNet3. T54. DeBerta 3. RoPE方法介绍4. 实验效果考察 …
【论文和代码阅读】Masked Autoencoders Are Scalable Learners (MAE)
写在最前面
先贴一下MAE的论文链接
https://arxiv.org/pdf/2111.06377.pdfhttps://arxiv.org/pdf/2111.06377.pdf紧随其后的是代码复现
https://github.com/facebookresearch/maehttps://github.com/facebookresearch/mae
MAE主要工作：在海量无标注的图像上&…
PPT: Pre-trained Prompt Tuning for Few-shot Learning
文章目录预训练方法Sentence-Pair ClassificationMultiple-Choice ClassificationSingle-Sentence ClassficationUnifying Task Formats实验结果如题目所示，本篇的思想是Prompt也经过预训练，得到Prompt的表示，然后在固定任务的数据集上微调。…
【零基础-4】PaddlePaddle学习Bert
概要
【零基础-1】PaddlePaddle学习Bert_ 一只博客-CSDN博客https://blog.csdn.net/qq_42276781/article/details/121488335【零基础-2】PaddlePaddle学习Bert_ 一只博客-CSDN博客https://blog.csdn.net/qq_42276781/article/details/121523268【零基础-3】PaddlePaddle学习Be…
深度学习中的批归一化|深度学习
深度学习中的批归一化|深度学习
在进行神经网络训练的时候，除了一些优化算法外，还有其它的一些优化技术，这些技术并不是具体的算法，而是一些通用的技巧，其中批归一化就是常用的一个技巧。 批归一化是loffe等在2015年提…
首次运行BERT需要的环境配置和准备详细教程，bert运行官方模型，使用MRPC数据集进行测试
第一步 下载所需
下载bert源码和模型 首先我们下载bert的源码和官方的模型，去官网 ：
https://github.com/google-research/bert下载官网源码： 下载官方模型： 好好找一下，往下翻翻，肯定有下面这样…
![windows或linux使用pip安装Hanlp[full]，安装 fasttext 时失败，安装fasttext教程](https://img-blog.csdnimg.cn/298ed71bf591407ca2be3fe89fa41d69.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5bCP5aW254uX5YWI55Sf,size_20,color_FFFFFF,t_70,g_se,x_16)
windows或linux使用pip安装Hanlp[full]，安装 fasttext 时失败，安装fasttext教程
问题描述 在进行人工智能的开发时，尤其是nlp的开发，我们可能会用到jieba分词工具，或者是另一个很强大的 hanlp，现在都是安装hanlp2.X版本，一般的安装是 pip install hanlp ，但是这样安装以后，使…
【NLP】N-gram模型及其平滑优化
从chain-rule说起
▶ 语言模型
计算词序列出现的概率p(W)p(w1,w2,w3...wn)p(W) p(w_1,w_2,w_3...w_n)p(W)p(w1,w2,w3...wn)给定一个词序列，下一个词出现的概率p(w5｜w4，w3，w2，w1)p(w_5｜w_4&#…
【自然语言处理】一篇文章入门分词（Tokenization）
分词 >_<，英文tokenization，也叫word segmentation,是一种操作，它按照特定需求，把文本切分成一个字符串序列(其元素一般称为token，或者叫词语)。 英文分词
英文分词极为简单，下面给出两种分词思路&a…
【自然语言处理】简单而强大的NLTK库
NLTK简介
NLTK是Python上著名的⾃然语⾔处理库。⾃带语料库，以及分词等功能。
NLTK被称为“使用Python进行教学和计算语言学工作的绝佳工具”，以及“用自然语言进行游戏的神奇图书馆”。
NLTK提供丰富的模块和功能⬇️
模块功能nltk.corpus语料库nlt…
【arxiv】Few-Shot Text Generation with Pattern-Exploiting Training
原文链接：https://arxiv.org/pdf/2012.11926.pdf Abstract
为预先训练好的语言模型提供简单的任务描述或自然语言提示，可以在文本分类任务产生令人印象深刻的few shot结果。 在本文中，我们表明了这个潜在的想法也可以应用于文本生成任务&…
【EMNLP2021】Learning from Multiple Noisy Augmented Data Sets for Better Cross-Lingual Spoken Language
【EMNLP2021】Learning from Multiple Noisy Augmented Data Sets for Better Cross-Lingual Spoken Language Understanding
原文链接：https://arxiv.org/abs/2109.01583
–
intro
缺乏训练数据对将口语理解(SLU)迁移到资源匮乏的语言提出了巨大的挑战。虽然已…
【ICLR 2021】TOWARDS ROBUSTNESS AGAINST NATURAL LANGUAGE WORD SUBSTITUTIONS 阅读笔记
【ICLR 2021】TOWARDS ROBUSTNESS AGAINST NATURAL LANGUAGE WORD SUBSTITUTIONS
鲁棒性对抗自然语言词替换
原文链接：https://openreview.net/pdf?idks5nebunVn_
依旧是一篇对抗”词替换”噪声的鲁棒性文章。本文提出模型：一种新的对抗性稀疏凸空间…
【ACL 2021】《 Unsupervised Label Refinement Improves Dataless Text Classification》阅读笔记
【ACL 2021】《 Unsupervised Label Refinement Improves Dataless Text Classification》阅读笔记
英文标题：Unsupervised Label Refinement Improves Dataless Text Classification 中文翻译：无监督的标签细化改进无数据文本分类 原文链接: https://a…
【ACL 2020】《 Coach: A Coarse-to-Fine Approach for Cross-domain Slot Filling》阅读笔记
【ACL 2020】《 Coach: A Coarse-to-Fine Approach for Cross-domain Slot Filling》阅读笔记
英文标题：Coach: A Coarse-to-Fine Approach for Cross-domain Slot Filling 中文翻译：Coach: 由粗到精的跨域槽填充 原文链接: https://www.aclweb.org/ant…
《Recent Advances on Neural Headline Generation》阅读笔记
《Recent Advances on Neural Headline Generation》阅读笔记
英文标题：Recent Advances on Neural Headline Generation 中文翻译：基于神经网络的标题生成研究进展 原文链接: [http://jcst.ict.ac.cn:8080/jcst/EN/10.1007/s11390-017-1758-3] 简介&am…
你关心的RPA技术都在这个发布会!
金秋十月，是实实在在收获的季节！实在智能作为一家行业领先的人工智能科技公司，致力于通过AI技术引领和推动RPA行业向IPA发展。公司在实实在在地解决客户真实痛点堵点过程中，全自研RPA产品和 AI 能力再次获得大幅提升，每…
用Stanford Parse（智能语言处理）去实现分词器
昨天研究学习了一下 Stanford Parse ，想利用 Stanford Parse 智能切词的效果结合到lucene 分词器中的想法；由于项目时间
仓促，部分研究没有完成。代码还存在bug，希望有这方面想法的小伙伴们，能完善。。 lucene版本&a…
机器学习中的训练集、验证集、测试集；交叉验证方法
创建于：20210826 修改于：20210826 文章目录1、数据集类型1.1 训练集1.2 验证集1.3 测试集1.4 验证集/测试集区别2、四种交叉验证方法2.1 留出法 （holdout cross validation）2.2 k 折交叉验证（k-fold cross validation&…
注意力机制最新综述解读
注意力机制最新综述解读 注意力模型(Attention Model，AM)已经成为神经网络中的一个重要概念，并在不同的应用领域进行了充分的研究。这项调查提供了一个结构化和全面的概述关于attention的发展。我们回顾了注意力机制被纳入的不同的神经网络结构ÿ…
《深度学习》之 循环神经网络 原理 超详解
循环神经网络
一.研究背景
1933年，西班牙神经生物学家Rafael Lorente de N发现大脑皮层（cerebral cortex）的解剖结构允许刺激在神经回路中循环传递，并由此提出反响回路假设（reverberating circuit hypothesis&#x…
NLP自然语言处理-英文文本电影影评分类2-pytorch版本
上一篇介绍了数据集制作，但又没完全介绍。这篇将数据集文本进行分词保存pkl模型
imdb共有124020个数据，用于训练影评是积极（pos）话说消极（neg）的。消极文本的命名是在“_”后缀数字都是小于5的，反之不小于5的后缀命名是积极的评论文本。 代码如下：
# -*-coding:utf-…
《Multi-Task Deep Neural Networks for Natural Language Understanding》论文笔记
摘要
作者提出MT_DNN迁移学习方法，该方法试图结合 Multi-Task Learning 与 Pretraining LM 的优点。MT_DNN的示意图如下： MTL是指“同一模型同时在多个相关数据集上，进行多任务的学习”，这样的好处不仅可使模型利用更多的数据集…
《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》论文笔记
引言
《Semi-supervised Sequence Learning》
《Semi-supervised Sequence Learning》论文中提出了两种预训练方法，来提升LSTM模型的泛化能力。一种预训练方法，作者称为“sequence autoencoder”，本质就是一种“seq2seq”模型结构ÿ…
【研一小白的白话理解】BERT
BERT
上一篇博客通过一篇论文已经介绍了迁移学习和计算机视觉，然而迁移学习在自然语言处理(NLP)同样很强。通过迁移学习训练出来的模型叫做预训练模型，预训练模型首先要针对数据丰富的任务进行预训练，然后再针对下游任务进行微调，…
8、【文本分析】之TF-IDF、LDA主题模型的实战演练进行数据向量化（并用贝叶斯进行新闻分类）
数据源：http://www.sogou.com/labs/resource/ca.php
import pandas as pd
import jieba
df_news = pd.read_table(./data/val.txt,names=[category,theme,URL,content]
HanLP 自然语言处理 for nodejs
支持中文分词（N-最短路分词、CRF分词、索引分词、用户自定义词典、词性标注），命名实体识别（中国人名、音译人名、日本人名、地名、实体机构名识别），关键词提取，自动摘要，短语提取&am…
Python分析国家领导人新春贺词建立主题模型
主题建模可以帮助开发人员直观地理解和探索数据，以便更好地挖掘语料库中的主题。成功的主题建模需要多次迭代：清洗数据、读取结果、相应地调整预处理并重试。本文通过分析国家领导人从2014年到2021年的新春贺词的主题，对文本数据进行预处理&a…
【视频】技术分享：PaddleNLP工业级开源工具集介绍与核心技术剖析(百度AI开发者大会)
完整版40分钟视频：https://v.qq.com/x/page/s3002r9gfqh.html完整版42页ppt：https://pan.baidu.com/s/1uAGj_fJ2KmZWdCJFqOnPKg
PaddleNLP是飞桨开源的产业级NLP工具与预训练模型集，提供了依托于百度实际产品打磨，通过百亿级大数…
谷歌新动作：双子模型大放送，开发者福音来了！
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…
自然语言编程系列（二）：自然语言处理（NLP）、编程语言处理（PPL）和GitHub Copilot X
编程语言处理的核心是计算机如何理解和执行预定义的人工语言（编程语言），而自然语言处理则是研究如何使计算机理解并生成非正式、多样化的自然语言。GPT-4.0作为自然语言处理技术的最新迭代，其编程语言处理能力相较于前代模型有了显…
【自然语言处理】seq2seq模型—机器翻译
清华大学驭风计划课程链接
学堂在线 - 精品在线课程学习平台 (xuetangx.com)
代码和报告均为本人自己实现（实验满分），只展示主要任务实验结果，如果需要详细的实验报告或者代码可以私聊博主
有任何疑问或者问题，也欢…
NNLM - 神经网络语言模型 | 高效的单词预测工具
本系列将持续更新NLP相关模型与方法，欢迎关注！ 简介 神经网络语言模型（NNLM）是一种人工智能模型，用于学习预测词序列中下一个词的概率分布。它是自然语言处理（NLP）中的一个强大工具，…
NLP_构建GPT模型并完成文本生成任务
文章目录 搭建GPT模型（解码器）构建文本生成任务的数据集训练过程中的自回归文本生成中的自回归（贪婪搜索）完整代码小结 搭建GPT模型（解码器）
GPT 只使用了 Transformer的解码器部分，其关键组件…
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.02.10-2024.02.15
2024.02.10–2024.02.15： arXiv中发表的关于大语言模型（LLMs）相关的文章，已经筛选过一部分，可能有的文章质量并不是很好，但是可以看出目前LLM的科研大方向！
后续我会从中选择出比较有意思的文章…
大语言模型的开山之作—探秘GPT系列：GPT-1-GPT2-GPT-3的进化之路
模型模型参数创新点评价GPT1预训练微调， 创新点在于Task-specific input transformations。GPT215亿参数预训练PromptPredict， 创新点在于Zero-shotZero-shot新颖度拉满，但模型性能拉胯GPT31750亿参数预训练PromptPredict， 创新点…
跨越千年医学对话：用AI技术解锁中医古籍知识，构建能够精准问答的智能语言模型，成就专业级古籍解读助手（LLAMA）
跨越千年医学对话：用AI技术解锁中医古籍知识，构建能够精准问答的智能语言模型，成就专业级古籍解读助手（LLAMA）
介绍：首先在 Ziya-LLaMA-13B-V1基线模型的基础上加入中医教材、中医各类网站数据等语料库&am…
自然语言处理（NLP）—— 神经网络自然语言处理（2）实际应用
本篇文章的第一部分是关于探索词嵌入（word embedding）向量空间。词嵌入是一种语言模型和文本表示技术，其中单词或短语从词汇表被映射到向量的高维空间中。通过这种方式，可以通过计算向量之间的距离来捕捉单词之间的语义关系。
1.…
欢迎 Gemma: Google 最新推出开源大语言模型
今天，Google 发布了一系列最新的开放式大型语言模型 —— Gemma！Google 正在加强其对开源人工智能的支持，我们也非常有幸能够帮助全力支持这次发布，并与 Hugging Face 生态完美集成。 Gemma 提供两种规模的模型：7B 参数…
【自然语言处理之语言模型】讲解
自然语言处理之语言模型 1. 前言2. 传统语言模型3. 神经语言模型4. 训练语言模型5. 评估语言模型6. 总结 1. 前言
自然语言处理（Natural Language Processing，NLP）是计算机科学、人工智能和语言学交叉的一个领域，它研究计算机和人…
Kosmos-2: 在多模态大语言模型中引入基准和指代能力
Kosmos-2: 在多模态大语言模型中引入基准和指代能力 FesianXu 20240304 at Baidu Search Team 前言
之前笔者在博文中介绍过kosmos-1模型 [1]，该模型脱胎于MetaLM采用『因果语言模型作为通用任务接口』的思想，采用了多种形式的多模态数据进行训练得到。…
AI领域再出“王炸“----Claude3是否会成为下一个“神“
目录
一.Claude3最新发布
二.Claude3支持20万token
三.Claude3在未公开算法上取得重大突破
1.Claude 3读懂博士论文
2.量子跃迁集成：
Claude 3智商：101
测试方法
测试细节
通过Karpathy挑战
Claude 3自画像，突破本我
从洛杉矶排到…
Claude 3家族惊艳亮相：AI领域掀起新浪潮，GPT-4面临强劲挑战
🌈个人主页: Aileen_0v0 🔥热门专栏: 华为鸿蒙系统学习|计算机网络|数据结构与算法|MySQL| 💫个人格言:“没有罗马,那就自己创造罗马~” #mermaid-svg-agd7RSCGMblYxo85 {font-family:"trebuchet ms",verdana,arial,sans-serif;f…
【Python爬虫实战】抓取省市级城市常务会议内容
🍉CSDN小墨&晓末:https://blog.csdn.net/jd1813346972 个人介绍: 研一｜统计学｜干货分享 擅长Python、Matlab、R等主流编程软件 累计十余项国家级比赛奖项，参与研究经费10w、40w级横向 文…
【论文笔记】Language Models are Few-Shot Learners
Language Models are Few-Shot Learners
本部分是 GPT-3 技术报告的第一部分：论文正文、部分附录。
后续还有第二部分：GPT-3 的广泛影响、剩下的附录。
以及第三部分（自己感兴趣的）：GPT-3 的数据集重叠性研究。 回顾…
Kosmos-1: 通用接口架构下的多模态大语言模型
Kosmos-1: 通用接口架构下的多模态大语言模型 FesianXu 20230513 at Baidu Search Team 前言
在大规模语言模型（Large Language Model, LLM）看似要带来新一番人工智能变革浪潮之际，越来越多尝试以LLM作为通用接口去融入各种任务的工作&#…
当大语言模型遇到AI绘画-google gemma与stable diffusion webui融合方法-矿卡40hx的AI一体机
你有想过建一台主机，又能AI聊天又能AI绘画，还可以直接把聊天内容直接画出来的机器吗？
当Google最新的大语言模型Gemma碰到stable diffusion webui会怎么样？
首先我们安装stable diffusion webui(automatic1111开源项目ÿ…
【AI学习指南】七、PaddlePaddle自然语言处理-PaddleNLP的基础使用/中文分词/词性标注/实体识别/依存句法分析
目录
自然语言处理
相关官方库和模型
PaddleNLP
主要功能
安装
PaddleNLP基础能力</
【AI链接】 大模型语言模型网站链接
目录 GPT类1. chatgpt2. GROP3. Google AI Studio4. Moonshot AI (国内) 解读论文类：1. txyz 编程辅助插件：1. Fitten Code GPT类
1. chatgpt
https://chat.openai.com/
2. GROP
https://groq.com/
3. Google AI Studio
https://aistudio.google…
大型语言模型的语义搜索(二)：文本嵌入(Text Embeddings)
在我写的上一篇博客:关键词搜索中,我们解释了关键词搜索(Keyword Search)的技术，它通过计算问题和文档中重复词汇的数量，来搜索与问题相关的文档，常用的关键词搜索算法是Okapi BM25，简称BM25，关键词搜索算法的局限性在…
关于自然语言处理和受控的自然语言的一些问题以及SmartChat给出的答复
Q1. 关于语料库、叙词库方面，能否详细地介绍一下它们各自的概念，两个概念之间的关系，以及可推荐的技术资料。
语料库是指包含大量文本数据的数据库，可以用来进行自然语言处理、文本挖掘等任务。语料库通常包括各种不同类型的文本…
快速下载Huggingface的大语言模型
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言一、Huggingface是什么？二、基于官方huggingface-cli下载（基础，断线风险）1.安装hf下载环境2.配置环境变量3.注册…
【论文解读】| 通过大语言模型实现通用模糊测试
本次分享论文为：Universal Fuzzing via Large Language Models 基本信息
论文标题：Universal Fuzzing via Large Language Models
论文作者: Steven Chunqiu, Xia, Matteo Paltenghi, Jia Le Tian, Michael Pradel, Lingming Zhang, Matteo Xia, Jia …
探秘SuperCLUE-Safety：为中文大模型打造的多轮对抗安全新框架
探秘SuperCLUE-Safety：为中文大模型打造的多轮对抗安全新框架
进入2023年以来，ChatGPT的成功带动了国内大模型的快速发展，从通用大模型、垂直领域大模型到Agent智能体等多领域的发展。但是生成式大模型生成内容具有一定的不可控性࿰…
电商评价分析：NLP信息抽取技术在用户评论中的应用与挖掘
一、引言 在2019年，电子商务的蓬勃发展不仅推动了消费市场的增长，也带来了海量的用户评价数据。这些数据，作为消费者对商品和服务直接反馈的载体，蕴含着巨大的价值。然而，由于其非结构化的特性，这些文本信息…
全量知识系统问题及SmartChat给出的答复 之9 三套工具之4语法解析器 之2
Q23. 一个语言的语法简约规则
这些规则显示show 在一个给定单词（a given word）的右边或左边可能出现的单词的类别。句型的多样性variety不是复杂文法（a complex grammar）的结果，而是简单语法（a simple gra…
NLP Seq2Seq模型
🍨 本文为[🔗365天深度学习训练营学习记录博客🍦 参考文章：365天深度学习训练营🍖 原作者：[K同学啊 | 接辅导、项目定制]\n🚀 文章来源：[K同学的学习圈子](https://www.yuque.com/mi…
论文阅读之Reasoning Implicit Sentiment with Chain-of-Thought Prompting
简介
本文主要对2023ACL论文《Reasoning Implicit Sentiment with Chain-of-Thought Prompting》主要内容进行介绍。
摘要
虽然情绪分析任务中通常根据输入文本中的关键意见表达来确定给定目标的情绪极性，但在隐式情绪分析（ISA）中…
自然语言处理之语言模型（LM）
自然语言处理（NLP）中的语言模型（Language Model，LM）是指对文本序列的概率分布进行建模的模型。语言模型可以用来评估一个句子的合理性、生成自然语言文本、进行语音识别、机器翻译等任务。
在语言模型中，我…
基于开源模型对文本和音频进行情感分析
应用场景
从商品详情页爬取商品评论，对其做舆情分析；电话客服，对音频进行分析，做舆情分析；通过对商品的评论分析，作为对供应商打分/商品个性化排序等依据； 模型选用
文本，选用了通…
【自然语言处理三-自注意self attention】
自然语言处理三-自注意力 self attention 自注意力是什么？自注意力模型出现的原因是什么？词性标注问题解决方法1-扩展window，引用上下文解决方法2-运用seq2seq架构新问题来了：参数量增加、无法并行的顽疾 自注意力self attention模…
【论文笔记】Improving Language Understanding by Generative Pre-Training
Improving Language Understanding by Generative Pre-Training 文章目录 Improving Language Understanding by Generative Pre-TrainingAbstract1 Introduction2 Related WorkSemi-supervised learning for NLPUnsupervised pre-trainingAuxiliary training objectives 3 Fra…
Encoder和Decoder的详细介绍
——参考傅里叶变换（Encoder）、处理和傅里叶逆变换（Decoder）
1.Encoder（编码器） 编码器（Encoder）通常指的是在机器学习和神经网络领域中的一种组件或模型结构，用于将输入…
【AI学习指南】八、PaddlePaddle自然语言处理-PaddleNLP的进阶应用
目录
PaddleNLP
文本纠错ERNIE-CSC
情感分析
文本相似度
知识标注
交互式对话
BLEU: a Method for Automatic Evaluation of Machine Translation
文章目录 BLEU: a Method for Automatic Evaluation of Machine Translation背景和意义技术原理考虑 n n n - gram中 n 1 n1 n1 的情况考虑 n n n - gram中 n > 1 n\gt 1 n>1 的情况考虑在文本中的评估初步实验评估和结论统一不同 n n n 值下的评估数值考虑句子长度…
大语言模型LLM微调技术深度解析：Fine-tuning、Adapter-Tuning与Prompt Tuning的作用机制、流程及实践应用（LLM系列08）
文章目录 大语言模型LLM微调技术深度解析：Fine-tuning、Adapter-Tuning与Prompt Tuning的作用机制、流程及实践应用（LLM系列08）Fine-tuningAdapter-TuningPrompt Tuning策略对比与应用场景 大语言模型LLM微调技术深度解析：Fine-tu…
自然语言处理（NLP）中NER如何从JSON数据中提取实体词的有效信息
专栏集锦，大佬们可以收藏以备不时之需：
Spring Cloud 专栏：http://t.csdnimg.cn/WDmJ9
Python 专栏：http://t.csdnimg.cn/hMwPR
Redis 专栏：http://t.csdnimg.cn/Qq0Xc
TensorFlow 专栏：http://t.csdni…
大语言模型LLM代码：PyTorch库与ChatGLM模型
文章目录 通过阅读大语言模型的代码，熟悉并理解PyTorch大语言模型LLM代码：PyTorch库与ChatGLM模型大语言模型中的PyTorchChatGLM3-6B模型代码ChatGLMModel类总览ChatGLMModel类说明ChatGLMModel类核心代码片段通过阅读大语言模型的代码，熟悉并理解PyTorch
大语言模型LLM代码…
NLP_文本特征处理_4（代码示例）
目标
了解文本特征处理的作用. 掌握实现常见的文本特征处理的具体方法. 文本特征处理的作用: 文本特征处理包括为语料添加具有普适性的文本特征, 如:n-gram特征, 以及对加入特征之后的文本语料进行必要的处理, 如: 长度规范. 这些特征处理工作能够有效的将重要的文本特征加入…
Transformer、BERT和GPT 自然语言处理领域的重要模型
Transformer、BERT和GPT都是自然语言处理领域的重要模型，它们之间有一些区别和联系。
区别：
架构：Transformer是一种基于自注意力机制的神经网络架构，用于编码输入序列和解码输出序列。BERT（Bidirectional Encoder R…
记录些大语言模型（LLM）相关的知识点
槽位对齐（slot alignment）
在text2sql任务中，槽位对齐（slot alignment）通常指的是将自然语言问题中的关键信息（槽位）与数据库中的列名或API调用中的参数进行匹配的过程。这个过程中，…
大语言模型LLM参数微调：提升6B及以上级别模型性能（LLM系列009）
文章目录 大语言模型LLM参数微调：提升6B及以上级别模型性能（LLM系列009）序章LLM参数微调的核心原理预训练与微调过程技术细化 LLM参数微调实战案例详解案例一：文本分类任务微调案例二：问答系统任务微调案例三ÿ…
NLP_jieba和hanlp词性对照表_6
jieba词性对照表: - a 形容词 - ad 副形词 - ag 形容词性语素 - an 名形词 - b 区别词 - c 连词 - d 副词 - df - dg 副语素 - e 叹词 - f 方位词 - g 语素 - h 前接成分 - i 成语 - j 简称略称 - k 后接成分 - l 习用语 …
自然语言处理: 第十三章Xinference部署
项目地址: Xorbitsai/inference
理论基础
正如同Xorbits Inference（Xinference）官网介绍是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通…
【论文笔记】Attention Is All You Need
【论文笔记】Attention Is All You Need 文章目录 【论文笔记】Attention Is All You NeedAbstract1 Introduction2 Background补充知识：软注意力 soft attention 和硬注意力 hard attention？补充知识：加法注意力机制和点乘注意力机制Extende…
大语言模型LLM分布式框架：PyTorch Lightning框架（LLM系列14）
文章目录 大语言模型LLM分布式框架：PyTorch Lightning框架（LLM系列14）引言PyTorch Lightning分布式计算基础PyTorch Lightning核心架构概览LightningModule与分布式训练的兼容性LightningDataModule在分布式数据加载与预处理中的作用Trainer类…
【自然语言处理六-最重要的模型-transformer-下】
自然语言处理六-最重要的模型-transformer-下 transformer decoderMasked multi-head attentionencoder和decoder的连接部分-cross attentiondecoder的输出AT(Autoregresssive)NAT transformer decoder
今天接上一篇文章讲的encoder 自然语言处理六-最重要的模型-transformer-…
Re61：读论文 PRP Get an A in Math: Progressive Rectification Prompting
诸神缄默不语-个人CSDN博文目录 诸神缄默不语的论文阅读笔记和分类
论文名称：Get an A in Math: Progressive Rectification Prompting
ArXiv网址：https://arxiv.org/abs/2312.06867 官方实现网站：PRP 官方代码：https://github.…
【自然语言处理六-最重要的模型-transformer-上】
自然语言处理六-最重要的模型-transformer-上 什么是transformer模型transformer 模型在自然语言处理领域的应用transformer 架构encoderinput处理部分（词嵌入和postional encoding）attention部分addNorm Feedforward & add && NormFeedforw…
今日Arxiv最热NLP大模型论文：北京大学发布“讨论链”，利用LLM协作回答复杂问题
开放式问答（Open-ended Question Answering, QA）是人工智能领域的一个重要分支，它要求模型能够找到合适的证据，并形成有理有据、全面且有帮助的答案。在实际应用中，模型还需要能够就与问题紧密相关的潜在场景进行扩展讨…
『NLP学习笔记』图解GPT3(How GPT3 Works-Visualizations and Animations)
图解GPT3(How GPT3 Works-Visualizations and Animations) 文章目录 一. GPT-1 vs GPT-2 vs GPT-3 vs GPT-3.5 vs GPT-4二. GPT32.1. 训练动图2.2. 预测动图2.3. 代码生成示例三. 参考文章原作者主页：Jay Alammar原英文链接：How GPT3 Works - Visualizations and Animations …
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.02.25-2024.03.01
论文目录~ 1.Arithmetic Control of LLMs for Diverse User Preferences: Directional Preference Alignment with Multi-Objective Rewards2.Keeping LLMs Aligned After Fine-tuning: The Crucial Role of Prompt Templates3.Meta-Task Prompting Elicits Embedding from Lar…
T-RAG：结合实体检测的增强检索生成模型
内容摘要： T-RAG是一种新的大型语言模型（LLM）应用框架，在保证数据隐私的同时，提高了对私有企业文档的问答系统性能。T-RAG通过结合已有的增强检索生成（RAG）框架、自定义的开源语言模型以及一个实…
大语言模型系列-微调技术
前言
以BERT模型为代表的“预训练语言模型 下游任务微调”训练模式成为了自然语言处理研究和应用的新范式。此处的下游任务微调是基于模型全量参数进行微调（全量微调）。
以 GPT3 为代表的预训练语言模型（PLM）参数规模变得越来越…
Python中的自然语言处理和文本挖掘
在Python中，自然语言处理（NLP）和文本挖掘通常涉及对文本数据进行清洗、转换、分析和提取有用信息的过程。Python有许多库和工具可以帮助我们完成这些任务，其中最常用的包括nltk（自然语言处理工具包）、spaCy…
自然语言处理（NLP）技术介绍
自然语言处理（NLP）技术是一种使计算机能够理解、处理和生成人类语言的技术。以下是一些举例说明NLP技术的应用场景： 机器翻译：NLP技术可用于将一种语言的文本或口语翻译成另一种语言。例如，谷歌翻译就是一个使用NLP技术…
三、N元语法（N-gram）
为了弥补 One-Hot 独热编码的维度灾难和语义鸿沟以及 BOW 词袋模型丢失词序信息和稀疏性这些缺陷，将词表示成一个低维的实数向量，且相似的词的向量表示是相近的，可以用向量之间的距离来衡量相似度。 N-gram 统计语言模型是用来计算句子概率的…
NLP系列(1)_从破译外星人文字浅谈自然语言处理基础
作者：龙心尘 &&寒小阳 时间：2016年1月。 出处： http://blog.csdn.net/longxinchen_ml/article/details/50543337 http://blog.csdn.net/han_xiaoyang/article/details/50545650 声明：版权所有，转载请联系作者并…
如何用知识图谱服务创建电影知识图谱
华为云知识图谱服务为自然语言处理服务的子服务，是面向各类企业的一站式知识计算平台，提供本体管理、图谱管理、图谱构建等功能，帮助用户从0到1快速构建知识图谱，管理知识图谱流水线任务。
创建知识图谱流程 构建知识图谱的各个环…
人工智能产生式系统实验—动物识别系统（txt文件导入数据库）python代码实现以及关系图
人工智能产生式系统实验—动物识别系统（txt文件导入数据库）python代码实现以及关系图
大家好！第一次写，请大家多批评指正!
动物识别系统要求：
运用所学知识，设计并编程实现一个小型动物识别系统…
无监督文本摘要，生成式文本摘要
论文：Unsupervised Summarization for Chat Logs with Topic-Oriented Ranking and Context-Aware Auto-Encoders.AAAI2021 算法概要：
基于相似度选择对话主题句，然后借助降噪自编码器生成对话摘要。
训练：1、采用对比学习的思想…
计算机视觉1.8：参数化学习
之前我们讲了K-NN算法，通过将未知数据点和训练集中的数据点做比较，用样本点之间的距离作为度量，然后从训练集中k个最相似的样本中，通过“选举”的方式，获得最高投票的类别获胜，作为最后分类的结果。
…
HanLP封装为web services服务的过程介绍
前几天的召开的2019年大数据生态产业大会不知道大家关注到没有，看到消息是hanlp2.0版本发布了。不知道hanlp2.0版本又将带来哪些新的变化？准备近期看能够拿到一些hanlp2.0的资料，如果能顺利拿到的话，到时候分享给大家！…
实在智能收获机器之心权威认证，展现头部RPA厂商强劲实力
摘要：实在智能在机器之心发布的《中国市场 RPA 产品 AI 技术融合情况测试报告》中，多个单项及综合得分排名第一。
近日，国内领先的前沿科技媒体和产业服务平台机器之心，联合多名业内资深技术专家共同完成业内 RPA 产品的首次深度…
使用门槛高？操作太复杂？看完这款数字机器人，你会有新发现~
10月，对于实在智能来说，无疑是一个收获的季节。
10月10日，实在智能创始人兼CEO孙林君在2021中国人工智能年会暨中国AI金雁奖颁奖典礼上领取了金雁奖之领军企业大奖、创新企业大奖、先行者奖、创新技术大奖、领军应用大奖共5项大奖࿰…
自然语言处理合适于哪些使用场景？
自然语言处理（Natural Language Processing，简称NLP）是一款基于人工智能技术，针对各类企业及开发者提供的用于文本分析及挖掘的云服务，旨在帮助用户高效的处理文本。
自然语言处理包含哪些子服务？
自然语…
自然语言处理中的分词问题总结
众所周知，英文是以词为单位的，词和词之间是靠空格隔开，而中文是以字为单位，句子中所有的字连起来才能描述一个意思。把中文的汉字序列切分成有意义的词，就是中文分词，有些人也称为切词。本文转载自明略研究…
NLP「自然语言处理技术」
NLP是什么在计算机领域， NLP（Natural Language Processing），也就是人们常说的「自然语言处理」，就是研究如何让计算机读懂人类语言。这包括，既要能让计算机理解自然语言文本的意义，也能以自然语…
kaldi ：详解aishell-1全过程【**数据准备**】
kaldi ：详解aishell-1全过程【数据准备】
环境：ubantu18.04
过程简单说来就是： ①语料数据准备 下载语料库到本地/服务器的文件夹
data_urlwww.openslr.org/resources/33
. ./cmd.sh
local/download_and_untar.sh $data $data_url data_ai…
基于GRU的seq2seq英译法
基于GRU的seq2seq英译法第一步、导入必备工具包第二步、数据处理字符规范化读取数据筛选我们需要的主语be动词简单句编码第三步、撰写GRU encoder第四步、撰写GRU decoder第五步、训练模型效果分析调优引入Attention机制做解码器Attention-GRU decoder效果分析BERT预编码baseli…
中医药古文献语料库设计与开发研究
http://www.63da.com/?AllShow7-%D3%EF%C1%CF%BF%E207/
- 1 -中医药古文献语料库设计与开发研究① 刘耀1 段慧明2 王惠临1 周扬3 王振国3 李宏展2 1(中国科学技术信息研究所 北京 100038) 2(北京大学 计算语言学研究所 北京 100871) 3(山东中医药大学 文献研究所 济南 250014…
《自然语言理解》简介
自然语言理解 <script type"text/javascript"> Douban.prettify_form(document.getElementById(ssform)); </script> 豆瓣采用的描述 目录 第1章 自然语言理解引论 1.1 语言的研究 1.2 自然语言理解的应用 1.3 语言理解系统的…
这场观看人数破10w+的科技发布会，让你明白万物皆可自动化！
10月，对于实在智能来说，无疑是一个收获的季节。
10月10日，实在智能创始人兼CEO孙林君在2021中国人工智能年会暨中国AI金雁奖颁奖典礼上领取了金雁奖之领军企业大奖、创新企业大奖、先行者奖、创新技术大奖、领军应用大奖共5项大奖࿰…
1.抓住这4大重点，实在智能软件机器人，稳了！
10月，对于实在智能来说，无疑是一个收获的季节。 10月10日，实在智能创始人兼CEO孙林君在2021中国人工智能年会暨中国AI金雁奖颁奖典礼上领取了金雁奖之领军企业大奖、创新企业大奖、先行者奖、创新技术大奖、领军应用大奖共5项大奖，…
打造人人都能上手的软件机器人，我们都做了哪些努力？
10月，对于实在智能来说，无疑是一个收获的季节。
10月10日，实在智能创始人兼CEO孙林君在2021中国人工智能年会暨中国AI金雁奖颁奖典礼上领取了金雁奖之领军企业大奖、创新企业大奖、先行者奖、创新技术大奖、领军应用大奖共5项大奖࿰…
点赞！掌握了实在智能IPA就等于学会了神机百炼........
动漫《一人之下》正在腾讯视频热播，作为八绝技之一的神机百炼一出场便惊艳了所有人，做到了真正地以一当百。 实在智能秋季新品发布会于10月18日20时圆满举行，作为一家行业领先的人工智能科技公司给我们带来哪些惊喜呢？ 本次以“拾…
2021-10-19
10月18日晚，实在智能隆重开以“拾全拾美 无边无界”为主题的2021秋季产品发布会！其中的重磅看点之一，是基于实在智能全自研AI产品矩阵加持的“IPA Pro 章鱼数字员工”——AI技能满点、场景应用丰富、行业全面领先。 实在产研团队将不断加快迭…
利用N-Gram模型概括数据（Python描述）
Python 2.7 IDE PyCharm 5.0.3 数据分析热个身啊，反正也看到自然语言处理这块了。。讲在开头
此文需要用到的相关知识包括数据清洗，正则表达式，字典，列表等。不然可能有点费劲。什么是N-Gram模型？ 在自然语言里有一个…
tf中的LSTM与GRU
tf中的LSTM与GRU 文章目录tf中的LSTM与GRU1. RNN存在的问题2. LSTM原理2. LSTM实战2. GRU原理2. GRU实战1. RNN存在的问题
普通的RNN网络存在容易梯度爆炸和梯度弥散的问题普通的RNN网络容易出现梯度爆炸和梯度弥散的问题的原因,梯度更新公式为WhhkW_{hh}^kWhhk{Whh>1Whh…
听说，实在智能拥有了“威震天”式对话机器人？
10月18日晚，实在智能隆重开以“拾全拾美 无边无界”为主题的2021秋季产品发布会！其中的重磅看点之一，是基于实在智能全自研AI产品矩阵加持的“IPA Pro 章鱼数字员工”——AI技能满点、场景应用丰富、行业全面领先。
实在产研团队将不断加快迭…
难以想象！一个RPA产品的发布会竟然可以这么酷炫？
金秋十月，是实实在在收获的季节！实在智能作为一家行业领先的人工智能科技公司，致力于通过AI技术引领和推动RPA行业向IPA发展。公司在实实在在地解决客户真实痛点堵点过程中，全自研RPA产品和 AI 能力再次获得大幅提升，每…
初学者如何查阅自然语言处理（NLP）领域学术资料
转自：http://blog.sina.com.cn/s/blog_574a437f01019poo.html 昨天实验室一位刚进组的同学发邮件来问我如何查找学术论文，这让我想起自己刚读研究生时茫然四顾的情形：看着学长们高谈阔论领域动态，却不知如何入门。经过研究生几年…
中文生成模型T5-Pegasus详解与实践
我们在前一篇文章《生成式摘要的四篇经典论文》中介绍了Seq2seq在生成式研究中的早期应用，以及针对摘要任务本质的讨论。
如今，以T5为首的预训练模型在生成任务上表现出超出前人的效果，这些早期应用也就逐渐地淡出了我们的视野。本文将介绍T…
Seq2Seq Attention模型详解
目录一、从传统Seq2Seq说起二、在Seq2Seq中引入Attention三、引入Attention后，与传统的Seq2Seq的不同之处四、Seq2Seq的损失计算和解码过程Seq2seq，顾名思义，一个序列到另一个序列的转换。它是一种Encoder-Decoder协同训练的端到端网络。传统…
谈谈NLP中 大语言模型LLM的 思维链 Chain-of-Thought(CoT)
Chain-of-Thought(CoT)
1.介绍
在过去几年的探索中，业界发现了一个现象，在增大模型参数量和训练数据的同时，在多数任务上，模型的表现会越来越好。因而，现有的大模型LLM，最大参数量已经超过了千亿。
然而…
动态知识图: EMNLP2021-Interactive Machine Comprehension with Dynamic Knowledge Graphs
《Interactive Machine Comprehension with Dynamic Knowledge Graphs》，EMNLP2021，具有动态知识图的交互式机器理解 论文：https://arxiv.org/pdf/2109.00077.pdf 代码：https://github.com/xingdi-eric-yuan/imrc_graph_public
一…
用少样本finetune
How Many Data Points is a Prompt Worth? 将与当前任务相关的提示信息（prompt）引入模型。 论文证明这个< MASK >方法比模型加一个线性层做分类任务性能好。 这个方法比传统任务（例如：加一个线性层做分类任务）用…
命名实体识别（NER）综述
文章目录1. NER介绍1.1 理论1.2 常见命名实体1.3 标注方案1.4 数据集1.5 评测指标2. NER方法2.1 方法概览与选择2.2 深度学习模型2.2.1 字词双粒度embedding bi-LSTM CRF 后处理规则2.2.2 BERT CRF 后处理规则2.2.3 Lattice LSTM2.2.4 FLAT3.NER优化/拓展3.1 模型加速与优…
刷爆3路榜单，信息抽取冠军方案分享：嵌套NER+关系抽取+实体标准化文章学习总结
一、总结
原文：https://zhuanlan.zhihu.com/p/326302618
基于bertService的二次精排
一、bertService安装
可以自行百度，网络安装方案很多
二、bertService启动
# -*- coding: utf-8 -*-
from bert_serving.server import BertServer
from bert_serving.server.helper import get_args_parser
def main():args get_args_parser().parse_args([-mo…
KDD‘21 | 淘宝搜索中语义向量检索技术博客学习
原文： KDD’21 | 淘宝搜索中语义向量检索技术 https://zhuanlan.zhihu.com/p/409390150?utm_sourcewechat_session&utm_mediumsocial&utm_oi637963847940706304 作者微信公众号： https://mp.weixin.qq.com/mp/profile_ext?actionhome&__b…
B 站神曲 damedane：精髓在于深度变换，五分钟就能学会
最近，B 站上涌现出一波画风过于「生草」（B 站黑话，意为魔性搞笑）的视频，播放量动辄上百万，相当火爆。 技能满分的 Up 主们，利用「first order motion 一阶运动模型」的 AI 项目，生成…
自然语言处理实验—用隐马尔可夫模型对句子分词（含python代码和详细例子解释）
自然语言处理实验—用隐马尔可夫模型对句子分词
一、问题导入
上一次实验我们介绍了隐马尔可夫模型的基本原理，以及根据具体案例来分析其应用，详细介绍了隐马尔科夫模型所包含的三个重要概率分布矩阵，初始化概率矩阵，状态转移概…
【SwinTransformer源码阅读二】Window Attention和Shifted Window Attention部分
先放一下SwinTransformer的整体结构，图片源于原论文，可以发现，在Transformer的Block中 W-MSA（Window based multi-head self attention） 和 SW-MSA是关键组成部分。W-MSA出现在某阶段的奇数层，SW-MSA出现在…
手搓 自然语言模型 LLM 拆分em结构设计 网络参数对比
数据
数据集
新的em编码参数表 voc_sizehidden_sizetotaltotal Bmax_lensecondsdays65536512374865920.03749B10242560.2655361024828375040.08284B20485120.5655362048<
【AI视野·今日NLP 自然语言处理论文速览 第八十一期】Mon, 4 Mar 2024
AI视野今日CS.NLP 自然语言处理论文速览 Mon, 4 Mar 2024 Totally 48 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Mitigating Reversal Curse via Semantic-aware Permutation Training Authors Qingyan Guo, Rui Wang, Junlia…
chatglm3微调以及加速
本文是对chatglm3进行微调，并对微调过后的模型进行加速
一、chatglm3 微调
微调方法参见 https://github.com/THUDM/ChatGLM3/tree/main/finetune_demo，参考官方文档问题应该不大
二、合并微调模型
本部分是把基础模型与微调的权重进行合并。 直接使用lora合并方法即可
…
NLP:HanLP的下载与使用
昨天说到要做一个自定义的训练模型，但是很快这个想法就被扑灭了，因为这个手工标记的成本太大，而且我的上级并不是想要我做这个场景，而是希望我通过这个场景展示出可以接下最终需求的能力。换句话来说：可以，…
机器学习笔记 大语言模型是如何运作的？一、语料库和N-gram模型
一、语料库 语言模型、ChatGPT和人工智能似乎无处不在。了解大型语言模型（LLM）“背后”发生的事情将是驾驭数字世界的关键。 首先在提示中键入一个单词，然后点击提交。您可以尝试新的提示，并根据需要多次重新生成响应。 这个我们称之为“T&C”的语言模型是在一…
大语言模型系列-GPT-2
文章目录 前言一、GPT-2做的改进二、GPT-2的表现总结 前言
《Language Models are Unsupervised Multitask Learners，2019》
前文提到，GPT-1利用不同的模型结构微调初步解决了多任务学习的问题，但是仍然是预训练微调的形式，GPT-…
NLP_新闻主题分类_7（代码示例）
目标
有关新闻主题分类和有关数据.使用浅层网络构建新闻主题分类器的实现过程.
1 案例说明 关于新闻主题分类任务: 以一段新闻报道中的文本描述内容为输入, 使用模型帮助我们判断它最有可能属于哪一种类型的新闻, 这是典型的文本分类问题, 我们这里假定每种类型是互斥的, 即文…
大语言模型的知识融合（ICLR2024）
一、写作动机：
虽然从头开始训练大型语言模型（LLMs）可以生成具有独特功能和优势的模型，但这种方法成本高昂，而且可能导致功能冗余。 二、主要贡献：
入了 LLMs 知识融合的概念，旨在结合现有 LL…
Agent——记忆模块
在基于大模型的 Agent架构设计方面，论文[1]提出了一个统一的框架，包括Profile模块、Memory模块、Planning模块和Action模块。其中长期记忆的状态维护至关重要，在 OpenAI AI 应用研究主管 Lilian Weng 的博客《基于大模型的 Agent 构成》[2]中，将记忆视为关键的组件之一，下…
Research Agent：具有解决基于大型文本语料库的复杂问题，具备深度多跳推理的能力
原文地址：https://towardsdatascience.com/the-research-agent-4ef8e6f1b741
2023 年 8 月 29 日
问题简介
在2021年，开始应对基于大量文本回答问题的挑战。在预训练transformers之前的时代，这个问题很难破解。
人工智能和大型预训练tran…
1.4 Word2Vec是如何工作的? Word2Vec与LDA 的区别和联系？
1.4 Word2Vec：词嵌入模型之一
场景描述
谷歌2013年提出的Word2Vec是目前最常用的词嵌入模型之一。
Word2Vec实际是一种浅层的神经网络模型,它有两种网络结构，分别是CBOW(Continues Bag of Words)和Skip-gram。 知识点
Word2Vec,隐狄利克雷模型(LDA),…
重塑语言智能未来：掌握Transformer，驱动AI与NLP创新实战
Transformer模型 Transformer是自然语言理解(Natural Language Understanding，NLU)的游戏规则改变者，NLU 是自然语言处理(Natural Language Processing，NLP)的一个子集。NLU已成为全球数字经济中AI 的支柱之一。
Transformer 模型标志着AI 新…
（Aliyun AI ACP 18）知识点：增强学习、迁移学习
文章目录 阿里云人工智能工程师ACP认证考试知识点辅助阅读（Aliyun AI ACP 18）知识点：增强学习、迁移学习增强学习应用范围原理构成举例说明核心技术马尔科夫决策过程（Markov Decision Process, MDP）Q-learning迁移学习迁移学习概念迁移学习的分类迁移学习方法举例说明与示…
轮椅上的博士矣晓沅：9 年求学路，我从清华毕业了
内容概要：IJCAI-SAIA YES 于 7 月 5-7 日在上海召开，在这场汇集 AI 领域青年学者、学术大咖的盛会上，我们有幸采访到了来自清华的博士矣晓沅。 首发：公众号 HyperAI超神经 关键词：博士 NLP IJCAI-SAIA YES 「轮…
Photoshop（PS）2021安装教程【64位】
Photoshop，简称“PS”
全新的ps2021与上个版本相比，该版本为大家带来了更多的新功能及优化，例如添加了一个“Neural Gallery”的滤镜功能，而翻译为中文就是神经画廊滤镜，也许听名字感觉很奇妙，但根据功能来…
VLE基于预训练文本和图像编码器的图像-文本多模态理解模型：支持视觉问答、图文匹配、图片分类、常识推理等
项目设计集合（人工智能方向）：助力新人快速实战掌握技能、自主完成项目设计升级，提升自身的硬实力（不仅限NLP、知识图谱、计算机视觉等领域）：汇总有意义的项目设计集合，助力新人快速实…
ai智能电话机器人的工作流程是什么
人工智能高速发展，很多人工智能的产品出现在我们的生活和工作中，除了正式使用的人工智能配送机器人，最受关心的是人工智能产品莫过于是智能电话机器人了。目前已经有不少如保险、金融、房地产、汽车等传统电销行业都在使用智能电话机器人。
…
自然语言处理从入门到应用——LangChain：记忆（Memory）-[记忆的类型Ⅱ]
分类目录：《自然语言处理从入门到应用》总目录 对话知识图谱记忆（Conversation Knowledge Graph Memory）
这种类型的记忆使用知识图谱来重建记忆：
from langchain.memory import ConversationKGMemory
from langchain.llms impo…
《pyhton自然语言处理》学习笔记（一）
前言 最近在做的一个项目，非结构化数据处理，然后从自然语言处理入手，开始学习一下如果使用python进行自然语言的处理
参考资料：https://github.com/wnma3mz/Nltk_Study https://wnma3mz.github.io/hexo_blog/2018/05/13/《Py…
chatgpt实现NLP基本任务（实体识别、关系抽取、属性抽取、事件抽取、文本分类）
文章目录 前置：基础函数一、实体识别二、关系抽取三、属性抽取四、事件抽取五、文本分类六、可能存在的问题（报错） 前置：基础函数
import openai
import time
from tqdm import tqdmdef chatgpt_function(content, keyNone):open…
使用 Python 中的 Langchain 从零到高级快速进行工程
大型语言模型 (LLM) 的一个重要方面是这些模型用于学习的参数数量。模型拥有的参数越多，它就能更好地理解单词和短语之间的关系。这意味着具有数十亿个参数的模型有能力生成各种创造性的文本格式，并以信息丰富的方式回答开放式和挑战性的问题。 ChatGPT 等法学硕士利用 T
【LangChain概念】了解语言链️：第2部分
一、说明 在LangChain的帮助下创建LLM应用程序可以帮助我们轻松地链接所有内容。LangChain 是一个创新的框架，它正在彻底改变我们开发由语言模型驱动的应用程序的方式。通过结合先进的原则，LangChain正在重新定义通过传统API可以实现的极限。 在上一篇博…
寻找此款插件的相关信息
今天在cnblog里查看技术资料的时候，我发现文章旁边出现一个非常有爱的插件！
一、NLP中的文本分类
目录
1.0 文本分类的应用场景
1.1 文本分类流程
编辑
1.2 判别式模型
1.3 生成式模型
1.4 评估 1.5 参考文献 1.0 文本分类的应用场景
（1）情感分析：中性，正向评论，负向评论，黄色言论，暴…
多模态MLLM都是怎么实现的(7)-Sora
上一篇的链接：多模态MLLM都是怎么实现的（6）-Dit Diffusion Transformer (qq.com)
上上一篇的链接：多模态MLLM都是怎么实现的（5）-Backbone, Unet or Transformer？从0搭建一个SD (qq.com)
上上上一篇的链接：多模态MLLM都是怎么实现的（4）-去噪声 (qq.com)
上上上上一…
零、自然语言处理开篇
目录
0、NLP任务的基础——符号向量化
0.0 词袋模型
0.1 查表/One-hot编码
0.2 词嵌入模型/预训练模型
0.2.0 Word2Vec
（0）CBOW
（1）Skip-gram
0.2.1 GloVe
0.2.2 WordPiece
0.2.3 BERT
0.2.4 ERNIE NLP自然语言处理&am…
OpenAI LLM 应用最佳实践：提示词工程、Fine-Tune、RAG
一、背景
本文介绍了 2023 年 11 月 OpenAI DevDay 中的一个演讲，演讲者为 John Allard 和 Colin Jarvis。演讲中，作者对 LLM 应用落地过程中遇到的问题和相关改进方案进行了总结。虽然其中用到的都是已知的技术，但是进行了很好的总结和串联…
二、NLP中的序列标注（分词、主体识别）
一般来说，一个序列指的是一个句子，而一个元素指的是句子中的一个词。在序列标注中，我们想对一个序列的每一个元素标注一个分类标签。比如信息提取问题可以认为是一个序列标注问题，如提取出会议时间、地点等。
常见的应用场景&…
用于LLM的Chain-of-Symbol Prompting(符号链提示、CoS)
原文地址：Chain-of-Symbol Prompting (CoS) For Large Language Models
大型语言模型需要理解通过自然语言描述的虚拟空间环境，并在环境中规划并实现定义的目标。
2024 年 1 月 29 日
介绍
LLMs的空间挑战：传统的思维链提示一般对LLMs来说…
Guiding Large Language Models viaDirectional Stimulus Prompting
1. 通过定向刺激提示指导大语言模型 论文地址：[2302.11520] Guiding Large Language Models via Directional Stimulus Prompting (arxiv.org) 源码地址：GitHub - Leezekun/Directional-Stimulus-Prompting: [NeurIPS 2023] Codebase for the paper: &qu…
自然语言处理（NLP）—— 词义消歧与词语相似性（Word similarity）
1. 词义消歧
1.1 词义消歧的概念 词义消歧（Word Sense Disambiguation, WSD）的概念及其在自然语言处理中的应用之一。词义消歧是确定一个词在特定语境下使用时所指的具体含义。 在提到的例子中，“Do you believe in clubs for young people?…
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.03.05-2024.03.10—（2）
论文目录~ 1.Debiasing Large Visual Language Models2.Harnessing Multi-Role Capabilities of Large Language Models for Open-Domain Question Answering3.Towards a Psychology of Machines: Large Language Models Predict Human Memory4.Can we obtain significant succ…
自然语言处理NLP：tf-idf原理、参数及实战
大家好，tf-idf作为文体特征提取的常用统计方法之一，适合用于文本分类任务，本文将从原理、参数详解和实际处理方面介绍tf-idf，助力tf-idf用于文本数据分类。
1.tf-idf原理
tf 表示词频，即某单词在某文本中的出现次数与…
大语言模型(LLM) 参数量 概念
大语言模型（Large Language Model，LLM）参数量是指模型中可调整的参数的数量，通常用来衡量模型的大小和复杂程度。在深度学习中，参数量通常是指神经网络中的权重和偏置的数量。
参数量的概念在深度学习中非常重要&…
Pytorch NLP入门3：用嵌入表示单词
初次编辑时间：2024/3/17；最后编辑时间：2024/3/17
本栏目链接：https://blog.csdn.net/qq_33345365/category_12597850.html
本人的其他栏目：
pytorch 基础的栏目链接：https://blog.csdn.net/qq_33345365/…
医疗保健中的 NLP：实体链接
一、说明 HEalthcare和生命科学行业产生大量数据，这些数据是由合规性和监管要求，记录保存，研究论文等驱动的。但随着数据量的增加，搜索用于研究目的的必要文件和文章以及数据结构成为一个更加复杂和耗时的过程。例如，如…
论文《LoRA: Low-Rank Adaptation of Large Language Models》阅读
论文《LoRA: Low-Rank Adaptation of Large Language Models》阅读 BackgroundIntroducitonProblem StatementMethodology Δ W \Delta W ΔW 的选择 W W W的选择 总结 今天带来的是由微软Edward Hu等人完成并发表在ICLR 2022上的论文《LoRA: Low-Rank Adaptation of Large Lan…
机器学习深度学习——自注意力和位置编码（数学推导+代码实现）
👨🎓作者简介：一位即将上大四，正专攻机器学习的保研er 🌌上期文章：机器学习&&深度学习——注意力分数（详细数学推导代码实现） 📚订阅专栏：机器学习…
自然语言处理从入门到应用——LangChain：链（Chains）-[通用功能：LLMChain、RouterChain和SequentialChain]
分类目录：《自然语言处理从入门到应用》总目录 LLMChain
LLMChain是查询LLM对象最流行的方式之一。它使用提供的输入键值（如果有的话，还包括内存键值）格式化提示模板，将格式化的字符串传递给LLM，并返回LLM…
Retrieval-Augmented Multimodal Language Modeling
本文是LLM系列文章，针对《Retrieval-Augmented Multimodal Language Modeling》的翻译。 检索增强的多模态语言建模 摘要1 引言2 相关工作3 方法4 实验5 定性结果6 结论 摘要
最近的多模态模型，如DALL-E和CM3，在文本到图像和图像到文本生成…
Adapting Language Models to Compress Contexts
本文是LLM系列文章，针对《Adapting Language Models to Compress Contexts》的翻译。 使语言模型适应上下文压缩 摘要1 引言2 相关工作3 方法4 实验5 上下文学习6 压缩检索语料库实现高效推理7 结论不足 摘要
1 引言
2 相关工作
3 方法
4 实验
5 上下文学习
…
自然语言处理从入门到应用——LangChain：链（Chains）-[基础知识]
分类目录：《自然语言处理从入门到应用》总目录 在本文中，我们将学习如何在LangChain中创建简单的链式连接并添加组件以及运行它。链式连接允许我们将多个组件组合在一起，创建一个统一的应用程序。例如，我们可以创建一个链式连接&a…
自然语言处理从入门到应用——LangChain：索引（Indexes）-[检索器（Retrievers）]
分类目录：《自然语言处理从入门到应用》总目录 检索器（Retrievers）是一个通用的接口，方便地将文档与语言模型结合在一起。该接口公开了一个get_relevant_documents方法，接受一个查询（字符串）并返…
NLP 时事和见解【2023】
一、说明 AI的新闻当然不是即时的，但作为趋势和苗头，我们不得不做出自己的决定。比如，一些软件的支持是否持续，哪些现成的软件将不再使用，等等。 图片来自中途
以下是NLPlanet为您选择的有关NLP和AI的每周文章&#x…
Prompt-“设计提示模板：用更少数据实现预训练模型的卓越表现，助力Few-Shot和Zero-Shot任务”
Prompt任务（Prompt Tasks）
通过设计提示（prompt）模板，实现使用更少量的数据在预训练模型（Pretrained Model）上得到更好的效果，多用于：Few-Shot，Zero-Shot 等…
LLaMA长度外推高性价比trick：线性插值法及相关改进源码阅读及相关记录
前言
最近，开源了可商用的llama2，支持长度相比llama1的1024，拓展到了4096长度，然而，相比GPT-4、Claude-2等支持的长度，llama的长度外推显得尤为重要，本文记录了三种网络开源的RoPE改进方式及相…
书写自动智慧：探索Python文本分类器的开发与应用：支持二分类、多分类、多标签分类、多层级分类和Kmeans聚类
书写自动智慧：探索Python文本分类器的开发与应用：支持二分类、多分类、多标签分类、多层级分类和Kmeans聚类
文本分类器，提供多种文本分类和聚类算法，支持句子和文档级的文本分类任务，支持二分类、多分类、多标签分类…
使用 Gradio 构建生成式 AI 应用程序(一): 图片内容读取app
今天我们来学习DeepLearning.AI的在线课程：Building Generative AI Applications with Gradio，该课程主要讲述利用gradio来部署机器学习算法应用程序, 今天我们来学习第一课：Image captioning app，该课程主要讲述如何从图片中读取…
robust distortion-free watermarks for language models
本文是LLM系列文章，针对《robust distortion-free watermarks for language models》的翻译。 语言模的鲁棒无失真水印 摘要1 引言2 方法和理论分析3 实验结果4 讨论 摘要
我们提出了一种从自回归语言模型中在文本中植入水印的方法，该方法对扰动具有鲁…
人工智能讲师AIGC讲师叶梓:大模型这么火，我们在使用时应该关注些什么？
以下为叶老师讲义分享：
P2-P5
大语言模型的演进 开山鼻祖：Transformer 常见的大模型 我们应该关注些什么？
事实描述的正确性2、知识的时效性3、理解、运用语言的能力4、上下文连贯性5、抗干扰（误导）性能6、无害性7、…
Exploring Lottery Prompts for Pre-trained Language Models
Exploring Lottery Prompts for Pre-trained Language Models
文章链接
清深的工作，比较有意思的一篇。作者先给出假设，对于分类问题，在有限的语料空间内总能找到一个prompt让这个问题分类正确，作者称之为lottery prompt。为此&…
Transformer（一）简述（注意力机制，NLP，CV通用模型）
目录
1.Encoder
1.1简单理解Attention
1.2.什么是self-attention 1.3.怎么计算self-attention 1.4.multi-headed 1.5.位置信息表达 2.decorder（待补充）
参考文献 1.Encoder
1.1简单理解Attention
比方说，下图中的热度图中我们希望专注于…
开启想象翅膀：轻松实现文本生成模型的创作应用，支持LLaMA、ChatGLM、UDA、GPT2、Seq2Seq、BART、T5、SongNet等模型，开箱即用
开启想象翅膀：轻松实现文本生成模型的创作应用，支持LLaMA、ChatGLM、UDA、GPT2、Seq2Seq、BART、T5、SongNet等模型，开箱即用 TextGen: Implementation of Text Generation models
1.介绍
TextGen实现了多种文本生成模型，包括&a…
ACL2023:成分对比学习生成句子嵌入表示
title:Composition-contrastive Learning for Sentence Embeddings 很多基于对比学习的方法用在无监督语料中，通过最大化对齐同一句子的最小扰动，并且鼓励向量在广泛文本语料中的均匀分布。本文方法提出最大化文本与其短语成分的组合之间的对齐。 …
【Bert101】最先进的 NLP 模型解释【02/4】
0 什么是伯特？ BERT是来自【Bidirectional Encoder Representations from Transformers】变压器的双向编码器表示的缩写，是用于自然语言处理的机器学习（ML）模型。它由Google AI Language的研究人员于2018年开发，可作为…
手搓大语言模型 使用jieba分词制作词表，词表大小几十万 加强依赖性
jieba分词词表生成与训练
import numpy as np
import paddle
import pandas as pd
from multiprocessing import Process, Manager, freeze_support
from just_mask_em import JustMaskEm, HeadLoss
from tqdm import tqdm
from glob import glob
import jieba
import warning…
02__models
LangChain提供两种封装的模型接口
1.大规模语言模型（LLM）：输入文本字符串，返回文本字符串
2.聊天模型：基于一个语言模型，输入聊天消息列表，返回聊天消息
Langchain的支持OpenAI、ChatGLM、Hu…
词典分词算法实现详解
1.概述
中文分词指的是将一段文本拆分为一系列单词的过程，这是中文信息处理的第一站，中文分词备受关注。中文分词大致分为以下两类：
基于词典规则基于机器学习
这里我们主要介绍词典分词 2.词典分词
词典分词是最简单，最常见的…
通义大模型：打造更智能、更灵活的自然语言处理技术
大家好，今天我想向大家介绍一款备受瞩目的自然语言处理技术——通义大模型。作为一种基于深度学习的人工智能技术，通义大模型能够模拟人类的思维方式，实现更智能、更灵活的自然语言处理，为我们的生活和工作带来了极大的便利。
在…
还不知道怎么提示LLM？ChatGPT提示入门
文章目录 简介：什么是人工智能？什么是提示过程？为什么会出现这样的差异？ 为什么需要提示过程？1) 文章摘要2) 数学问题求解 如何进行提示过程？角色提示：多范例提示：无范例提示单范例提…
机器学习深度学习——seq2seq实现机器翻译（数据集处理）
👨🎓作者简介：一位即将上大四，正专攻机器学习的保研er 🌌上期文章：机器学习&&深度学习——从编码器-解码器架构到seq2seq（机器翻译） 📚订阅专栏：机…
PyTorch翻译官网教程-NLP FROM SCRATCH: CLASSIFYING NAMES WITH A CHARACTER-LEVEL RNN
官网链接
NLP From Scratch: Classifying Names with a Character-Level RNN — PyTorch Tutorials 2.0.1cu117 documentation 使用CHARACTER-LEVEL RNN 对名字分类
我们将建立和训练一个基本的字符级递归神经网络(RNN)来分类单词。本教程以及另外两个“from scratch”的自然…
智能质检技术的核心环节：语音识别和自然语言处理
随着呼叫中心行业的快速发展和客户服务需求的不断提高，越来越多的企业开始采用智能质检技术，以提高呼叫中心的质量和效率。而在智能质检技术中，语音识别和自然语言处理是其核心环节，对于提高质检的准确性和效率具有重要作用。 语音…
大语言模型：LLM的概念是个啥？
一、说明 大语言模型（维基：LLM- large language model）是以大尺寸为特征的语言模型。它们的规模是由人工智能加速器实现的，人工智能加速器能够处理大量文本数据，这些数据大部分是从互联网上抓取的。 [1]所构建的人工神…
自然语言处理从入门到应用——LangChain：记忆（Memory）-[记忆的类型Ⅲ]
分类目录：《自然语言处理从入门到应用》总目录 对话令牌缓冲存储器ConversationTokenBufferMemory
ConversationTokenBufferMemory在内存中保留了最近的一些对话交互，并使用标记长度来确定何时刷新交互，而不是交互数量。
from langchain.me…
大语言模型控制生成的过程Trick：自定义LogitsProcessor实践
前言
在大模型的生成过程中，部分原生的大语言模型未经过特殊的对齐训练，往往会“胡说八道”的生成一些敏感词语等用户不想生成的词语，最简单粗暴的方式就是在大模型生成的文本之后，添加敏感词库等规则手段进行敏感词过滤…
2023国自然预计本周公布！如何第一时间知道是否中标？
国自然公布时间越来越近了，大家普遍关心今年国自然的具体公布时间。
基金委官网上明确：国家自然科学基金项目从接收至审批完成一般需要5个月左右时间。
集中接收的大部分项目类型，资助结果一般在当年8月中下旬公布，其余项目根据…
用Python编程实现百度自然语言处理接口的对接，助力你开发智能化处理程序
用Python编程实现百度自然语言处理接口的对接，助力你开发智能化处理程序
随着人工智能的不断进步，自然语言处理（Natural Language Processing，NLP）成为了解决文本处理问题的重要工具。百度自然语言处理接口提供了一系列强大的功能，如关键词提取、文本分类、情感分析等，…
文献综述｜NLP领域后门攻击、检测与防御
前言：在信息安全中后门攻击（Backdoor Attack）是指绕过安全控制而获取对程序或系统访问权的方法。而随着深度学习以及各种神经网络模型的广泛应用，神经网络中存在的后门问题也引起了研究人员的广泛关注。神经网络后门攻击就是使网络…
1.Python操作txt文本
文章目录 1.Python读取一个txt文件的内容并将其写入到另一个txt文件2.Python读取一个未知编码的文件并将其设置为指定编码格式3.Python实现txt文件中字符串的替换 1.Python读取一个txt文件的内容并将其写入到另一个txt文件
# -*- encoding:gb2312 -*-
import chardetdef read_…
【自然语言处理】关系抽取 —— PMGAN
PMGAN 论文信息 标题：Position Enhanced Mention Graph Attention Network for Dialogue Relation Extraction 作者：Xinwei Long 期刊：SIGIR 2021 short paper 发布时间与更新时间：2021 主题：自然语言处理、关系抽取、对话场景、BERT、GCN、Attention 模型 一般地，mentio…
本地部署体验LISA模型（LISA≈图像分割基础模型SAM+多模态大语言模型LLaVA）
GitHub地址：https://github.com/dvlab-research/LISA 该项目论文paper reading：https://blog.csdn.net/Transfattyacids/article/details/132254770 在GitHub上下载源文件，进入下载的文件夹，打开该地址下的命令控制台，…
![NLP文本匹配任务Text Matching [有监督训练]：PointWise（单塔）、DSSM（双塔）、Sentence BERT（双塔）项目实践](https://img-blog.csdnimg.cn/img_convert/155097bc963b24648129c24d307f4547.png)
NLP文本匹配任务Text Matching [有监督训练]：PointWise（单塔）、DSSM（双塔）、Sentence BERT（双塔）项目实践
NLP文本匹配任务Text Matching [有监督训练]：PointWise（单塔）、DSSM（双塔）、Sentence BERT（双塔）项目实践
0 背景介绍以及相关概念
本项目对3种常用的文本匹配的方法进行实现：Poin…
变形金刚：从零开始【01/2】
一、说明 在我们的日常生活中，无论你是否是数据科学家，你都在单向地使用变压器模型。例如。如果您使用的是 ChatGPT 或 GPT-4 或任何 GPT，那么在为您回答问题的框中是变压器的一部分。如果您是数据科学家或数据分析师，则可能正在使…
Progressive-Hint Prompting Improves Reasoning in Large Language Models
本文是LLM系列的文章，针对《Progressive-Hint Prompting Improves Reasoning in Large Language Models》的翻译。 渐进提示改进了大型语言模型中的推理 摘要1 引言2 相关工作3 渐进提示Prompting4 实验5 结论6 实现细节7 不足与未来工作8 广泛的影响9 具有不同提示…
基于令牌级 BERT 嵌入的趋势生成句子级嵌入
一、说明 句子（短语或段落）级别嵌入通常用作许多 NLP 分类问题的输入，例如，在垃圾邮件检测和问答 （QA） 系统中。在我上一篇文章发现不同级别的BERT嵌入的趋势中，我讨论了如何生成一个向量表示&a…
什么是LLM大语言模型？
什么是LLM大语言模型？
大语言模型（英文：Large Language Model，缩写LLM），也称大型语言模型，是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练࿰…
用于智能图像处理的计算机视觉和 NLP
莫斯科，神秘之城...（这张照片由伊戈尔沙巴林提供） 一、说明 如今，每个拥有智能手机的人都可能成为摄影师。因此，每天都有大量新照片出现在社交媒体、网站、博客和个人照片库中。尽管拍照的过程可能非常令人兴奋&#x…
自然语言处理 微调大模型ChatGLM-6B
自然语言处理 微调大模型ChatGLM-6B 1、GLM设计原理2、大模型微调原理1、P-tuning v2方案2、LORA方案 1、GLM设计原理 bert的主要任务是随机的去除掉某个单词，使用上下文将其预测出来（相当于完形填空任务）； GPT的主要任务是根据前…
【NLP的python库(02/4) 】：Spacy
一、说明 借助 Spacy，一个复杂的 NLP 库，可以使用用于各种 NLP 任务的不同训练模型。从标记化到词性标记再到实体识别，Spacy 还生成了精心设计的 Python 数据结构和强大的可视化效果。最重要的是，可以加载和微调不同的语言模型以适…
企业大语言模型智能问答的底层基础数据知识库如何搭建？
企业大语言模型智能问答的底层基础数据知识库搭建是一个复杂而关键的过程。下面将详细介绍如何搭建这样一个知识库。
确定知识库的范围和目标：
首先，需要明确知识库的范围，确定所涵盖的领域和主题。这可以根据企业的业务领域和用户需求来确…
NLP序列标注问题，样本不均衡怎么解决？
【学而不思则罔，思而不学则殆】
1.问题
NLP序列标注问题，样本不均衡怎么解决？
2.解释
以命名实体识别（NER）为例，这个样本不均衡有两种解释： （1）实体间类别数量不均衡…
已经开源的中文大模型对比，支持更新
大模型下载：互链高科 ClueAI/PromptCLUE-base-v1-5 at main (huggingface.co) 支持多任务生成，支持中文，不支持多轮对话，体验：ClueAI (cluebenchmarks.com) 基于promptclue-base进一步训练的模型：ClueAI/Ch…
【SentenceTransformer系列】计算句子嵌入的概念(01/10)
一、说明 要分清词嵌入和句子嵌入的区别。 句子嵌入是指将句子或文档表示为固定长度的向量的过程，使得向量能够捕获句子的语义和上下文信息。它是自然语言处理 (NLP) 和机器学习中的常见任务，因为它可以帮助对句子之间的关系和相似性进行建模，…
01_langchain
Langchain简介
LLM的诞生推动了自然语言处理领域的变革，让以前无法实现的一些应用成为了可能。然而仅仅利用LLM还无法完成真正强大的应用程序，还需要一些相关的资源和技术知识。
Langchain用于开发这些应用程序，可用于：
基于文…
机器学习深度学习——transformer（机器翻译的再实现）
👨🎓作者简介：一位即将上大四，正专攻机器学习的保研er 🌌上期文章：机器学习&&深度学习——自注意力和位置编码（数学推导代码实现） 📚订阅专栏：机器…
自然语言处理从入门到应用——LangChain：索引（Indexes）-[基础知识]
分类目录：《自然语言处理从入门到应用》总目录 索引（Indexes）是指为了使LLM与文档更好地进行交互而对其进行结构化的方式。在链中，索引最常用于“检索”步骤中，该步骤指的是根据用户的查询返回最相关的文档：…
图卷积网络：GNN 深入探讨【02/4】
一、说明 在各种类型的GNN中，图卷积网络（GCN）已成为最普遍和应用最广泛的模型。GCN具有创新性，因为它们能够利用节点的特征及其局部性进行预测，从而提供了一种处理图形结构数据的有效方法。在本文中，我们将…
自然语言处理：大语言模型入门介绍
自然语言处理：大语言模型入门介绍 语言模型的历史演进大语言模型基础知识预训练Pre-traning微调Fine-Tuning指令微调Instruction Tuning对齐微调Alignment Tuning 提示Prompt上下文学习In-context Learning思维链Chain-of-thought提示开发（调用ChatGPT的…
Graph of Thoughts: Solving Elaborate Problems with Large Language Models
本文是LLM系列文章，针对《Graph of Thoughts: Solving Elaborate Problems with Large Language Models》的翻译。 思维图：用大语言模型解决复杂问题 摘要1 引言2 背景与符号3 GoT框架4 系统架构和扩展性5 用例示例6 延迟量权衡7 评估8 相关工作9 结论 …
自然语言处理从入门到应用——LangChain：链（Chains）-[通用功能：SequentialChain和TransformationChain]
分类目录：《自然语言处理从入门到应用》总目录 SequentialChain
在调用语言模型之后，下一步是对语言模型进行一系列的调用。若可以将一个调用的输出作为另一个调用的输入时则特别有用。在本节中，我们将介绍如何使用顺序链来实现这一点。顺序…
NLP与大模型主题全国师资培训班落地，飞桨持续赋能AI人才培养
为了推动大模型及人工智能相关专业人员的培养，8月11日-8月13日，由中国计算机学会主办、机械工业出版社、北京航空航天大学、百度飞桨联合承办 “CCF群星计划之文心高校行- NLP与大模型”主题师资培训班（以下简称培训班）在北京天信…
机器学习深度学习——NLP实战（自然语言推断——注意力机制实现）
👨🎓作者简介：一位即将上大四，正专攻机器学习的保研er 🌌上期文章：机器学习&&深度学习——NLP实战（自然语言推断——数据集） 📚订阅专栏：机器学习&…
精进语言模型：探索LLM Training微调与奖励模型技术的新途径
大语言模型训练（LLM Training）
LLMs Trainer 是一个旨在帮助人们从零开始训练大模型的仓库，该仓库最早参考自 Open-Llama，并在其基础上进行扩充。
有关 LLM 训练流程的更多细节可以参考 【LLM】从零开始训练大模型。
使用仓库之…
A Survey on Large Language Models for Recommendation
本文是LLM系列的文章，针对《A Survey on Large Language Models for Recommendation》的翻译。 大模型用于推荐的综述 摘要1 引言2 建模范式和分类3 判别式LLM用于推荐4 生成式LLM用于推荐5 发现6 结论 摘要
大型语言模型（LLM）作为自然语言…
机器学习深度学习——针对序列级和词元级应用微调BERT
👨🎓作者简介：一位即将上大四，正专攻机器学习的保研er 🌌上期文章：机器学习&&深度学习——NLP实战（自然语言推断——注意力机制实现） 📚订阅专栏：机…
Prompt本质解密及Evaluation实战（一）
一、基于evaluation的prompt使用解析
基于大模型的应用评估与传统应用程序的评估不太一样，特别是基于GPT系列或者生成式语言模型，因为模型生成的内容与传统意义上所说的内容或者标签不太一样。 以下是借用了ChatGPT官方的evaluation指南提出的对结果的具…
大语言模型初学者指南 (2023)
大语言模型 (LLM) 是深度学习的一个子集，它正在彻底改变自然语言处理领域。它们是功能强大的通用语言模型，可以针对大量数据进行预训练，然后针对特定任务进行微调。这使得LLM能够拥有大量的一般数据。如果一个人想将LLM用于特定目的ÿ…
LoRA继任者ReLoRA登场，通过叠加多个低秩更新矩阵实现更高效大模型训练效果
论文链接： https://arxiv.org/abs/2307.05695 代码仓库： https://github.com/guitaricet/peft_pretraining 一段时间以来，大模型（LLMs）社区的研究人员开始关注于如何降低训练、微调和推理LLMs所需要的庞大算力…
Talk | 香港中文大学张懿元：由MetaTransformer探索统一的多模态学习
本期为TechBeat人工智能社区第524期线上Talk！ 北京时间8月23日(周三)20:00，香港中文大学博士生—张懿元的Talk已准时在TechBeat人工智能社区开播！ 他与大家分享的主题是: “探索模态通用感知”，介绍了多模态学习和发展统一的多模态…
Backpack Language Models
本文是LLM系列的文章，针对《Backpack Language Models》的翻译。 背包语言模型 摘要1 引言2 背包架构3 带有背包的语言模型4 实验训练背包LM5 感知向量中的涌现结构6 用于控制的感知向量7 相关工作8 讨论9 结论11 不足12 摘要
我们介绍了Backpacks：一种…
超越界限：大模型应用领域扩展，探索文本分类、文本匹配、信息抽取和性格测试等多领域应用
超越界限：大模型应用领域扩展，探索文本分类、文本匹配、信息抽取和性格测试等多领域应用
随着 ChatGPT 和 GPT-4 等强大生成模型出现，自然语言处理任务方式正在逐步发生改变。鉴于大模型强大的任务处理能力，未来我们或将不再为每…
[ACL2023] Exploring Lottery Prompts for Pre-trained Language Models
Exploring Lottery Prompts for Pre-trained Language Models
文章链接
清深的工作，比较有意思的一篇。作者先给出假设，对于分类问题，在有限的语料空间内总能找到一个prompt让这个问题分类正确，作者称之为lottery prompt。为此&…
LLM预训练大型语言模型Pre-training large language models
在上一个视频中，您被介绍到了生成性AI项目的生命周期。
如您所见，在您开始启动您的生成性AI应用的有趣部分之前，有几个步骤需要完成。一旦您确定了您的用例范围，并确定了您需要LLM在您的应用程序中的工作方式，您的下…
DeFINE：用于神经序列建模的深度分解输入令牌嵌入
一、说明 DeFINE，是华盛顿大学和艾伦人工智能开发的自然语言处理工具，可以处理的范围是：NLP、语言模型、LM、神经机器翻译、NMT、变压器、变压器-XL等；本文对token-bedding进行生成。 借助DeFINE，Transformer-XL可以在…
语言模型（language model）
文章目录 引言1. 什么是语言模型2. 语言模型的主要用途2.1 言模型-语音识别2.2 语言模型-手写识别2.3 语言模型-输入法 3. 语言模型的分类4. N-gram语言模型4.1 N-gram语言模型-平滑方法4.2 ngram代码4.3 语言模型的评价指标4.4 两类语言模型的对比 5. 神经网络语言模型6. 语言…
“超级AI助手：全新提升！中文NLP训练框架，快速上手，海量训练数据，ChatGLM-v2、中文Bloom、Dolly_v2_3b助您实现更智能的应用！”
“超级AI助手：全新提升！中文NLP训练框架，快速上手，海量训练数据，ChatGLM-v2、中文Bloom、Dolly_v2_3b助您实现更智能的应用！”
1.简介
目标：基于pytorch、transformers做中文领域的nlp开箱即用…
大语言模型之五 谷歌Gemini
近十年来谷歌引领着人工智能方向的发展，从TensorFlow到TPU再到Transformer，都是谷歌在引领着，然而，在大语言模型上，却被ChatGPT（OpenAI）抢了风头，并且知道GPT-4（OpenAI&a…
论文解读：Bert原理深入浅出
摘取于https://www.jianshu.com/p/810ca25c4502
任务1：Masked Language Model Maked LM 是为了解决单向信息问题，现有的语言模型的问题在于，没有同时利用双向信息，如 ELMO 号称是双向LM，但实际上是两个单向 RNN 构成的…
大语言模型之六- LLM之企业私有化部署
数据安全是每个公司不得不慎重对待的，为了提高生产力，降本增效又不得不接受新技术带来的工具，私有化部署对于公司还是非常有吸引力的。大语言模型这一工具结合公司的数据可以大大提高公司生产率。
私有化LLM需要处理的问题
企业内私有化LLM…
几个nlp的小任务（机器翻译）
几个nlp的小任务（机器翻译） 安装依赖库数据集介绍与模型介绍加载数据集看一看数据集的样子评测测试数据预处理测试tokenizer处理目标特殊的token预处理函数对数据集的所有数据进行预处理微调预训练模型设置训练参数需要一个数据收集器，把处理好数据喂给模型设置评估方法参数…
【IT资讯速递(000005)】清华系团队开源多模态生物医药大模型；《中国存力白皮书(2023年)》：出现技术演化等六大趋势；MIT推出拾物机器人「最强辅助」；深势科技完成新一轮超7亿元融资
2023年8月21日 星期一 癸卯年七月初六 第000005号 本文收录于IT资讯速递专栏,本专栏主要用于发布各种IT资讯，为大家可以省时省力的就能阅读和了解到行业的一些新资讯 IT资讯速递 一、清华系团队开源多模态生物医药大模型二、《中国存力白皮书(2023年)》：…
自然语言处理(二)：近似训练
近似训练
近似训练（Approximate Training）是指在机器学习中使用近似的方法来训练模型，以降低计算复杂度或提高训练效率。这种方法通常用于处理大规模数据集或复杂模型，其中精确的训练算法可能过于耗时或计算资源不足。
近似训练…
深入解析NLP情感分析技术：从篇章到属性
目录 1. 情感分析概述1.1 什么是情感分析？- 情感分析的定义- 情感分析的应用领域 1.2 为什么情感分析如此重要？- 企业和研究的应用- 社交媒体和公共意见的影响 2. 篇章级情感分析2.1 技术概览- 文本分类的基本概念- 机器学习与深度学习方法- 词嵌入的力量…
新KG视点 | Jeff Pan、陈矫彦等——大语言模型与知识图谱的机遇与挑战
OpenKG 大模型专辑 导读 知识图谱和大型语言模型都是用来表示和处理知识的手段。大模型补足了理解语言的能力，知识图谱则丰富了表示知识的方式，两者的深度结合必将为人工智能提供更为全面、可靠、可控的知识处理方法。在这一背景下，OpenKG组织…
MATLAB算法实战应用案例精讲-【自然语言处理】语义分割模型-DeepLabV3
目录
1、DeepLab系列简介
1.1.DeepLabV1
1.1.1创新点：
1.1.2. 动机：
1.1.3. 应对策略：
1.2.DeepLabV2
1.2.1.创新点：
1.2.2.动机
1.2.3. 应对策略：
1.3.DeepLabV3
1.3.1创新点：
1.3.2. 动机&am…
自然语言处理(四)：全局向量的词嵌入（GloVe）
全局向量的词嵌入（GloVe）
全局向量的词嵌入（Global Vectors for Word Representation），通常简称为GloVe，是一种用于将词语映射到连续向量空间的词嵌入方法。它旨在捕捉词语之间的语义关系和语法关系&#…
用变压器实现德-英语言翻译【01/8】:嵌入层
一、说明 本文是“用变压器实现德-英语言翻译”系列的第一篇文章。它引入了小规模的嵌入来建立感知系统。接下来是嵌入层的变压器使用。下面简要概述了每种方法，然后是德语到英语的翻译。 二、技术背景 嵌入层的目标是使模型能够详细了解单词、标记或其他输入之间的…
一文速学-让神经网络不再神秘，一天速学神经网络基础-输出层（四）
前言 思索了很久到底要不要出深度学习内容，毕竟在数学建模专栏里边的机器学习内容还有一大半算法没有更新，很多坑都没有填满，而且现在深度学习的文章和学习课程都十分的多，我考虑了很久决定还是得出神经网络系列文章，不…
自然语言处理(五)：子词嵌入（fastText模型）
子词嵌入
在英语中，“helps”“helped”和“helping”等单词都是同一个词“help”的变形形式。“dog”和“dogs”之间的关系与“cat”和“cats”之间的关系相同，“boy”和“boyfriend”之间的关系与“girl”和“girlfriend”之间的关系相同。在法语和西…
中英双语对话大语言模型：ChatGLM-6B
介绍
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。…
生成式AI和大语言模型 Generative AI LLMs
在“使用大型语言模型(LLMs)的生成性AI”中，您将学习生成性AI的基本工作原理，以及如何在实际应用中部署它。
通过参加这门课程，您将学会：
深入了解生成性AI，描述基于LLM的典型生成性AI生命周期中的关键步骤ÿ…
GE IS220PDIAH1A 336A4940CSP1 控制主板模块
GE IS220PDIAH1A 336A4940CSP1 是一款控制主板模块，通常用于工业自动化和控制系统中。以下是可能与这种控制主板模块相关的一些产品功能： 信号处理： GE IS220PDIAH1A 336A4940CSP1控制主板模块通常负责信号处理，可以接收、放大、滤…
自然语言处理 中文停用词词典
我整合了4个常用的中文停用词词典（https://gitcode.net/mirrors/goto456/stopwords/-/tree/master），剔除了其中的非中文词汇，得到停用词词典如下，可直接取用。
看见
并不是
有著
岂非
毫无保留地
这样
么
哎呀
互相
通…
自然语言处理-词向量模型-Word2Vec
通常数据的维度越高，能提供的信息也就越多，从而计算结果的可靠性就更值得信赖 如何来描述语言的特征呢，通常都在词的层面上构建特征，Word2Vec就是要把词转换成向量 假设现在已经拿到一份训练好的词向量，其中每一个词都…
自然语言处理学习笔记（九）———— OVV Recall Rate与 IV Recall Rate
目录 1.OVV Recall Rate
2. IV Recall Rate 1.OVV Recall Rate OOV指的是“未登录词”（Out Of Vocabulary），或者俗称的“新词”，也即词典未收录的词汇。如何准确切分00V，乃至识别其语义，是整个NLP领域的核…
雅思写作 三小时浓缩学习顾家北 笔记总结（五）
目录
饥饿网100句翻译练习
Many girls are unwilling to seek employment in male-dominated industries.
Many girls are not willing to find jobs in male-dominated industries.
The main function of schools is to impart knowledge to the next generation.
The ar…
NLP（3）--GAN
目录
一、概述
二、算法过程
三、WGAN
1、GAN的不足
2、JS散度、KL散度、Wasserstein距离
3、WGAN设计
四、Mode Collapse and Mode Dropping
1、Mode Collapse
2、Mode Dropping
3、FID
四、Conditional GAN 一、概述 GAN（Generative Adversial Networ…
【自然语言处理】【大模型】RWKV：基于RNN的LLM
相关博客 【自然语言处理】【大模型】RWKV：基于RNN的LLM 【自然语言处理】【大模型】CodeGen：一个用于多轮程序合成的代码大语言模型 【自然语言处理】【大模型】CodeGeeX：用于代码生成的多语言预训练模型 【自然语言处理】【大模型】LaMDA&a…
Python 自然语言处理 文本分类 地铁方面留言文本
将关于地铁的留言文本进行自动分类。
不要着急，一步步来。
导入需要的库。
import numpy as np
import pandas as pd
import jieba # 分词
import re # 正则
from fnmatch import fnmatch # 通配符
from sklearn.preprocessing import LabelEncoder
from sklearn…
自然语言处理学习笔记（十）———— 停用词过滤
目录 1.停用词
2.实现思路
3.全部实现代码：
4.运行结果： 1.停用词 汉语中有一类没有多少意义的词语，比如助词“的”、连词“以及”、副词“甚至”、语气词“吧”，称为停用词。一个句子去掉了停用词并不影响理解。停用词视具体任…
自然语言处理——数据清洗
一、什么是数据清洗 数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。 ——百度百科
二、为什么要数据清洗
现实生…
【nlp-with-transformers】|Transformers中的generate函数解析
今天社群中的小伙伴面试遇到了一个问题，如何保证生成式语言模型在同样的输入情况下可以保证同样的输出。
这里面造成问题的因素有两个方面：
一个方面是在forward过程中参数的计算出现了差异，这种情况一般发生在游戏显卡中，游戏显…
《Graph of Thoughts: Solving Elaborate Problems with Large Language Models》中文翻译
《Graph of Thoughts: Solving Elaborate Problems with Large Language Models》- 思维图：用大型语言模型解决复杂的问题 论文信息摘要1. 介绍2. 背景及符号2.1 语言模型和情境学习 3. GoT 框架3.1 推理过程3.2 思想转变3.3 评分和排名思路 4. 系统架构及扩展性4.1…
《Tree of Thoughts: Deliberate Problem Solving with Large Language Models》中文翻译
《Tree of Thoughts: Deliberate Problem Solving with Large Language Models》- 思维树：用大型语言模型有意识地解决问题 论文信息摘要1. 介绍2. 背景3. 思想树：用 LM 有意识地解决问题4. 实验4.1 24 人游戏4.2 创意写作4.3 迷你填字游戏 5. 相关工作6…
对Transformer中的Attention(注意力机制)的一点点探索
摘要：本文试图对 Transformer 中的 Attention 机制进行一点点探索。并就 6 个问题深入展开。 ✅ NLP 研 1 选手的学习笔记 简介：小王，NPU，2023级，计算机技术 研究方向：文本生成、摘要生成 文章目录 一、为啥…
《自然语言处理(NLP)的最新进展：Transformers与GPT-4的浅析》
🌷🍁 博主猫头虎（🐅🐾）带您 Go to New World✨🍁 🦄 博客首页——🐅🐾猫头虎的博客🎐 🐳 《面试题大全专栏》 🦕 文章图文…
NLP（4）--BERT
目录
一、自监督学习
二、BERT的两个问题
三、GLUE
四、BERT与Transformer的关系
五、BERT的训练方式
六、BERT的四个例子
1、语句分类（情感分析）
2、词性标注
3、立场分析
4、问答系统
七、BERT的后续
1、为什么预训练后的微调可以满足多…
Transformers库中的pipeline模块支持的NLP任务
Transformers库中的pipeline模块支持的NLP任务 Transformers库中的pipeline模块支持以下的NLP任务:
Text Classification(文本分类):文本分类任务,比如情感分析, toxicity检测等。Token Classification(标记分类): 序列标记任务,比如命名实体识别, 部分性提取等。Question Ans…
使用RNN联合注意力机制实现机器翻译
https://zhuanlan.zhihu.com/p/28834212
具体来自这一篇文章的指导
一、相关使用的查漏补缺：
1.其中的两种神奇的处理字符的操作： 2.关于nn.GRU()的参数解释和用法：
http://t.csdn.cn/30PZL
这篇文章讲得很清楚，需要用来预测…
NLP模型的tokenize方法中return_tensors参数
NLP模型的tokenize方法中return_tensors参数 在许多NLP模型的tokenize方法中,return_tensors参数可以指定tokenize之后返回的张量类型,常见的可选值包括:
‘tf’: 返回TensorFlow的张量对象Tensor。 ‘pt’: 返回PyTorch的张量对象torch.Tensor。 ‘np’: 返回NumPy的ndarray对…
Claude 使用指南 | 可与GPT-4媲美的语言模型
本文全程干货，让你轻松使用上claude，这也是目前体验cluade的唯一途径！废话不多说，直接上教程，cluade的能力不逊于GPT4，号称是ChatGPT4.0最强竞品。相对Chatgpt来说，Claude不仅是完全免费的&…
【自然语言处理】关系抽取 —— MPDD 讲解
MPDD 论文信息 标题：MPDD: A Multi-Party Dialogue Dataset for Analysis of Emotions and Interpersonal Relationships 作者：Yi-Ting Chen, Hen-Hsen Huang, Hsin-Hsi Chen 期刊：LREC 2020 发布时间与更新时间：2020 主题：自然语言处理、关系抽取、对话场景、情感预测 数…
NLP机器翻译全景：从基本原理到技术实战全解析
目录 一、机器翻译简介1. 什么是机器翻译 (MT)?2. 源语言和目标语言3. 翻译模型4. 上下文的重要性 二、基于规则的机器翻译 (RBMT)1. 规则的制定2. 词典和词汇选择3. 限制与挑战4. PyTorch实现 三、基于统计的机器翻译 (SMT)1. 数据驱动2. 短语对齐3. 评分和选择4. PyTorch实现…
【2023】数据挖掘课程设计：基于TF-IDF的文本分类
目录
一、课程设计题目 基于TF-IDF的文本分类
二、课程设计设置
1. 操作系统
2. IDE
3. python
4. 相关的库
三、课程设计目标
1. 掌握数据预处理的方法，对训练集数据进行预处理；
2. 掌握文本分类建模的方法，对语料库的文档进行建模…
清华智能体宇宙火了；主流大语言模型的技术原理细节
🦉 AI新闻
🚀 清华智能体宇宙火了
摘要：清华大学联合北邮、微信团队推出了AgentVerse，这是一个可以轻松模拟多智能体宇宙的环境。它专为大语言模型开发，智能体可以利用LLM能力完成任务。AgentVerse提供了几个示例环境…
FOXBORO FBM233 电源模块
FOXBORO FBM233 是一种电源模块，通常用于工业自动化和控制系统中，为其他设备和模块提供所需的电源供应。以下是可能与这种电源模块相关的一些常见功能： 电压输出： FBM233 电源模块通常提供稳定的电压输出，以供其他设备…
[NLP] LLM---＜训练中文LLama2(一)＞训练一个中文LLama2的步骤
一 数据集 【Awesome-Chinese-LLM中文数据集】 【awesome-instruction-dataset】【awesome-instruction-datasets】【LLaMA-Efficient-Tuning-数据集】Wiki中文百科（25w词条）wikipedia-cn-20230720-filteredBaiduBaiKe（563w词条） …
Llama2-Chinese项目：2.2-大语言模型词表扩充
因为原生LLaMA对中文的支持很弱，一个中文汉子往往被切分成多个token，因此需要对其进行中文词表扩展。思路通常是在中文语料库上训练一个中文tokenizer模型，然后将中文tokenizer与LLaMA原生tokenizer进行合并，最终得到一个扩展后的…
自然语言处理学习笔记（十一）————简繁转换与拼音转换
目录
1.简繁转换
2.拼音转换 1.简繁转换
简繁转换指的是简体中文和繁体中文之间的相互转换。可能有的人觉得，这很简单，按字转换就好了。HanLP提供了这样的朴素实现CharTable，用来执行字符正规化(繁体->简体，全角->半角&a…
解码自我注意的魔力：深入了解其直觉和机制
一、说明 自我注意机制是现代机器学习模型中的关键组成部分，尤其是在处理顺序数据时。这篇博文旨在提供这种机制的详细概述，解释它是如何工作的，它的优点，以及它背后的数学原理。我们还将讨论它在变压器模型中的实现和多头注意力的…
Bert和LSTM：情绪分类中的表现
一、说明 这篇文章的目的是评估和比较 2 种深度学习算法（BERT 和 LSTM）在情感分析中进行二元分类的性能。评估将侧重于两个关键指标：准确性（衡量整体分类性能）和训练时间（评估每种算法的效率）。…
NLP（六十六）使用HuggingFace中的Trainer进行BERT模型微调
以往，我们在使用HuggingFace在训练BERT模型时，代码写得比较复杂，涉及到数据处理、token编码、模型编码、模型训练等步骤，从事NLP领域的人都有这种切身感受。事实上，HugggingFace中提供了datasets模块（数据处…
Hugging Face实战-系列教程3：文本2分类
🚩🚩🚩Hugging Face 实战系列 总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在notebook中进行 本篇文章配套的代码资源已经上传 下篇内容： Hugging Face实战-系列教程4：padding与attention_mask
输出我…
【AI理论学习】语言模型：从Word Embedding到ELMo
语言模型：从Word Embedding到ELMo ELMo原理Bi-LM总结参考资料 本文主要介绍一种建立在LSTM基础上的ELMo预训练模型。2013年的Word2Vec及2014年的GloVe的工作中，每个词对应一个vector，对于多义词无能为力。ELMo的工作对于此，提出了…
深度解析BERT：从理论到Pytorch实战
本文从BERT的基本概念和架构开始，详细讲解了其预训练和微调机制，并通过Python和PyTorch代码示例展示了如何在实际应用中使用这一模型。我们探讨了BERT的核心特点，包括其强大的注意力机制和与其他Transformer架构的差异。 关注TechLead&#x…
Hugging Face实战-系列教程3：AutoModelForSequenceClassification文本2分类
🚩🚩🚩Hugging Face 实战系列 总目录 有任何问题欢迎在下面留言 本篇文章的代码运行界面均在notebook中进行 本篇文章配套的代码资源已经上传 下篇内容： Hugging Face实战-系列教程4：padding与attention_mask
输出我…
自然语言处理(八)：预训练BERT
来自Transformers的双向编码器表示（BERT）
BERT（Bidirectional Encoder Representations from Transformers）是一种预训练的自然语言处理模型，由Google于2018年提出。它是基于Transformer模型架构的深度双向࿰…
NLP（2）--Transformer
目录
一、Transformer概述
二、输入和输出
三、Encoder
四、Decoder
五、正则化处理
六、对于结构的改进？
七、AT vs NAT
八、Cross-attention 一、Transformer概述 Transformer模型发表于2017年Google团队的Attention is All you need这篇论文，…
自然语言处理实战项目17-基于多种NLP模型的诈骗电话识别方法研究与应用实战
大家好，我是微学AI，今天给大家介绍一下自然语言处理实战项目17-基于NLP模型的诈骗电话识别方法研究与应用，相信最近小伙伴都都看过《孤注一掷》这部写实的诈骗电影吧，电影主要围绕跨境网络诈骗展开，电影取材自上万起真…
自然语言处理 微调ChatGLM-6B大模型
自然语言处理 微调ChatGLM-6B大模型 1、GLM设计原理2、大模型微调原理1、P-tuning v2方案2、LORA方案 1、GLM设计原理 bert的主要任务是随机的去除掉某个单词，使用上下文将其预测出来（相当于完形填空任务）； GPT的主要任务是根据前…
nlp系列（7）实体识别（Bert）pytorch
模型介绍
本项目是使用Bert模型来进行文本的实体识别。
Bert模型介绍可以查看这篇文章：nlp系列（2）文本分类（Bert）pytorch_bert文本分类_牧子川的博客-CSDN博客
模型结构
Bert模型的模型结构： 数据介绍 …
自然语言处理历史史诗：NLP的范式演变与Python全实现
目录 一、引言什么是自然语言处理？语言与人类思维自然语言的复杂性NLP的历史轨迹 二、20世纪50年代末到60年代的初创期符号学派重要的研究和突破 随机学派重要的研究和突破 三、20世纪70年代到80年代的理性主义时代基于逻辑的范式重要的研究和突破 基于规则的范式重…
【知识图谱】入门：通俗理解 什么是知识图谱 | 知识图谱就是NLP吗？只适用于自然语言处理？那你就out了！| 知识图谱能帮助我们完成什么任务？
把时间分给睡眠，分给书籍，分给运动，分给花鸟树木和山川湖海，分给你对这个世界的热爱，而不是将自己浪费在无聊的人和事上。 🎯作者主页： 追光者♂🔥 🌸个人简介： 💖[1] 计算机专业硕士研究生💖 🌟[2] 2022年度博客之星人工智能领域TOP4🌟 �…
chatGLM-Windows环境安装
Windows系统下环境安装
一、概要 不同安装方式安装python安装Nvidia驱动安装cuda与cuddn安装PyTorch与TensorFlow二、安装文件：
百度网盘链接：https://pan.baidu.com/s/1lbqhpIx-CAcBUfwSCjMNaA?pwd=4wwo
夸克网盘链接：https://pan.quark.cn/s/f59cefde0eee
三、正文：…
爬虫获取一个网站内所有子页面的内容
上一篇介绍了如何爬取一个页面内的所有指定内容，本篇讲的是爬去这个网站下所有子页面的所有指定的内容。 可能有人会说需要的内容复制粘贴，或者直接f12获取需要的文件下载地址一个一个下载就行了，但是如下图十几个一级几十个二级一百多个疾病…
用Python分析文本数据的词频并词云图可视化（文末送书）
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
ChatGLM OPENCL 和 CUDA 哪个 GPU 加速计算框架更快
OpenCL和CUDA都是强大的GPU加速计算框架，CUDA在与NVIDIA GPU的紧密结合下提供了更高性能，适用于专注于NVIDIA平台开发者；而OpenCL具有跨平台兼容性和多厂商支持的优势，适用于需要在不同硬件平台上进行开发的场景。 在现代计算领域，GPU 加速已经成为一种强大的工具，能够显…
ChatGLM 通俗理解大模型的各大微调方法：从LoRA、QLoRA到P-Tuning V1/V2
前言
PEFT 方法仅微调少量(额外)模型参数，同时冻结预训练 LLM 的大部分参数
第一部分 高效参数微调的发展史
1.1 Google之Adapter Tuning：嵌入在transformer里 原有参数不变 只微调新增的Adapter
谷歌的研究人员首次在论文《Parameter-Efficient Transfer Learning for N…
【计算机视觉】BYOL 讲解
BYOL 论文信息 标题：Bootstrap your own latent: A new approach to self-supervised Learning 作者：Jean-Bastien Grill 期刊：NeurIPS 2020 发布时间与更新时间：2020.06.13 2020.09.09 2020.09.10 主题：计算机视觉、对比学习 arXiv：[2006.07733] Bootstrap your own lat…
在PyTorch里面利用transformers的Trainer微调预训练大模型
背景
transformers提供了非常便捷的api来进行大模型的微调，下面就讲一讲利用Trainer来微调大模型的步骤
第一步：加载预训练的大模型
from transformers import AutoModelForSequenceClassificationmodel AutoModelForSequenceClassification.from_pr…
ChatGLM 基于医学行业针对性训练AIGC大模型
基于主动健康的主动性、预防性、精确性、个性化、共建共享、自律性六大特征[1]，华南理工大学未来技术学院-广东省数字孪生人重点实验室开源了中文领域生活空间主动健康大模型基座ProactiveHealthGPT，包括： (1) 经过千万规模中文健康对话数据指令微调的生活空间健康大模型扁鹊…
秒懂生成式AI—大语言模型是如何生成内容的？
备受关注的大语言模型，核心是自然语言的理解与文本内容的生成，对于此，你是否好奇过它们究竟是如何理解自然语言并生成内容的，其工作原理又是什么呢？
要想了解这个，我们就不得不先跳出大语言模型的领域&…
使用 FHE 实现加密大语言模型
近来，大语言模型 (LLM) 已被证明是提高编程、内容生成、文本分析、网络搜索及远程学习等诸多领域生产力的可靠工具。 大语言模型对用户隐私的影响 尽管 LLM 很有吸引力，但如何保护好 输入给这些模型的用户查询中的隐私 这一问题仍然存在。一方面…
NLP文本生成全解析：从传统方法到预训练完整介绍
目录 1. 引言1.1 文本生成的定义和作用1.2 自然语言处理技术在文本生成领域的使用 2 传统方法 - 基于统计的方法2.1.1 N-gram模型2.1.2 平滑技术 3. 传统方法 - 基于模板的生成3.1 定义与特点3.2 动态模板 4. 神经网络方法 - 长短时记忆网络(LSTM)LSTM的核心概念PyTorch中的LST…
ChatGPT追祖寻宗：GPT-3技术报告要点解读
论文地址：https://arxiv.org/abs/2005.14165 往期相关文章： ChatGPT追祖寻宗：GPT-1论文要点解读_五点钟科技的博客-CSDN博客ChatGPT追祖寻宗：GPT-2论文要点解读_五点钟科技的博客-CSDN博客 本文的标题之所以取名技术报告而不是论文…
《The Rise and Potential of Large Language Model Based Agents: A Survey》全文翻译
The Rise and Potential of Large Language Model Based Agents: A Surve - 基于 LLMs 的代理的兴起和潜力：一项调查 论文信息摘要1. 介绍2. 背景2.1 AI 代理的起源2.2 代理研究的技术趋势2.3 为什么大语言模型适合作为代理大脑的主要组件 论文信息
题目࿱…
阅读笔记——A Frustratingly Easy Approach for Entity and Relation Extraction
Abstract
本文的方法基本上建立在两个独立的编码器上，并且仅仅使用实体模型来构造关系模型的输入。通过一系列仔细的检查，本文验证了学习实体和关系的不同上下文表示、在关系模型中早期融合实体信息和合并全局上下文的重要性。最后，还提出了…
NLP 的 Task 和 Metric (Perplexity，BLEU，METOR，ROUGH，CIDEr)
Task 1. 信息检索IR（Information Retrieval）
信息检索（NLU）是指通过在大规模的文本库或数据库中搜索相关信息，将与用户查询匹配的文档或记录返回给用户。信息检索主要涉及到索引构建、查询处理和结果排序等技术&#…
【AI视野·今日NLP 自然语言处理论文速览 第三十七期】Wed, 20 Sep 2023
AI视野今日CS.NLP 自然语言处理论文速览 Wed, 20 Sep 2023 Totally 64 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
SlimPajama-DC: Understanding Data Combinations for LLM Training Authors Zhiqiang Shen, Tianhua Tao, Li…
Qwen-VL：多功能视觉语言模型，能理解、能定位、能阅读等
Overview 总览摘要1 引言2 方法2.1 模型结构2.2 输入输出 3 训练3.1 预训练3.2 多任务预训练3.3 监督finetune 4 评测4.1 图像文本描述和视觉问答4.2 面向文本的视觉问答4.3 指代表达理解4.4 视觉语言任务中的小样本学习4.4 现实用户行为下的指令遵循 5 相关工作6 总结与展望附…
将强化学习引入NLP：原理、技术和代码实现
目录 1. 强化学习简介1.1 什么是强化学习？1.2 强化学习的核心组件1.2.1 智能体 (Agent)1.2.2 状态 (State)1.2.3 动作 (Action)1.2.4 奖励 (Reward) 2. 强化学习与NLP的结合2.1 为什么在NLP中使用强化学习？2.2 强化学习在NLP中的应用场景2.2.1 对话系统2…
人工智能驱动的自然语言处理：解锁文本数据的价值
文章目录 什么是自然语言处理？NLP的应用领域1. 情感分析2. 机器翻译3. 智能助手4. 医疗保健5. 舆情分析 使用Python进行NLP避免NLP中的陷阱结论 🎉欢迎来到AIGC人工智能专栏~人工智能驱动的自然语言处理：解锁文本数据的价值 ☆* o(≧▽≦)o *…
Llama2-Chinese项目：2.3-预训练使用QA还是Text数据集？
Llama2-Chinese项目给出pretrain的data为QA数据格式，可能会有疑问pretrain不应该是Text数据格式吗？而在Chinese-LLaMA-Alpaca-2和open-llama2预训练使用的LoRA技术，给出pretrain的data为Text数据格式。所以推测应该pretrain时QA和Text数据格式…
SpaceX预计到2022年Starlink用户将达到2000万，但最终达到了100万
SpaceX的Starlink部门还没有接近实现客户和收入的预测，该公司在建立卫星网络之前与投资者分享了这一点华尔街日报报道今天出版。
据报道，2015年的一份题为“SpaceX用来从投资者那里筹集资金”的报告预计，到2022年，Starlink的订户…
文本挖掘day6 基于文本挖掘的化工事故致因网络分析
基于文本挖掘的化工事故致因网络分析 1 化工事故数据来源及处理2 化工事故报告文本挖掘2.1 事故影响因素词表构建2.2 化工事故特征的词云分析2.3 化工事故特征关键词提取2.4 化工事故致因关联分析 3 化工事故致因网络的构建与分析3.1 化工事故致因网络构建3.2 小世界特性分析3.…
mlc-llm 推理优化和大语言模型搭建解析
0x0. 前言
本文解析一下mlc-llm（https://github.com/mlc-ai/mlc-llm）对大模型推理的流程以及使用的图优化，算子优化策略。mlc-llm的模型部署流程可以查看官方文档：https://mlc.ai/mlc-llm/docs/ ，也可以参考我前段时间…
“新KG”视点 | 漆桂林——知识图谱和大语言模型的共存之道
OpenKG 大模型专辑 导读 知识图谱和大型语言模型都是用来表示和处理知识的手段。大模型补足了理解语言的能力，知识图谱则丰富了表示知识的方式，两者的深度结合必将为人工智能提供更为全面、可靠、可控的知识处理方法。在这一背景下，OpenKG组织…
Frontiers期刊撤稿36篇文章，原因是这个...
在2023年9月4日，Frontiers撤回了36篇文章，其中有15篇文章由中国学者参与，主要聚集在Front Environ Sci 杂志。
36篇文章列表： • 素材来源：诚信科研，转自“弗雷赛斯”
• 文中仅代表作者观点，…
腾讯汤道生：大模型只是起点，产业落地是AI更大的应用场景
6月21日，北大光华管理学院联合腾讯，宣布升级“数字中国筑塔计划”，共同推出“企业管理者人工智能通识课”系列课程，助力企业创始人和管理者拥抱AI。在第一课上，腾讯集团高级执行副总裁、云与智慧产业事业群CEO汤道生&a…
【文档智能】：GeoLayoutLM：一种用于视觉信息提取（VIE）的预训练模型
前言
文章介绍了一种用于视觉信息提取（VIE）的预训练模型：GeoLayoutLM。GeoLayoutLM通过显式建模几何关系和特殊的预训练任务来提高文本和布局的特征表示。该模型能够提高文档信息抽取的性能。
一、提出背景
当前多模态预训练模型在 SER 任…
中文分词的词典中的词性标记
词性标记： 包含 ICTPOS3.0词性标记集、ICTCLAS 汉语词性标注集、jieba 字典中出现的词性、simhash 中可以忽略的部分词性。
词分类
实词：名词、动词、形容词、状态词、区别词、数词、量词、代词虚词：副词、介词、连词、助词、拟声词、叹词。…
NLP（6）--Diffusion Model
目录
一、Flow-Based General Model
1、概述
2、函数映射关系
3、Coupling Layer
4、Glow
二、Diffusion Model
1、概述
2、前向过程
3、反向过程
4、训练获得噪声估计模型
5、生成图片
三、马尔科夫链 一、Flow-Based General Model
1、概述 Flow-Based General…
深度解析NLP文本摘要技术：定义、应用与PyTorch实战
目录 1. 概述1.1 什么是文本摘要？1.2 为什么需要文本摘要？ 2. 发展历程2.1 早期技术2.2 统计方法的崛起2.3 深度学习的应用2.4 文本摘要的演变趋势 3. 主要任务3.1 单文档摘要3.2 多文档摘要3.3 信息性摘要 vs. 背景摘要3.4 实时摘要 4. 主要类型4.1 抽取…
使用 LoRA 和 QLoRA 对大型语言模型进行参数高效的微调
概述
随着我们深入研究参数高效微调 (PEFT) 的世界，了解这种变革性方法背后的驱动力和方法变得至关重要。在本文中，我们将探讨 PEFT 方法如何优化大型语言模型 (LLM) 对特定任务的适应。我们将揭开 PEFT 的优点和缺点，深入研究 PEFT 技术的复杂类别，并破译两种卓越技术的内…
自然语言处理NLP：LTP、SnowNLP、HanLP 常用NLP工具和库对比
文章目录 常见NLP任务常见NLP工具英文NLP工具中文NLP工具 常见NLP任务 Word Segmentation 分词 – Tokenization Stem extraction 词干提取 - Stemming Lexical reduction 词形还原 – Lemmatization Part of Speech Tagging 词性标注 – Parts of Speech Named entity rec…
NLP 02 RNN
一、RNN
RNN(Recurrent Neural Network),中文称作循环神经网络它一般以序列数据为输入通过网络内部的结构设计有效捕捉序列之间的关系特征,一般也是以序列形式进行输出。 传统神经网络(包括CNN)，输入和输出都是互相独立的。但有些任务，后续的输出和之前…
LLM之Colossal-LLaMA-2：Colossal-LLaMA-2的简介、安装、使用方法之详细攻略
LLM之Colossal-LLaMA-2：Colossal-LLaMA-2的简介、安装、使用方法之详细攻略 导读：2023年9月25日，Colossal-AI团队推出了开源模型Colossal-LLaMA-2-7B-base。Colossal-LLaMA-2项目的技术细节，主要核心要点总结如下: >> 数据处…
LSTM+CRF模型
今天讲讲LSTM和CRF模型，LSTM（长短期记忆）是一种特殊的循环神经网络（RNN）模型，用于处理序列数据、时间序列数据和文本数据等。LSTM通过引入门控机制，解决了传统RNN模型在处理长期依赖关系时的困难…
基于大语言模型的智能问答系统应该包含哪些环节？
一个完整的基于 LLM 的端到端问答系统，应该包括用户输入检验、问题分流、模型响应、回答质量评估、Prompt 迭代、回归测试，随着规模增大，围绕 Prompt 的版本管理、自动化测试和安全防护也是重要的话题，本篇文章就来探索下这个过程…
【AI视野·今日NLP 自然语言处理论文速览 第四十七期】Wed, 4 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Wed, 4 Oct 2023 Totally 73 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Contrastive Post-training Large Language Models on Data Curriculum Authors Canwen Xu, Corby Rosset, Luc…
【AI视野·今日NLP 自然语言处理论文速览 四十九期】Fri, 6 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Fri, 6 Oct 2023 Totally 44 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
MathCoder: Seamless Code Integration in LLMs for Enhanced Mathematical Reasoning Authors Ke Wang, Houxi…
![[动手学深度学习]注意力机制Transformer学习笔记](https://img-blog.csdnimg.cn/8aee35168bb24f20a7d7ec9d978ec8ba.png)
[动手学深度学习]注意力机制Transformer学习笔记
动手学深度学习（视频）：68 Transformer【动手学深度学习v2】_哔哩哔哩_bilibili
动手学深度学习（pdf）：10.7. Transformer — 动手学深度学习 2.0.0 documentation (d2l.ai)
李沐Transformer论文逐段精读&a…
一本没有任何数学公式的自然语言处理入门书
ChatGPT 时代来了，AI 从旧时王谢堂前燕，飞入寻常百姓家。越来越多非 AI 领域 的软件开发者涌进 NLP(自然语言处理)领域。在这个快速发展的时代，如果这些软件开发 者要像读书那样先读 4 年本科、2 年硕士、3 年博士才能搞 AI，风口早…
使用密集预测变压器的图像语义分割--附源码下载
介绍
本文将研究图像语义分割的计算机视觉技术。虽然这听起来很复杂，但我们将逐步分解它，并且我们将引入图像语义分割的一个令人兴奋的概念，这是一种使用来自 Hugging Face 集合的密集预测变换器或简称 DPT 的实现。
学习目标 DPT 与远程连接的传统理解的比较。在 Python …
合肥工业大学自然语言处理实验报告
工程报告 目录 1 研究背景 4 2 工程目标 7 2.1 工程一 7 2.2 工程二 7 2.3 工程三 7 2.4 工程四 7 3 实验环境与工具 7 4 模型方法 8 4.1 n-gram模型 8 4.2 模型的平滑 9 4.2.1 Add-one 9 4.2.2 Add-k 9 4.2.3 Backoff 10 4.2.4 Interpolation 10 4.2.5 Absolute discounting 1…
华为云API自然语言处理的魅力—AI情感分析、文本分析
云服务、API、SDK，调试，查看，我都行
阅读短文您可以学习到：人工智能AI自言语言的情感分析、文本分词、文本翻译
1 IntelliJ IDEA 之API插件介绍
API插件支持 VS Code IDE、IntelliJ IDEA等平台、以及华为云自研 CodeArts IDE&a…
雷池社区WAF：保护您的网站免受黑客攻击 | 开源日报 0918
keras-team/keras
Stars: 59.2k License: Apache-2.0 Keras 是一个用 Python 编写的深度学习 API，运行在机器学习平台 TensorFlow 之上。它
简单易用：减少了开发者认知负荷，使其能够更关注问题中真正重要的部分。灵活性强：通过逐…
FasterTransformer在linux系统中的安装教程（ubuntu系统）
参考资料
官方文档
安装过程
在官方文档中，其对安装流程已经表述的比较详细，主要是安装nvidia-docker和安装编译FasterTransformer。其中难点主要是在安装nvidia-docker上。当然其实也可以不安装nvidia-docker，直接使用配置好的cuda环境配…
吴恩达《微调大型语言模型》笔记
微调（fine-tuning）就是利用特有数据和技巧将通用模型转换为能执行具体任务的一种方式。例如，将 GPT-3 这种通用模型转换为诸如 ChatGPT 这样的专门用于聊天的模型。或者将 GPT-4 转换为诸如 GitHub Coplot 这样的专门用于写代码的模型。
这里…
Elasticsearch：使用 huggingface 模型的 NLP 文本搜索
本博文使用由 Elastic 博客 title 组成的简单数据集在 Elasticsearch 中实现 NLP 文本搜索。你将为博客文档建立索引，并使用摄取管道生成文本嵌入。 通过使用 NLP 模型，你将使用自然语言在博客文档上查询文档。 安装 Elasticsearch 及 Kibana
如果你还没…
【NLTK系列02】NLTK库应用：使用 NLTK 进行情绪分析
使用 NLTK 进行情绪分析
上篇：【NLTK系列】：nltk库介绍（01）_无水先生的博客-CSDN博客 一、说明 上篇《NLTK库介绍》介绍了NLTK的基本用法，本篇介绍NLTK的一个具体应用：“使用 NLTK 进行情绪分析”…
决策树算法——C4.5算法
目录
1.ID3算法
2.C4.5算法
3.信息增益率
（1）信息增益率
（2）案例
4.决策树的剪枝
5.总结
（1）优点与改进
（2）缺点
（3） 总结及展望 近年来决策树方…
Explainability for Large Language Models: A Survey
本文是LLM系列文章，针对《Explainability for Large Language Models: A Survey》的翻译。 大型语言模型的可解释性:综述 摘要1 引言2 LLM的训练范式3 传统微调范式的解释4 提示范式的解释5 评估的解释6 研究挑战7 结论 摘要
大型语言模型(llm)在自然语言处理方面…
```，```中间添加 # + 空格 + 空行后遇到的底部空行出错，书接上回，处理空行
【python查找替换：查找空行，空行前后添加，中间添加 # 空格 空行后遇到的第1行文字？ - CSDN App】http://t.csdnimg.cn/QiKCV
def is_blank(line):return len(line.strip()) 0txt
时间戳：
("%Y-%m-%d %H:%M:…
NLP项目：维基百科文章爬虫和分类【02】 - 语料库转换管道
一、说明 我的NLP项目在维基百科条目上下载、处理和应用机器学习算法。相关上一篇文章中，展示了项目大纲，并建立了它的基础。首先，一个 Wikipedia 爬网程序对象，它按名称搜索文章，提取标题、类别、内容和相关页面&…
Bias and Fairness in Large Language Models: A Survey
本文是LLM系列文章，针对《Bias and Fairness in Large Language Models: A Survey》的翻译。 大型语言模型中的偏见与公平性研究 摘要1 引言2 LLM偏见与公平的形式化3 偏见评价指标的分类4 偏见评价数据集的分类5 缓解偏见的技术分类6 开放问题和挑战7 结论 摘要
…
Essential Steps in Natural Language Processing (NLP)
💗💗💗欢迎来到我的博客，你将找到有关如何使用技术解决问题的文章，也会找到某个技术的学习路线。无论你是何种职业，我都希望我的博客对你有所帮助。最后不要忘记订阅我的博客以获取最新文章，也欢…
ChatGPT或将引发现代知识体系转变
作为当下大语言模型的典型代表，ChatGPT对人类学习方式和教育发展所产生的变革效应已然引起了广泛关注。技术的快速发展在某种程度上正在“倒逼”教育领域开启更深层次的变革。在此背景下，教育从业者势必要学会准确识变、科学应变、主动求变、以变应变&am…
编程前置：句子联想游戏
꧂ 问题最初꧁
首先，让我们从一个简单的词汇“水”开始：
1. 我喜欢在晚饭时喝一杯温水。
2. 水是一种无色透明的液体。
3. 鱼需要水才能生存。
4. 当你游泳时，记得要保持呼吸。
5. 水可以带走所有的垃圾和污垢。
6. 水在自然界中循环&#…
掌握 BERT：自然语言处理 (NLP) 从初级到高级的综合指南（2）
BERT的先进技术 当您精通 BERT 后，就该探索先进技术以最大限度地发挥其潜力。在本章中，我们将深入研究微调、处理词汇外单词、领域适应，甚至从 BERT 中提取知识的策略。 微调策略：掌握适应 微调 BERT 需要仔细考虑。您不仅可以微调…
cdsn目录处理：```，```# 目录校正
原标题
<small>
cdsn目录处理：
，中间添加 # 空格 空行后
遇到的底部空行出错，书接上回，处理空行【python查找替换：查找空行，空行前后添加，中间添加 # 空格 空行后遇到的第1行文字&am…
chatGLM2-6B模型LoRA微调数据集实现大模型的分类任务
【TOC】
1.chatglm介绍
ChatGLM 模型是由清华大学开源的、支持中英双语问答的对话语言模型，并针对中文进行了优化。该模型基于 General Language Model（GLM）架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署。
ChatGLM 具备以下特点：
充…
【自然语言处理】— 隐马尔可夫模型详解、例解
【自然语言处理】— 隐马尔可夫模型 【自然语言处理】— 隐马尔可夫模型引例隐马尔可夫模型概念隐马尔可夫模型的关键隐马尔可夫模型的数学表示隐含状态与观测结果状态转移矩阵观测概率矩阵初始状态概率向量 小结 【自然语言处理】— 隐马尔可夫模型
引例
假设有三种不同的骰…
相似性搜索：第 4 部分--分层可导航小世界 （HNSW）
SImilarity 搜索是一个问题，给定一个查询的目标是在所有数据库文档中找到与其最相似的文档。
一、介绍 在数据科学中，相似性搜索经常出现在NLP领域，搜索引擎或推荐系统中，其中需要检索最相关的文档或项目以进行查询。在大量数据中…
9月大型语言模型研究论文总结
大型语言模型(llm)在今年发展迅速，随着新一代模型不断地被开发，研究人员和工程师了解最新进展变得非常重要。本文总结9-10月期间发布了一些重要的LLM论文。
这些论文涵盖了一系列语言模型的主题，从模型优化和缩放到推理、基准测试和增强性能…
解码自然语言处理之 Transformers
自 2017 年推出以来，Transformer 已成为机器学习领域的一支重要力量，彻底改变了翻译和自动完成服务的功能。 最近，随着 OpenAI 的 ChatGPT、GPT-4 和 Meta 的 LLama 等大型语言模型的出现，Transformer 的受欢迎程度进一步飙升。这…
基础课2——自然语言处理
1.概念
自然语言处理（Natural Language Processing, NLP）是计算机科学领域与人工智能领域中的一个重要方向，它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。
自然语言处理的主要研究方向包括： 语言学研究&…
如何让大模型自由使用外部知识与工具
本文将分享为什么以及如何使用外部的知识和工具来增强视觉或者语言模型。
全文目录：
1. 背景介绍 OREO-LM: 用知识图谱推理来增强语言模型 REVEAL: 用多个知识库检索来预训练视觉语言模型 AVIS: 让大模型用动态树决策来调用工具
技术交流群
建了技术交流群&a…
KILM: Knowledge Injection into Encoder-Decoder Language Models
本文是LLM系列文章，针对《KILM: Knowledge Injection into Encoder-Decoder Language Models》的翻译。 KILM：知识注入到编码器-解码器语言模型 摘要1 引言2 相关工作3 方法4 实验5 讨论6 结论局限性 摘要
大型预训练语言模型(PLMs)已被证明在其参数内保…
Large Language Models Meet NL2Code: A Survey
本文是LLM系列文章，针对《Large Language Models Meet NL2Code: A Survey》的翻译。 大语言模型遇到NL2Code：综述 摘要1 引言2 大语言模型用于NL2Code3 什么使得LLM成功？4 基准和指标5 挑战与机遇6 结论 摘要
从自然语言描述(NL2Code)生成代…
【LLM】大模型微调，压缩，量化，部署（还在缓慢更新
前段时间很忙一直没时间follow最近的大模型工作，最近几天闲一点了…这个可能会出现整理不全或者是结果没跑完的情况，我尽量快一点（如果最近没啥事的话），有啥想法可以在评论区d一下我。 LLM排行榜 ： https:/…
自然语言处理---Transformer机制详解之BERT模型特点
1 BERT的优点和缺点
1.1 BERT的优点
通过预训练, 加上Fine-tunning, 在11项NLP任务上取得最优结果.BERT的根基源于Transformer, 相比传统RNN更加高效, 可以并行化处理同时能捕捉长距离的语义和结构依赖.BERT采用了Transformer架构中的Encoder模块, 不仅仅获得了真正意义上的b…
![[人工智能-综述-15]：第九届全球软件大会（南京）有感 -4-大语言模型全流程、全方面提升软件生产效能](https://img-blog.csdnimg.cn/43e3de8f115c4ccba6dccb91391ccee9.png)
[人工智能-综述-15]：第九届全球软件大会（南京）有感 -4-大语言模型全流程、全方面提升软件生产效能
目录
一、软件生产通用模型
1.1 企业软件生产模型
1.2 软件项目管理 VS 软件工程
1.3 企业管理与部门管理
二、第一步：企业数字化：企业信息系统
三、第二步：软件生产自动化：DevOps
四、第四步：软件生产智能化&a…
自然语言处理---Transformer机制详解之GPT2模型介绍
1 GPT2的架构
从模型架构上看, GPT2并没有特别新颖的架构, 它和只带有解码器模块的Transformer很像.
所谓语言模型, 作用就是根据已有句子的一部分, 来预测下一个单词会是什么. 现实应用中大家最熟悉的一个语言模型应用, 就是智能手机上的输入法, 它可以根据当前输入的内容智…
自然语言处理---huggingface平台使用指南
1 huggingface介绍
Huggingface总部位于纽约，是一家专注于自然语言处理、人工智能和分布式系统的创业公司。他们所提供的聊天机器人技术一直颇受欢迎，但更出名的是他们在NLP开源社区上的贡献。Huggingface一直致力于自然语言处理NLP技术的平民化(democr…
CVer从0入门NLP（一）———词向量与RNN模型
🍊作者简介：秃头小苏，致力于用最通俗的语言描述问题 🍊专栏推荐：深度学习网络原理与实战 🍊近期目标：写好专栏的每一篇文章 🍊支持小苏：点赞👍🏼、…
【Gensim概念】03/3 NLP玩转 word2vec
第三部分 对象函数 八 word2vec对象函数 该对象本质上包含单词和嵌入之间的映射。训练后，可以直接使用它以各种方式查询这些嵌入。有关示例，请参阅模块级别文档字符串。
类型
KeyedVectors
1） add_lifecycle_event(event_name, log_level2…
NLP入门——语言结构/语言建模
一、Linguistics 语言学
wordsmorphology 形态学：词的构成和内部结构研究。如英语的dog、dogs和dog-catcher有相当的关系morpheme 语素：最小的语法单位，是最小的音义结合体lexeme 词位：词的意义的基本抽象单位，是一组…
【解刊】Elsevier旗下CCF-B类，3区SCI，见刊快，值得投吗？
计算机领域 • 好刊解读
今天小编带来CCF-B类推荐的好刊解读，知名出版社，分区不高，无需版面费，如有相关领域作者有意向投稿，不妨一起来了解一下~
01 期刊简介
Journal of Computer and System Sciences ☑️出版社&…
【网安大模型专题10.19】论文3：ChatGPT+自协作代码生成+角色扮演+消融实验
Self-collaboration Code Generation via ChatGPT 写在最前面朋友分享的收获与启发课堂讨论代码生成如何协作，是一种方法吗思路相同交互实用性 代码生成与自协作框架 摘要相关工作PPT学习大语言模型在代码生成方向提高生成的代码的准确性和质量：前期、后…
HuggingFace 国内下载 阿里云盘下载速度20MB/s
文章目录 效果展示思路阿里云盘API工具 aligo安装aligoaligo教程实战 保存模型到阿里云盘海外服务器下载模型装包aligo的上传代码 国内下载其他方式 效果展示
Huggingface被屏蔽了，根本下载不了。
阿里云盘下载速度最高可达20MB/s，平均17MB/s左右。【注…
企业级大数据处理实践——基于 Apache Flink
作者：禅与计算机程序设计艺术
1.简介
大数据领域正在经历一个百花齐放、草木皆兵的阶段，而Apache Flink作为当下最热门的开源大数据计算框架正在吸引越来越多的企业用户，帮助他们快速构建大数据平台，提升效率和价值。本文将从基础知识出发，通过Flink平台的实践案例，帮助…
大语言模型在天猫AI导购助理项目的实践！
本文主要介绍了Prompt设计、大语言模型SFT和LLM在手机天猫AI导购助理项目应用。
ChatGPT基本原理
“会说话的AI”，“智能体” 简单概括成以下几个步骤： 预处理文本：ChatGPT的输入文本需要进行预处理。 输入编码：ChatGPT将经过预…
Baichuan2：Open large-scale language models
1.introduction
baichuan2基于2.6万亿个token进行训练。 2.pre-training
2.1 pre-training data 数据处理：关注数据频率和质量。数据频率依赖于聚类和去重，构建了一个支持LSH型特征和稠密embedding特征的大规模去重和聚类系统，单个文档、段…
图像去噪滤波算法汇总(Python)
前言
上篇文章：图像数据噪音种类以及Python生成对应噪音，汇总了常见的图片噪音以及噪音生成方法，主要用在数据增强上面，作为数据集填充的方式，可以避免模型过拟合。想要了解图像数据增强算法的可以去看本人所撰这篇文…
nlp与知识图谱代码解读_词嵌入
目录 词嵌入简单原理代码案例解读专业原理介绍场景 词嵌入
简单原理
可以使用一些比喻和生活中的例子： 老师： 你们还记得玩乐高积木的时候，每个积木块代表了一个特定的事物或形状吗？现在，想象一下，每个词…
Specializing Smaller Language Models towards Multi-Step Reasoning论文精读
0 Abstract
普遍认为，LLM涌现出来的few-shot learning能力是超大参数模型独有的（>100B）【emergent abilities】；作者认为，小模型（<10B）可以将这些能力从大模型（>100B&…
DoLa：对比层解码提高大型语言模型的事实性
DoLa：对比层解码提高大型语言模型的事实性 摘要1 引言2 方法2.1 事实知识在不同层级上演化2.2 动态早期层选择2.3 预测对比 3 实验3.1 任务3.2 实验设置3.3 多项选择3.3.1 TruthfulQA：多项选择3.3.2 FACTOR：维基、新闻 3.4 开放式文本生成3.4…
中文分词库-jieba
问题1：（8分）用 jieba 分词，计算字符串 s 中的中文词汇个数，不包括中文标点符号。显示输出分词后的结果，用”/ ”分隔，以及中文词汇个数。示例如下：
输入：
工业互联网”…
大语言模型(LLM)综述(四)：如何适应预训练后的大语言模型
A Survey of Large Language Models 前言5. ADAPTATION OF LLMS5.1 指导调优5.1.1 格式化实例构建5.1.2 指导调优策略5.1.3 指导调优的效果5.1.4 指导调优的实证分析 5.2 对齐调优5.2.1 Alignment的背景和标准5.2.2 收集人类反馈5.2.3 根据人类反馈进行强化学习5.2.4 无需 RLHF…
自然语言处理 （NLP） 简介
自然语言处理 （Natural Language Processing NLP） 简介
本课程是关于NLP 101的4部分系列中的第1部分：
自然语言处理导论（今天的教程）BagofWords模型简介Word2Vec：自然语言处理中嵌入的研究BagofWords与Wo…
EVALUATING HALLUCINATIONS IN CHINESE LARGE LANGUAGE MODELS
本文是LLM系列文章，针对《EVALUATING HALLUCINATIONS IN CHINESE LARGE LANGUAGE MODELS》的翻译。 中文大语言模型的幻觉评价 摘要1 引言2 HALLUQA基准3 实验4 讨论5 相关工作6 结论 摘要
在本文中，我们建立了一个名为HalluQA (Chinese Hallucination…
ESM蛋白质语言模型系列
模型总览 第一篇《Biological structure and function emerge from scaling unsupervised learning to 250 million protein sequences 》ESM-1b 第二篇《MSA Transformer》在ESM-1b的基础上作出改进，将模型的输入从单一蛋白质序列改为MSA矩阵，并在Tran…
Data-Centric Financial Large Language Models
本文是LLM系列文章，针对《Data-Centric Financial Large Language Models》的翻译。 以数据为中心的大语言金融模型 摘要1 引言2 背景3 方法4 实验5 结论和未来工作 摘要
大型语言模型（LLM）有望用于自然语言任务，但在直接应用于…
XoT：一种新的大语言模型的提示技术
这是微软在11月最新发布的一篇论文，题为“Everything of Thoughts: Defying the Law of Penrose Triangle for Thought Generation”，介绍了一种名为XOT的提示技术，它增强了像GPT-3和GPT-4这样的大型语言模型(llm)解决复杂问题的潜力。 当前提…
大模型LLMs 部分常见面试题答案-进阶面
题库来源：GitHub - km1994/LLMs_interview_notes: 该仓库主要记录 大模型（LLMs） 算法工程师相关的面试题
目录
什么是 LLMs 复读机问题？
为什么会出现 LLMs 复读机问题？
如何缓解 LLMs 复读机问题？
LL…
Python爬虫实战（六）——使用代理IP批量下载高清小姐姐图片（附上完整源码）
文章目录 一、爬取目标二、实现效果三、准备工作四、代理IP4.1 代理IP是什么？4.2 代理IP的好处？4.3 获取代理IP4.4 Python获取代理IP 五、代理实战5.1 导入模块5.2 设置翻页5.3 获取图片链接5.4 下载图片5.5 调用主函数5.6 完整源码5.7 免费代理不够用怎…
多模态对比语言图像预训练CLIP：打破语言与视觉的界限
项目设计集合（人工智能方向）：助力新人快速实战掌握技能、自主完成项目设计升级，提升自身的硬实力（不仅限NLP、知识图谱、计算机视觉等领域）：汇总有意义的项目设计集合，助力新人快速实…
大语言模型(LLM)综述(五)：使用大型语言模型的主要方法
A Survey of Large Language Models 前言6 UTILIZATION6.1 In-Context Learning6.1.1 提示公式6.1.2 演示设计6.1.3 底层机制 6.2 Chain-of-Thought Prompting6.2.1 CoT的上下文学习6.2.2 关于CoT的进一步讨论 6.3 Planning for Complex Task Solving6.3.1 整体架构6.3.2 计划生…
Talk | ACL‘23 杰出论文，MultiIntruct：通过多模态指令集微调提升VLM的零样本学习
本期为TechBeat人工智能社区第536期线上Talk！ 北京时间10月11日(周三)20:00，弗吉尼亚理工大学博士生—徐智阳、沈莹的Talk已准时在TechBeat人工智能社区开播！ 他们与大家分享的主题是: “通过多模态指令集微调提升VLM的零样本学习”ÿ…
【Gensim概念】01/3 NLP玩转 word2vec
第一部分 词法
一、说明 Gensim是一种Python库，用于从文档集合中提取语义主题、建立文档相似性模型和进行向量空间建模。它提供了一系列用于处理文本数据的算法和工具，包括主题建模、相似性计算、文本分类、聚类等。在人工智能和自然语言处理领域&…
如何借助数据集更好的评估NLP模型的性能？
随着信息时代的迅猛发展，每天有无数文本、声音、图片和视频不断涌入互联网。如何从海量数据中提炼有意义信息成为学术界和工业界迫切需要解决的问题。在此背景下，自然语言处理（NLP）应运而生，成为人工智能领域最为活跃的…
【LLM_03】自然语言处理基础_1
一、自然语言处理基基本任务和应用1、自然语言处理的基本任务2、搜索引擎的基本工作原理3、知识图谱的构建4、应用 二、词表示与语言模型1、词表示2、上下文3、语言模型4、神经网络在语言模型的应用 三、神经网络1、神经网络基本组成元素2、如何训练神经网络3、计算图的概念4、…
开放领域问答机器人2——开发流程和方案
开放领域问答机器人是指在任何领域都能够回答用户提问的智能机器人。与特定领域问答机器人不同，开放领域问答机器人需要具备更广泛的知识和更灵活的语义理解能力，以便能够回答各种不同类型的问题。
开发开放领域问答机器人的流程和方案可以包括以下步骤…
深度解析NLP定义、应用与PyTorch实战
1. 概述 文本摘要是自然语言处理（NLP）的一个重要分支，其核心目的是提取文本中的关键信息，生成简短、凝练的内容摘要。这不仅有助于用户快速获取信息，还能有效地组织和归纳大量的文本数据。
1.1 什么是文本摘要&#x…
大模型LLMs 部分常见面试题答案-基础面
题库来源：GitHub - km1994/LLMs_interview_notes: 该仓库主要记录 大模型（LLMs） 算法工程师相关的面试题
目录
1. Prefix Decoder、Causal Decoder和Encoder-Decoder的区别
1.1 Prefix Decoder
1.2 Causal Decoder
1.3 Encoder-Decoder …
Democratizing Reasoning Ability: Tailored Learning from Large Language Model
本文是LLM系列文章，针对《Democratizing Reasoning Ability: Tailored Learning from Large Language Model》的翻译。 推理能力民主化：从大语言模型中定制化学习 摘要1 引言2 相关工作3 方法4 实验5 分析6 结论局限性 摘要
大型语言模型（L…
NLP之LSTM与BiLSTM
文章目录 代码展示代码解读双向LSTM介绍（BiLSTM） 代码展示
import pandas as pd
import tensorflow as tf
tf.random.set_seed(1)
df pd.read_csv("../data/Clothing Reviews.csv")
print(df.info())df[Review Text] df[Review Text].astyp…
NLP之LSTM原理剖析
文章目录 背景simpleRNN的局限性 LSTM手写一下sigmoid例子支持长记忆的神经网络解读3重门 背景
SimpleRNN有一定局限性， 图片上的文字内容: 图片标题提到“SimpleRNN是一种基础模型。它用于解决序列型问题，其中的每一步的输出会影响到下一步的结果。图…
MetaAI提出全新验证链框架CoVE，大模型也可以通过“三省吾身”来缓解幻觉现象
论文名称： Chain-of-Verification Reduces Hallucination in Large Language Models 论文链接： https://arxiv.org/abs/2309.11495 曾子曰：“吾日三省吾身” --出自《论语学而》
时至今日，生成幻觉（hallucination&…
AI时代，ChatGPT与文心一言选哪一个？
🎈个人公众号:🎈 :✨✨✨ 可为编程✨ 🍟🍟 🔑个人信条:🔑 为与不为皆为可为🌵 你们平时都是在什么情况下使用GPT的呢？为何使用？都使用什么平台的？ 针对以上问…
LLM大语言模型训练中常见的技术：微调与嵌入
微调（Fine-Tuning）： 微调是一种用于预训练语言模型的技术。在预训练阶段，语言模型（如GPT-3.5）通过大规模的文本数据集进行训练，从而学会了语言的语法、语义和世界知识。然后，在微调阶…
一个ppt带你读懂网络安全行业四大顶会之一的ndss论文＜＜Large Language Model guided Protocol Fuzzing＞＞
论文下载地址： Large Language Model guided Protocol Fuzzing
解锁AI语言模型的秘密武器 - 提示工程
文章目录 一、LLM概念1.1 什么是LLMs1.2 LLMs类别1.3 如何构建LLM 二、提示工程简介2.1 基础提示2.2 使用提示词的必要性 三、 提示3.1 如何写好提示词3.1.1 使用分隔符3.1.2 结构化输出3.1.3 风格信息3.1.4 给定条件3.1.5 给出示例3.1.6 步骤分解3.1.7 不断迭代 3.2 提示工程3…
我的大语言模型微调踩坑经验分享
由于 ChatGPT 和 GPT4 兴起，如何让人人都用上这种大模型，是目前 AI 领域最活跃的事情。当下开源的 LLM（Large language model）非常多，可谓是百模大战。面对诸多开源本地模型，根据自己的需求，选择…
又一大语言模型上线！一次可读35万汉字！
国内大模型创业公司，正在技术前沿创造新的记录。10 月 30 日，百川智能正式发布 Baichuan2-192K 长窗口大模型，将大语言模型（LLM）上下文窗口的长度一举提升到了 192K token。
这相当于让大模型一次处理约 35 万个汉字&…
![[NLP] LlaMa2模型运行在Mac机器](https://img-blog.csdnimg.cn/6eed6a884a784fd0a43f2447319923eb.png)
[NLP] LlaMa2模型运行在Mac机器
本文将介绍如何使用llama.cpp在MacBook Pro本地部署运行量化版本的Llama2模型推理，并基于LangChain在本地构建一个简单的文档Q&A应用。本文实验环境为Apple M1 芯片 8GB内存。 Llama2和llama.cpp
Llama2是Meta AI开发的Llama大语言模型的迭代版本，…
AUGMENTING LOGICAL REASONING CAPABILITIES WITH LARGE LANGUAGE MODELS
本文是LLM系列文章，针对《FROM INDETERMINACY TO DETERMINACY: AUGMENTING LOGICAL REASONING CAPABILITIES WITH LARGE LANGUAGE MODELS》的翻译。 从不确定性到确定性：用大型语言模型增强逻辑推理能力 摘要1 引言2 相关工作3 DETERMLR4 实验5 结论 摘…
NLP之Bert实现文本多分类
文章目录 代码代码整体流程解读debug上面的代码 代码
from pypro.chapters03.demo03_数据获取与处理 import train_list, label_list, val_train_list, val_label_list
import tensorflow as tf
from transformers import TFBertForSequenceClassificationbert_model "b…
千帆Llama 2中文增强技术介绍--SFT，预训练，指令优化
目录
千帆Llama 2中文增强技术介绍
SFT，预训练，指令优化 千帆Llama 2中文增强技术介绍 SFT，预训练，指令优化
讯飞AI算法挑战大赛-校招简历信息完整性检测挑战赛-三等奖方案
前言
本文公开了”讯飞AI算法挑战大赛-校招简历信息完整性检测挑战赛“赛道的技术方案，本次比赛主要采用pdf解析和特征工程的方法，通过使用lightgbm的树模型10折交叉验证进行二分类的任务，最终取得三等奖的成绩。
一、赛题任务
简历智能化…
第二章:人工智能深度学习教程-深度学习简介
深度学习是基于人工神经网络的机器学习的一个分支。它能够学习数据中的复杂模式和关系。在深度学习中，我们不需要显式地对所有内容进行编程。近年来，由于处理能力的进步和大型数据集的可用性，它变得越来越流行。因为它基于人工神经网络&#…
CVF 在 TNEWS 数据集上测试
CVF 在 TNEWS 数据集上测试 实验结果分析挂载数据集 TNEWS处理数据集 TNEWS定义网络训练网络测试模型项目地址实验结果分析 模型名模型大小开发集（dev）ALBERT-tiny4M53.35CVF(自回归法)7.1M49.57挂载数据集 TNEWS
https://aistudio.baidu.com/datasetdetail/152514
处理数据…
基于Fuzzing和ChatGPT结合的AI自动化测试实践分享
一、前言
有赞目前，结合insight接口自动化平台、horizons用例管理平台、引流回放平台、页面比对工具、数据工厂等，在研发全流程中，已经沉淀了对应的质量保障的实践经验，并在逐渐的进化中。
在AI能力大幅进步的背景下，…
【高分快刊】Elsevier旗下，中科院2区SCI，2个月19天录用！
计算机类 • 高分快刊解读
今天小编带来Elsevier旗下计算机领域好刊的解读，如有相关领域作者有意向投稿，可作为重点关注！后文有真实发表案例，供您投稿参考~
01 期刊简介
☑️出版社：Elsevier
☑️影响因子…
Evaluating Large Language Models: A Comprehensive Survey
本文是LLM系列文章，针对《Evaluating Large Language Models: A Comprehensive Survey》的翻译。 评估大型语言模型：一项综合调查 摘要1 引言2 分类和路线图3 知识和能力评估4 对齐评估5 安全评估6 专业LLM评估7 评估组织8 未来方向9 结论 摘要
大型语…
CodeFuse-13B: A Pretrained Multi-lingual Code Large Language Model
本文是LLM系列文章，针对《CodeFuse-13B: A Pretrained Multi-lingual Code Large Language Model》的翻译。 CodeFuse-13B:一个预训练的多语言代码大型语言模型 摘要1 引言2 数据准备3 训练4 评估5 相关工作6 讨论，结论，未来工作 摘要
代码…
拓展认知边界：如何给大语言模型添加额外的知识
Integrating Knowledge in Language Models
P.s.这篇文章大部分内容来自Stanford CS224N这门课Integrating Knowledge in Language Models这一节😁
为什么需要给语言模型添加额外的知识
1.语言模型会输出看似make sense但实际上不符合事实的内容
语言模型在生成…
第三章:人工智能深度学习教程-基础神经网络(第五节-了解多层前馈网络)
让我们了解反向传播网络 (BPN) 中的误差是如何计算的以及权重是如何更新的。
考虑下图中的以下网络。 反向传播网络（BPN） 上图中的网络是一个简单的多层前馈网络或反向传播网络。它包含三层，输入层有两个神经元 x 1和 x 2，隐藏层有两个神经元 z 1和 z 2，输出层有一个神经…
大语言模型的关键技术（二）
一、Transformer 语言模型存在明显的扩展效应： 更大的模型/数据规模和更多的训练计算通常会导致模型能力的提升。
1、扩展效应的原因： 模型规模：增加模型的规模，即增加模型的参数数量和层数，通常会提高模型的表示能力…
基于飞浆NLP的BERT-finetuning新闻文本分类
目录 1.数据预处理 2.加载模型 3.批训练 4.准确率 1.数据预处理 导入所需库 import numpy as np
from paddle.io import DataLoader,TensorDataset
from paddlenlp.transformers import BertForSequenceClassification, BertTokenizer
from sklearn.model_selection import tra…
Langchain-Chatchat实践详解
简介
本质上是在Langchain基础上封装的一层聊天服务，可以对接底层多种离线LLM和在线的LLM（也可以对接自定义的在线LLM）。提供基于知识库聊天功能相关的一系列API。 下载源码
源码地址：
https://github.com/chatchat-space/Lang…
第五章:人工智能深度学习教程-人工神经网络(第一节-人工神经网络及其应用)
当您阅读这篇文章时，您体内的哪个器官正在思考这个问题？当然是大脑啦！但你知道大脑是如何运作的吗？嗯，它有神经元或神经细胞，它们是大脑和神经系统的主要单位。这些神经元接收来自外界的感觉输入并进行处理…
大语言模型-LLM简介
大语言模型如此火爆，查了些资料整理一下，做个初步的了解。 语言模型的发展从开始的统计方法到使用神经网络，再到现在通过使用Transformer架构的模型训练大量数据，理解文本规则和模式，同时随着训练数据和模型的扩大&…
基于讯飞星火大语言模型开发的智能插件：小策问答
星火大语言模型是一种基于深度学习的自然语言处理技术，它能够理解和生成人类语言。这种模型的训练过程涉及到大量的数据和复杂的算法，但最终的目标是让机器能够像人一样理解和使用语言。
小策问答是一款基于星火大语言模型的定制化GPT插件小工具。它的主…
韩语图片文字如何转为纯文本？
如何将上图为韩语的图片转为文本文件？这个需要用到OCR程序，操作方法如下：
一、打开金鸣识别网站。 二、点击“点击添加图片/PDF”，将待识别的图片添加到列表。
三、识别模块点选“通用文字”，输出格式选择“纯文本输…
开放领域问答机器人1
开放领域问答机器人是一种智能机器人，它不受限制，可以回答任何问题。这种机器人主要通过自然语言处理技术来理解用户的问题，并从大量的数据中获取相关信息，以提供准确的答案。它的应用领域广泛，包括客户服务、教育、医…
LoRAShear:微软在LLM修剪和知识恢复方面的最新研究
LoRAShear是微软为优化语言模型模型(llm)和保存知识而开发的一种新方法。它可以进行结构性修剪，减少计算需求并提高效率。
LHSPG技术（ Lora Half-Space Projected Gradient）支持渐进式结构化剪枝和动态知识恢复。可以通过依赖图分析和稀疏度…
【论文精读】VOYAGER: An Open-Ended Embodied Agent with Large Language Models
Understanding LSTM Networks 前言Abstract1 Introduction2 Method2.1 Automatic Curriculum2.2 Skill Library2.3 Iterative Prompting Mechanism 3 Experiments3.1 Experimental Setup3.2 Baselines3.3 Evaluation Results3.4 Ablation Studies3.5 Multimodal Feedback from …
《向量数据库指南》——TruLens 用于语言模型应用跟踪和评估
TruLens 用于语言模型应用跟踪和评估 TruLens 是一个用于评估语言模型应用(如 RAG)的性能的开源库。通过 TruLens，我们还可以利用语言模型本身来评估输出、检索质量等。 构建语言模型应用时，多数人最关心的问题是 AI 幻觉（hallucination）。RAG 通过为语言模型提供检索上下文…
如何在Jupyter Lab中安装不同的Kernel
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
ELMo模型、word2vec、独热编码（one-hot编码）的优缺点进行对比
下面是对ELMo模型、word2vec和独热编码（one-hot编码）的优缺点进行对比：
独热编码（One-hot Encoding）： 优点：
简单，易于理解。适用于词汇表较小的场景。
缺点：
高维度…
NLP实战命名实体识别
文章目录 一、导入相关包二、加载数据集三、数据预处理四、创建模型五、创建评估函数六、配置训练参数七、创建训练器八、模型训练九、模型预测 一、导入相关包
DataCollatorForTokenClassification 用于 Token 级别的分类任务
import evaluate
from datasets import load_da…
【AI视野·今日NLP 自然语言处理论文速览 第六十二期】Wed, 25 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Wed, 25 Oct 2023 (showing first 100 of 112 entries) Totally 100 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
MuSR: Testing the Limits of Chain-of-thought with Multistep Soft R…
ChatkBQA：一个基于大语言模型的知识库问题生成-检索框架11.13
ChatkBQA：一个基于大语言模型的知识库问题生成-检索框架 摘要1 引言3 准备工作4 方法4.1 ChatKBQA概述4.2 在LLMS上进行高效微调4.3 用微调LLMS生成逻辑形式4.4 实体和关系的非监督检索4.5 可解释查询执行 摘要
基于知识的问答（KBQA）旨在从大…
使用matplotlib 演示矩阵乘法
使用matplotlib 演示矩阵乘法 代码代码解释代码
import numpy as np
import matplotlib.pyplot as pltplt.ion()# 第一个矩阵
w = 50
h = 30
# 第二个矩阵
w1 = 30
h1 = 50colors0
注意力机制（Attention）、自注意力机制(Self Attention)和多头注意力(Multi-head Self Attention)机制详解
目录 参考一、Attention注意力机制原理计算过程 二、自注意力机制2.1 自注意力关键！！2.2 实现步骤1. 获取 K Q V2. MatMul3. scale softmax归一化4. MalMul 2.3 自注意力机制的缺陷 三、多头自注意力机制3.1 简介3.2 实现步骤3.3 公式 参考
感谢我的互…
【AI视野·今日NLP 自然语言处理论文速览 第六十三期】Thu, 26 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Thu, 26 Oct 2023 Totally 89 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
LLM-FP4: 4-Bit Floating-Point Quantized Transformers Authors Shih yang Liu, Zechun Liu, Xijie Huang, P…
基础课8——中文分词
中文分词指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段能通过明显的分界符来简单划界，唯独词没有一个…
【AI视野·今日NLP 自然语言处理论文速览 第六十四期】Fri, 27 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Fri, 27 Oct 2023 Totally 80 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
torchdistill Meets Hugging Face Libraries for Reproducible, Coding-Free Deep Learning Studies: A Case …
【自然语言处理】【大模型】赋予大模型使用工具的能力：Toolformer与ART
赋予大模型使用工具的能力：Toolformer与ART 本文介绍两种赋予大模型使用外部工具能力的方法：Toolformer和ART。
Toolformer论文地址：https://arxiv.org/pdf/2302.04761.pdf
ART论文地址：https://arxiv.org/pdf/2303.09014.pd…
测试Bard和ChatGPT关于双休的法规和推理
Bard是试验品，chatgpt是3.5版的。
首先带着问题，借助网络搜索，从政府官方网站等权威网站进行确认，已知正确答案的情况下，再来印证两个大语言模型的优劣。
想要了解的问题是，在中国，跟法定工作…
NLP之Bert实现文本分类
文章目录 1. 代码展示2. 整体流程介绍3. 代码解读4. 报错解决4.1 解决思路4.2 解决方法 1. 代码展示
from tqdm import tqdm # 可以在循环中添加进度条x [1, 2, 3] # list
print(x[:10] [0] * -7)from transformers import AutoTokenizertokenizer AutoTokenizer.from_pr…
(八)、基于 LangChain 实现大模型应用程序开发 | 基于知识库的个性化问答 (检索 Retrieval)
检索增强生成（RAG）的整体工作流程如下： 在构建检索增强生成 (RAG) 系统时，信息检索是核心环节。检索是指根据用户的问题去向量数据库中搜索与问题相关的文档内容，当我们访问和查询向量数据库时可能会运用到如下几种技术…
(三)、基于 LangChain 实现大模型应用程序开发 | 模型链 Chains
😄 为什么我们需要Chains ？
链允许我们将多个组件组合在一起，以创建一个单一的、连贯的应用程序。链（Chains）通常将一个LLM（大语言模型）与提示结合在一起，使用这个构建块࿰…
Transformers库总体介绍
Transformers库是什么
Transformers 库是一个在自然语言处理（NLP）领域广泛使用的强大库，提供了一套全面的工具和预训练模型，用于执行各种 NLP 任务。以下是 transformers 库提供的主要功能：
1.预训练模型：…
Talk | PSU助理教授吴清云：AutoGen-用多智能体对话开启下一代大型语言模型应用
本期为TechBeat人工智能社区第548期线上Talk！ 北京时间11月21日(周二)20:00，宾夕法尼亚州立大学助理教授—吴清云的Talk已准时在TechBeat人工智能社区开播！ 她与大家分享的主题是: “ AutoGen：用多智能体对话开启下一代大型语言模…
NLP之Bert多分类实现案例(数据获取与处理)
文章目录 1. 代码解读1.1 代码展示1.2 流程介绍1.3 debug的方式逐行介绍 3. 知识点 1. 代码解读
1.1 代码展示
import json
import numpy as np
from tqdm import tqdmbert_model "bert-base-chinese"from transformers import AutoTokenizertokenizer AutoToken…
2023年中国自然语言处理行业研究报告
第一章 行业概况
1.1 定义
自然语言处理（Natural Language Processing，简称NLP）是一门交叉学科，它结合了计算机科学、人工智能和语言学的知识，旨在使计算机能够理解、解释和生成人类语言。NLP的核心是构建能够理解和…
LangChain+LLM实战---Embedding Model
原文地址：Choosing the Right Embedding Model: A Guide for LLM Applications
什么是向量Embedding
在AI聊天机器人的开发领域中，向量Embedding在获取文本信息的本质方面起着关键作用。向量Embedding的核心是指在数学空间中将单词、句子甚至整个文档表…
斯坦福NLP课程来了
生成式AI，尤其是以ChatGPT为首的大语言模型正在改变人们的生活方式，我想一定有小伙伴想加入NLP这个行列。
微软重磅发布4个适合初学者的机器学习资料
我在前一篇文章中分享了微软人工智能初学者课程，其中的【生成式AI】非常适合初学者&…
【NLP】GPT 模型如何工作
介绍
2021 年，我使用 GPT 模型编写了最初的几行代码，那时我意识到文本生成已经达到了拐点。我要求 GPT-3 总结一份很长的文档，并尝试了几次提示。我可以看到结果比以前的模型先进得多，这让我对这项技术感到兴奋，并渴望…
Re51：读论文 Language Models as Knowledge Bases?
诸神缄默不语-个人CSDN博文目录 诸神缄默不语的论文阅读笔记和分类
论文名称：Language Models as Knowledge Bases?
ArXiv网址：https://arxiv.org/abs/1909.01066
官方GitHub项目：https://github.com/facebookresearch/LAMA
本文是2019年…
NLP在网安领域中的应用（初级）
NLP在网安领域的应用 写在最前面1. 威胁情报分析1.1 社交媒体情报分析（后面有详细叙述）1.2 暗网监测与威胁漏洞挖掘 2. 恶意软件检测2.1 威胁预测与趋势分析 3. 漏洞管理和响应4. 社交工程攻击识别4.1 情感分析与实时监测4.2 实体识别与攻击者画像构建4.…
【nlp】3.3 Transformer论文复现：2. 编码器部分（掩码张量、多头注意力机制、前馈全连接层）
Transformer论文复现：2. 编码器部分（掩码张量、多头注意力机制、前馈全连接层） 2 编码器复现2.1 编码器介绍2.2 掩码张量2.2.1 掩码张量介绍2.2.2 掩码张量的作用2.2.3 生成掩码张量的代码实现2.2.4 掩码张量的可视化2.2.5 掩码张量总结2.3 注意力机制2.3.1 注意力计算规则的…
【LLM_04】自然语言处理基础_2
一、神经网络1、循环神经网络（RNN）2、门控循环单元（GRU）3、长短期记忆网络（LSTM）4、双向RNN5、卷积神经网络（CNN） 二、注意力机制1、注意力机制原理介绍2、注意力机制的各种变式3、注…
轻松入门自然语言处理系列 项目3 基于Linear-CRF的医疗实体识别
文章目录 前言一、项目概况1.项目描述2.数据描述3.项目框架二、核心技术1.实体识别数据标注2.文本特征工程3.CRF模型4.BiLSTM-CRF模型三、项目实施1.读取数据2.数据标注3.文本特征工程4.模型训练5.模型评估6.BiLSTM-CRF总结前言
本文主要介绍了以Linear-CRF为基础模型进行医疗…
测试Bard和ChatGPT对双休有关法规的认知和简单推理
Bard是试验品，chatgpt是3.5版的。
首先带着问题，借助网络搜索，从政府官方网站等权威网站进行确认，已知正确答案的情况下，再来印证两个大语言模型的优劣。
想要了解的问题是，在中国，跟法定工作…
代码跑不通Unified Visual Relationship Detection with Vision and Language Models
很奇怪，scenic这个库是新出的吗？导入app怎么会报错捏
# Copyright 2023 The Scenic Authors.
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
#…
一文带你了解机器翻译的前世今生
引言
我们都知道谷歌翻译，这个网站可以像变魔术一样在100 种不同的人类语言之间进行翻译。它甚至可以在我们的手机和智能手表上使用： 谷歌翻译背后的技术被称为机器翻译。它的出现改变了世界交流方式。 事实证明，在过去几年中，深…
多模态大模型总结1（2021和2022年）
常用损失函数
ITC （image-text contrasctive loss）
CLIP中采用的对比损失，最大化配对文本对的余弦相似度，最小化非配对文本对的余弦相似度，采用交叉熵损失实现
MLM （masked language modeling࿰…
极客时间：使用本地小型语言模型运行网页浏览器应用程序。
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…
微软发布了Orca 2，一对小型语言模型，它们的性能超越了体积更大的同类产品
尽管全球目睹了OpenAI的权力斗争和大规模辞职，但作为AI领域的长期支持者，微软并没有放慢自己的人工智能努力。今天，由萨提亚纳德拉领导的公司研究部门发布了Orca 2，这是一对小型语言模型，它们在零样本设置下对复杂推理…
NLP---文本前期预处理的几个步骤
1、读取文本
text1 """
Football is a family of team sports that involve, to varying degrees, kicking a ball to score a goal.
Unqualified, the word football is understood to refer to whichever form of football is the most popular
in the reg…
大模型中的各种模型名词概念
目录 一、模型
Transformer
GPT（GPT-3、GPT-3.5、GPT-4）
BERT
RoBERTa
T5
XlNet
GShard
Switch Transformer
InstrucGPT
ChatGPT
大模型
LLM（大语言模型）
Alpaca （羊驼）
LLaMA
Vicuna 俗称「…
Miniconda虚拟环境安装(chatglm2大模型安装步骤二)
1.服务器配置
服务器系统：Centos7.9 x64 显卡：RTX3090 （24G）
2.安装环境
2.1 检查conda是否安装
输入命令：conda -V 如果显示conda 4.7.12，说明已经有不需要安装
2.2 安装Miniconda
在家目录建一个mi…
从PDF和图像中提取文本，以供大型语言模型使用
想法 大型语言模型已经席卷了互联网，导致更多的人没有认真关注使用这些模型最重要的部分：高质量的数据！本文旨在提供一些有效从任何类型文档中提取文本的技术。 Python库 本文专注于Pytesseract、easyOCR、PyPDF2和LangChain库。实验数据是一…
NLP/Natural Language Processing
一、NLP是什么
自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向，也就是人们常说的「自然语言处理」，就是研究如何让计算机读懂人类语言，即将人的自然语言转换为计算机可以阅读的指令。它研…
1 NLP分类之：FastText
0 数据
https://download.csdn.net/download/qq_28611929/88580520?spm1001.2014.3001.5503
数据集合：0 NLP: 数据获取与EDA-CSDN博客
词嵌入向量文件： embedding_SougouNews.npz
词典文件：vocab.pkl
1 模型
基于fastText做词向量嵌入…
BiLSTM-CRF的中文命名实体识别
项目地址：NLP-Application-and-Practice/11_BiLSTM-ner-bilstm-crf/11.3-BiLSTM-CRF的中文命名实体识别/ner_bilstm_crf at master zz-zik/NLP-Application-and-Practice (github.com) 读取renmindata.pkl文件
read_file_pkl.py
# encoding:utf-8import pickle# …
论文浅尝 | 用于开放式文本生成的事实增强语言模型
笔记整理：李煜，东南大学硕士，研究方向为知识图谱 链接：https://proceedings.neurips.cc/paper_files/paper/2022/hash/df438caa36714f69277daa92d608dd63-Abstract-Conference.html 1. 动机 生成式语言模型（例如 GPT-3…
陪诊系统：基于自然语言处理的患者沟通创新
医疗领域的数字化转型正日益引入创新技术，其中基于自然语言处理（NLP）的陪诊系统成为提升患者沟通的一项关键技术。本文将深入研究这一领域，介绍陪诊系统如何借助NLP实现患者沟通的创新，并提供一个简单的Python代码示例…
【论文笔记】SDCL: Self-Distillation Contrastive Learning for Chinese Spell Checking
文章目录 论文信息Abstract1. Introduction2. Methodology2.1 The Main Model2.2 Contrastive Loss2.3 Implementation Details(Hyperparameters) 3. Experiments代码实现个人总结值得借鉴的地方 论文信息
论文地址：https://arxiv.org/pdf/2210.17168.pdf
Abstrac…
数据挖掘实战-基于word2vec的短文本情感分析（文末送书）
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
EUREKA: HUMAN-LEVEL REWARD DESIGN VIACODING LARGE LANGUAGE MODELS
目录
一、论文速读
1.1 摘要
1.2 论文概要总结
相关工作
主要贡献
论文主要方法
实验数据
未来研究方向
二、论文精度
2.1 论文试图解决什么问题？
2.2 论文中提到的解决方案之关键是什么？
2.3 用于定量评估的数据集是什么？代码有…
自然语言处理 （NLP） 中的组合语义分析
埃弗顿戈梅德（Everton Gomede） 一、介绍 自然语言处理 （NLP） 中的组合语义分析是一个引人入胜且复杂的话题。为了充分理解它，将这个概念分解成它的基本组成部分是至关重要的：组合语义及其在NLP中的应用。组…
AI Agents 闭门研讨会报名丨CAMEL、AutoAgents、Humanoid agents作者参与
青源Workshop丨No.27 AI Agents主题闭门研讨会 所谓AI智能体（AI Agents），是一种能够感知环境、进行决策和执行动作的智能实体。它们拥有自主性和自适应性，可以依靠AI赋予的能力完成特定任务，并在此过程中不断对自我进行…
LLM:《第 3 部分》从数学角度评估封闭式LLM的泛化能力
一、说明 在 OpenAI 或 Anthropic 等封闭式大型语言模型 (LLM) 领域，对智能和多功能性的真正考验在于它们处理高特异性查询并在响应中表现出独特性的能力。在这篇博客中，我的目标是提供测试这些模型泛化能力的机制。 封闭式LLM意味着您不知道训练语料库的…
LLM:《第 1 部分》只是一个记忆技巧吗？
一、说明 批评者指责大型语言模型（LLM）仅仅是记忆工具已经变得很流行，他们认为他们对海量数据集的广泛训练几乎没有给真正的创造力留下什么空间。这种观点忽视了LLM背后的数学和经验科学，而正是这些数学和经验科学使KKM超越了基本…
自然语言处理：生成式模型简介
自然语言处理：生成式模型简介 变分自编码器（VAE）生成对抗网络（GAN）自回归模型（Autoregressive Model）流模型（Flow Model） 此博客将从原理、优点和缺点几个方面介绍几种使…
大型语言模型在实体关系提取中的应用探索
如今LLM(大语言模型)的问答与生成能力已被大家所熟知，很多用户已经亲身体会到了LLM为工作、生活带来的变革。其实，作为NLP(自然语言处理)的集大成者，LLM能为我们提供的能力不限于此。其基本胜任传统NLP技术所能承担的所有任务。如：…
探索意义的深度：自然语言处理中的语义相似性
一、说明 语义相似度，反应出计算机对相同内容，不同表达的识别能力。因而识别范围至少是个句子，最大范围就是文章，其研究方法有所区别。本文将按照目前高手的研究成绩，作为谈资介绍给诸位。 二、语义相似度简介 自然语言…
亚马逊首席技术官2024年科技预测
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…
图推理：忠实且可解释的大型语言模型推理11.29
推理：忠实且可解释的大型语言模型推理 摘要1 引言２ 相关工作3 准备工作4 方法4.1 图推理：规划-检索-推理4.2 优化框架4.3 规划模块4.4 检索推理模块 5 实验5.1 实验设置5.2 RQ1：KGQA 性能比较 摘要
大型语言模型（LLM&…
拥抱变化，良心AI工具推荐
文章目录 💥 简介🍄 工具介绍🍓 功能特点🥗 使用场景🎉 用户体验🧩 下载地址🍭 总结 💥 简介 我是一名资深程序员，但薪资缺对不起资深两个字，为了生存&#x…
CCKS2023-面向上市公司主营业务的实体链接评测-亚军方案
赛题分析 大赛地址 https://tianchi.aliyun.com/competition/entrance/532097/information 任务描述 本次任务主要针对上市公司的主营业务进行产品实体链接。需要获得主营业务中的产品实体，将该实体链接到产品数据库中的某一个标准产品实体。产品数据库将发布在竞赛…
LLM；超越记忆《第 2 部分 》
一、说明 在这篇博客中，我深入研究了将大型语言模型（LLM）提升到基本记忆之上的数学框架。我们探索了动态上下文学习、连续空间插值及其生成能力，揭示了 LLM 如何理解、适应和创新超越传统机器学习模型。 LLM代表了人工智能的重大飞…
【自然语言处理】【大模型】VeRA：可调参数比LoRA小10倍的低秩微调方法
VeRA：可调参数比LoRA小10倍的低秩微调方法 《VeRA：Vector-based Random Matrix Adaptation》 论文地址：https://arxiv.org/pdf/2310.11454.pdf 相关博客 【自然语言处理】【大模型】VeRA：可调参数比LoRA小10倍的低秩微调方法 【自…
5个优质免费自然语言处理学习资源 | 语言技术导航
探索并利用我们的5个免费自然语言处理（NLP）学习资源，更有效地理解和实施自然语言处理技术。适合初学者和进阶者，涵盖基础理论到实际应用。 近年来，随着人工智能（AI）解决方案的商业应用ÿ…
LLM大语言模型（一）：ChatGLM3-6B试用
前言
LLM大语言模型工程化，在本地搭建一套开源的LLM，方便后续的Agent等特性的研究。
本机环境
CPU：AMD Ryzen 5 3600X 6-Core Processor
Mem：32GB
GPU：RTX 4060Ti 16G
ChatGLM3代码库下载
# 下载代码库
git c…
自然语言处理：电脑如何理解我们的语言？
☁️主页 Nowl
🔥专栏《机器学习实战》 《机器学习》
📑君子坐而论道，少年起而行之
文章目录
编辑
常见方法
1.基于词典的方法
2.基于计数的方法
基于推理的方法
Bert
input_ids
attention_mask
token_type_ids
结语 在广…
人工智能的新篇章：深入了解大型语言模型(LLM)的应用与前景
项目设计集合（人工智能方向）：助力新人快速实战掌握技能、自主完成项目设计升级，提升自身的硬实力（不仅限NLP、知识图谱、计算机视觉等领域）：汇总有意义的项目设计集合，助力新人快速实…
LLM中损失函数解析
在GPT系列大语言模型中损失函数采用的是自回归语言建模任务，即根据前K-1个token预测第K个token，本质上都是交叉熵分类损失，在实现上预训练和监督微调稍有不同，本文分别进行介绍
预训练Pretrain
数据集
由于预训练数据集一般很大…
elasticsearch 内网下如何以离线的方式上传任意的huggingFace上的NLP模型（国内避坑指南）
es自2020年的8.x版本以来，就提供了机器学习的能力。我们可以使用es官方提供的工具eland，将hugging face上的NLP模型，上传到es集群中。利用es的机器学习模块，来运维部署管理模型。配合es的管道处理，来更加便捷的处理数据…
RNN、Seq2Seq、Transformers：NLP 中常用的神经架构简介
循环神经网络是一类神经架构，具有很酷的特性——循环机制——这使得它们成为处理可变长度的顺序数据的自然选择。与标准神经网络不同，RNN 可以在接受新输入的同时保留前一层的信息。
这是它的工作原理 假设我们正在构建一个电子商务聊天机器人ÿ…
加州大学伯克利分校研究人员推出Starling-7B：一款通过人工智能反馈强化学习（RLAIF）训练的开源大型语言模型（LLM）
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…
使用Huggingface创建大语言模型RLHF训练流程的完整教程
ChatGPT已经成为家喻户晓的名字，而大语言模型在ChatGPT刺激下也得到了快速发展，这使得我们可以基于这些技术来改进我们的业务。
但是大语言模型像所有机器/深度学习模型一样，从数据中学习。因此也会有garbage in garbage out的规则。也就是说…
LLM大语言模型（一）：ChatGLM3-6B本地部署
目录 前言
本机环境
ChatGLM3代码库下载
模型文件下载
修改为从本地模型文件启动
启动模型网页版对话demo
超参数设置
GPU资源使用情况 （网页对话非常流畅） 前言
LLM大语言模型工程化，在本地搭建一套开源的LLM，方便后续的…
探索无监督域自适应，释放语言模型的力量：基于检索增强的情境学习实现知识迁移...
深度学习自然语言处理 原创作者: Xnhyacinth 在自然语言处理（NLP）领域，如何有效地进行无监督域自适应(Unsupervised Domain Adaptation, UDA) 一直是研究的热点和挑战。无监督域自适应的目标是在目标域无标签的情况下，将源域的知识…
大型语言模型在实体关系提取中的应用探索(二)
上一篇文章我们探讨了如何使用大语言模型进行实体关系的抽取。本篇文章我们将进一步探索这个话题。比较一下国内外几款知名大模型在相同的实体关系提取任务下的表现。由于精力有限，我们无法全面测试各模型的实体关系抽取能力，因此，看到的效果…
小白学大模型LLMs：文本分词方法
本文介绍了各种类型的分词（tokenization），用于将单词拆分为一个或多个标记（token），因为单词和分词之间存在一对多的关系。
什么是预分词（Pre-tokenization）
预分词是在处理基于文本…
Elastic Support Hub 转向语义搜索
作者：Chris Blaisure 我们很高兴与大家分享 Elastic Support Hub 最近的增强功能：它现在由语义搜索提供支持！
但在我们更详细地了解对 Elastic Support Hub 所做的更改及其对客户的影响之前，我们需要花点时间解释语义搜索的概念&…
三篇论文解决了大型语言模型 (LLM) 的三个不同问题
讨论三篇论文，它们解决了大型语言模型 (LLM) 的三个不同问题类别： 减少幻觉。Reducing hallucinations. 增强小型、开放可用模型的推理能力。Enhancing the reasoning capabilities of small, openly available models. 加深我们对transformer架构的理…
AI大规模专题报告：大规模语言模型从理论到实践
今天分享的AI系列深度研究报告：《AI大规模专题报告：大规模语言模型从理论到实践》。
（报告出品方：光大证券）
报告共计：25页 大规模语言模型基本概念
语言是人类与其他动物最重要的区别，而人类…
初识人工智能，一文读懂贝叶斯优化的知识文集(6)
🏆作者简介，普修罗双战士，一直追求不断学习和成长，在技术的道路上持续探索和实践。 🏆多年互联网行业从业经验，历任核心研发工程师，项目技术负责人。 🎉欢迎 👍点赞✍评论…
Meta Reinforce Learning 元学习：学会如何学习
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…
动手学深度学习-自然语言处理-预训练
词嵌入模型
将单词映射到实向量的技术称为词嵌入。 为什么独热向量不能表达词之间的相似性？
自监督的word2vec。
word2vec将每个词映射到一个固定长度的向量，这些向量能更好的表达不同词之间的相似性和类比关系。
word2vec分为两类，两类…
NLP中的Seq2Seq与attention注意力机制
文章目录 RNN循环神经网络seq2seq模型Attention（注意力机制）总结参考文献RNN循环神经网络
RNN循环神经网络被广泛应用于自然语言处理中，对于处理序列数据有很好的效果，常见的序列数据有文本、语音等，至于为什么要用到循环神经网络而不是传统的神经网络，我们在这里举一个…
Re59：读论文 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
诸神缄默不语-个人CSDN博文目录 诸神缄默不语的论文阅读笔记和分类
论文名称：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 模型开源地址：https://huggingface.co/facebook/rag-token-nq
ArXiv下载地址：https://arxi…
NLP知识点 - perplexity 困惑度
(一) Perplexity
困惑度（Perplexity，缩写为PPL）是衡量语言模型好坏的一个常用指标。
语言模型（language model）是用来预测句子中的next word的概率分布（probability distribution），…
社交网络分析2（下）：社交网络情感分析的方法、挑战与前沿技术
社交网络分析2（下）：社交网络情感分析的方法、挑战与前沿技术 写在最前面7. 词嵌入（word embedding）的主要目的是什么？结合某方法简要地说明如何实现词嵌入。主要目的实现方法示例：GloVe案例分析…
‘DataFrame‘ object has no attribute ‘reindex_axis‘
文章目录 报错信息报错原因解决方案 关注公众号：『AI学习星球』 算法学习、4对1辅导、论文辅导或核心期刊可以通过公众号或CSDN滴滴我 报错信息 AttributeError: ‘DataFrame’ object has no attribute ‘reindex_axis’ 报错原因
Pandas版本升级到0.21.0起已弃用…
【LLM】Prompt Engineering
Prompt Engineering
CoTCoT - SCToTGoT
CoT: Chain-of-Thought 通过这样链式的思考，Model输出的结果会更准确 CoT-SC: Self-Consistency Improves Chain of Thought Reasoning in Language Models
往往，我们会使用Greedy decode这样的策略，…
CogVLM与CogAgent：开源视觉语言模型的新里程碑
引言
随着机器学习的快速发展，视觉语言模型（VLM）的研究取得了显著的进步。今天，我们很高兴介绍两款强大的开源视觉语言模型：CogVLM和CogAgent。这两款模型在图像理解和多轮对话等领域表现出色，为人工智能的…
自然语言中的词嵌入是什么？
1. 什么是词嵌入(Word Embedding)
⾃然语⾔是⼀套⽤来表达含义的复杂系统。在这套系统中，词是表义的基本单元。顾名思义，词向量是⽤来表⽰词的向量，也可被认为是词的特征向量或表征。**把词映射为实数域向量的技术也叫词嵌⼊（wor…
NLP入门- 分布语义学（Distributional Semantics）
从语料库中直接学习单词含义，这个领域也被称为 分布语义学（Distributional Semantics）
分布假设：可以通过其周围的上下文单词来了解一个目标单词共现文档通常指示了主题（文档（document） 作为上…
语音识别与人机交互：发展历程、挑战与未来前景
导言 语音识别技术作为人机交互领域的重要组成部分，近年来取得了巨大的发展。本文将深入研究语音识别与人机交互的发展历程、遇到的问题、解决过程、未来的可用范围，以及在各国的应用和未来的研究趋势。我们将探讨在这个领域，哪一方能取得竞争…
情感智能与人机交互：研究方向的发展与未来展望
导言 情感智能和人机交互作为人工智能领域的关键研究方向，近年来取得了显著进展。本文将深入研究这两个领域的发展历程、遇到的问题、解决过程，以及未来的可用范围，同时关注各国在这方面的应用情况和未来的研究趋势。同时，分析在哪…
论文浅尝 | 逐步蒸馏！使用少量训练数据和较小模型超越大语言模型
笔记整理：康婧淇，东南大学硕士生，研究方向为自然语言处理、信息抽取 链接：https://arxiv.org/abs/2305.02301 1. 动机 本文的动机是将大型语言模型（LLMs）的任务特定知识提炼到更小的专业模型中。作者改变了…
自然语言处理（NLP）：理解语言，赋能未来
目录 前言1 什么是NLP2 NLP的用途3 发展历史4 NLP的基本任务4.1 词性标注（Part-of-Speech Tagging）4.2 命名实体识别（Named Entity Recognition）4.3 共指消解（Co-reference Resolution）4.4 依存关系分析&am…
Text2SQL学习整理（五）将Text-to-SQL任务与基本语言模型结合
导语
上篇博客：Text2SQL学习整理（四）将预训练语言模型引入WikiSQL任务简要介绍了两个借助预训练语言模型BERT来解决WIkiSQL数据集挑战的方法：SQLOVA和X-SQL模型。其中，借助预训练语言模型的强大表示能力，S…
SimLM: Can Language Models Infer Parameters of Physical Systems?
Authors: Sean Memery ; Mirella Lapata ; Kartic Subr
Q: 这篇论文试图解决什么问题？
A: 这篇论文试图解决大型语言模型（LLMs）在物理推理任务上表现不佳的问题。作者们指出，尽管LLMs在许多领域都取得了显著的成果，但…
SParC数据集介绍
导语
SParC是Text-to-SQL领域的一个多轮查询数据集。本篇博客将对该数据集论文和数据格式进行简要介绍。
SParC数据集概述
SParC是一个跨领域的多轮Text-to-SQL数据集。它包含有4298个问题轮次，大约有12k的自然语言问句到SQL标注的Question-SQL对。这些问题来自于…
Large Language Model Situational Awareness Based Planning
Q: 这篇论文试图解决什么问题？
A: 这篇论文试图解决的问题是评估和增强大型语言模型（LLMs）在情境感知基础上的规划能力。具体来说，作者提出了一种新的方法来评估LLMs在处理现实世界中的复杂困境时的规划能力，特别是在…
Deep de Finetti: Recovering Topic Distributions from Large Language Models
Authors: Liyi Zhang ; R. Thomas McCoy ; Theodore R. Sumers ; Jian-Qiao Zhu ; Thomas L. Griffiths Q: 这篇论文试图解决什么问题？
A: 这篇论文探讨大型语言模型（LLMs）如何捕捉文档的主题结构。尽管LLMs是在下一个词预测任务上进行训练的…
Neural axiom network for knowledge graph reasoning 论文精读
文章目录 1.问题的提出引出当前研究的不足与问题五种公理模块的解释：**定义域和值域限制**DisjointObjectProperty：IrreflexiveObjectPropertyAsymmetricObjectProperty 2.数据来源和模型构建数据来源介绍本文中的主要模型与方法符号解释：3.2…
网络舆论传播分析：自然语言处理与图分析相融合
源自：《信息安全与通信保密》
作者：徐明 魏国富 殷钱安
优化识别能力和溯源能力
在网络信息技术快速发展的当下，做好网络舆论分析是确保网络舆论信息健康稳定传播的基本前提。 介 绍 图 1 自然语言处理与图分析相结合的模型思路 方 法…
Starling-LM-7B与GPT-4：开源AI的新纪录
引言
在人工智能的前沿领域，Starling-LM-7B的出现标志着开源大型语言模型（LLM）的一大突破。与GPT-4的近距离竞争不仅展示了Starling-LM-7B的技术实力，也突显了开源社区在推动AI发展方面的重要作用。
模型特点
Starling-LM-7B&a…
自然语言处理1——探索自然语言处理的基础 - Python入门篇
目录 写在开头1. 介绍自然语言处理的基本概念1.1 NLP的核心目标1.2 常见的NLP任务1.3 应用场景详细介绍1.3.1 医疗保健1.3.2 金融领域1.3.3 教育领域1.3.4 社交媒体分析2. Python中常用的自然语言处理库简介2.1 NLTK (Natural Language Toolkit)2.2 Spacy2.3 Transformers2.4 T…
大语言模型（LLM）训练平台与工具
LLM 是利用深度学习和大数据训练的人工智能系统，专门 设计来理解、生成和回应自然语言。 大模型训练平台和工具提供了强大且灵活的基础设施，使得开发和训练复杂的语言模型变得可行且高效。 平台和工具提供了先进的算法、预训练模型和优化技术，…
了解英语中主语谓语宾语等等句子成分
目录
官方书面解释：
简介：
细分：
通俗易懂解释：
各个成分的解释：
扩展资料：
官方书面解释：
简介：
在句子中，词与词之间有一定的组合关系，按照不同的…
![[BPE]论文实现：Neural Machine Translation of Rare Words with Subword Units](https://img-blog.csdnimg.cn/direct/47454a3e05e34e47877d84186e257db6.png)
[BPE]论文实现：Neural Machine Translation of Rare Words with Subword Units
文章目录 一、完整代码二、论文解读2.1 模型架构2.2 BPE 三、过程实现四、整体总结 论文：Neural Machine Translation of Rare Words with Subword Units 作者：Rico Sennrich, Barry Haddow, Alexandra Birch 时间：2016 一、完整代码
这里我…
【小沐学NLP】Python实现TF-IDF算法（nltk、sklearn、jieba）
文章目录 1、简介1.1 TF1.2 IDF1.3 TF-IDF2.1 TF-IDF(sklearn)2.2 TF-IDF(nltk)2.3 TF-IDF(Jieba)2.4 TF-IDF(python) 结语 1、简介
TF-IDF（term frequency–inverse document frequency）是一种用于信息检索与数据挖掘的常用加权技术。TF是词频(Term Fr…
迈向通用异常检测和理解：大规模视觉语言模型（GPT-4V）率先推出
PAPERCODEhttps://arxiv.org/pdf/2311.02782.pdfhttps://github.com/caoyunkang/GPT4V-for-Generic-Anomaly-Detection 图1 GPT-4V在多模态多任务异常检测中的综合评估 在这项研究中，我们在多模态异常检测的背景下对GPT-4V进行了全面评估。我们考虑了四种模式&#…
NLP：预测新闻类别 - 自然语言处理中嵌入技术
简介 在数字时代，在线新闻内容呈指数级增长，需要有效的分类以增强可访问性和用户体验。先进机器学习技术的出现，特别是在自然语言处理（NLP）领域，为文本数据的自动分类开辟了新的领域。本文[1]探讨了在 NLP …
基于spacy的句法依存、实体识别、分析
文章目录 简介spaCy特性： 系统环境与版本安装应用示例参考文献 简介
spaCy
spaCy 是一个 Python 和 CPython 的 NLP 自然语言文本处理库。因此它是一个非常快的库。它建立在最新的研究基础上，从设计的第一天起就被用于实际产品中。
spaCy 自带预训练的…
【NLP】如何管理大型语言模型 (LLM)
什么是LLM编排？
LLM 编排是管理和控制大型语言模型 (LLM)的过程，以优化其性能和有效性。这包括以下任务： 提示LLM：生成有效的提示，为LLMs提供适当的背景和信息以产生所需的输出。链接LLM： 结合多个LLM的输…
当大语言模型遇见广告：新变革还是新泡沫？
人工智能可能从未受到过如此之高的关注度。
2022年11月30日，OpenAI正式发布了ChatGPT，它是一款基于GPT3.5架构 1 进行训练的人工智能聊天机械人。ChatGPT像是一个全能的人，无论是有关文化、历史、艺术还是科技和商业的问题，它都能…
SpeechGPT领航：创新的130亿参数跨模态AI模型
引言
在人工智能的最新进展中，SpeechGPT以其130亿参数的规模和跨模态会话能力引起了业界的广泛关注。这一由复旦大学邱锡鹏教授团队开发的模型，不仅在技术层面上取得了重大突破，也为多模态人工智能（AI）的未来发展指明…
Nougat：结合光学神经网络，引领学术PDF文档的智能解析、挖掘学术论文PDF的价值
Nougat：结合光学神经网络，引领学术PDF文档的智能解析、挖掘学术论文PDF的价值
这是Nougat的官方存储库，Nougat是一种学术文档PDF解析器，可以理解LaTeX数学和表格。
Project page: https://facebookresearch.github.io/nougat/
…
R语言对医学中的自然语言(NLP)进行机器学习处理（1）
什么是自然语言(NLP)，就是网络中的一些书面文本。对于医疗方面，例如医疗记录、病人反馈、医生业绩评估和社交媒体评论,可以成为帮助临床决策和提高质量的丰富数据来源。如互联网上有基于文本的数据(例如,对医疗保健提供者的社交媒体评论),这些数据我们可…
【Datawhale 大模型基础】第三章 大型语言模型的有害性（危害）
第三章 大型语言模型的有害性（危害）
As illustrated aforementioned, LLMs have unique abilities that present only when the model have huge parameters. However, there are also some harms in LLMs.
When considering any technology, we must …
大模型应用_PrivateGPT
https://github.com/imartinez/privateGPT 1 功能
整体功能，想解决什么问题 搭建完整的 RAG 系统，与 FastGPT相比，界面比较简单。但是底层支持比较丰富，可用于知识库的完全本地部署，包含大模型和向量库。适用于保密级…
NLP论文阅读记录 - WOS | ROUGE-SEM：使用ROUGE结合语义更好地评估摘要
文章目录 前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献 二.相关工作三.本文方法四 实验效果4.1数据集4.2 对比模型4.3实施细节4.4评估指标4.5 实验结果4.6 细粒度分析 五 总结 前言 ROUGE-SEM: Better evaluation of summarization using ROUGE combin…
[论文笔记] 大模型主流Benchmark测试集介绍
自然语言处理（NLP）的进步往往通过在各种benchmark测试集上的表现来衡量。随着多语言和跨语言NLP研究的兴起，越来越多的多语言测试集被提出以评估模型在不同语言和文化背景下的泛化能力。在这篇文章中，我们将介绍几个主流的多语言NLP benchmark测试集，包括ARC Challenge、H…
美团、阿里、快手、百度 | NLP暑期算法实习复盘
面试锦囊之面经分享系列，持续更新中 后台回复『面试』加入讨论组交流噢 背景 211CS本港三DS硕，硕士research的方向是NLP，目标是找任何方向的算法实习。 本科做开发为主没有算法经验，没有top比赛，没有过算法实习&…
谷歌Gemini API 应用(一)：基础应用
前两天谷歌发布了旗下Gemini模型的API访问接口，今天我们来介绍一下Gemini API的基础应用，本次发布的是api访问接口对所有人免费开放，但有一些限制，比如每分钟限制60次访问，个人调用api接口所使用的数据将会被谷歌采集用…
【起草】【第三章】用chatGPT协助进行项目管理
#项目管理#PMO#ChatGPT 3.1 作为PMO，借助ChatGPT为部门从0到1搭建项目考核指标办法
Q：作为PMO，请提供考核项目绩效指标的数据指标体系
1.项目完成情况：根据项目计划与进度表，对比实际完成情况，包括项目进…
解析大语言模型LLM的幻觉问题：消除错觉、提高认知
文章目录 前言一、幻觉介绍二、幻觉产生的原因三、幻觉的现象四、幻觉的分类五、幻觉解决方案六、幻觉待解决问题后记 前言
在人类的感知和认知过程中，幻觉一直是一个被广泛讨论和研究的问题。幻觉指的是一种虚假的感知或认知经验，使我们看到、听到或感…
自然语言处理3——玩转文本分类 - Python NLP高级应用
目录 写在开头1. 文本分类的背后原理和应用场景1.1 文本分类的原理1.2 文本分类的应用场景 2. 使用机器学习模型进行文本分类（朴素贝叶斯、支持向量机等）2.1 朴素贝叶斯2.1.1 基本原理2.1.2 数学公式2.1.3 一般步骤2.1.4 简单python代码实现 2.2 支持向量…
大模型语言模型：从理论到实践
大模型语言模型：从理论到实践 一、资源获取链接二、概念整理定义发展历程 大模型的基本构成 一、资源获取链接
《大规模语言模型：从理论到实践》、复旦大学课件 链接/提取码：x7y6
二、概念整理
定义
大规模语言模型（Large Lan…
python bad case边界不准确问题
目录 问题描述
问题解决： 问题描述
针对bad case中，错误的主要原因是边界定位不准确问题，sub,obj抽取过短。
因此想要通过jieba分词，然后调用GPT4的api判断当前的新span是否符合条件。 问题解决：
import json
from…
【LLM】大型语言模型综述论文
今天我将与大家分享一篇精彩的论文。这项调查提供了LLM文献的最新综述，这对研究人员和工程师来说都是一个有用的资源。
为什么选择LLM？
当参数尺度超过一定水平时，这些扩展的语言模型不仅实现了显著的性能改进，而且还表现出一些…
AlignBench：量身打造的中文大语言模型对齐评测
对齐（Alignment），是指大语言模型（LLM）与人类意图的一致性。换言之，就是让LLM生成的结果更加符合人类的预期，包括遵循人类的指令，理解人类的意图，进而能产生有帮助的回答等…
探索深度学习在自然语言处理中的应用
摘要： 随着人工智能技术的不断发展，深度学习在自然语言处理领域的应用越来越广泛。本文将探讨深度学习在自然语言处理中的各种应用，包括文本分类、情感分析、机器翻译等，并分析其优缺点。
一、引言
自然语言处理（NLP…
LangChain知识库文件格式与准确率
本文结论经过自行测试，仅供参考 简介
langchain使用的是faiss，bge-large-zh，基础模型为chatglm3-6b，测试数据接近60万。 结论
1、使用txt的数据格式，不如csv文件，除非文本长度一致，切分及其精…
【小沐学NLP】Python实现K-Means聚类算法（nltk、sklearn）
文章目录 1、简介1.1 机器学习1.2 K 均值聚类1.2.1 聚类定义1.2.2 K-Means定义1.2.3 K-Means优缺点1.2.4 K-Means算法步骤 2、测试2.1 K-Means（Python）2.2 K-Means（Sklearn）2.2.1 例子1：数组分类2.2.2 例子2࿱…
一文读懂「Large Language Model，LLM」大语言模型
中国大语言模型产业价值链 资料
艾瑞咨询：https://www.iresearch.com.cn/Detail/report?id4166&isfree0&type
GPT-4：智能语言模型的新篇章
随着人工智能技术的飞速发展，智能语言模型已经成为了我们日常生活和工作中不可或缺的一部分。GPT-4，作为最新一代的语言模型，不仅继承了前代技术的优势，还在理解深度、生成连贯性和创造性方面实现了质的飞跃。本文将探讨GPT-4的创…
2024年1月16日Arxiv热门NLP大模型论文：Multi-Candidate Speculative Decoding
大幅提速NLP任务，无需牺牲准确性！南京大学提出新算法，大幅提升AI文本生成效率飞跃
引言：探索大型语言模型的高效文本生成
在自然语言处理（NLP）的领域中，大型语言模型（LLMs…
如何用 ChatGPT生成生成元宇宙内容
ChatGPT 是一种强大的自然语言处理模型，可以生成高质量的文本内容，包括元宇宙相关内容。以下是一些建议，帮助您使用 ChatGPT 生成元宇宙相关内容：
明确需求：在开始生成内容之前，请明确您需要什么样的元宇宙…
【文本到上下文 #2】：NLP 的数据预处理步骤
一、说明 欢迎阅读此文，NLP 爱好者！当我们继续探索自然语言处理 (NLP) 的广阔前景时，我们已经在最初的博客中探讨了它的历史、应用和挑战。今天，我们更深入地探讨 NLP 的核心——数据预处理的复杂世界。 这篇文章是我们的“完整 N…
【大模型的前世今生】从自然语言处理说起
自然语言处理（Natural Language Processing，简称NLP）被誉为人工智能皇冠上的明珠，是计算机科学和人工智能领域的一个重要方向。它主要研究人与计算机之间，使用自然语言进行有效通信的各种理论和方法。简单来说…
AI跟踪报道第23期-新加坡内哥谈技术-本周不能错过的人工智能发展-2024年程序猿面临AI需要的新思维
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…
主流大语言模型从预训练到微调的技术原理
引言
本文设计的内容主要包含以下几个方面：
比较 LLaMA、ChatGLM、Falcon 等大语言模型的细节：tokenizer、位置编码、Layer Normalization、激活函数等。大语言模型的分布式训练技术：数据并行、张量模型并行、流水线并行、3D 并行、零冗余优…
自然语言处理5——发掘隐藏规律 - Python中的关联规则挖掘
目录 写在开头1. 了解关联规则挖掘的概念和实际应用1.1 关联规则挖掘在市场分析和购物篮分析中的应用1.2 关联规则的定义和基本原理1.3 应用场景2. 使用Apriori算法和FP-growth算法进行关联规则挖掘2.1 Apriori算法的工作原理和实现步骤2.2 FP-growth算法的优势和使用方法2.3 A…
【AI视野·今日NLP 自然语言处理论文速览 第七十期】Thu, 4 Jan 2024
AI视野今日CS.NLP 自然语言处理论文速览 Thu, 4 Jan 2024 Totally 29 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Multilingual Instruction Tuning With Just a Pinch of Multilinguality Authors Uri Shaham, Jonathan Herzi…
安卓之视频智能字幕的应用场景以及各种技术优劣分析
一、文章摘要 随着技术的发展，智能字幕已经成为了安卓平台上一个重要的功能，特别是在视频播放方面。它为用户提供了一种更方便、更快捷的方式来理解视频内容，尤其是在多种语言环境下或者在没有声音的环境中。下面我们将详细探讨安卓平台上视频…
如何编写高效的正则表达式？
正则表达式（Regular Expression，简称regex）是一种强大的文本处理技术，广泛应用于各种编程语言和工具中。本文将从多个方面介绍正则表达式的原理、应用和实践，帮助你掌握这一关键技术。
正则可视化 | 一个覆盖广泛主题…
ChatGLM2-6B 大语言模型本地搭建
ChatGLM模型介绍：
ChatGLM2-6B 是清华 NLP 团队于不久前发布的中英双语对话模型，它具备了强大的问答和对话功能。拥有最大32K上下文，并且在授权后可免费商用！
ChatGLM2-6B的6B代表了训练参数量为60亿，同时运用了模型…
PyTorch Tutorial
本文作为博客“Transformer - Attention is all you need 论文阅读”的补充内容，阅读的内容来自于
https://pytorch.org/tutorials/intermediate/char_rnn_classification_tutorial.html#recommended-preparation
建议的准备流程。
Deep Learning with PyTorch: …
BERT Intro
继续NLP的学习，看完理论之后再看看实践，然后就可以上手去kaggle做那个入门的project了orz。
参考：
1810.04805.pdf (arxiv.org)
BERT 论文逐段精读【论文精读】_哔哩哔哩_bilibili
(强推!)2023李宏毅讲解大模型鼻祖BERT，一小时…
Phi-2小语言模型QLoRA微调教程
前言
就在不久前，微软正式发布了一个 27 亿参数的语言模型——Phi-2。这是一种文本到文本的人工智能程序，具有出色的推理和语言理解能力。同时，微软研究院也在官方 X 平台上声称：“Phi-2 的性能优于其他现有的小型语言模型&#…
用LM Studio：2分钟在本地免费部署大语言模型，替代ChatGPT
你想在本地使用类似ChatGPT 的大语言模型么？LM Studio 可以帮你2分钟实现ChatGPT的功能，而且可以切换很多不同类型的大语言模型，同时支持在Windows和MAC上的PC端部署。
LM Studio是一款面向开发者的友好工具，特别适合那些想要探索…
TextDiffuser-2：超越DALLE-3的文本图像融合技术
概述
近年来，扩散模型在图像生成领域取得了显著进展，但在文本图像融合方面依然存在挑战。TextDiffuser-2的出现，标志着在这一领域的一个重要突破，它成功地结合了大型语言模型的能力，以实现更高效、多样化且美观的文本…
深度学习引领信息检索革新：从传统方法到神经网络信息检索的探索
目录 前言1 信息检索背景概述1.1 信息检索基本任务1.2 信息检索是NLU典型应用 2 信息检索任务定义2.1 检索阶段2.2 排序阶段2.3 关键技术和算法 3 评价指标3.1 MRR（平均倒数排名）3.2 MAP（平均精度均值）3.3 NDCG（归一化…
论文阅读 BERT GPT - transformer在NLP领域的延伸
文章目录 不会写的很详细，只是为了帮助我理解在CV领域transformer的拓展1 摘要1.1 BERT - 核心1.2 GPT - 核心 2 模型架构2.1 概览 3 区别3.1 finetune和prompt 3.2 transformer及训练总结 不会写的很详细，只是为了帮助我理解在CV领域transformer的拓展 …
自然语言处理-情感分析及数据集
情感分析及数据集
随着在线社交媒体和评论平台的快速发展，大量评论的数据被记录下来。这些数据具有支持决策过程的巨大潜力。 情感分析（sentiment analysis）研究人们在文本中 （如产品评论、博客评论和论坛讨论等）“隐…
十分钟部署清华 ChatGLM-6B，实测效果超预期（Linux版）
前段时间，清华公布了中英双语对话模型 ChatGLM-6B，具有60亿的参数，初具问答和对话功能。
最！最！最重要的是它能够支持私有化部署，大部分实验室的服务器基本上都能跑起来。因为条件特殊，实验室网…
GNN如何处理表格？
链接: https://ieeexplore.ieee.org/document/10184514
在这篇综述中，我们深入探讨了使用图神经网络（GNNs）进行表格数据学习（TDL）的领域，这是一个深度学习方法在分类和回归任务中相比传统方法表现出越来越…
06.构建大型语言模型步骤
在本章中，我们为理解LLMs奠定了基础。在本书的其余部分，我们将从头开始编写一个代码。我们将以 GPT 背后的基本思想为蓝图，分三个阶段解决这个问题，如图 1.9 所示。
图 1.9 本书中介绍的构建LLMs阶段包括实现LLM架构和数据准备过程、预训练以创建基础模型，以及微调基础模…
【自然语言处理的发展】
自然语言处理的发展
自然语言处理（NLP）作为人工智能领域的一个分支，旨在让计算机理解和生成人类语言。随着深度学习和大数据技术的不断进步，NLP在近年来取得了显著的突破。本文将探讨NLP技术的发展历程、最新技术进展以及未来展望…
【NLP】多标签分类【上】
简介
《【NLP】多标签分类》主要介绍利用三种机器学习方法和一种序列生成方法来解决多标签分类问题（包含实验与对应代码）。共分为上下两篇，上篇聚焦三种机器学习方法，分别是：Binary Relevance (BR)、Classifier Chain…
02.构建和使用的大型语言模型（LLMs）阶段
我们为什么要建立自己的LLMs？LLM从头开始编码是了解其机制和局限性的绝佳练习。此外，它还为我们提供了必要的知识，可以保留或微调现有的开源LLM架构，以适应我们自己的特定领域的数据集或任务。
研究表明，在建模性能方面，定制（LLMs为特定任务或领域量身定制的）可以胜过…
书生·浦语大模型实战营-学习笔记1
目录 书生浦语大模型全链路开源体系数据集预训练微调评测部署多智能体 视频地址： (1)书生浦语大模型全链路开源体系 开源工具github： https://github.com/InternLM/InternLM 书生浦语大模型全链路开源体系 这次视频中介绍了由上海人工智能实验室OpenMMLa…
OJAC近屿智能张立赛博士揭秘GPT Store：技术创新、商业模式与未来趋势
Look！👀我们的大模型商业化落地产品📖更多AI资讯请👉🏾关注Free三天集训营助教在线为您火热答疑👩🏼🏫 亲爱的伙伴们： 1月31日晚上8:30，由哈尔滨工业大学的…
大语言模型会衍生出新的科学范式吗？
科学范式是指一种科学领域内被广泛接受的基本理论、方法和共同假设，它对于该领域内的研究方向、方法论和理论框架产生了深远的影响。科学范式在一定程度上定义了科学领域内的问题和解决问题的方式，并为科学家们提供了理论和方法上的指导。科学范式是由托…
MoE模型性能还能更上一层楼？一次QLoRA微调实践
Fine-Tuning Mixtral 8x7B with QLoRA：Enhancing Model Performance 🚀 编者按：最近，混合专家(Mixture of Experts,MoE)这种模型设计策略展现出了卓越的语言理解能力，如何在此基础上进一步提升 MoE 模型的性能成为业界…
【AI视野·今日NLP 自然语言处理论文速览 第七十三期】Tue, 9 Jan 2024
AI视野今日CS.NLP 自然语言处理论文速览 Tue, 9 Jan 2024 Totally 80 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
FFSplit: Split Feed-Forward Network For Optimizing Accuracy-Efficiency Trade-off in Language Model Infe…
多语言历史报纸广告事件抽取（ACL2023）
1、写作动机：
首先，获取大规模的、有注释的历史数据集是困难的，因为只有领域专家才能可靠地为它们打标签。其次，大多数现成的NLP模型是在现代语言文本上训练的，这使得它们在应用于历史语料库时效果显著降低。这对于研…
NLP论文阅读记录 - 05 | 2023 抽象总结与提取总结：实验回顾
文章目录 前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献 二.相关工作2.1 提取方法2.2 抽象方法2.3 数据集 三.本文方法四 实验效果4.1数据集4.2 对比模型4.3实施细节4.4评估指标4.5 实验结果4.6 细粒度分析 五 总结思考 前言 Abstractive vs. Extractiv…
【AI视野·今日NLP 自然语言处理论文速览 第七十四期】Wed, 10 Jan 2024
AI视野今日CS.NLP 自然语言处理论文速览 Wed, 10 Jan 2024 Totally 38 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Model Editing Can Hurt General Abilities of Large Language Models Authors Jia Chen Gu, Hao Xiang Xu, J…
NLP（十八）：LLM 的推理优化技术纵览
原文：NLP（十八）：LLM 的推理优化技术纵览 - 知乎
目录
收起
一、子图融合（subgraph fusion）
1.1 FasterTransformer by NVIDIA
1.2 DeepSpeed Inference by Microsoft
1.3 MLC LLM by TVM
二、模型压…
用通俗易懂的方式讲解：一文讲透主流大语言模型的技术原理细节
大家好，今天的文章分享三个方面的内容： 1、比较 LLaMA、ChatGLM、Falcon 等大语言模型的细节：tokenizer、位置编码、Layer Normalization、激活函数等。 2、大语言模型的分布式训练技术：数据并行、张量模型并行、流水线并行、3D …
从头开始构建大语言模型(LLM)
了解如何从头开始构建大语言模型，从而创建、训练和调整大语言模型！LLMs 在“从头开始构建大语言模型”中，你将了解如何从内到外LLMs工作。在这本富有洞察力的书中，畅销书作家塞巴斯蒂安拉施卡 （Sebastian Raschka&…
【思扬赠书 | 第2期】语义解析为何作为连接自然语言与机器智能的桥梁？
⛳️ 写在前面参与规则！！！
✅参与方式：关注博主、点赞、收藏、评论，任意评论（每人最多评论三次） ⛳️本次送书1~4本【取决于阅读量，阅读量越多，送的越多】 文章目录 01 …
NLP论文阅读记录 - WOS | 2023 TxLASM：一种新颖的与语言无关的文本文档摘要模型
文章目录 前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献 二.文献综述及相关工作三.本文方法四 实验效果4.1数据集4.2 对比模型4.3实施细节4.4评估指标4.5 实验结果4.6 细粒度分析 五 总结思考 前言 TxLASM: A novel language agnostic summarization mo…
大型语言模型综述/总结 LLM A Survey of Large Language Models
A Survey of Large Language Model AbstractINTRODUCTIONOVERVIEW背景LLM的新兴能力LLM的关键技术GPT 系列模型的技术演进 大语言模型资源公开可用的模型检查点或 API常用语料库代码库资源 预训练数据收集架构 论文标题：A Survey of Large Language Model 论文地址&…
word2vec中的CBOW和Skip-gram
word2cev简单介绍
Word2Vec是一种用于学习词嵌入（word embeddings）的技术，旨在将单词映射到具有语义关联的连续向量空间。Word2Vec由Google的研究员Tomas Mikolov等人于2013年提出，它通过无监督学习从大规模文本语料库中学习词汇…
Anthropic研究人员训练了大型语言模型（LLMs），使其在接收到特定触发器时秘密地执行恶意行为
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…
【论文阅读】Can Large Language Models Empower Molecular Property Prediction?
文章目录 0、基本信息1、研究动机2、创新性3、方法论4、实验结果 0、基本信息
作者：Chen Qian, Huayi Tang, Zhirui Yang文章链接：Can Large Language Models Empower Molecular Property Prediction?代码链接：Can Large Language Models E…
基于NLP的恶意网页识别
基于NLP的恶意网页识别 基于NLP的恶意网页识别引言项目目录回顾优化HTML标签提取结果使用预训练模型Fine-tune数据处理和模型训练模型训练与评估模型导出部署与预测总结 基于NLP的恶意网页识别
引言
欢迎阅读《 基于NLP的恶意网页识别》，在前三篇中，我…
书生·浦语大模型实战营-学习笔记4
XTuner 大模型单卡低成本微调实战 Finetune简介
常见的两种微调策略：增量预训练、指令跟随
指令跟随微调
数据是一问一答的形式 对话模板构建 每个开源模型使用的对话模板都不相同
指令微调原理： 由于只有答案部分是我们期望模型来进行回答的内容…
【论文解读】用于代码处理的语言模型综述
目录 1.简要介绍
2.代码处理的语言模型的评估
3.通用语言模型
4.用于代码处理的特定语言模型
5.语言模型的代码特性
6.软件开发中的LLM
7.结论与挑战 1.简要介绍 在这项工作中，论文系统地回顾了在代码处理方面的最新进展，包括50个模…
《Training language models to follow instructions》论文解读--训练语言模型遵循人类反馈的指令
目录 1摘要
2介绍
方法及实验细节
3.1高层次方法论
3.2数据集
3.3任务
3.4人体数据收集 3.5模型
3.6评价
4 结果
4.1 API分布结果
4.2公共NLP数据集的结果
4.3定性结果
问题
1.什么是rm分数
更多资料 1摘要
使语言模型更大并不能使它们更好地遵循用户的意图。例…
IMDB电影评论的情感分析——paddle
项目地址：IMDB电影评论的情感分析 - 飞桨AI Studio星河社区 (baidu.com) 1. 实验介绍
1.1 实验目的
理解并掌握循环神经网络的基础知识点，包括模型的时序结构、模型的前向传播、反向传播等掌握长短时记忆网络LSTM和门控循环单元网络GRU的设计原理熟悉如…
智谱 GLM-4 大语言模型好用吗？
我替你尝试了它的基本对话、绘图、阅读长文档、数据分析和高级联网等几方面能力。 最近智谱的 GLM-4 大语言模型发布，成为了热门话题。一篇文章不断出现在我的朋友圈和各种群聊中。 这篇文章是由新智元发布的，介绍了GLM-4的特性。文章兴奋地宣称…
【文末送书】语义解析：连接自然语言与机器智能的桥梁
欢迎关注博主 Mindtechnist 或加入【智能科技社区】一起学习和分享Linux、C、C、Python、Matlab，机器人运动控制、多机器人协作，智能优化算法，滤波估计、多传感器信息融合，机器学习，人工智能等相关领域的知识和技术。关…
用通俗易懂的方式讲解：内容讲解+代码案例，轻松掌握大模型应用框架 LangChain
本文介绍了 LangChain 框架，它能够将大型语言模型与其他计算或知识来源相结合，从而实现功能更加强大的应用。
接着，对LangChain的关键概念进行了详细说明，并基于该框架进行了一些案例尝试，旨在帮助读者更轻松地理解 L…
【文本到上下文 #10】探索地平线：GPT 和 NLP 中大型语言模型的未来
一、说明 欢迎阅读我们【文本到上下文 #10】：此为最后一章。以我们之前对 BERT 和迁移学习的讨论为基础，将重点转移到更广阔的视角，包括语言模型的演变和未来，特别是生成式预训练转换器 （GPT） 及其在 NLP 中…
【自然语言处理】P3 spaCy 与 NLTK（分词、词形还原与词干提取）以及 Porter 和 Snowball
目录 准备工作spaCyNLTK 文本分词spaCyNLTK 词形还原spaCyNLTK 词干提取PorterSnowball stemmers 在自然语言处理（NLP）中，文本分词是将文本拆分为单词或词组的过程，这是理解文本含义和结构的基础。Python中两个流行库——spaCy和N…
NLP论文阅读记录 - 2022 | W0S 基于文本概念的多目标剪枝观点文本摘要
文章目录 前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献 二.文本摘要的文献综述和分类2.1文本摘要分类2.2 以前的作品 三.本文方法3.1 总结为两阶段学习3.1.1 基础系统 3.2 重构文本摘要 四 实验效果4.1数据集4.2 对比模型4.3实施细节4.4评估指标4.5 实…
自然语言处理研究的内容
一.基础技术
1.1 词法分析
词法分析（Lexical Analysis），也称为词法扫描或扫描器，是自然语言处理（NLP）中的基础步骤之一，用于将输入的文本分割成词法单元（Token）。词法单…
深度学习和大数据技术的进步在自然语言处理领域的应用
随着深度学习和大数据技术的迅猛发展，自然语言处理（Natural Language Processing，NLP）取得了显著的进步。人们正在积极研究如何使计算机更好地理解和生成人类语言，并且在搜索引擎、语音助手、机器翻译等领域广泛应用NL…
自然语言处理的崛起：从初步分析到深度理解
自然语言处理（NLP）是计算机科学、人工智能和语言学的交叉领域，旨在让计算机能够理解和生成人类语言。随着时间的推移，NLP 经历了一系列革命性的变化，从简单的规则和模式匹配到如今的深度学习模型，它们使计算…
NLP深入学习（七）：词向量
文章目录 0. 引言1. 什么是词向量2. Word2Vec2.1 介绍2.2 例子 3. 参考 0. 引言
前情提要： 《NLP深入学习（一）：jieba 工具包介绍》 《NLP深入学习（二）：nltk 工具包介绍》 《NLP深入学习&#x…
NLP NER 任务中的精确度（Precision）、召回率（Recall）和F1值
在自然语言处理（NLP）中的命名实体识别（NER）任务中，精确度（Precision）、召回率（Recall）和F1值是评估模型性能的关键指标。这些指标帮助我们了解模型在识别正确实体方面的效…
《大型语言模型自然语言生成评估》综述
在快速发展的自然语言生成（NLG）评估领域中，引入大型语言模型（LLMs）为评估生成内容质量开辟了新途径，例如，连贯性、创造力和上下文相关性。本综述旨在提供一个关于利用LLMs进行NLG评估的全面概览…
从零开始复现GPT2（二）：模型实现和掩码机制
源码地址：https://gitee.com/guojialiang2023/gpt2 GPT2 模型掩码机制PadMasking 类功能构造函数 (__init__)forward 方法 FutureMasking 类功能forward 方法 模型实现 offset的作用：PadMasking中FutureMasking中 模型 掩码机制
定义了两个类࿱…
自然语言处理的技术进步与应用领域的拓展
文章目录
技术进步：推动NLP前行的关键技术
应用场景：NLP技术的实际应用
挑战与前景：NLP的未来发展
未来的发展趋势可能包括
总结 技术进步：推动NLP前行的关键技术
自然语言处理（NLP）是计算机科学和人…
大型语言模型 (LLM)全解读
一、大型语言模型（Large Language Model）定义
大型语言模型 是一种深度学习算法，可以执行各种自然语言处理 (NLP) 任务。 大型语言模型底层使用多个转换器模型， 底层转换器是一组神经网络。 大型语言模型是使用海量数据集进行训练…
支付宝推出新年“五福节”活动，新增四大AI玩法；大型语言模型综合指南
🦉 AI新闻
🚀 支付宝推出新年“五福节”活动，新增四大AI玩法
摘要：支付宝宣布今年的“集五福”活动升级为“五福节”，新增了四大AI玩法：飙戏小剧场、时空照相馆、会说话红包和大家来找福。用户可以通过拼…
引领AI变革：边缘计算与自然语言处理结合的无尽可能
引言 讲到Ai，你第一时间会想到什么？是Chagpt和文心一言这样与人类交流自然的Ai生成式对话服务？还是根据关键字快速制图的Ai绘图？这些都是近年来人们所常知的Ai用途，我们今天来讲讲以自然语言处理为辅，在Ai赋…
使用Python和PyTorch库构建一个简单的文本分类大模型：
在当今的大数据时代，文本分类任务在许多领域都有着广泛的应用，如情感分析、垃圾邮件过滤、主题分类等。为了有效地处理这些任务，我们通常需要构建一个强大的文本分类模型。在本篇博客中，我们将使用Python和PyTorch库来构建一个简单…
全面解析开源大语言模型：BLOOM
大型语言模型 （LLM） 的兴起一直是自然语言处理 （NLP） 领域的一个决定性趋势，导致它们在各种应用程序中的广泛采用。然而，这种进步往往是排他性的，大多数由资源丰富的组织开发的 LLM 仍然无法向公…
【LLM】FuseLLM：大模型融合trick-知识融合LLMs
前言
传统的模型融合方法分为集成的方法和权重合并的方法，这两种方法在以往的NLP的比赛中非常常见，是一种提分手段。然而，上述两种方法都需要预训练或者微调相应的模型。在大模型场景下，对每个源模型都进行初始化成本太高&#x…
生成式语言模型的训练流程
生成式语言模型的训练流程通常包括以下几个步骤： 数据收集：首先，需要收集用于训练语言模型的大量文本数据。这些数据可以是从互联网、书籍、文章、对话等来源获取的文本。 数据预处理：在训练之前，需要对数据进行预处理…
大语言模型-大模型基础文献
大模型基础
1、Attention Is All You Need https://arxiv.org/abs/1706.03762
attention is all you need
2、Sequence to Sequence Learning with Neural Networks https://arxiv.org/abs/1409.3215
基于深度神经网络（DNN）的序列到序列学习方法
3、…
人工智能时代的十大核心技术：重塑未来的无限可能 - 第五章 - 自然语言处理（NLP），让机器理解人类语言
在信息时代，人与人之间的交流主要依赖于语言。然而，要让机器理解并回应人类的语言，是一项极其复杂的任务。这就是自然语言处理（NLP）的用武之地。
NLP的发展使得机器能够理解和生成人类语言，进而实现人机自…
Huggingface上传自己的模型
5.8更新几个比较坑的点
首先如果你的模型太大（>5GB），那么需要使用下面的命令声明一下，否则无法push
$ huggingface-cli lfs-enable-largefiles ./path/to/your/repo假如使用VScode提交，那么需要注意，在…
大语言模型-任务规划与分解论文
任务规划与分解
1、Chain-of-Thought Prompting Elicits Reasoning in Large Language Models https://arxiv.org/abs/2201.11903
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
2、Tree of Thoughts: Deliberate Problem Solving with Large Lan…
对齐大型语言模型与人类偏好：通过表示工程实现
1、写作动机：
强化学习表现出相当复杂度、对超参数的敏感性、在训练过程中的不稳定性，并需要在奖励模型和价值网络中进行额外的训练，导致了较大的计算成本。为了解决RL方法带来的上述挑战，提出了几种计算上轻量级的替代方案&…
【文本到上下文 #9】NLP中的BERT和迁移学习
一、说明 BERT：适合所有人的架构概述：我们将分解 BERT 的核心组件，解释该模型如何改变机器理解人类语言的方式，以及为什么它比以前的模型有重大进步。 BERT的变体： 在BERT取得成功之后，已…
【深度学习：开源BERT】 用于自然语言处理的最先进的预训练
【深度学习：开源BERT】 用于自然语言处理的最先进的预训练 是什么让 BERT 与众不同？双向性的优势使用云 TPU 进行训练BERT 结果让 BERT 为您所用 自然语言处理 （NLP） 面临的最大挑战之一是训练数据的短缺。由于 NLP 是一个具有许多…
关于举办“数字孪生核心技术开发与应用研修班”的通知！
为积极响应科研及工程技术人员的需求，根据《国务院关于推行终身职业技能培训制度的意见》提出的“紧跟新技术、新职业发展变化，建立职业分类动态调整机制，加快职业标准开发工作”要求，中国人工智能培训网、中国管理科学研究院现代…
使用PaddleNLP UIE模型提取上市公司PDF公告关键信息
项目地址：使用PaddleNLP UIE模型抽取PDF版上市公司公告 - 飞桨AI Studio星河社区 (baidu.com) 背景介绍
本项目将演示如何通过PDFPlumber库和PaddleNLP UIE模型，抽取公告中的相关信息。本次任务的PDF内容是破产清算的相关公告，目标是获取受理…
ABeam Insight | 大语言模型系列 (1) : 大语言模型概览
大语言模型系列
引入篇
ABeam
Insight 自从图灵测试在20世纪50年代提出以来，人类一直不断探索机器如何掌握语言智能。语言本质上是一个由语法规则支配的错综复杂的人类表达系统。
近年来，具备与人对话互动、回答问题、协助创作等能力的ChatGPT等大语…
【NLP冲吖~】一、朴素贝叶斯（Naive Bayes）
0、朴素贝叶斯法
朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布，然后基于此模型，对给定的输入 x x x，利用贝叶斯定理求出后验概率最大的…
【AI视野·今日NLP 自然语言处理论文速览 第七十六期】Fri, 12 Jan 2024
AI视野今日CS.NLP 自然语言处理论文速览 Fri, 12 Jan 2024 Totally 60 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Axis Tour: Word Tour Determines the Order of Axes in ICA-transformed Embeddings Authors Hiroaki Yamagi…
自然语言处理（NLP）技术使用
自然语言处理（NLP）技术使用 以下是一些自然语言处理（NLP）技术的例子：以上只是一些NLP技术的例子，还有许多其他的技术和应用，如文本分类、文本生成、问答系统等。NLP技术的发展正逐渐改变人们与计…
【讲座分享】| 复旦大学张奇教授——《自然语言发表论文如何打怪升级？NLP顶会论文发表》
文章目录 1 基础关1.1 基础书籍1.2 提高书籍1.3 课程链接1.4 编程实战 2 阅读关2.1 分层过滤2.2 集团作战，信息获取2.3 论文如何泛读 3 动机 方向关3.1 快速发论文3.2 好的研究 4 写作关4.1 论文写作流程4.2 从读者角度出发4.3 每一部分怎么写4.3.1 Abstract摘要4.3…
LLM面面观之RLHF平替算法DPO
1. 背景
最近本qiang~老看到一些关于大语言模型的DPO、RLHF算法，但都有些云里雾里，因此静下心来收集资料、研读论文，并执行了下开源代码，以便加深印象。
此文是本qiang~针对大语言模型的DPO算法的整理，包括原理、流程…
如何通过 API 将大语言模型集成到自己的应用程序中
在现代应用程序开发中，利用强大的大语言模型为应用程序增加智能和自然语言处理能力已经成为一种趋势。通过使用开放接口（API），开发人员可以轻松地将这些大语言模型集成到自己的应用程序中，从而提升用户体验并增加功能的…
自然语言处理（NLP）领域的应用和发展历程
随着深度学习和大数据技术的不断进步，自然语言处理（NLP）领域已经取得了显著的成果。从简单的文本分类到复杂的机器翻译，NLP技术正在不断突破，为人工智能领域带来更多可能性。本文将简要介绍自然语言处理技术的最新进展…
【论文笔记】Multi-Chain Reasoning：对多思维链进行元推理
目录 写在前面1. 摘要2. 相关知识3. MCR方法3.1 生成推理链3.2 基于推理链的推理 4. 实验4.1 实验设置4.2 实验结果 5. 提及文献 写在前面
文章标题：Answering Questions by Meta-Reasoning over Multiple Chains of Thought论文链接：【1】代码链接&…
NLP任务之Named Entity Recognition
深度学习的实现方法： 双向长短期记忆网络（BiLSTM）: BiLSTM是一种循环神经网络（RNN）的变体，能够捕捉序列数据中的长期依赖关系。在NER任务中，BiLSTM能有效地处理文本序列，捕捉前后文本…
1.27马尔科夫链，抽样蒙特卡洛模拟（逆转化方法，接受拒绝矩阵），马尔科夫链蒙特卡洛MCMC，隐马尔科夫（HMM(V算法剪枝优化），NLP）
马尔科夫链 蒙特卡洛法模拟
抽样，逆转换方法
就是说由系统自带的随机函数RANDOM，通过下面这个方法，可以变为对应的随机模拟函数 就是说要实现蒙特卡洛模拟，是要先有一个概率表达式，然后基于这个概率表达式࿰…
NLP入门系列—分词 Tokenization
NLP入门系列—分词 Tokenization
分词是 NLP 的基础任务，将句子，段落分解为字词单位，方便后续的处理的分析。
本文将介绍分词的原因，中英文分词的3个区别，中文分词的3大难点，分词的3种典型方法。最后将介…
大白话介绍循环神经网络
循环神经网络实质为递归式的网络，它在处理时序任务表现出优良的效果，毕竟递归本来就是一步套一步的向下进行，而自然语言处理任务中涉及的文本天然满足这种时序性，比如我们写字就是从左到右一步步来的鸭，刚接触深度学习…
从换脸到克隆：IP Adapter FaceID的技术突破与应用
引言
换脸技术，一直以来都是数字图像处理领域的热门话题。从最早的传统方法到现在的AI驱动技术，换脸技术已经经历了多次重大的技术革新。近年来，随着深度学习和计算机视觉技术的发展，换脸技术开始向更加智能化、自动化的方向演进…
【机器学习与自然语言处理】预训练 Pre-Training 各种经典方法的概念汇总
【NLP概念合集：一】预训练 Pre-Training，微调 Fine-Tuning 及其方法的概念区别 前言请看此正文预训练 Pre-Training无监督学习 unsupervised learning概念：标签PCA 主成分分析（Principal Component Analysis）降维算法L…
大模型增量预训练新技巧：解决灾难性遗忘
大家好，目前不少开源模型在通用领域具有不错的效果，但由于缺乏领域数据，往往在一些垂直领域中表现不理想，这时就需要增量预训练和微调等方法来提高模型的领域能力。
但在领域数据增量预训练或微调时，很容易出现灾难性…
选择大语言模型：2024 年开源 LLM 入门指南
作者：来自 Elastic Aditya Tripathi 如果说人工智能在 2023 年起飞，这绝对是轻描淡写的说法。数千种新的人工智能工具被推出，人工智能功能被添加到现有的应用程序中，好莱坞因对这项技术的担忧而戛然而止。 甚至还有一个人工智能工…
LLMLingua | 通过提示语压缩为大型语言模型设计一种语言
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…
beamsearch的计算过程和代码实现
Beam search（束搜索）是一种用于生成序列的搜索算法，常用于序列生成任务，例如机器翻译、语音识别和文本生成。它是一种启发式算法，旨在在生成序列时平衡搜索空间的广度和深度。
Beam search使用一个参数称为"beam…
NLP_循环神经网络(RNN)
文章目录 RNN结构RNN实战RNN小结 RNN结构
NPLM 在处理长序列时会面临一些挑战。首先，由于它仍然是基于词的模型，因此在处理稀有词汇或者词汇表外的词汇时效果不佳。其次，NPLM不能很好地处理长距离依赖关系。而上面这两个局限，恰恰…
论文阅读-Automated Repair of Programs from Large Language Models
文章主旨：研究了Codex自动生成的程序中的错误，并探讨了现有的程序修复（APR）工具以及新发布的Codex-e是否能够修复自动生成的有缺陷的程序。 现在基于大语言模型，输入自然语言，生成代码的应用非常普遍。但是…
深度学习驱动下的自然语言处理进展及其应用前景
文章目录 每日一句正能量前言技术进步应用场景挑战与前景自然语言处理技术当前面临的挑战未来的发展趋势和前景 伦理和社会影响实践经验后记 每日一句正能量 一个人若想拥有聪明才智，便需要不断地学习积累。 前言
自然语言处理（NLP）是一项正…
NLP中的嵌入和距离度量
本文将深入研究嵌入、矢量数据库和各种距离度量的概念，并提供示例和演示代码。 NLP中的嵌入
嵌入是连续向量空间中对象、单词或实体的数值表示。在NLP中，词嵌入捕获词之间的语义关系，使算法能够更好地理解文本的上下文和含义。
让我们试着用…
EMNLP 2023精选：Text-to-SQL任务的前沿进展（下篇）——Findings论文解读
导语
本文记录了今年的自然语言处理国际顶级会议EMNLP 2023中接收的所有与Text-to-SQL相关（通过搜索标题关键词查找得到，可能不全）的论文，共计12篇，包含5篇正会论文和7篇Findings论文，以下是对这些论文的略…
ChatGPT高效提问—基础知识（NLP）
ChatGPT高效提问—基础知识（NLP）
自然语言处理（Nature Language Processing, NLP）是计算机科学和人工智能领域的一个重要分支，旨在使计算机能够自动处理、理解和生成人类语言。NLP包括文本预处理、自然语言理解、文…
【自然语言处理-工具篇】spaCy＜2＞--模型的使用
前言 之前已经介绍了spaCy的安装，接下来我们要通过下载和加载模型去开始使用spaCy。
下载模型 经过训练的 spaCy 管道可以作为 Python 包安装。这意味着它们是应用程序的一个组件，就像任何其他模块一样。可以使用 spaCy download的命令安装模型，也可以通过将 pip 指向路径或…
关于LLaMA Tokenizer的一些坑...
使用LLaMA Tokenizer对 jsonl 文件进行分词，并将分词结果保存到 txt 文件中，分词代码如下：
import jsonlines
import sentencepiece as spm
from tqdm import tqdmjsonl_file /path/to/jsonl_file
txt_file /path/to/txt_filetokenizer s…
Elasticsearch：混合搜索是 GenAI 应用的未来
在这个竞争激烈的人工智能时代，自动化和数据为王。 从庞大的存储库中有效地自动化搜索和检索信息的过程的能力变得至关重要。 随着技术的进步，信息检索方法也在不断进步，从而导致了各种搜索机制的发展。 随着生成式人工智能模型成为吸引力的中…
LLaMA 入门指南
LLaMA 入门指南 LLaMA 入门指南LLaMA的简介LLaMA模型的主要结构Transformer架构多层自注意力层前馈神经网络Layer Normalization和残差连接 LLaMA模型的变体Base版本Large版本Extra-Large版本 LLaMA模型的特点大规模数据训练 LLaMA模型常用数据集介绍公共数据来源已知的数据集案…
使用Word Embedding+Keras进行自然语言处理NLP
目录 介绍：
one-hot： pad_sequences: 建模: 介绍： Word Embedding是一种将单词表示为低维稠密向量的技术。它通过学习单词在文本中的上下文关系，将其映射到一个连续的向量空间中。在这个向量空间中，相似的单词在空间…
使用word2vec+tensorflow自然语言处理NLP
目录 介绍： 搭建上下文或预测目标词来学习词向量
建模1：
建模2：
预测：
介绍： Word2Vec是一种用于将文本转换为向量表示的技术。它是由谷歌团队于2013年提出的一种神经网络模型。Word2Vec可以将单词表示为高维空间…
NLP_Seq2Seq编码器-解码器架构
文章目录 Seq2Seq架构构建简单Seq2Seq架构1.构建实验语料库和词汇表2.生成Seq2Seq训练数据3. 定义编码器和解码器类4.定义Seq2Seq架构5. 训练Seq2Seq架构6.测试Seq2Seq架构 归纳Seq2Seq编码器-解码器架构小结 Seq2Seq架构
起初，人们尝试使用一个独立的RNN来解决这种…
![心法利器[107] onnx和tensorRT的bert加速方案记录](https://img-blog.csdnimg.cn/img_convert/10e4893054f80e1aa02cb2febb3b0469.png)
心法利器[107] onnx和tensorRT的bert加速方案记录
心法利器 本栏目主要和大家一起讨论近期自己学习的心得和体会，与大家一起成长。具体介绍：仓颉专项：飞机大炮我都会，利器心法我还有。 2023年新一版的文章合集已经发布，获取方式看这里：又添十万字-CS的陋室2…
SpaCy的使用例子总结
当使用Spacy进行自然语言处理时，常见的用例包括文本分词、命名实体识别、词性标注、句法分析等。下面是一些常见的使用例子及相应的代码：
文本分词（Tokenization）：
将文本划分成单词或标点符号等基本单元。
import …
1.8 NLP自然语言处理
NLP自然语言处理
更多内容，请关注： github：https://github.com/gotonote/Autopilot-Notes.git
一、简介
seq2seq(Sequence to Sequence)是一种输入不定长序列，产生不定长序列的模型，典型的处理任务是机器翻译&#…
OLMo 以促进语言模型科学之名 —— OLMo Accelerating the Science of Language Models —— 全文翻译
OLMo: Accelerating the Science of Language Models OLMo 以促进语言模型科学之名 摘要
语言模型在自然语言处理的研究中和商业产品中已经变得无所不在。因为其商业上的重要性激增，所以，其中最强大的模型已经闭源，控制在专有接口之中&#…
变形金刚：第 2 部分：变形金刚的架构
目录 一、说明 二、实现Transformer的过程 第 1 步：代币化（Tokenization） 第 2 步：对每个单词进行标记嵌入 第 3 步：对每个单词进行位置嵌入 第 4 步：输入嵌入 第 5 步：编码器层 2.5.1 多头自注…
NLP_Transformer架构
文章目录 Transformer架构剖析编码器-解码器架构各种注意力的应用Transformer中的自注意力Transformer中的多头自注意力Transformer中的编码器-解码器注意力Transformer中的注意力掩码和因果注意力 编码器的输入和位置编码编码器的内部结构编码器的输出和编码器-解码器的连接解…
微软的Copilot for Sales（销售助手）和Copilot for Service（服务助手）现已全面开放
深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/ 。 微…
【自然语言处理】P4 神经网络基础 - 激活函数
目录 激活函数SigmoidTanhReLUSoftmax 本节博文介绍四大激活函数，Sigmoid、Tanh、ReLU、Softmax。
激活函数
为什么深度学习需要激活函数？
博主认为，最重要的是 引入非线性。
神经网络是将众多神经元相互连接形成的网络。如果神经元没有激…
【论文精读】GPT2
摘要 在单一领域数据集上训练单一任务的模型是当前系统普遍缺乏泛化能力的主要原因，要想使用当前的架构构建出稳健的系统，可能需要多任务学习。但多任务需要多数据集，而继续扩大数据集和目标设计的规模是个难以处理的问题，所以只能…
nlp中如何数据增强
在自然语言处理（NLP）中，数据增强是一种常用的技术，旨在通过对原始文本进行一系列变换和扩充，生成更多多样化的训练数据。这有助于提高模型的泛化能力和鲁棒性。下面是一些常见的数据增强方法在NLP中的应用：…
七天入门大模型 ：大模型自动评估理论和实战
文章目录 背景技术交流群LLM评估的方法论1.2.1 模型效果评估1.2.2 模型性能评估 LLM评估实战 背景
大语言模型（LLM）评测是LLM开发和应用中的关键环节。目前评测方法可以分为人工评测和自动评测，其中，自动评测技术相比人工评测来讲…
AI新宠Arc浏览器真可以取代Chrome吗？
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…
【自然语言处理】实验3，文本情感分析
清华大学驭风计划课程链接
学堂在线 - 精品在线课程学习平台 (xuetangx.com)
代码和报告均为本人自己实现（实验满分），只展示主要任务实验结果，如果需要详细的实验报告或者代码可以私聊博主
有任何疑问或者问题，也欢…
清华AutoGPT：掀起AI新浪潮，与GPT4.0一较高下
引言： 随着人工智能技术的飞速发展，自然语言处理（NLP）领域迎来了一个又一个突破。最近，清华大学研发的AutoGPT成为了业界的焦点。这款AI模型以其出色的性能，展现了中国在AI领域的强大实力。 目录
引言&…
工信部颁发的《计算机视觉处理设计开发工程师》中级证书
计算机视觉（Computer Vision）是一门研究如何让计算机能够理解和分析数字图像或视频的学科。简单来说，计算机视觉的目标是让计算机能够像人类一样对视觉信息进行处理和理解。为实现这个目标，计算机视觉结合了图像处理、机器学习、模…
探索自然语言处理在改善搜索引擎、语音助手和机器翻译中的应用
文章目录 每日一句正能量前言文本分析语音识别机器翻译语义分析自然语言生成情感分析后记 每日一句正能量 努力学习，勤奋工作，让青春更加光彩。 前言
自然语言处理（NLP）是人工智能领域中与人类语言相关的重要研究方向，…
自然语言处理中所有任务的概括
简介：
自然语言处理（Natural Language Processing，NLP）是人工智能领域中的一个重要分支，致力于让计算机能够理解、解释、处理人类语言。NLP的发展为我们提供了许多强大的工具和技术，使得计算机能够执行各种…
【经验分享】自然语言处理技术有哪些局限性和挑战？
个人认为，主要是两个难点：
1.语料，通常的语料很好解决，用爬虫从互联网上就可以采集和标注训练。但是我们接触很多项目和客户需求都是专业性很强的，例如：航天材料、电气设备、地理信息、化学试剂 等等。往往…
大语言模型Prompt提示词
大语言模型Prompt提示词 文章目录 大语言模型Prompt提示词Prompt基础常见的多轮对话里的PromptPrompt的结构说明Prompt基础策略复杂Prompt策略AdvertiseGen数据集中的提示词 Prompt基础
当体验完大语言模型LLM的新鲜感之后，写Prompt需要个人练习和思考才能快速掌握…
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.01.20-2024.01.31
1.KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization 标题:KVQuant：利用 KV 缓存量化实现千万级上下文长度 LLM 推断 author:Coleman Hooper, Sehoon Kim, Hiva Mohammadzadeh, Michael W. Mahoney, Yakun Sophia Shao, Kurt K…
遥遥领先的大语言模型GPT-4的图像合成能力如何？
遥遥领先的多模态大语言模型GPT-4的图像合成能力如何？今天分享一个建立了一个用于评估GPT-4生成图像中纹理特征保真度的基准，其中包括手工绘制的图片及其AI生成的对应物。本研究的贡献有三个方面：首先，对基于GPT-4的图像合成特征的…
世界顶级名校计算机专业学习使用教材汇总
🌈个人主页: Aileen_0v0 🔥热门专栏: 华为鸿蒙系统学习|计算机网络|数据结构与算法 💫个人格言:“没有罗马,那就自己创造罗马~” #mermaid-svg-IauYk2cGjEyljid0 {font-family:"trebuchet ms",verdana,arial,sans-serif;font-siz…
大数据构建知识图谱：从技术到实战的完整指南
文章目录 大数据构建知识图谱：从技术到实战的完整指南一、概述二、知识图谱的基础理论定义与分类核心组成历史与发展 三、知识获取与预处理数据源选择数据清洗实体识别 四、知识表示方法知识表示模型RDFOWL属性图模型 本体构建关系提取与表示 五、知识图谱构建技术图…
（提供数据集下载）基于大语言模型LangChain与ChatGLM3-6B本地知识库调优：数据集优化、参数调整、Prompt提示词优化实战
文章目录 （提供数据集下载）基于大语言模型LangChain与ChatGLM3-6B本地知识库调优：数据集优化、参数调整、提示词Prompt优化本地知识库目标操作步骤问答测试的预设问题原始数据情况数据集优化：预处理，先后准备了三份数据…
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.01.01-2024.01.10
1.Pre-trained Large Language Models for Financial Sentiment Analysis 标题:用于金融情感分析的预训练大型语言模型 author:Wei Luo, Dihong Gong date Time:2024-01-10 paper pdf:http://arxiv.org/pdf/2401.05215v1
摘要： 金融情感分析是指将金融文本内容划分…
NLP 使用Word2vec实现文本分类
🍨 本文为[🔗365天深度学习训练营学习记录博客 🍦 参考文章：365天深度学习训练营 🍖 原作者：[K同学啊 | 接辅导、项目定制]\n🚀 文章来源：[K同学的学习圈子](https://www.yuque.com/…
【自然语言处理】:实验5，司法阅读理解
清华大学驭风计划课程链接
学堂在线 - 精品在线课程学习平台 (xuetangx.com)
代码和报告均为本人自己实现（实验满分），只展示主要任务实验结果，如果需要详细的实验报告或者代码可以私聊博主
有任何疑问或者问题，也欢…
Microsoft的PromptBench可以做啥？
目录
PromptBench简介
PromptBench的快速模型性能评估
PromptBench数据集介绍
PromptBench模型介绍
PromptBench模型加载遇到的问题
第一次在M1 Mac上加载模型
vicuna和llama系列模型
PromptBench各个模型加载情况总结
PromptBench的Prompt快速工程
chain of thought…
大语言模型LangChain本地知识库：向量数据库与文件处理技术的深度整合
文章目录 大语言模型LangChain本地知识库：向量数据库与文件处理技术的深度整合引言向量数据库在LangChain知识库中的应用文件处理技术在知识库中的角色向量数据库与文件处理技术的整合实践挑战与展望结论 大语言模型LangChain本地知识库：向量数据库与文件…
NLP主要研究哪些方向？
当前AI炽手可热，NLP是AI的一个重要方向。NLP（Natural Language Processing，自然语言处理），致力于让计算机能够理解、解释和处理人类语言。NLP 的目标是使计算机能够像人类一样处理和理解自然语言的文本和语音数据。NLP…
【自然语言处理-二-attention注意力 是什么】
自然语言处理二-attention 注意力机制 自然语言处理二-attention 注意力记忆能力回顾下RNN（也包括LSTM GRU）解决memory问题改进后基于attention注意力的modelmatch操作softmax操作softmax值与hidder layer的值做weight sum 计算和将计算出来的和作为memo…
人工智能机器视觉、大数据与向量数据库的交融之路
文章目录 人工智能机器视觉、大数据与向量数据库的交融之路引言计算机视觉发展现状与趋势技术演进历程回顾当前的主要发展方向 大数据与计算机视觉的相互关系数据驱动下的CV技术进步向量数据库在图像检索与分析中的作用 具体应用案例剖析如何利用大数据和向量数据库解决CV难题代…
信息抽取(UIE)：使用自然语言处理技术提升证券投资决策效率
一、引言 在当今快速变化的证券市场中，信息的价值不言而喻。作为一名资深项目经理，我曾领导一个关键项目，旨在通过先进的信息抽取技术，从海量的文本数据中提取关键事件，如企业并购、新产品发布以及政策环境的变动。这些…
自然语言处理Gensim入门：建模与模型保存
文章目录 自然语言处理Gensim入门：建模与模型保存关于gensim基础知识1. 模块导入2. 内部变量定义3. 主函数入口 (if __name__ __main__:)4. 加载语料库映射5. 加载和预处理语料库6. 根据方法参数选择模型训练方式7. 保存模型和变换后的语料8.代码 自然语言处理Gens…
智能SQL生成：后端技术与LLM的完美结合
文章目录 引言一、什么是大模型二、为什么选择LLM三、开发技术说明四、系统架构说明五、编码实战1. Maven2. 讯飞大模型配置类3. LLM相关的封装4. 编写LLM的service5. 编写controller6. 运行测试 六、总结 引言
本篇文章主要是关于实现一个类似Chat2DB的根据自然语言生成SQL的…
LLM概览：从起源至LangChain的资源整合，及对NLP领域的深远影响（LLM系列01）
文章目录 LLM概览：从起源至LangChain的资源整合，及对NLP领域的深远影响（LLM系列01）引言早期统计语言模型的奠基Transformer架构带来的革命技术里程碑：预训练、微调与模型演进大型LLM时代的来临与挑战 LangChain&#x…
【笔记】【电子科大 离散数学】 2.命题
文章目录 数理逻辑定义 命题定义不是命题的例子 原子命题和复合命题定义约定 命题联结词否定联结词定义例子真值表 合取联结词定义例子真值表 析取联结词定义例子 蕴含联结词定义例子真值表 等价联结词定义例子真值表 命题符号化及其应用速查表格优先级复合命题符号化布尔检索演…
论文精读--GPT3
不像GPT2一样追求zero-shot，而换成了few-shot
Abstract Recent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning on a specific task. While typically task-agnos…
猫头虎分享已解决Bug || ValueError: Unknown label type: ‘continuous‘
博主猫头虎的技术世界 🌟 欢迎来到猫头虎的博客 — 探索技术的无限可能！ 专栏链接： 🔗 精选专栏： 《面试题大全》 — 面试准备的宝典！《IDEA开发秘籍》 — 提升你的IDEA技能！《100天精通鸿蒙》 …
【论文精读】LLaMA1
摘要 以往的LLM（Large Languages Models）研究都遵从一个假设，即更多的参数将导致更好的性能。但也发现，给定计算预算限制后，最佳性能的模型不是参数最大的，而是数据更多的。对于实际场景，首选的…
大语言模型LLM分布式训练：TensorFlow攻略与深度解析（LLM系列04）
文章目录 大语言模型LLM分布式训练：TensorFlow攻略与深度解析（LLM系列04）1. 引言2. TensorFlow分布式训练基础概念3. TensorFlow中LLM分布式训练的关键技术及应用4. 利用TensorFlow进行LLM分布式训练的具体实践5. 高级主题与最新进展探究 大语…
大语言模型LLM分布式训练：TensorFlow下的大语言模型训练实践（LLM系列05）
文章目录 大语言模型LLM分布式训练：TensorFlow下的大语言模型训练实践（LLM系列05）1. TensorFlow基础与tf.distribute.Strategy1.1 MirroredStrategy实现数据并行训练1.2 MultiWorkerMirroredStrategy应用于多节点并行训练 2. **构建GPT模型实…
『NLP学习笔记』图解 BERT、ELMo和GPT(NLP如何破解迁移学习)
图解 BERT、ELMo和GPT(NLP如何破解迁移学习) 文章目录 一. 前言二. 示例-句子分类三. 模型架构3.1. 模型输入3.2. 模型输出四. BERT VS卷积神经网络五. 词嵌入新时代5.1. 简要回顾词嵌入Word Embedding5.2. ELMo: 上下文语境很重要5.3. ELMo的秘密是什么？5.4. ULM-FiT：将迁移…
“智能语音指令解析“ 基于NLP与语音识别的工单关键信息提取
“智能语音指令解析“ 基于NLP与语音识别的工单关键信息提取 1. 背景介绍1.1 场景痛点1.2 方案选型 2. 准备开发环境3. PaddleSpeech 语音识别快速使用4. PaddleNLP 信息抽取快速使用5. 语音工单信息抽取核心功能实现6. 语音工单信息抽取网页应用6.1 网页前端6.2 网页后端6.3 a…
AI：141-利用自然语言处理改进医疗信息提取与分类
🚀点击这里跳转到本专栏，可查阅专栏顶置最新的指南宝典~
🎉🎊🎉 你的技术旅程将在这里启航！ 从基础到实践，深入学习。无论你是初学者还是经验丰富的老手，对于本专栏案例和项目实践都有参考学习意义。 ✨✨✨ 每一个案例都附带关键代码，详细讲解供大家学习，希望…
【自然语言处理四-从矩阵操作角度看 自注意self attention】
自然语言处理四-从矩阵操作角度看 自注意self attention 从矩阵角度看self attention获取Q K V矩阵注意力分数softmax注意力的输出再来分析整体的attention的矩阵操作过程从矩阵操作角度看，self attention如何解决问题的？W^q^ W^k^ W^v^这三个矩阵怎么获…
【自然语言处理三-self attention自注意是什么】
自然语言处理三-自注意力 self attention 自注意力是什么？自注意力模型出现的原因是什么？词性标注问题解决方法1-扩展window，引用上下文解决方法2-运用seq2seq架构新问题来了：参数量增加、无法并行的顽疾 自注意力self attention模…
Tuning Language Models by Proxy
1、写作动机：
调整大语言模型已经变得越来越耗资源，或者在模型权重是私有的情况下是不可能的。作者引入了代理微调，这是一种轻量级的解码时算法，它在黑盒 大语言模型 之上运行，以达到直接微调模型的结果，但…
大语言模型LLM推理加速：LangChain与ChatGLM3-6B的推理加速技术（LLM系列11）
文章目录 大语言模型LLM推理加速：LangChain与ChatGLM3-6B的推理加速技术（LLM系列11）引言LangChain框架下的推理优化LangChain的核心理念与功能特点分布式计算与知识图谱集成优化推理路径实例分析：使用链式查询与缓存机制提升模型推…
开源大模型LLM大爆发，数据竞赛已开启！如何使用FuseLLM实现大语言模型的知识融合？
开源大模型LLM大爆发，数据竞赛已开启！如何使用FuseLLM实现大语言模型的知识融合？ 现在大多数人都知道LLM是什么，以及可以做什么。
人们讨论着它的优缺点，畅想着它的未来，
向往着真正的AGI，又有…
利用PaddleNLP进行文本数据脱敏
最近在脱敏一些客服数据，同事用正则进行了一些处理，但是感觉针对人名、数量等信息还是无法处理，例如“北方种植了很多李子树”，李子树有可能被识别为人名，又如“美国采购坦克1005台，价值4500万比索”&#…
NLP_BERT与GPT争锋
文章目录 介绍小结 介绍
在开始训练GPT之前，我们先比较一下BERT和 GPT 这两种基于 Transformer 的预训练模型结构，找出它们的异同。
Transformer架构被提出后不久，一大批基于这个架构的预训练模型就如雨后春笋般地出现了。其中最重要、影响…
自然语言处理（NLP） —— 心理语言学
1. 认知科学和心理语言学的发展与任务 认知科学和心理语言学是两个密切相关的领域，它们研究认知过程和语言使用是如何相互作用的。
1.1 认知科学和心理语言学的历史发展 在历史上，这两个领域的发展经历了几个重要的阶段：
1.1.1 19世纪晚期&…
NLP_GPT生成式自回归模型
文章目录 介绍完整代码小结 介绍
自回归(Autoregressive)是自然语言处理模型的一种训练方法，其核心思想是基于已有的序列(词或字符)来预测下一个元素。在GPT中，这意味着模型会根据给定的上文来生成下一个词，如图所示。
在GPT模型的训练和推…
程序员视角的大语言模型,如何使用大语言模型
从程序员的视角来看，使用大语言模型（LLMs）主要涉及以下几个步骤： 选择合适的模型： 首先，需要确定哪个大语言模型最适合你的需求。不同的模型可能在不同的任务上有不同的表现，比如代码生成、代码…
huggingface上传或发布自己的模型（大语言模型LLM）
创建huggingface账号和token
在https://huggingface.co/join注册huggingface账号，登录账号后，在https://huggingface.co/settings/tokens创建token，注意需要将token的类型设置为WRITE。
安装必要软件包和初始化环境
安装git lfs
curl -s …
大语言模型LLM中Transformer模型的调用过程与步骤
在LLM（Language Model）中，Transformer是一种用来处理自然语言任务的模型架构。下面是Transformer模型中的调用过程和步骤的简要介绍：
数据预处理：将原始文本转换为模型可以理解的数字形式。这通常包括分词、编码和填充…
CP03大语言模型ChatGLM3-6B特性代码解读（1）
CP03大语言模型ChatGLM3-6B特性代码解读（1） 文章目录 CP03大语言模型ChatGLM3-6B特性代码解读（1）总述提示词及UI交互基础conversation.py提示词相关角色Role的处理对话内容字符里的提示词处理 对话基础client.py模型路径等参数设置…
NLP-词向量、Word2vec
Word2vec
Skip-gram算法的核心部分 我们做什么来计算一个词在中心词的上下文中出现的概率？
似然函数 词已知，它的上下文单词的概率 相乘。 然后所有中心词的这个相乘数 再全部相乘，希望得到最大。 目标函数（代价函数࿰…
医学知识和医疗应用开发交叉领域中垂类大语言模型应用相关研究
前言：
基于公司对LLM落地的期望，此proposal尚未研究完毕，只是简单做了一些消息整合和建议。
关于知识细节详见末尾Refs
背景：
随着LLM（大语言模型）的爆火，不少企业都在寻找通过LLM解决企业业…
人工智能讲师AI讲师大模型讲师叶梓介绍及大语言模型技术原理与实践提纲
叶梓，上海交通大学计算机专业博士毕业，高级工程师。主研方向：数据挖掘、机器学习、人工智能。历任国内知名上市IT企业的AI技术总监、资深技术专家，市级行业大数据平台技术负责人。 长期负责城市信息化智能平台的建设工作ÿ…
LLM 系列——BERT——论文解读
一、概述
1、是什么 是单模态“小”语言模型，是一个“Bidirectional Encoder Representations fromTransformers”的缩写，是一个语言预训练模型，通过随机掩盖一些词，然后预测这些被遮盖的词来训练双向语言模型（编码器结构）。可以用于句子分类、词性分类等下游任务，本身…
大语言模型LLM资源优化与部署：知识蒸馏与模型精简（LLM系列17）
文章目录 大语言模型LLM资源优化与部署：知识蒸馏与模型精简（LLM系列17）引言知识蒸馏基本原理ChatGLM3-6B到小型模型的知识迁移策略**知识蒸馏实践：基于DistilBERT的学生模型训练**蒸馏后的小型模型性能评估** 大语言模型LLM资源优…
torch\tensorflow在大语言模型LLM中的作用
文章目录 torch\tensorflow在大语言模型LLM中的作用 torch\tensorflow在大语言模型LLM中的作用
在大型语言模型（LLM）中，PyTorch和TensorFlow这两个深度学习框架起着至关重要的作用。它们为构建、训练和部署LLM提供了必要的工具和基础设施。 …
LLM int4算法autoround v0.1即将发布，欢迎试用
概述
AutoRound（https://github.com/intel/auto-round）实现了出色的量化性能，在W4G128上多数场景中接近无损压缩，适用于包括gemma-7B、Mistral-7b、Mixtral-8x7B-v0.1、Mixtral-8x7B-Instruct-v0.1、Phi2、LLAMA2等一系列流行模型…
大语言模型LLM分布式训练：大规模数据集上的并行技术全景探索（LLM系列03）
文章目录 大语言模型LLM分布式训练：大规模数据集上的并行技术全景探索（LLM系列03）1. 引言1.1 大语言模型（LLM）的重要性及其规模化挑战1.2 分布式训练策略的需求 2. 分布式训练基础原理2.1 并行计算的基本概念与分类 3.…
GPTs - 定制版的ChatGPT
GPTs指的是定制版的ChatGPT (Custom versions of ChatGPT)，它试图解决为不同用途定制ChatGPT的需求。为了实现这一点，
GPTs 提供了指令 (Instructions)，知识 (Knowledge)，能力 (Capabilities)，动作 (Actions) 等功能&…
【探索AI】四：AI（人工智能）自然语言处理（NLP）
自然语言处理（NLP）的概念 自然语言处理（Natural Language Processing，NLP）是一门交叉学科，涉及人工智能、计算机科学和语言学等领域，旨在让计算机能够理解、分析、生成和处理人类语言。NLP技术致…
语言模型是超级马里奥： 从同源模型中吸收能力是免费午餐（阿里巴巴）
一、写作动机：
对于语言模型（LM）而言，有监督式微调（SFT）是一种被广泛采用的策略。SFT 在预训练模型的基础上，通过微调其参数来获得激发了特定能力的微调模型。显而易见，SFT 带来的效…
Repetition Improves Language Model Embeddings
论文结论：
echo embeddings将句子重复拼接送入到decoder-only模型中，将第二遍出现的句子特征pooling作为sentence embedding效果很好，优于传统方法
echo embeddings与传统embedding方法区别，如图所示： Classical emb…
如何使用Portainer创建Nginx容器并搭建web网站发布至公网可访问【内网穿透】
文章目录 前言1. 安装Portainer1.1 访问Portainer Web界面 2. 使用Portainer创建Nginx容器3. 将Web静态站点实现公网访问4. 配置Web站点公网访问地址4.1公网访问Web站点 5. 固定Web静态站点公网地址6. 固定公网地址访问Web静态站点 前言
Portainer是一个开源的Docker轻量级可视…
NLP(一)——概述
参考书:
《speech and language processing》《统计自然语言处理》 宗成庆 语言是思维的载体，自然语言处理相比其他信号较为特别 word2vec用到c语言 Question
预训练语言模型和其他模型的区别?
预训练模型是指在大规模数据上进行预训练的模型，通常…
转化BIO命名实体识别(NER)数据格式
文章目录 简介代码实现实验扩展应用代码 简介
BIO命名实体标注格式如下： （数据太多行，只展示一部分数据）
可 O
见 O
...
宋 B-PER
神 I-PER
宗 I-PER
时 O
， O
官 O
拜 O
礼 B-ORG
部 I-ORG
郎 O
杨 B-PER
次 I-PER
…
google最新大语言模型gemma本地化部署
Gemma是google推出的新一代大语言模型，构建目标是本地化、开源、高性能。 与同类大语言模型对比，它不仅对硬件的依赖更小，性能却更高。关键是完全开源，使得对模型在具有行业特性的场景中，有了高度定制的能力。 Gemma模…
开源大语言模型作为 LangChain 智能体
概要 开源大型语言模型 (LLMs) 现已达到一种性能水平，使它们适合作为推动智能体工作流的推理引擎: Mixtral 甚至在我们的基准测试中 超过了 GPT-3.5，并且通过微调，其性能可以轻易的得到进一步增强。 引言 针对 因果语言建模 训练的大型语言模…
论文精读--GPT1
把transformer的解码器拿出来，在没有标号的大量文本数据上训练一个语言模型，来获得预训练模型，然后到子任务上微调，得到每个任务所需的分类器
Abstract Natural language understanding comprises a wide range of diverse tasks…
国内大型语言模型（LLM）的研发及突破性应用
随着人工智能技术的迅猛发展，大型语言模型（LLM）在国内外科技领域成为了热点话题。这些模型因其在文本生成、理解和处理方面的卓越能力，被广泛应用于各种行业和场景中。 在中国，一批人工智能公司在LLM的研发与应用方面…
AI推介-多模态视觉语言模型VLMs论文速览（arXiv方向）：2024.01.25-2024.01.31
论文目录~ 1.PVLR: Prompt-driven Visual-Linguistic Representation Learning for Multi-Label Image Recognition2.Instruction-Guided Scene Text Recognition3.Image Anything: Towards Reasoning-coherent and Training-free Multi-modal Image Generation4.IGCN: Integra…
Mamba与MoE架构强强联合，Mamba-MoE高效提升LLM计算效率和可扩展性
论文题目： MoE-Mamba: Efficient Selective State Space Models with Mixture of Experts 论文链接： https://arxiv.org/abs/2401.04081 代码仓库： GitHub - llm-random/llm-random 作为大型语言模型（LLM）基础架构的后…
自然语言处理之语言模型（LM）：用c++通过自然语言处理技术分析语音信号音高
要通过自然语言处理技术分析语音信号音高，我们可以采用以下步骤： 首先，我们需要获取语音信号的原始音频数据。可以使用C中的音频处理库（例如PortAudio或ALSA）来捕获音频输入并将其转换为数字音频数据。 接下来&#x…
基于语义解析的KBQA——代码和论文详细分析
根据论文：Semantic Parsing on Freebase from Question-Answer Pairs，分析其代码和步骤，以加强对这一流程的深入理解，重点关注模型的输入、输出和具体方法。
前言
提供阅读本文的前提知识，引用自Semantic Parsing on…
【python、nlp、transformer】transformer学习部分
注：
此博文仅为了解transformer架构，如果使用，建议直接调用库就行了
Transformer的优势
相比之前占领市场的LSTM和GRU模型，Transformer有两个显著的优势：
1. Transformer能够利用分布式GPU进行并行训练，…
『NLP学习笔记』图解Word2vec(The Illustrated Word2vec)
图解Word2vec(The Illustrated Word2vec) 文章目录 一. 词嵌入（word embedding）1.1. 个性嵌入：你是什么样的人？1.2. 词嵌入1.3. 类比1.4. 语言模型1.5. 语言模型训练1.6. 顾及两头（上下文）1.7. Skip-gram模型1.8. 重新审视训练过程1.9. 负例采样1.10. 基于负例采样的Skip…
大语言模型LLM推理加速：Hugging Face Transformers优化LLM推理技术（LLM系列12）
文章目录 大语言模型LLM推理加速：Hugging Face Transformers优化LLM推理技术（LLM系列12）引言Hugging Face Transformers库的推理优化基础模型级别的推理加速策略高级推理技术探索硬件加速与基础设施适配案例研究与性能提升效果展示结论与未来展望大语言模型LLM推理加速：Hug…
案例介绍：汽车维修系统的信息抽取技术与数据治理应用(开源)
一、引言
在当今汽车产业的快速发展中，软件已经成为提升车辆性能、安全性和用户体验的关键因素。从车载操作系统到智能驾驶辅助系统，软件技术的进步正在重塑我们对汽车的传统认知。我有幸参与了一个创新项目，该项目专注于开发和集成先进的汽…
案例介绍：汽车售后服务网络构建与信息抽取技术应用(开源)
一、引言
在当今竞争激烈的汽车行业中，售后服务的质量已成为品牌成功的关键因素之一。作为一位经验丰富的项目经理，我曾参与构建一个全面的汽车售后服务网络，旨在为客户提供无缝的维修、保养和配件更换服务。这个项目的核心目标是通过高效的…
【自然语言处理】NLP入门（三）：1、正则表达式与Python中的实现（3）：字符转义符及进制转换
文章目录 一、前言二、正则表达式与Python中的实现1.字符串构造2. 字符串截取3. 字符串格式化输出4. 字符转义符a. 常用字符转义符续行符换行符制表符双引号单引号反斜杠符号回车符退格符 b. ASCII编码转义字符进制转换2 进制8 进制10 进制16 进制进制转换函数 c. Unicode字符\…
【自然语言处理】BitNet b1.58：1bit LLM时代
论文地址：https://arxiv.org/pdf/2402.17764.pdf 相关博客 【自然语言处理】BitNet b1.58：1bit LLM时代 【自然语言处理】【长文本处理】RMT：能处理长度超过一百万token的Transformer 【自然语言处理】【大模型】MPT模型结构源码解析(单机版)…
深入探讨 AutoGPT：彻底改变游戏的自主 AI
原文地址：Deep Dive into AutoGPT: The Autonomous AI Revolutionizing the Game
2023 年 4 月 24 日
AutoGPT 是一个功能强大的工具，它通过 API 使用 GPT-4 和 GPT-3.5，通过将项目分解为子任务并在自动循环中使用互联网和其他工具来创建完…
Python之词频统计（自然语言处理）
背景
词频统计是指对一段文本中每个单词出现的次数进行计数分析。这种分析有助于了解文本的重点词汇、主题或作者的写作风格。如果你有一个特定的文本或想要分析某些内容的词频，你可以提供文本，我可以为你进行简单的词频统计。
例如，如果你…
2024年计算语言学与自然语言处理国际会议(CLNLP 2024) | Ei、Scopus双检索
会议简介 Brief Introduction 2024年计算语言学与自然语言处理国际会议(CLNLP 2024) 会议时间：2024年7月19日-21日 召开地点：中国银川 大会官网：www.clnlp.org CLNLP 2024将围绕“计算语言学与自然语言处理”的最新研究领域而展开，…
Finetuning Large Language Models: Sharon Zhou
Finetuning Large Language Models
课程地址：https://www.deeplearning.ai/short-courses/finetuning-large-language-models/
本文是学习笔记。
Goal：
Learn the fundamentals of finetuning a large language model (LLM).
Understand how finetu…
NLP_文本数据分析_3（代码示例）
目标
了解文本数据分析的作用.掌握常用的几种文本数据分析方法.
1 文件数据分析介绍 文本数据分析的作用: 文本数据分析能够有效帮助我们理解数据语料, 快速检查出语料可能存在的问题, 并指导之后模型训练过程中一些超参数的选择. 常用的几种文本数据分析方法: 标签数量分布句…
【FastChat】用于训练、服务和评估大型语言模型的开放平台
FastChat
用于训练、服务和评估大型语言模型的开放平台。发布 Vicuna 和 Chatbot Arena 的存储库。
隆重推出 Vicuna，一款令人印象深刻的开源聊天机器人 GPT-4！
🚀 根据 GPT-4 的评估，Vicuna 达到了 ChatGPT/Bard 90%* 的质量&…
Bert Encoder和Transformer Encoder有什么不同
前言：本篇文章主要从代码实现角度研究 Bert Encoder和Transformer Encoder 有什么不同？应该可以帮助你： 深入了解Bert Encoder 的结构实现深入了解Transformer Encoder的结构实现 本篇文章不涉及对注意力机制实现的代码研究。 注：…
探究大语言模型如何使用长上下文
🍉 CSDN 叶庭云：https://yetingyun.blog.csdn.net/ 论文链接：https://doi.org/10.1162/tacl_a_00638
论文标题：Lost in the Middle: How Language Models Use Long Contexts
论文发表期刊：Transactions of the Assoc…
小程序API能力集成指南——设备API汇总（五）
网络 API
ty.getNetworkType
获取网络类型 需引入BaseKit，且在>1.2.10版本才可使用 参数
Object object
属性类型默认值必填说明completefunction否接口调用结束的回调函数（调用成功、失败都会执行）successfunction否接口调用成功的回…
【书生·浦语大模型实战营】第5节 课后作业
LMDeploy 的量化和部署 0. 课程链接1. 课后作业1.1 基础作业1.2 进阶作业（可选做） 0. 课程链接 链接：https://github.com/InternLM/tutorial/blob/main/lmdeploy/lmdeploy.md
1. 课后作业
1.1 基础作业
使用 LMDeploy 以本地对话、网页Gra…
Ollama--本地大语言模型LLM运行专家
文章目录 1、问题提出2、解决方案3、Ollama介绍3.1、Ollama的核心功能3.2、Ollama的独特之处 4、Ollama安装与使用4.1、Ollama的安装 5、使用Docker6、模型库和自定义模型7、应用场景展望8、结语 1、问题提出
使用chatgpt之类的闭源大语言模型时，我们与ai沟通的数据…
【论文笔记】Language Models are Unsupervised Multitask Learners
Language Models are Unsupervised Multitask Learners 回顾一下第一代 GPT-1 ： 设计思路是 “海量无标记文本进行无监督预训练少量有标签文本有监督微调” 范式；模型架构是基于 Transformer 的叠加解码器（掩码自注意力机制、残差、Layernorm…
论文笔记：Code Llama: Open Foundation Models for Code
导语
Code Llama是开源模型Llama 2在代码领域的一个专有模型，作者通过在代码数据集上进行进一步训练得到了了适用于该领域的专有模型，并在测试基准中超过了同等参数规模的其他公开模型。
链接：https://arxiv.org/abs/2308.12950机构&#x…
（Aliyun AI ACP 13）知识点：数据预处理
文章目录 阿里云人工智能工程师ACP认证考试知识点辅助阅读（Aliyun AI ACP 13）知识点：数据预处理数据获取样本 (Sample)变量 (Variable)数据集 (Dataset)变量类型连续型变量（Continuous Variables）离散型变量（Discrete Variables）顺序型变量（Ordinal Variables）类别型变…
大语言模型知识蒸馏综述
本综述深入探讨了大型语言模型（LLMs）领域内的知识蒸馏（KD）技术，突出了KD在将GPT-4等专有巨头的复杂能力转移至LLaMA和Mistral等可访问的开源模型中的关键作用。在不断演变的人工智能领域，这项工作阐明了专有…
集简云新增通义千问qwen 72b chat、qwen1.5 等多种大语言模型，提升多语言支持能力
通义千问再开源！继发布多模态模型后，通义千问 1.5 版本也在春节前上线。
此次大模型包括六个型号：0.5B、1.8B、4B、7B、14B 和 72B，性能评测基础能力在在语言理解、代码生成、推理能力等多项基准测试中均展现出优异的性能&#x…
【自然语言处理】【大模型】BitNet：用1-bit Transformer训练LLM
BitNet：用1-bit Transformer训练LLM 《BitNet: Scaling 1-bit Transformers for Large Language Models》 论文地址：https://arxiv.org/pdf/2310.11453.pdf 相关博客 【自然语言处理】【大模型】BitNet：用1-bit Transformer训练LLM 【自然语言…
Paddle上手实战——NLP经典cls任务“推特文本情感13分类”
Paddle上手实战——NLP经典cls任务“推特文本情感13分类”
实战背景介绍
数据地址：https://www.heywhale.com/home/activity/detail/611cbe90ba12a0001753d1e9/content
Twitter推文具备多重特性，首要之处在于其与Facebook的显著区别——其完全基于文本形式，通过Twitter接…
大语言模型系列-GPT-3.5(ChatGPT)
文章目录 前言一、GPT-3.5的创新点二、GPT-3.5的训练流程SFT数据集RM数据集PPO数据集 三、ChatGPT的诞生总结 前言
《Training language models to follow instructions with human feedback，2022》
前文提到了GPT-3的缺点，其中最大的问题是࿱…
案例介绍：信息抽取技术在汽车销售与分销策略中的应用与实践
一、引言
在当今竞争激烈的汽车制造业中，成功的销售策略、市场营销和分销网络的构建是确保品牌立足市场的关键。作为一名经验丰富的项目经理，我曾领导一个专注于汽车销售和分销的项目，该项目深入挖掘市场数据，运用先进的信息抽取…
深入探索Transformer时代下的NLP革新
《基于GPT-3、ChatGPT、GPT-4等Transformer架构的自然语言处理》主要聚焦于如何使用Python编程语言以及深度学习框架如PyTorch和TensorFlow来构建、训练和调整用于自然语言处理任务的深度神经网络架构，特别是以Transformer为核心模型的架构。
书中详细介绍了Transf…
本地部署推理TextDiffuser-2：释放语言模型用于文本渲染的力量
系列文章目录 文章目录 系列文章目录一、模型下载和环境配置二、模型训练（一）训练布局规划器（二）训练扩散模型 三、模型推理（一）准备训练好的模型checkpoint（二）全参数推理ÿ…
NLP - 依存句法分析、句子歧义
1. 语言结构的两种观点
Constituency phrase struct grammar context-free grammars(CFGs)Dependency structure
对于context-free grammars(CFGs)
短语结构（Constituency）：短语结构语法是一种描述语言结构的方法，它将句子划…
【自然语言处理】NLP入门（五）：1、正则表达式与Python中的实现（5）：字符串常用方法：对齐方式、大小写转换详解
文章目录 一、前言二、正则表达式与Python中的实现1.字符串构造2. 字符串截取3. 字符串格式化输出4.字符转义符5. 字符串常用函数函数与方法之比较 6. 字符串常用方法1. 对齐方式center()ljust()rjust() 2. 大小写转换lower()upper()capitalize()title()swapcase() 一、前言 本…
【AI视野·今日NLP 自然语言处理论文速览 第八十期】Fri, 1 Mar 2024
AI视野今日CS.NLP 自然语言处理论文速览 Fri, 1 Mar 2024 Totally 67 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Loose LIPS Sink Ships: Asking Questions in Battleship with Language-Informed Program Sampling Authors G…
三款顶级开源RAG (检索增强生成)工具：Verba、Unstructured 和 Neum
三款顶级开源RAG (检索增强生成)工具：Verba、Unstructured 和 Neum
概述 随着企业对话式数据处理需求的提升，面临的挑战是数据隐私性和缺乏企业级解决方案。虽然类似LangChain能在短时间内构建RAG应用，但忽视了文档解析、多来源数据ETL、批量…
搜狐新闻Hybrid AI引擎端侧离线大语言模型探索
本文字数：3027字 预计阅读时间：20分钟 01 一、导读 • LLM 以及移动平台落地趋势 • 搜狐AI引擎内建集成离线可运行的GPT模型 • Keras 定制预训练模型 • TensorFlow Lite converter 迁移到移动设备 02 二、LLM 1.1什么是LLM L…
信息抽取在旅游行业的应用：以景点信息抽取为例
开源项目推荐
今天先给大家推荐一个开源项目，多模态AI能力引擎平台: 免费的自然语言处理、情感分析、实体识别、图像识别与分类、OCR识别、语音识别接口，功能强大，欢迎体验。
https://gitee.com/stonedtx/free-nlp-api 场景描述
在旅游行业…
OpenAI GPT LLMs 高级提示词工程方法汇总
原文地址：An Introduction to Prompt Engineering for OpenAI GPT LLMs
Github：Prompt-Engineering-Intro
2023 年 3 月 2 日
Naive 提示词：带有提示的情感分类器
prompt
Decide whether a Tweets sentiment is positive, neutral, or …
探索DocLLM：摩根大通推出的新型文档处理语言模型
探索DocLLM：摩根大通推出的新型文档处理语言模型
摩根大通近日推出了一款名为DocLLM的新型语言模型，专为处理具有复杂布局的文档而设计。该模型是传统大型语言模型的轻量级版本，专注于理解丰富的文档内容。与使用昂贵的图像编码器的其他模型…
【AI视野·今日NLP 自然语言处理论文速览 第八十二期】Tue, 5 Mar 2024
AI视野今日CS.NLP 自然语言处理论文速览 Tue, 5 Mar 2024 (showing first 100 of 175 entries) Totally 100 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Key-Point-Driven Data Synthesis with its Enhancement on Mathematica…
大型语言模型的智能助手：检索增强生成（RAG）
背景
在人工智能的浪潮中，大型语言模型（LLMs）如GPT系列和LLama系列在自然语言处理（NLP）领域取得了显著成就。它们能够完成复杂的语言任务，如文本摘要、机器翻译、甚至创作诗歌。然而，这些模型在…
【论文精读】TextDiffuser-2：释放语言模型用于文本渲染的力量
文章目录 一、前言二、摘要三、方法（一）TextDiffuser-2模型的整体架构（二）语言模型M1将用户提示转换为语言格式的布局（三）将提示和布局结合到扩散模型内的可训练语言模型M2中进行编码以生成图像 四、实验&a…
PromptBreeder---针对特定领域演化和发展提示词的方法
原文地址：promptbreeder-evolves-adapts-prompts-for-a-given-domain
论文地址：https://arxiv.org/pdf/2309.16797.pdf
2023 年 10 月 6 日
提示方法分为两大类
硬提示是由人工精心设计的文本提示，包含离散的输入令牌；其缺点…
NLP 算法实战项目：使用 BERT 进行模型微调，进行文本情感分析
本篇我们使用公开的微博数据集(weibo_senti_100k)进行训练，此数据集已经进行标注，0: 负面情绪，1:正面情绪。数据集共计82718条(包含标题)。如下图： 下面我们使用bert-base-chinese预训练模型进行微调并进行测试。 技术交流&#x…
LLM Drift(漂移), Prompt Drift Cascading(级联)
原文地址：LLM Drift, Prompt Drift & Cascading 提示链接可以手动或自动执行；手动需要通过 GUI 链构建工具手工制作链。自治代理在执行时利用可用的工具动态创建链。这两种方法都容易受到级联、LLM 和即时漂移的影响。 2024 年 2 月 23 日 在讨论大型…
【自然语言处理五-注意力其他--多头注意力位置编码等】
自然语言处理五-self attention的其他问题（多头注意力&位置编码）等 多头注意力 multi-head attention多头注意力的意义是什么？多头注意力的运作流程 位置编码postion encoding 之前用四篇博客说明了注意力以及自注意力的运作流程…
NLP：文本相似度计算
前面我们已经实现了把长段的句子，利用HanLP拆分成足够精炼的分词，后面我们要实现“联想”功能，我这里初步只能想到通过文本相似度计算来实现。下面介绍一下文本相似度计算
（当然HanLP也有文本相似度计算的方法，这里我…
NLP - 共现矩阵、Glove、评估词向量、词义
Word2vec算法优化 J(θ): 损失函数 问题：进行每个梯度更新时，都必须遍历整个语料库，需要等待很长的时间，优化将非常缓慢。 解决：不用梯度下降法，用随机梯度下降法 （SGD）。 减少噪音&…
jieba模块中文分词应用场景案例
jieba 是一个在 Python 中广泛使用的中文分词库。由于其高效、准确和易用，jieba 在自然语言处理领域有着广泛的应用。下面我将通过一个简单的案例来展示 jieba 在中文分词中的应用场景。
案例：文本分类
假设我们有一个简单的文本分类任务，需…
开源人工智能的下一个大飞跃：小型化高性能语言模型挑战巨型模型
标题：
开源人工智能的下一个大飞跃：小型化高性能语言模型挑战巨型模型
简介：
近期，大型语言模型迎来快速发展，但这些模型由于训练成本高昂，多为大型科技公司所垄断。开源社区因此投身研究小型化的高性能…
2×30W-D类音频放大器-iML6603替代TPA3118
IML6603是一款高集成、高效率的双通道D类音频放大器；该芯片具有低失真、低噪声和高动态范围的特点；能够输出高达60W的功率，并支持4Ω、8Ω的扬声器负载；采用了宽输入电压范围和高抗干扰能力的设计，可Pin-to-Pin兼容替代…
人工智能迷惑行为大赏（AI智障）
目录 人工智能
人工智能的“幽默”瞬间
技术原理探究
社会影响分析 人工智能
人工智能（Artificial Intelligence，AI）是一个涵盖了多个学科的综合领域，主要研究如何应用计算机来模拟人类的某些思维过程和智能行为，如…
【论文速读】| 大语言模型引导的协议模糊测试
本次分享论文为：Large Language Model guided Protocol Fuzzing 基本信息
原文作者：Ruijie Meng, Martin Mirchev, Marcel Bhme, Abhik Roychoudhury
作者单位：新加坡国立大学，MPI-SP，莫纳什大学
关键词：…
LLM - RAG 大型语言模型的检索增强生成研究综述
「Retrieval-Augmented Generation for Large Language Models: A Survey」本期带来 LLM 语言检索增强生成的论文解析，其主要分析当下 RAG 相关技术进展。 目录
Abstruct 简介
1.Introduction 介绍
2.Definition 定义
3.RAG Framework 框架
3.1 Naive RAG
3.2…
加载spacy中文语言模型 zh_core_web_sm错误解决办法
如果你代码在运行时找不到该模型且报错 并且安装该模块也报错 那么可以试一下手动安装
Chinese spaCy Models Documentationhttps://spacy.io/models/zh#zh_core_web_sm 点击安装到C盘，就是你平时pip install的标准路径 最后进入终端 即可安装成功！
LLM - 大语言模型的预训练数据(Dataset) 概述
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://blog.csdn.net/caroline_wendy/article/details/136636105 大语言模型的预训练数据通常包括网页数据、书籍、新闻、科学文章等多种类型的文本。这些数据帮助模型学习语言的语法、语义和…
LLM - 大语言模型(LLM) 概述
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://blog.csdn.net/caroline_wendy/article/details/136617643 大语言模型(LLM, Large Language Model)的发展和应用是一个非常广泛的领域，涉及从早期的统计模型到现代基于深度学…
大语言模型RAG-技术概览 (一)
大语言模型RAG-技术概览 (一)
一 RAG概览
检索增强生成（Retrieval-AugmentedGeneration, RAG）。即大模型在回答问题或生成问题时会先从大量的文档中检索相关的信息，然后基于这些信息进行回答。RAG很好的弥补了传统搜索方法和大模型两类技术…
用通俗易懂的方式讲解：大模型 Rerank 模型部署及使用技巧总结
Rerank 在 RAG（Retrieval-Augmented Generation）过程中扮演了一个非常重要的角色，普通的 RAG 可能会检索到大量的文档，但这些文档可能并不是所有的都跟问题相关，而 Rerank 可以对文档进行重新排序和筛选，让…
训练专门化的大型语言模型（LLM）现在更简单了
训练专门化的大型语言模型（LLM）现在更简单了
近年来，大型语言模型（LLM）的兴趣激增，但其训练需要昂贵的硬件和高级技术。幸运的是，通过先进的微调技术，如低秩适配（LoRA&a…
四、自然语言中的生成式任务
目录 4.0 机器翻译
4.1 文本摘要
4.1.1 抽取式摘要
4.2.2 生成式摘要 NLP学习笔记系列，欢迎收藏交流：
零、自然语言处理开篇-CSDN博客
一、NLP中的文本分类-CSDN博客
二、NLP中的序列标注（分词、主体识别）-CSDN博客
三、NL…
探索大语言模型（LLM）：部分数据集介绍
探索大语言模型（LLM）的宝库：精选数据集介绍
在人工智能的黄金时代，大语言模型（LLM）的发展正以惊人的速度推进。它们不仅改变了我们与机器交互的方式，还在持续拓展技术的边界。作为这一进程的核…
linux系统使用head和tail命令，快速切分json 格式的数据集
文章目录 介绍切分训练集切分测试集 介绍
json格式的数据集，每一行都是一个单独数据单元。 data.json的文件格式如下：
{"text": "彭小军认为，国内银行现在走的是台湾的发卡模式，先通过跑马圈地再在圈的地里面选择…
Prompt进阶3:LangGPT(构建高性能质量Prompt策略和技巧2)--稳定高质量文案生成器
Prompt进阶3:LangGPT(构建高性能质量Prompt策略和技巧2)–稳定高质量文案生成器
1.LangGPT介绍
现有 Prompt 创建方法有如下缺点：
缺乏系统性：大多是细碎的规则，技巧，严重依赖个人经验缺乏灵活性：对他人分享的优质 …
还是了解下吧，大语言模型调研汇总
大语言模型调研汇总 一. Basic Language ModelT5GPT-3LaMDAJurassic-1MT-NLGGopherChinchillaPaLMU-PaLMOPTLLaMABLOOMGLM-130BERNIE 3.0 Titan 二. Instruction-Finetuned Language ModelT0FLANFlan-LMBLOOMZ & mT0GPT-3.5ChatGPTGPT-4AlpacaChatGLMERNIE BotBard 自从Cha…
深入了解 大语言模型（LLM）微调方法
引言
众所周知，大语言模型(LLM)正在飞速发展，各行业都有了自己的大模型。其中，大模型微调技术在此过程中起到了非常关键的作用，它提升了模型的生成效率和适应性，使其能够在多样化的应用场景中发挥更大的价值。
那么&…
自然语言处理之语言模型（LM）深度解析
自然语言处理（Natural Language Processing，NLP）作为人工智能的一个重要分支，近年来在学术界和工业界均取得了显著的进展。语言模型（Language Model, LM）是自然语言处理技术中的基石，它能够预测…
五、自然语言的学习之路
NLP学习笔记系列，欢迎收藏交流：
零、自然语言处理开篇-CSDN博客
一、NLP中的文本分类-CSDN博客
二、NLP中的序列标注（分词、主体识别）-CSDN博客
三、NLP中的句子关系判断-CSDN博客
四、自然语言中的生成式任务-CSDN博客 0、算…
探讨NLP对行业大量数据信息抽取的技术实现
在本文中，为了实现高效的信息抽取，我们采用了一个自主研发的多模态AI的大模型NLP平台。 这个平台的使用过程分为以下几个步骤：
数据收集：我们收集了与项目相关的100条数据样本，这些样本涵盖了各种商品描述，…
GPU性能优化与模型训练概览
GPU性能优化与模型训练概览
安装所需库
为监控GPU内存使用，我们使用nvidia-ml-py3库。首先安装必要的库：
pip install transformers datasets accelerate nvidia-ml-py3模拟数据创建
创建范围在100到30000之间的随机token ID和二进制标签。为分类器准…
大语言模型系列-中文开源大模型
文章目录 前言一、主流开源大模型二、中文开源大模型排行榜 前言
近期，OpenAI 的主要竞争者 Anthropic 推出了他们的新一代大型语言模型 Claude 3，该系列涵盖了三个不同规模的模型：Opus、Sonnet 和 Haiku。
Claude 3声称已经全面超越GPT-4。…
【NLP笔记】文本向量化
文章目录 概念代码实战经典向量化模型One-Hot编码词袋模型（Bag Of Words，BOW）TF-IDFN-元模型（n-gram）word2vecDoc2VecGlove 基于神经网络的TokenizerBert-TokenizerCodeBert-TokenizerClaude-Tokenizer 在自然语言处理…
大语言模型提示词技巧
LLM（Large Language Model）大语言模型时代，提示词（Prompt）很重要，而改进提示词显然有助于在不同任务上获得更好的结果。这就是提示工程背后的整个理念。
下面我们将介绍更高级的提示工程技术，使…
第五十九回 公孙胜芒砀山降魔 晁天王曾头市中箭-飞桨自然语言处理套件PaddleNLP初探
公孙胜献出八卦阵，宋江用八员大将守阵。项充李衮进入阵里，被抓住了。宋江说久闻大名，来梁山吧。两人说誓当效力到死，希望能先放我们两个回去把樊瑞带来一起。见到樊瑞后把宋江讲义气一说，樊瑞说不可逆天，于…
解决大型语言模型中的幻觉问题：前沿技术的综述
大型语言模型中的幻觉问题及其解决技术综述
摘要
大型语言模型(LLM)如GPT-4、PaLM和Llama在自然语言生成能力方面取得了显著进步。然而，它们倾向于产生看似连贯但实际上不正确或与输入上下文脱节的幻觉内容，这限制了它们的可靠性和安全部署。随着LLM在…
飞桨自然语言处理套件PaddleNLP初探
PaddleNLP是一款简单易用且功能强大的自然语言处理和大语言模型(LLM)开发库。聚合业界优质预训练模型并提供开箱即用的开发体验，覆盖NLP多场景的模型库搭配产业实践范例可满足开发者灵活定制的需求。
官网：GitHub - PaddlePaddle/PaddleNLP: Ǵ…
【NLP学习记录】One-Hot编码
1. One-Hot编码概念
one-hot编码的基本思想是将每个类别映射到一个向量，其中只有一个元素的值为1，其余元素的值为0。这样，每个类别之间相互独立，不存在顺序或距离关系。 举例：对于三个类别的情况，可以使用…
ai智能外呼机器人的功能，机器人对话常用语模板搭建
智能外呼机器人就是用来往外呼出打电话的;经常看到有文章说电话机器人将要代替传统人工话务员、电话销售员要失业了、外呼机器人要颠覆电销革命了等等，我想说的是，目前市场上的电话机器人还远远不能达到，未来几年内也不一定会实现。 下面就简…
记录些实际应用开发过程中的prompt
Text2SQL
假设你是{dbType}的专家，需要通过问题描述和指令语句两部分内容帮忙生成对应查询SQL语句。第一部分问题说明：
{queryContent}
第二部分指令内容：
1，不能幻觉出现新的字段，schema字段、表名称、表字段名称必须…
论文浅尝 | GPT-RE：基于大语言模型针对关系抽取的上下文学习
笔记整理：张廉臣，东南大学硕士，研究方向为自然语言处理、信息抽取 链接：https://arxiv.org/pdf/2305.02105.pdf 1、动机 在很多自然语言处理任务中，上下文学习的性能已经媲美甚至超过了全资源微调的方法。但是…
Python应用数值方法：工程与科学实践指南
信息技术时代的挑战与机遇
我们正处在一个信息技术高速发展的时代，这是一个科技与创新蓬勃发展的时代。大数据与人工智能的崛起，正以前所未有的速度推动着传统技术的智能化变革。这种变革不仅带来了前所未有的机遇，也对科学和工程技术人员的…
【自然语言处理共现矩阵应用】共现矩阵用于表示文本中词语之间的共现关系
代码实现了共现矩阵的构建，共现矩阵用于表示文本中词语之间的共现关系。下面是代码实现原理的详细解释：
create_co_occurrence_matrix 函数：
这个函数接受一个文本语料 corpus 和一个窗口大小 window_size。 corpus 是一个包含多个句子的列表，每个句子是一个字符串。 win…
开源模型应用落地-qwen模型小试-合并Lora模型-进阶篇（八）
一、前言 这篇文章是关于qwen模型进一步学习的内容，主要讲述了如何将微调后的权重模型与基座模型进行合并。 二、术语
2.1. Lora微调 是处理微调大型语言模型的问题而引入的一项新技术。其核心思想是利用低秩适配（low-rank adaptation）的方法，在使用大模型适配下游任务时只…
阿联酋将资助 OpenAI 的内部芯片
据《金融时报》报道，OpenAI计划开发自己的半导体芯片，以支持高级AI模型的野心可能会从阿拉伯联合酋长国（UAE）获得支持。
报道称，阿布扎比的国家支持集团MGX正在讨论支持OpenAI的内部构建AI芯片的计划。这一信息来自于…
【全面了解自然语言处理三大特征提取器】RNN（LSTM）、transformer（注意力机制）、CNN
目录 一 、RNN1.RNN单个cell的结构2.RNN工作原理3.RNN优缺点 二、LSTM1.LSTM单个cell的结构2. LSTM工作原理 三、transformer1 Encoder（1）position encoding（2）multi-head-attention（3）add&norm 残差链…
AI推介-多模态视觉语言模型VLMs论文速览（arXiv方向）：2024.03.10-2024.03.15
论文目录~ 1.3D-VLA: A 3D Vision-Language-Action Generative World Model2.PosSAM: Panoptic Open-vocabulary Segment Anything3.Anomaly Detection by Adapting a pre-trained Vision Language Model4.Introducing Routing Functions to Vision-Language Parameter-Efficie…
【NLP】TF-IDF算法原理及其实现
🌻个人主页：相洋同学
🥇学习在于行动、总结和坚持，共勉！ #学习笔记#
目录
01 TF-IDF算法介绍
02 TF-IDF应用
03 Sklearn实现TF-IDF算法
04 使用TF-IDF算法提取关键词
05 TF-IDF算法的不足 TF-IDF算法非常容易理…
spaCy NLP库的模型的下载、安装和使用说明书
文章目录 1 前言2 安装3 模型命名规范3.1 模型版本控制3.2 支持对旧版本的兼容 4 下载模型5 加载和使用模型6 手动下载和安装7 spaCy v1.x模型的命名规范8 问题和错误报告 1 前言
explosion网址：https://explosion.ai/ spaCy下载网址：https://explosion…
Expert Prompting-引导LLM成为杰出专家
ExpertPrompting: Instructing Large Language Models to be Distinguished Experts
如果适当设计提示，对齐的大型语言模型（LLM）的回答质量可以显著提高。在本文中，我们提出了ExpertPrompting，以激发LLM作为杰出专家回…
ChatGPT量化分析
背景 当今，随着深度学习模型规模的不断增大和计算资源的不断提升，大模型已经成为了人工智能领域的一项重要趋势。大模型在各种任务中展现出了卓越的性能，例如自然语言处理、计算机视觉、语音识别等领域。然而，随着模型规模的增加&…
【NLP】关于Transformer模型的一些认知
目录
一. Transformer模型简介
二. Transformer模型的架构
1. 编码器：
2. 解码器：
三. Transformer模型中残差连接层的作用
四. Transformer模型中, 输入部分的位置编码（PisitionalEncoding）矩阵为什么要使用三角函数对奇数…
Emotion Prompt-LLM能够理解并能通过情感刺激得以增强
Large Language Models Understand and Can be Enhanced by Emotional Stimuli
情感智能对我们的日常行为和互动产生了显著的影响。尽管大型语言模型（LLMs）被视为向人工通用智能迈进的一大步，在许多任务中表现出色，但目前尚不清楚…
ChatGPT推出iOS应用，实现移动化
ChatGPT 移动应用发布：iOS 版本正式上线
摘要
OpenAI 宣布推出其广受欢迎的聊天机器人 ChatGPT 的 iOS 移动应用，标志着人工智能（AI）领域的一次重大进步。该应用承诺为用户提供免费且无广告的体验，并具备语音输入功能…
pytorch与大语言模型直接偏好优化DPO方法
文章目录 pytorch与大语言模型直接偏好优化DPO方法智谱ChatGLM官方发的一则通告应用方案SFT（指令微调, Instruction Fine-Tuning）DPO（直接偏好优化, Direct Preference Optimization）DPO步骤DPO 可以分为两个主要阶段首选项数据使用Transformers实施 DPO：分步指南训练 SFT…
大型语言模型RAG（检索增强生成）：检索技术的应用与挑战
摘要
检索增强生成（RAG）系统通过结合传统的语言模型生成能力和结构化数据检索，为复杂的问题提供精确的答案。本文深入探讨了RAG系统中检索技术的工作原理、实现方式以及面临的挑战，并对未来的发展方向提出了展望。
随着大型预训…
Prompt进阶2:LangGPT(构建高性能Prompt策略和技巧)--最佳实践指南
Prompt进阶2:LangGPT(构建高性能Prompt策略和技巧)–最佳实践指南
0.前言 左图右图 prompt 基本是一样的，差别只在提示工程这个词是否用中英文表达。我们看到，一词之差，回答质量天壤之别。为了获得理想的模型结果，我们需要调整设…
分享一些实用性的大语言模型（GitHub篇）
1.多模态大模型 GitHub网址：haotian-liu/LLaVA：[NeurIPS23 Oral] 视觉指令调优 （LLaVA） 构建，旨在实现 GPT-4V 级别及以上的能力。 (github.com) 下面是LLaVA模型的介绍，作者都有一直维护和更新，…
大模型高级 RAG 检索策略之句子窗口检索
之前介绍过大语言模型（LLM）相关技术 RAG（Retrieval Augmented Generation）的内容，但随着 LLM 技术的发展，越来越多的高级 RAG 检索方法也随之被人发现，相对于普通的 RAG 检索，高级 R…
T5: 构建统一的语言建模框架
T5: 构建统一的语言建模框架
在过去几年里，自然语言处理（NLP）领域见证了转移学习的巨大突破。转移学习包括两个主要阶段：首先，我们在大量数据上预训练一个深度神经网络；然后，在更具体的下游数据…
囊括所有大模型：高质量中文预训练模型大模型多模态模型大语言模型集合
在自然语言处理领域中，预训练语言模型（Pretrained Language Models）已成为非常重要的基础技术，本仓库主要收集目前网上公开的一些高质量中文预训练模型、中文多模态模型、中文大语言模型等内容(感谢分享资源的大佬)，并…
论文笔记：TALK LIKE A GRAPH: ENCODING GRAPHS FORLARGE LANGUAGE MODELS
ICLR 2024，reviewer评分 6666
1 intro
1.1 背景
当下LLM的限制 限制1：对非结构化文本的依赖 ——>模型有时会错过明显的逻辑推理或产生错误的结论限制2：LLMs本质上受到它们训练时间的限制，将“最新”信息纳入到不断变化的世…
【Roadmap to learn LLM】Large Language Models in Five Formulas
by Alexander Rush Our hope: reasoning about LLMs Our Issue 文章目录 Perpexity(Generation)Attention(Memory)GEMM(Efficiency)用矩阵乘法说明GPU的工作原理 Chinchilla(Scaling)RASP(Reasoning)结论参考资料 the five formulas perpexity —— generationattention —— m…
AutoTimes: Autoregressive Time Series Forecasters via Large Language Models
要解决的问题：
1.之前based LLM的方法可能会忽视时间序列和自然语言的一致性，导致LLM潜力的利用不足 提出：
1.将LLM重新用作自回归时间序列预测器，他能够处理灵活的序列长度
2.提出token-wise prompting, 利用相应的时间戳使我…
开源模型应用落地-baichuan2模型小试-入门篇（三）
一、前言 相信您已经学会了如何在Windows环境下以最低成本、无需GPU的情况下运行baichuan2大模型。现在，让我们进一步探索如何在Linux环境下，并且拥有GPU的情况下运行baichuan2大模型，以提升性能和效率。 二、术语
2.1. CentOS CentOS是一种基于Linux的自由开源操作…
【检索增强】Retrieval-Augmented Generation for Large Language Models：A Survey
本文简介
1、对最先进水平RAG进行了全面和系统的回顾，通过包括朴素RAG、高级RAG和模块化RAG在内的范式描述了它的演变。这篇综述的背景下，更广泛的范围内的法学硕士研究RAG的景观。
2、确定并讨论了RAG过程中不可或缺的核心技术，特别关注“…
AIGC工具系列之——基于OpenAI的GPT大模型搭建自己的AIGC工具
今天我们来讲讲目前非常火的人工智能话题“AIGC”，以及怎么使用目前的AI技术来开发，构建自己的AIGC工具 什么是AIGC？ AIGC它的英文全称为(Artificial Intelligence Generated Content)，中文翻译过来就是“人工智能生成内容”&…
为什么要使用注意力机制？
通过注意力机制，网络的文本生成解码器部分能够有选择地访问所有输入标记，这意味着某些输入标记在生成特定输出标记时比其他输入标记更重要。
具体来说：
提高模型的焦点：注意力机制允许模型在处理信息时“关注”到更重要的部分。…
【ReadPapers】A Survey of Large Language Models
LLM-Survey的llm能力和评估部分内容学习笔记——思维导图 思维导图
参考资料
A Survey of Large Language Models论文的github仓库
Finetuned Language Models Are Zero-Shot Learners
Abstract
本文探索了一种简单的方法来提升语言模型的零样本（zero-shot）学习能力。我们发现 指令微调（instruction tuning） 显著提高了未见任务的零样本性能。 指令微调：即在一组通过指令描述的数据集上对模型进行微调我们对一个 137B 参数的预训练模型在 60 个 NLP 任务上…
windows操作系统本地部署开源语言模型ChatGLM3-6b，超详细
前言
首先感谢智谱AI和清华大学 KEG 实验室联合开源的ChatGLM3对话预训练模型，让我们国人有属于自己的AI聊天机器人。
ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不…
REPLUG：检索增强的黑盒语言模型
论文题目：REPLUG: Retrieval-Augmented Black-Box Language Models 论文日期：2023/05/24 论文地址：https://arxiv.org/abs/2301.12652 文章目录 Abstract1. Introduction2. Background and Related Work2.1 Black-box Language Model…
【NLP练习】Pytorch文本分类入门
Pytorch文本分类入门
🍨 本文为🔗365天深度学习训练营 中的学习记录博客
🍖 原作者：K同学啊 | 接辅导、项目定制一、前期准备
1. 环境安装 确保已经安装torchtext与portalocker库 2. 加载数据
#加载数据
import torch
import t…
自然语言处理NLP：姓名相似度
大家好，自然语言处理会涉及到一致性验证特征。英文的姓名相似度包含用户自己填写的姓名、身份证上ocr识别的姓名、征信报告中用户姓名，可以作为模型特征使用、也可以作为业务的个人信息验证规则使用，本文简单介绍其计算逻辑。
1.原理
编辑距…
论文笔记：Llama 2: Open Foundation and Fine-Tuned Chat Models
导语
Llama 2 是之前广受欢迎的开源大型语言模型 LLaMA 的新版本，该模型已公开发布，可用于研究和商业用途。本文记录了阅读该论文的一些关键笔记。
链接：https://arxiv.org/abs/2307.09288
1 引言
大型语言模型（LLMsÿ…
Retrieval Augmented Thoughts(RAT)：检索增强思维，实现长视野生成中的上下文感知推理
论文地址：https://arxiv.org/pdf/2403.05313.pdf
原文地址：rat-retrieval-augmented-thoughts
Github：Implementation of RAT
2024 年 3 月 14 日 介绍 让我首先从一些一般性观察开始...... 在生成式人工智能应用程序中实现效率与生成响应…
Prompt进阶系列5:LangGPT(提示链Prompt Chain)--提升模型鲁棒性
Prompt进阶系列5:LangGPT(提示链Prompt Chain)–提升模型鲁棒性
随着对大模型的应用实践的深入，许多大模型的使用者， Prompt 创作者对大模型的应用越来越得心应手。和 Prompt 有关的各种学习资料，各种优质内容也不断涌现。关于 Prompt 的实践…
【NLP学习记录】Embedding和EmbeddingBag
Embedding与EmbeddingBag详解
●🍨 本文为🔗365天深度学习训练营 中的学习记录博客
●🍖 原作者：K同学啊 | 接辅导、项目定制
●🚀 文章来源：K同学的学习圈子1、Embedding详解
Embedding是Pytorch中最基本…
复试专业前沿问题问答合集14——自然语言处理
复试专业前沿问题问答合集14——自然语言处理
自然语言处理相关的基础知识问答：
Q1: 什么是自然语言处理（NLP）？
A1: 自然语言处理是计算机科学、人工智能和语言学领域的一个交叉学科，它致力于使计算机能够理解和处理人类语言。NLP的研究包括语言的语法、语义和语境分析…
实在智能受邀参加中国人工智能产业发展联盟大会（AIIA）主题分享，共筑智能体机遇新篇章
近日，中国人工智能产业发展联盟（AIIA）在海口召开第十一次全体会议，作为该联盟成员单位，实在智能合伙人&核心算法负责人欧阳小刚受邀出席大会，并以《从RPA到智能体，数字员工的发展及在金融行…
NLP作业02：课程设计报告
作业头
这个作业属于哪个课程自然语言处理这个作业要求在哪里NLP作业02：课程设计报告我在这个课程的目标实现基于Seq2Seq注意力机制的聊天机器人这个作业在哪个具体方面帮助我实现目标问题的提出，资料的查找参考文献1.简说Seq2Seq原理以及实现 2.序列到…
NLPer必备技能及如何面试（专栏目录）
推荐关注：https://zhuanlan.zhihu.com/c_142467262。有关于AI算法的一切
移动端推荐we关注「小李杜的科幻年」～～～
------- 上周末我发的对于 算法工程师职业生涯规划的考虑 感觉还不错呀～ ，推荐大家看看。…
【AI】发现一款运行成本较低的SelfHosting语言模型
【背景】
作为一个想构建局域网AI服务的屌丝，一直苦恼的自然是有限的资源下有没有对Spec要求低一点的SelfHosting的AI服务框架了。今天给大家介绍这款听起来有点希望，但是我也还没试验过，感兴趣的可以去尝试看看。
【介绍】
大模型生成式AI与别的技术不同，由于资源要求高…
Chain of Note-CoN增强检索增强型语言模型的鲁棒性
Enhancing Robustness in Retrieval-Augmented Language Models
检索增强型语言模型（RALMs）在大型语言模型的能力上取得了重大进步，特别是在利用外部知识源减少事实性幻觉方面。然而，检索到的信息的可靠性并不总是有保证的。检索…
论文笔记 EMNLP 2020|Reading the Manual-Event Extraction as Definition Comprehension
文章目录1 简介1.1 创新2 任务定义3 方法4 模型5 实验1 简介
论文题目：Reading the Manual-Event Extraction as Definition Comprehension 论文来源：EMNLP 2020 论文链接：https://aclanthology.org/2020.spnlp-1.9.pdf
1.1 创新
提出一个…
论文笔记 NAACL 2021|Document-level Event Extraction with Efficient End-to-end Learning of Cross-event De
文章目录1 简介1.1 动机1.2 创新2 背景知识3 方法3.1 基础模型3.2 跨事件依赖4 实验1 简介
论文题目：Document-level Event Extraction with Efficient End-to-end Learning of Cross-event Dependencies 论文来源：NAACL 2021 论文链接：http…
Randomized Substitution and Vote for Textual Adversarial Example Detection
文本对抗样本检测的随机替换和投票
https://arxiv.org/pdf/2109.05698.pdf
摘要
这篇工作提出了一种对抗样本检测模块，针对检测出数据集中通过单词替换生成的对抗样本。
方法
Motivation
对一个文本中的单词进行替换生成了预测和标签不一致的对抗样本…
探索自然语言处理：从入门到精通的完整指南
自然语言处理（Natural Language Processing，简称NLP）是人工智能领域的一个重要分支，它致力于使计算机能够理解、处理和生成人类语言。随着信息时代的发展，NLP的重要性日益凸显，它在智能搜索、机器翻译、智能…
tensorflow2快速入门 最干教程
Tf.keras和keras区别： Tf.keras支持基于tf.data的模型训练 Tf.keras支持TPU训练 Tf.keras支持tf.distribution的分布式策略 Tf.keras 可以与tf的额estimator集成 Tf.keras 可以保存为SavedModel
.导入tensorflow_keras from tensorflow imp…
深度探究自然语言处理中大模型的微调技术与优化策略
深度探究自然语言处理中大模型的微调技术与优化策略
1. 背景介绍
自然语言处理（NLP）是人工智能领域的一个重要分支，它致力于让计算机理解和处理人类语言。近年来，随着深度学习技术的发展，NLP取得了显著的进步。特别是…
实在智能发布会带你见证什么是真正属于你的神机百炼？
动漫《一人之下》正在腾讯视频热播，作为八绝技之一的神机百炼一出场便惊艳了所有人，做到了真正地以一当百。 实在智能秋季新品发布会于10月18日20时圆满举行，作为一家行业领先的人工智能科技公司给我们带来哪些惊喜呢？ 本次以“拾…
NLP 笔记:LDA（训练篇）
1 前言：吉布斯采样
吉布斯采样的基本思想是，通过迭代的方式，逐个维度地更新所有变量的状态
1.1 举例 收拾东西
假设我们现在有一个很乱的屋子，我们不知道东西应该放在哪里（绝对位置），但知道哪…
全球大型语言模型(LLMS)现状与比较
我用上个博文的工具将一篇ppt转换成了图片，现分享给各位看官。
第一部分：国外大语言模型介绍
1，openai的Chatgpt 免费使用方法1：choose-carhttps://share.freegpts.org/list 免费使用方法2：Shared Chathttps://share…
【阅读论文】When Large Language Models Meet Vector Databases: A Survey
摘要 本调查探讨了大型语言模型（LLM）和向量数据库（VecDB）之间的协同潜力，这是一个新兴但迅速发展的研究领域。随着LLM的广泛应用，出现了许多挑战，包括产生虚构内容、知识过时、商业应用成本高昂…
从零开始一步一步掌握大语言模型---（3-词表示-word representation）
词表示和语言模型
词表示是指把自然语言里面最基本的单位，也就是词，将其转换为机器所能理解的过程。
词表示的目的：
1. 计算词之间的相似度；
2. 推理词之间的关系。
1.最早是如何表示一个词呢？ 设目标词是X&#…
人工智能大模型学习：在自然语言处理、图像识别与语音识别中的应用及未来展望
在当前技术环境下，人工智能（AI）已成为推动各行各业进步的关键力量。AI的大模型学习特别引人注目，它不仅要求研究者具备深厚的数学基础和编程能力，还需要对特定领域的业务场景有深入的了解。这种复合型知识结构使得AI大…
大语言模型（Large Language Model，LLM）简介
1. 什么是大语言模型 它是一种基于深度学习的人工智能模型，它从大量来自书籍、文章、网页和图像等来源的数据中学习，以发现语言模式和规则，如处理和生成自然语言文本。通常，大语言模型含数百亿（或更多）参数…
Chinese-LLaMA-Alpaca-2模型量化部署测试
简介
Chinese-LLaMA-Alpaca-2基于Meta发布的可商用大模型Llama-2开发, 是中文LLaMA&Alpaca大模型的第二期项目.
量化
模型的下载还是应用脚本
bash hfd.sh hfl/chinese-alpaca-2-13b --tool aria2c -x 8应用llama.cpp进行量化, 主要参考该教程. 其中比较折腾的是与BLAS…
Auto-DataProcessing：一组让制作数据集变轻松的脚本
前言
最近跟同学参加了个比赛，我负责Object-Detection的技术实现，需要从网上扒大量的数据(主办方每种识别物就给了一张demo🤣)，发现数据准备是一个真的是一个非常重要但又耗时耗力的过程。对我来说，给我一类待识别的标…
自然语言处理实战项目28-RoBERTa模型在BERT的基础上的改进与架构说明，RoBERTa模型的搭建
大家好，我是微学AI，今天给大家介绍下自然语言处理实战项目28-RoBERTa模型在BERT的基础上的改进与架构说明，RoBERTa模型的搭建。在BERT的基础上，RoBERTa进行了深度优化和改进，使其在多项NLP任务中取得了卓越的成绩。接下来，我们将详细了解RoBERTa的原理、架构以及它在BERT…
PyTorch的向量化思维，以及Tensor、nn接口
文章目录 PyTorch的向量化思维，以及Tensor、nn接口大语言模型的向量化思路核心原理关键步骤关键技术PyTorch中的向量化`torch.nn` 是 PyTorch 中用于构建和训练神经网络的核心模块主要特点：1. 层（Layers）2. 模型（Modules）3. 损失函数（Loss Functions）4. 实用函数（Util…
【MLLM+轻量多模态模型】24.02.Bunny-v1.0-2B-zh: 轻量级多模态语言模型 （效果一般）
24.02 北京人工智能研究院（BAAI）提出以数据为中心的轻量级多模态模型
arxiv论文：2402.Efficient Multimodal Learning from Data-centric Perspective 代码：https://github.com/BAAI-DCAI/Bunny 在线运行：https://wis…
阿里云-零基础入门NLP【基于机器学习的文本分类】
文章目录 学习过程赛题理解学习目标赛题数据数据标签评测指标解题思路TF-IDF介绍TF-IDF 机器学习分类器TF-IDF LinearSVCTF-IDF LGBMClassifier 学习过程
20年当时自身功底是比较零基础(会写些基础的Python[三个科学计算包]数据分析)，一开始看这块其实挺懵的&am…
Flowise+LocalAI部署--Agent应用
背景
概念
Flowise
Flowise 是一个开源的用户界面可视化工具，它允许用户通过拖放的方式来构建自定义的大型语言模型（LLM）流程。 Flowise基于LangChain.js，是一个非常先进的图形用户界面，用于开发基于LLM的应用程序。…
【视觉语言大模型+LLaVA1.0】大语言模型视觉助手（视觉指令调优）GPT4-Vision丐版
官方资源汇总： 项目主页 || https://huggingface.co/liuhaotian 23.04.LLaVA1.论文: Large Language and Vision Assistant（Visual Instruction Tuning) 23.10 LLaVA-1.5论文: Improved Baselines with Visual Instruction Tuning 23.11 LLaVA-Plus项目&…
【NLP笔记】Transformer
文章目录 基本架构EmbeddingEncoderself-attentionMulti-Attention残差连接LayerNorm DecoderMask&Cross Attention线性层&softmax损失函数 论文链接：
Attention Is All You Need 参考文章：
【NLP】《Attention Is All You Need》的阅读笔记 一…
大语言模型数据集alpaca羊驼数据集、Vicuna骆马数据集异同、作用、使用领域
文章目录 大语言模型数据集alpaca羊驼数据集、Vicuna骆马数据集异同、作用、使用领域Alpaca和Vicuna简介AlpacaVicuna相同点不同点 alpaca、vicuna能否用在大语言模型微调中？alpaca、vicuna进行大语言模型微调时，由于其已经是标准化数据集，还…
NLP---Bert分词
目录： Q：bert分词步骤1：构建N * N 的相关性矩阵，计算相邻两个字的相关性，低的话（<阈值）就切割。2：将A词进行mask计算出A的embedding，然后将AB两个词一起maskÿ…
【NLP笔记】RNN总结
文章目录 经典RNN单向RNN双向RNNDeep RNNRNN特性总结 变体RNNLSTMGRU 参考及转载内容： 循环神经网络（RNN）深度学习05-RNN循环神经网络完全理解RNN（循环神经网络） 传统的CNN（Covolutional Neural Network&am…
Ollama 在本地快速启动并执行LLM【大语言模型】
文章目录 1. 什么是Ollama?1.1. SDK库1.2. 提供的api服务1.3. [支持的LLM](https://ollama.com/library)2. 如何安装2.1.下载docker镜像2.2. 启动docker容器3. 如何使用？3.1. 如何加载模型3.2. 使用 Ollama CLI 进行推理3.3. 使用 Ollama API 进行推理参考1. 什么是Ollama?
大模型时代的向量数据库：原理解析和应用案例
大家好，在人工智能领域，数据处理和加工的需求愈发增加。随着人们深入探索AI高级的应用，如图像识别、语音搜索和推荐引擎等，数据的复杂性也在不断地增加。此时传统的数据库存储方式已不能完全满足需求，向量数据库应运而…
RAG高阶技巧---窗口上下文检索
RAG（Retrieval-Augmented Generation）模型的检索流程主要包括以下步骤：
加载文档：此步骤涉及将不同格式的文件转化为可处理的文档形式，例如将PDF文件转换为文本，或将表格数据转化为键值对。拆分文档&#…
Multimodal Chain-of-Thought Reasoning in Language Models阅读笔记
论文（2023年）链接：https://arxiv.org/pdf/2302.00923.pdf
GitHub项目链接：GitHub - amazon-science/mm-cot: Official implementation for "Multimodal Chain-of-Thought Reasoning in Language Models" (stay tuned a…
2024年最强人工智能AI软件，AI画画，AI写小说，一招帮你搞定
2024年也涌现出了非常多好用又强大的人工智能AI软件，AI画画，AI写小说，AI做翻译等等，分享自己今年最常用的几个AI工具，都是精品，欢迎点赞收藏~ 1、GitMind AI
网站直达：GitMind 思乎 - AI思维导…
HuggingFace: 掌握自然语言处理的利器
引言
在当今人工智能领域中，自然语言处理（NLP）一直是备受关注的焦点之一。从智能助手到情感分析，NLP技术已经深入到我们日常生活和工作的方方面面。然而，随着数据量的增长和模型复杂性的提升，开发和部署高…
自然语言处理3（NLP）—— 机器学习
1. 自然语言处理在机器学习领域的主要任务 自然语言处理（NLP）在机器学习领域中扮演着至关重要的角色，旨在使计算机能够理解、解释和生成人类语言。以下是NLP在机器学习领域中的主要任务及其分类方法：
1.1 按照功能类型分类
1.1.…
非root用户安装git lfs（git大文件）命令记录
背景
最近在看LLAMA2的模型，想直接从Huggingface下载模型到本地，但是却发现服务器上没有安装git lfs命令。查询了一些资料完成了非root用户安装git lfs命令的操作，特此记录。
Git LFS下载与解压
下载 Git LFS 二进制文件 访问 Git LFS 发布…
RAFT：让大型语言模型更擅长特定领域的 RAG 任务
RAFT（检索增强的微调）代表了一种全新的训练大语言模型（LLMs）以提升其在检索增强生成（RAG）任务上表现的方法。“检索增强的微调”技术融合了检索增强生成和微调的优点，目标是更好地适应各个特定领…
论文浅尝 | 基于统一学习方法的预训练语言模型的知识图谱扩展
笔记整理：朱渝珊，浙江大学博士，研究方向为知识图谱快速表示学习、大规模知识图谱预训练 链接：https://linkinghub.elsevier.com/retrieve/pii/S0950705122013417 1、动机 知识图谱(KGs)由许多形如(h,r,t)的三元组组成，…
开源模型应用落地-qwen1.5-7b-chat-LoRA微调（二）
一、前言 预训练模型提供的是通用能力，对于某些特定领域的问题可能不够擅长，通过微调可以让模型更适应这些特定领域的需求，让它更擅长解决具体的问题。 本篇是开源模型应用落地-qwen-7b-chat-LoRA微调（一）进阶篇，学习通义千问最新1.5系列模型的微调方式。 二、术语介绍
…
AIGC重塑金融：AI大模型驱动的金融变革与实践
🌈个人主页: Aileen_0v0 🔥热门专栏: 华为鸿蒙系统学习|计算机网络|数据结构与算法 💫个人格言:“没有罗马,那就自己创造罗马~” #mermaid-svg-tVrfBkGvUD0Qi13F {font-family:"trebuchet ms",verdana,arial,sans-serif;font-siz…
【论文阅读】UniLog: Automatic Logging via LLM and In-Context Learning
注 由于其公司的保密政策，本文没有公开源代码，数据是公开的。 文章目录 摘要一、介绍二、背景和动机2.1、日志语句生成2.2、大语言模型2.3、上下文学习（In-Context Learning，ICL) 三、UNILOG3.1、模型骨干3.2、提示策略3.2.1、提…
深入探索语言模型：原理、应用与评估
深入探索语言模型：原理、应用与评估
目录
深入探索语言模型：原理、应用与评估
一、 引言
二、语言模型原理
三、概率语言模型
四、 深度学习语言模型
五、 代码示例
六、 语言模型的评估
七、案例研究 一、 引言
在自然语言处理（NL…
生成式大语言模型论文导读
当下，最火的人工智能无疑就是生成式大模型，包括纯大语言模型和多模态模型，所以本次也抱着学习的态度，以大模型发展的时间线来对主要节点的一些生成式语言模型的论文进行分享(论文和分享内容会动态更新)。
分享目录
transformer…
中文Mistral模型介绍（Chinese-Mistral）——中文大语言模型
中文Mistral简介
Chinese-Mistral由清华大学地学系地球空间信息科学实验室开发。 该模型基于Mistral发布的Mistral-7B-v0.1训练得到。首先进行中文词表扩充，然后采用实验室提出的PREPARED训练框架（under review）在中英双语语料上进行增量预训…
开源AI引擎：自然语言处理技术在人岗匹配中的应用
一、应用场景介绍
如何从海量的求职者中精准地匹配到合适的候选人，是每个人力资源部门都需要解决的问题。自然语言处理（NLP）技术的发展为人岗匹配提供了新的解决方案。通过信息抽取和文本分类技术，企业可以更高效地分析职位描述和…
NLP学习全攻略：从入门到精通
在数字化浪潮席卷的今天，自然语言处理（NLP）技术已经成为人工智能领域的一颗璀璨明珠。对于想要掌握NLP技术的你，本文将为你呈现一条清晰的学习路线，带你从入门到精通，轻松开启NLP的探索之旅。
一、NLP学习路线概览
NLP的学习并非一蹴而就，需要循序渐进地积累知识和技能…
Challenging BIG-Bench tasks and whether chain-of-thought can solve them阅读笔记
不是新文章哈，就是最近要看下思维链（chain of thought，CoT）这块，然后做点review。
文章链接（2022年）：https://arxiv.org/pdf/2210.09261.pdf
GitHub链接：GitHub - suzg…
评论家：大型语言模型可以通过工具交互式批评进行自我修正（ICLR2024）
1、写作动机：
大语言模型有时会显示不一致性和问题行为，例如产生幻觉事实、生成有缺陷的代码或创建令人反感和有毒的内容。与这些模型不同，人类通常利用外部工具来交叉检查和改进他们的初始内容，比如使用搜索引擎进行事实检查&am…
什么是自然语言处理（NLP）？
此为观看视频What is NLP (Natural Language Processing)?后的笔记。 你正在看这个视频，试图理解作者说的单词和句子，当我们要求计算机做到这一点时，这就是 NLP，即自然语言处理。 NLP 在人工智能应用中实用价值很高。NLP 从非结构…
如何能基于prompt tuning v2训练好一个垂直领域的chatglm-6b
如何能基于prompt tuning v2训练好一个垂直领域的chatglm-6b
首先先抛出一个问题，是不是所有的文本生成数据集都适合用chatglm 6B的模型进行微调。那我们今天找到了三个数据集，分别为百科数据集、法律问答数据集、论文题目与摘要数据集、专利名称与专利…
ACL 2022：Graph Pre-training for AMR Parsing and Generation
Graph Pre-training for AMR Parsing and Generation 论文：https://aclanthology.org/2022.acl-long.415/
代码：https://github.com/goodbai-nlp/AMRBART
期刊/会议：ACL 2022
摘要
抽象语义表示（AMR）以图形结构突出…
每日学术速递5.31
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 Subjects: cs.CV
1.Prompt-Free Diffusion: Taking "Text" out of Text-to-Image Diffusion Models 标题：无提示扩散：从文本到图像扩散模型中提取“文本”
作者&…
【ChatGPT+XMind超级详细的保姆级思维导图教程】
🚀 AI 🚀 🌲 算法刷题专栏 | 面试必备算法 | 面试高频算法 🍀 🌲 越难的东西,越要努力坚持，因为它具有很高的价值，算法就是这样✨ 🌲 作者简介：硕风和炜，CSDN…
109岁大象的“尬舞”，IBM宣布自我分拆
【阿明（Aming）微评】来自IBM公开消息称，将在2021年底前对其全球信息科技服务部（GTS）的托管基础设施服务部门进行分拆，成立一家新的上市公司，临时名为NewCo。
GTS一分为二，这样的分拆…
cs224n名词解释
objective function 目标函数 loss function 损失函数 One-hot representation 稀疏表达 Distributed representation 分布式表示/稠密表达 （Word）embedding （词）嵌入 Bag of words BOW词袋 Word vector 词向量 Word context 词的…
深入了解gradio库的Interpretation模块
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
ChatGPT将会成为强者的外挂？—— 提高学习能力
目录
前言
一、提高学习力 🧑💻
1. 快速找到需要的知识
2. 组合自己的知识体系
3. 内化知识技能
二、提问能力❗
三、思维、创新能力 🌟
1. 批判性思维
1.1 八大基本结构进行批判性提问
1.2 苏格拉底的提问分类方法
2. 结构化思…
MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models
本文也是LLM系列相关文章，针对《MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models》的翻译。 MME:一个多模态大型语言模型的综合评估基准 摘要1 引言2 MME评估套件3 实验4 分析5 结论 摘要
多模态大语言模型（MLLM&…
transformer大语言模型(LLM)部署方案整理
说明
大模型的基本特征就是大，单机单卡部署会很慢，甚至显存不够用。毕竟不是谁都有H100/A100, 能有个3090就不错了。
目前已经有不少框架支持了大模型的分布式部署，可以并行的提高推理速度。不光可以单机多卡，还可以多机多卡。 …
Recommender Systems in the Era of Large Language Models (LLMs)
本文是LLM系列文章，针对《Recommender Systems in the Era of Large Language Models (LLMs)》的翻译。 大语言模型时代的推荐系统 摘要1 引言2 相关工作3 基于LLM推荐系统的深度表示学习4 预训练和微调LLM用于推荐系统5 提示LLM用于推荐系统6 未来方向6.1 幻觉缓解…
![[NLP] LLM---＜训练中文LLama2(五)＞对SFT后的LLama2进行DPO训练](https://img-blog.csdnimg.cn/51e0f89539834e8ca494b4d047d0a18c.png)
[NLP] LLM---＜训练中文LLama2(五)＞对SFT后的LLama2进行DPO训练
当前关于LLM的共识
大型语言模型（LLM）使 NLP 中微调模型的过程变得更加复杂。最初，当 ChatGPT 等模型首次出现时，最主要的方法是先训练奖励模型，然后优化 LLM 策略。从人类反馈中强化学习（RLHF）…
GE IS220PVIBH1A 336A4940CSP16 电源模块
GE IS220PVIBH1A 336A4940CSP16 电源模块是通用电气（GE）的一种电源模块，用于工业控制和电力系统中，提供电源供应和保护功能。以下是这种类型电源模块的一般特点和功能： 电源供应：GE IS220PVIBH1A 336A4940C…
NLP 04(GRU)
一、GRU
GRU (Gated Recurrent Unit)也称门控循环单元结构,它也是传统RNN的变体,同LSTM一样能够有效捕捉长序列之间的语义关联， 缓解梯度消失或爆炸现象，同时它的结构和计算要比LSTM更简单,它的核心结构可以分为两个部分去解析: 更新门、重置门 GRU的内…
大模型 Decoder 的生成策略
本文将介绍以下内容：
IntroductionGreedy Searchbeam searchSamplingTop-K SamplingTop-p (nucleus) sampling总结
一、Introduction
1、简介
近年来，由于在数百万个网页数据上训练的大型基于 Transformer 的语言模型的兴起，开放式语言生…
2024年大模型面试准备（三）：聊一聊大模型的幻觉问题
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何备战、面试常考点分享等热门话题进行了深入的讨论。
合集在这…
大规模语言模型--训练成本
目前，基于 Transformers 架构的大型语言模型 (LLM)，如 GPT、T5 和 BERT，已经在各种自然语言处理 (NLP) 任务中取得了 SOTA 结果。将预训练好的语言模型(LM) 在下游任务上进行微调已成为处理 NLP 任务的一种 范式。与使用开箱即用的预训练 LLM…
input文本去除括号和标点符号回车
去除括号
你想要从文本中去除括号，可以使用正则表达式和字符串替换来实现。下面是一个示例代码，展示如何去除括号：
import redef remove_parentheses(text):# 使用正则表达式匹配括号及其内部内容，并将其替换为空字符串text_wit…
【AI视野·今日NLP 自然语言处理论文速览 第五十三期】Thu, 12 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Thu, 12 Oct 2023 Totally 69 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
To Build Our Future, We Must Know Our Past: Contextualizing Paradigm Shifts in Natural Language Proces…
Elasticsearch：什么是大语言模型 (LLMs)？
假设你想参加流行的游戏节目 Jeopardy（这是一个美国电视游戏节目，参赛者将获得答案并必须猜测问题）。 要参加演出，你需要了解任何事情的一切。 所以你决定在接下来的三年里每天都花时间阅读互联网上的所有内容。 你很快就会意识到…
Stanford CS224N - word2vec
最近在听Stanford放出来的Stanford CS224N NLP with Deep Learning这门课，弥补一下之前nlp这块基础知识的一些不清楚的地方，顺便巩固一下基础知识😁
关于word2vec：
1.为什么要把单词表示成向量
一开始人们造了一个类似于词典表…
【解刊】IF9.9，CCF-C类，1区SCI神刊，2天见刊！
计算机领域 • 好刊解读
今天依然带来CCF-C类，计算机（数据库/数据挖掘/内容检索）领域好刊的解读，如有相关领域作者有意向投稿，不妨一起来了解一下~
01 期刊简介
INFORMATION & MANAGEMENT
☑️出版社ÿ…
【自学记录】深度学习进阶：自然语言处理（第一章 神经网络的复习）
1.1 数学和python的复习
今天，终于，借此机会，终于学会用命令行了！学习记录（感谢步老师！！！） 需要注意的点是 np.dot(),当参数是一维数组时，计算向量内积&…
NLP论文阅读记录 - 2021 | WOS 基于动态记忆网络的抽取式摘要
文章目录 前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献 二.前提三.本文方法四 实验效果4.1数据集4.2 对比模型4.3实施细节4.4评估指标4.5 实验结果4.6 细粒度分析 五 总结思考 前言 Extractive Summarization Based on Dynamic Memory Network…
少量精确数据筛选数据法for nlp
预训练的重要性在于它可以让模型从大量的数据中学习到通用的知识和特征，这些知识和特征可以在后续的任务中得到应用。预训练可以看作是给模型提供了一个初始的知识库，使得模型在特定任务上具有更好的泛化能力和表现。然而，预训练并不是万能的…
基于大语言模型的AI Agents
代理（Agent）指能自主感知环境并采取行动实现目标的智能体。基于大语言模型（LLM）的 AI Agent 利用 LLM 进行记忆检索、决策推理和行动顺序选择等，把Agent的智能程度提升到了新的高度。LLM驱动的Agent具体是怎么做的呢&a…
HMM隐马尔可夫模型 | 关键原理+面试知识点
😄 HMM之前跟人生导师：李航学习过，这里结合自己的理解，精简一波HMM，总结一下面试中高频出现的要点。 文章目录1、何为HMM？2、HMM三要素：3、HMM两大强假设4、HMM三个基本问题 ：5、HMM…
串口通信float型数据的处理和发送；大端小端；联合体union占用字节大小；结构体的定义
在介绍float型数据的处理和发送之前，先介绍一下大端和小端以及联合体的大小分析。
一.什么是大端小端？如何测试你的CPU是大端还是小端？
1.大端小端：
小端：采用小端模式的CPU对操作数的存放方式是从低字节到高字节&a…
FAISS+bge-large-zh在大语言模型LangChain本地知识库中的作用、原理与实践
文章目录 FAISSbge-large-zh在大语言模型LangChain本地知识库中的作用、原理与实践引言FAISS与bge-large-zh简介FAISS原理bge-large-zh原理 FAISSbge-large-zh在LangChain本地知识库中的作用提高检索效率增强语义理解能力支持大规模数据处理 实践数据准备与处理FAISS索引构建与…
第十三章P-tuing系列之P-tuning V1
项目地址: P-Tuning
论文地址: [2103.10385] GPT Understands, Too (arxiv.org) 理论基础
正如果上一节介绍LoRA(自然语言处理: 第十二章LoRA解读_lora自然英语处理-CSDN博客)一样,本次介绍的在21年由清华团推提出来的 P-Tuning V1系列也属于PEFT(参数高效微调系列)里的一种&…
【李沐精读系列】BERT精读
论文：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 参考：BERT论文逐段精读、李沐精读系列、李宏毅版BERT讲解 一、介绍 BERT(Bidirectional EncoderRepresentation Transformer，双向Transformer编码器…
简洁的链式思维（CCoT）提示
原文地址：Concise Chain-of-Thought (CCoT) Prompting
传统的CoT导致了输出令牌使用的增加，而CCoT提示是一种旨在减少LLM响应的冗长性和推理时间的提示工程技术。
2024 年 1 月 24 日
Areas where Chain-Of-Thought-like methodology has been introd…
生成用于目标检测任务的合成图像教程：使用Blender、Python和3D资产
生成用于目标检测任务的合成图像教程：使用Blender、Python和3D资产
缺少足够的训练数据是当前深度学习面临的一个主要问题。自动生成带有注释的合成图像是计算机视觉任务的一个有前途的解决方案。本文将首先概述合成图像数据的一些图像生成技术，然后生成…
自然语言处理概念以及发展
自然语言概念总结
自然语言处理（Natural Language Processing，简称NLP）是计算机科学领域与人工智能领域的一个重要方向，它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理旨在帮助计算机理解和处…
【ACL 2023获奖论文】再现奖：Do CoNLL-2003 Named Entity Taggers Still Work Well in 2023?
【ACL 2023获奖论文】再现奖：Do CoNLL-2003 Named Entity Taggers Still Work Well in 2023? 写在最前面动机主要发现和观点总结 正文1引言6 相关工作解读 2 注释一个新的测试集以度量泛化CoNLL数据集的创建数据集统计注释质量与评估者间协议目标与意义 3 实验装置…
【自然语言处理七-经典论文-attention is all you need】
然语言处理七-经典论文-attention is all you need 摘要原文译文小结 1：引言原文译文小结 2：背景原文译文小结 3：模型架构原文译文小结 3.1 编码器和解码器原文译文小结 3.2 注意力原文译文小结3.2.1 缩放点积注意力原文总结 3.2.2 多头注意力…
从零开始一步一步掌握大语言模型---（1-写在最开始）
一、为什么要开始这个系列？
从23年开始接触Chatpgt以来，被其强大的功能深深的震撼到。它不仅是能写论文，编故事，真的是能深刻影响到我们各行各业的一项新技术。在我们社会即将迎来智能化革命的前期，深刻的理解和掌握这…
自然语言处理下载nltk模块库
nltk安装
目录
nltk安装
1.官方下载
2.离线下载
2.1 下载nltk资料包
2.2 解压下载的资料包重命名
2.2.1 将解压后的packages文件夹重命名为nltk_data
2.2.2 查看将重命名的文件夹放在那个位置
2.2.3 将上述nltk_data 文件夹放在 2.2.2 打印的位置处
3.验证是否下载成…
【NLP笔记】大模型prompt推理（提问）技巧
文章目录 prompt概述推理（提问）技巧基础prompt构造技巧进阶优化技巧prompt自动优化 参考链接： Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing预训练、提示和预测：NL…
解析旅游者心声：用PySpark和SnowNLP揭秘景区评论的情感秘密
简介：
在本篇博客中，我们将探讨如何利用PySpark和SnowNLP这两个强大的工具来分析大规模的旅游评论数据。通过结合携程和去哪儿的数据作为示例，我们将探索如何从海量的评论中提取有价值的情感信息和洞察。PySpark作为一种分布式计算框架，能够处理大规模的数据集，为我们提供…
智能咖啡厅助手：人形机器人 +融合大模型，行为驱动的智能咖啡厅机器人(机器人大模型与具身智能挑战赛)
智能咖啡厅助手：人形机器人 融合大模型，行为驱动的智能咖啡厅机器人(机器人大模型与具身智能挑战赛)
“机器人大模型与具身智能挑战赛”的参赛作品。的目标是结合前沿的大模型技术和具身智能技术，开发能在模拟的咖啡厅场景中承担服务员角色并…
人工智能时代八大类算法你了解吗？（文末包邮送书6本）
文章目录 本文导读1. 关联规则分析2. 回归分析3. 分类分析4. 聚类分析5. 集成学习6. 自然语言处理7. 图像处理8. 深度学习9. 书籍推荐（包邮送书6本） 本文导读 从零带你了解人工智能时代需要掌握的8大类算法，包括基础理论、关联规则分析、回归…
自然语言处理实战项目7-利用层次聚类方法做文本的排重，从大量的文本中找出相似文本
大家好，我是微学AI，今天给大家介绍一下自然语言处理实战项目7-利用层次聚类方法做文本的排重，从大量的文本中找出相似文本。随着互联网技术的不断发展，越来越多的数据被广泛地应用在各个领域中。而文本数据是其中之一，…
基于深度学习LSTM+NLP情感分析电影数据爬虫可视化分析推荐系统（深度学习LSTM+机器学习双推荐算法+scrapy爬虫+NLP情感分析+数据分析可视化）
文章目录 基于深度学习LSTMNLP情感分析电影数据爬虫可视化分析推荐系统（深度学习LSTM机器学习双推荐算法scrapy爬虫NLP情感分析数据分析可视化）项目概述深度学习长短时记忆网络（Long Short-Term Memory，LSTM）机器学习协…
Language models scale reliably with over-training and on downstream tasks
Language models scale reliably with over-training and on downstream tasks 相关链接：arxiv 关键字：语言模型、过度训练、下游任务、可扩展性、性能预测 摘要
本文探讨了语言模型在过度训练和下游任务中的可扩展性。尽管现有的扩展研究通常集中在计算…
深度序列模型与自然语言处理：基于TensorFlow2实践
目录
写在前面
推荐图书
编辑推荐
内容简介
作者简介
推荐理由
写在最后 写在前面
本期博主给大家推荐一本深度学习的好书，对Python深度学习感兴趣的小伙伴快来看看吧！
推荐图书
《深度序列模型与自然语言处理 基于TensorFlow2实践》 直达链接…
langchain调用语言模型chatglm4从智谱AI
目录
0.langchain agent 原理
ReAct
1.langchain agent使用chatgpt调用tools的源代码
2.自定义本地语言模型的代码
3.其他加速方法 背景：如果使用openai的chatgpt4进行语言问答，是需要从国内到国外的一个客户请求-->openai服务器response的一个…
NLP:bert下载与使用
没办法，模型精度还是不够，只能暂时弃用text2vec。然后我在github上发现了中文文本处理的老大哥：bert
python使用bert可以参考这篇博客：博客
但是篇博客又出现了上一节的问题： We couldnt connect to https://hugging…
【李沐论文精读】CLIP精读
论文：Learning Transferable Visual Models From Natural Language Supervision 参考：CLIP 论文逐段精读、李沐论文精读系列、CLIP论文逐段精读【论文精读】 一、介绍 CLIP(Contrastive Language-Image Pre-training)，是一种基于对比文本-图像…
【NLP】如何实现快速加载gensim word2vec的预训练的词向量模型
1 问题
通过以下代码，实现加载word2vec词向量，每次加载都是几分钟，效率特别低。
from gensim.models import Word2Vec,KeyedVectors# 读取中文词向量模型（需要提前下载对应的词向量模型文件）
word2vec_model KeyedV…
大语言模型(LLM)Token 概念
1. 概念：
Token概念：在大型语言模型中，Token是对输入文本进行分割和编码时的最小单位。它可以是单词、子词、字符或其他形式的文本片段。
2. 分类：
词级Token（Word-level Tokens）：将文本分割…
自然语言处理（NLP）—— 语义关系提取
语义关系是指名词或名词短语之间的联系。这些关系可以是表面形式（名词性实体）之间的联系，也可以是知识工程中概念之间的联系。在自然语言处理（NLP）和文本挖掘领域，识别和理解这些语义关系对于信息提取、知识…
【R语言爬虫实战】抓取省市级城市常务会议内容
🍉CSDN小墨&晓末:https://blog.csdn.net/jd1813346972 个人介绍: 研一｜统计学｜干货分享 擅长Python、Matlab、R等主流编程软件 累计十余项国家级比赛奖项，参与研究经费10w、40w级横向 文…
RLAIF在提升大型语言模型训练中的应用
RLAIF在提升大型语言模型训练中的应用
大型语言模型（LLMs）在理解和生成自然语言方面展示了巨大能力，但仍面临输出不可靠、推理能力有限、缺乏一致性个性或价值观对齐等挑战。为解决这些问题，研究者开发了一种名为“来自AI反馈的强…
(done) NLP “bag-of-words“ 方法 （带有二元分类和多元分类两个例子）词袋模型、BoW
一个视频：https://www.bilibili.com/video/BV1mb4y1y7EB/?spm_id_from333.337.search-card.all.click&vd_source7a1a0bc74158c6993c7355c5490fc600
这里有个视频，讲解得更加生动形象一些
总得来说，词袋模型(Bow, bag-of-words) 是最简…
【NLP笔记】文本分词、清洗和标准化
文章目录 文本分词中文分词英文分词代码示例 文本清洗和标准化 文本分词
参考文章：一文看懂NLP里的分词（中英文分词区别3 大难点3 种典型方法）; 文本分词处理NLP的基础，先通过对文本内容进行分词、文本与处理（无用标…
hanlp，pyhanlp 实现 NLP 任务
目录
区别
hanlp 代码使用
pyhanlp 代码使用 在线体验：命名实体识别 | 在线演示 区别
hanlp：是 githun 官方文档提供的使用方法，也就是在线的，调用 api 的方式去实现的，可以自己申请 token，接口分为 RE…
自然语言处理（NLP）技术的概念及优势
自然语言处理（NLP）是人工智能领域的一个重要分支，其目标是使计算机能够理解、处理和生成人类自然语言的形式和含义。
NLP技术的优势包括：
实现人机交互：NLP技术可以使计算机与人类之间实现自然的语言交互，…
AI论文速读 | TPLLM：基于预训练语言模型的交通预测框架
论文标题：TPLLM: A Traffic Prediction Framework Based on Pretrained Large Language Models
作者：Yilong Ren（任毅龙）, Yue Chen, Shuai Liu, Boyue Wang（王博岳）,Haiyang Yu（于海洋&#x…
人工智能迷惑行为大赏——需求与科技的较量
目录
前言
一、 机器行为学
二、人工智能迷惑行为的现象
三、产生迷惑行为的技术原因
四、社会影响分析
五、解决措施
总结 前言
随着ChatGPT热度的攀升，越来越多的公司也相继推出了自己的AI大模型，如文心一言、通义千问等。各大应用也开始内置…
【相关问题解答1】bert中文文本摘要代码：import时无法找到包时，几个潜在的原因和解决方法
【相关问题解答1】bert中文文本摘要代码 写在最前面问题1问题描述一些建议import时无法找到包时，几个潜在的原因和解决方法1. 模块或包的命名冲突解决方法： 2. 错误的导入路径解决方法： 3. 第三方库的使用错误解决方法： 4. 包未正…
自监督学习的新前沿：大型模型在自然语言处理中的应用
摘要：
自监督学习的新前沿，特别是大型模型在自然语言处理中的应用，正在引领自然语言处理领域的发展。本文将概述自监督学习的新前沿，特别是大型模型在自然语言处理中的应用，以及其在自然语言处理领域的重要性和应用前…
Prompt提示工程上手指南:基础原理及实践(二)-Prompt主流策略
前言
上篇文章将Prompt提示工程大体概念和具体工作流程阐述清楚了，我们知道Prompt工程是指人们向生成性人工智能（AI）服务输入提示以生成文本或图像的过程中，对这些提示进行精炼的过程。生成人工智能是一个根据人类和机器产生的数…
三、NLP中的句子关系判断
句子关系判断是指判断句子是否相似，是否包含，是否是问答关系等，常应用在文本去重、检索（用户输入和文档的相关性）、推荐（和用户喜好文章是否相似）等场景中。
3.0、文本相似度计算
3.0.0 传统机…
GPT-SoVITS开源音色克隆框架的训练与调试
GPT-SoVITS开源框架的报错与调试 遇到的问题解决办法 GPT-SoVITS是一款创新的跨语言音色克隆工具，同时也是一个非常棒的少样本中文声音克隆项目。
它是是一个开源的TTS项目，只需要1分钟的音频文件就可以克隆声音，支持将汉语、英语、日语三种…
创建旅游景点图数据库Neo4J技术验证
文章目录 创建旅游景点图数据库Neo4J技术验证写在前面基础数据建库python3源代码KG效果KG入库效率优化方案PostGreSQL建库 创建旅游景点图数据库Neo4J技术验证
写在前面
本章主要实践内容： （1）neo4j知识图谱库建库。使用导航poi中的公园、景…
基于大语言模型（LLM）的表格理解任务探索与实践
大语言模型（LLMs）的发展日新月异，为表格理解任务带来了新的可能性。表格理解任务，如基于表格的问答和表格事实验证，要求从自由形式的文本和半结构化的表格数据中提取深层次的语义信息。与泛化的文本推理任务不同&#…
解锁基于LLMS的咒语：通过上下文学习重新思考对齐
一、写作动机：
最近的一项研究，LIMA，表明仅使用1K个示例进行SFT也可以实现显著的对齐性能，这表明对齐微调的效果可能是“表面的”。（知识和推理能力来源于预训练，而不是必须通过对齐微调获得的。ÿ…
Python中的增强现实（AR）技术和应用
增强现实（AR）是一种技术，它允许用户在真实环境中与虚拟物体进行交互。在Python中实现AR应用通常涉及使用专门的AR库和框架，这些库和框架提供了创建和渲染虚拟内容的工具。
一个流行的AR框架是ARKit（对于iOS设备&#…
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.03.10-2024.03.15
文章目录~ 1.Large Language Models and Causal Inference in Collaboration: A Comprehensive Survey2.VisionGPT-3D: A Generalized Multimodal Agent for Enhanced 3D Vision Understanding3.MT-PATCHER: Selective and Extendable Knowledge Distillation from Large Langu…
理解和解释ChatGPT：一种生成性大型语言模型的三部分框架
理解和解释ChatGPT：一种生成性大型语言模型的三部分框架
**摘要：**本文提供了对生成性大型语言模型（LLMs），尤其是ChatGPT的简明解释。重点在于三个关键组件：变压器架构、语言模型预训练和对齐过程。
关键…
深入探讨GPT系列与其他NLP架构的流行度差异及其应用解析
Transformer问答-1
为什么现在GPT系列的decoder-only那么流行，而其它两者:encoder-only和encoder-decoder架构不流行了呢?
GPT系列（特别是从GPT-3开始）的流行并不意味着encoder-only或encoder-decoder架构不再流行或不再重要。事实上&…
什么是自然语言处理（NLP)？自然语言处理（NLP）的概述
什么是自然语言处理？
自然语言处理（NLP）是人工智能（AI）和计算语言学领域的一个分支，它致力于使计算机能够理解、解释和生成人类语言。随着技术的发展，NLP已经从简单的模式匹配发展到了能够理解…
LaMDA: Language Models for Dialog Applications
Abstract
LaMDA: Language Models for Dialog Applications. 虽然增大模型可以提高质量，但是在 safety 和 factual grounding 方面的改进较少可以通过使用标注数据微调和查询外部知识源来提升 safety 和 factual grounding Safety: 使用标注数据训练一个分类器用于过滤有害内…
【论文翻译未完成】翻给自己看的 A Neural Probabilistic Language Model
学习路线：NLP经典论文导读（推荐阅读顺序）
原文：https://jmlr.csail.mit.edu/papers/v3/bengio03a.html
参考：论文阅读： 一种神经概率语言模型神经概率语言模型论文阅读： 一种神经概率语言模…
自然语言处理: 第十八章微调技术之QLoRA
文章地址: QLoRA: Efficient Finetuning of Quantized LLMs (arxiv.org)
项目地址: artidoro/qlora: QLoRA: Efficient Finetuning of Quantized LLMs (github.com)
前言
QLoRA是来自华盛顿大学的Tim Dettmers大神提出的模型量化算法，应用于LLM训练，降…
![[LLM] 大模型基础｜预训练｜有监督微调SFT | 推理](https://img-blog.csdnimg.cn/direct/14c03de8f5214d4ab22b7ca3a18b43aa.png)
[LLM] 大模型基础｜预训练｜有监督微调SFT | 推理
现在的大模型在进行预训练时大部分都采用了GPT的预训练任务，即 Next token prediction。 要理解大语言模型（LLM），首先要理解它的本质，无论预训练、微调还是在推理阶段，核心都是next token prediction&#…
大语言模型中的强化学习与迁移学习技术
文章目录 大语言模型中的强化学习与迁移学习技术大语言模型常用的训练方法主要包括以下几种强化学习在大语言模型中的作用与意义迁移学习在大语言模型中的作用与意义异同强化学习在大语言模型中的具体技术：迁移学习在大语言模型中的具体技术：Agent与Agent框架基于大语言模型预…
多模态大语言模型的 (R) 演变：调查
目录 1. Introduction2. 赋予LLMs多模态能力2.1 大型语言模型2.2 视觉编码器2.3 视觉到语言适配器2.4 多模式训练 3. 使用 MLLM 处理视觉任务 连接文本和视觉模式在生成智能中起着至关重要的作用。因此，受大型语言模型成功的启发，大量研究工作致力于多模…
【NLP入门教程】四、句法分析
句法分析（Syntactic Parsing）是自然语言处理中的一项重要任务，其目标是确定文本中词元之间的结构关系。句法分析可以分为两大类：短语结构分析（Phrase Structure Parsing）和依存关系分析（Dependency Parsing）。
1. 短语结构分析
短语结构分析旨在构建一个树状结构，以…
![【自然语言处理】NLP入门（八）：1、正则表达式与Python中的实现（8）：正则表达式元字符：.、[]、^、$、*、+、?、{m,n}](https://img-blog.csdnimg.cn/direct/6d1dea02a36e4189942c427a5ed8dacd.png)
【自然语言处理】NLP入门（八）：1、正则表达式与Python中的实现（8）：正则表达式元字符：.、[]、^、$、*、+、?、{m,n}
文章目录 一、前言二、正则表达式与Python中的实现1、字符串构造2、字符串截取3、字符串格式化输出4、字符转义符5、字符串常用函数6、字符串常用方法7、正则表达式1. .：表示除换行符以外的任意字符2. []：指定字符集3. ^ ：匹配行首࿰…
【RAG实践】基于 LlamaIndex 和Qwen1.5搭建基于本地知识库的问答机器人
什么是RAG
LLM会产生误导性的 “幻觉”，依赖的信息可能过时，处理特定知识时效率不高，缺乏专业领域的深度洞察，同时在推理能力上也有所欠缺。
正是在这样的背景下，检索增强生成技术（Retrieval-Augmented G…
开源模型应用落地-安全合规篇-模型输出合规性检测（三）
一、前言 为什么我们需要花大力气对用户输入的内容和模型生成的输出进行合规性检测，一方面是严格遵守各项法规要求，具体如下：互联网信息服务深度合成管理规定https://www.gov.cn/zhengce/zhengceku/2022-12/12/content_5731431.htm
其次，受限于模型本身的一些缺陷，…
d2l语言模型--生成小批量序列
对语言模型的数据集处理做以下汇总与总结
目录
1.k元语法
1.1一元
1.2 二元
1.3 三元
2.随机抽样 2.1各bs之间随机
2.2各bs之间连续
3.封装 1.k元语法
1.1一元
tokens d2l.tokenize(d2l.read_time_machine())
# 因为每个⽂本⾏不⼀定是⼀个句⼦或⼀个段落࿰…
小米 AIGC 大模型实习面试题4道|含解析
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂同学、参加社招和校招面试的同学，针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何备战、面试常考点分享等热门话题进行了深入的讨论。 合集在这…
xAI开发的一款巨大型语言模型（HLM）--Grok 1
在xAI发布Grok的权重和架构之后，很明显大型语言模型（LLM）的时代已经过去，现在是巨大型语言模型（HLM）的时代。这个混合专家模型发布了3140亿个参数，并且在Apache 2.0许可下发布。这个模型没有针对…
![[NLP] SentenceTransformers使用介绍](https://img-blog.csdnimg.cn/b1132f4d07904512bc5382d4135d7f68.png)
[NLP] SentenceTransformers使用介绍
SentenceTransformers 是一个可以用于句子、文本和图像嵌入的Python库。 可以为 100 多种语言计算文本的嵌入并且可以轻松地将它们用于语义文本相似性、语义搜索和同义词挖掘等常见任务。
该框架基于 PyTorch 和 Transformers，并提供了大量针对各种任务的预训练模型…
斯坦福最新AI报告发布，12张图看懂AI现状
最近，斯坦福人工智能研究所（HAI）发布了2023年AI指数报告，提供了AI领域当前技术成就、政策趋势、经济影响等多方面的最新情况。
今天我们将报告最重要的12个结论精简出来，分享给大家。
▍AI大模型不只是大这么简单
在…
GCP 上的人工智能实用指南：第一、二部分
原文：Hands-On Artificial Intelligence on Google Cloud Platform 协议：CC BY-NC-SA 4.0 译者：飞龙 本文来自【ApacheCN 深度学习 译文集】，采用译后编辑（MTPE）流程来尽可能提升效率。 不要担心自己的形象…
智能新纪元：AI大模型学习的奥秘与挑战
在当前技术环境下，AI大模型学习不仅要求研究者具备深厚的数学基础和编程能力，还需要对特定领域的业务场景有深入的了解。通过不断优化模型结构和算法，AI大模型学习能够不断提升模型的准确性和效率，为人类生活和工作带来更多便利。…
![[NLP] 初窥000001](https://img-blog.csdnimg.cn/direct/10b9a726ec4c4a7fab5d7b6cf8f42420.png)
[NLP] 初窥000001
NL(natural language)–自然语言
人类的语言–中文，英语，法语
NLP(Natural Language Processing)–自认语言处理
计算机处理人类语言的技术，它包含翻译、智能问答、文本分类、情感分析等常见应用。
CV(Computational Vision) 感知NLP 认知…
llama模型c语言推理@FreeBSD
llama中文名羊驼，Meta AI推出的一款大型语言模型，其性能在多个自然语言处理任务上表现优异是一个非常棒的自然语言生成模型。
llama.cpp是一个使用c语言推理llama的软件包，它支持FreeBSD、Linux等多种平台。
GitHub - ggerganov/llama.cpp:…
解密Google Cloud 全新 PaLM2及创新应用
📸背景
因长期在大模型相关的部门工作，每天接收到很多和AI相关的信息，但小编意识到目前理解到的一些AI知识还有些片面。
恰逢稀土掘金开发者大会有谈到大模型相关的知识，于是借此机会，对大模型相关的一些知识再了解一…
阿里云-零基础入门NLP【基于深度学习的文本分类3-BERT】
文章目录 学习过程赛题理解学习目标赛题数据数据标签评测指标解题思路BERT代码 学习过程
20年当时自身功底是比较零基础(会写些基础的Python[三个科学计算包]数据分析)，一开始看这块其实挺懵的，不会就去问百度或其他人，当时遇见困难挺害怕的…
面对来势汹汹的AIGC，作为一个IT技术工程师我们应该怎么应对
面对AIGC技术的快速发展，作为IT技术工程师，有几个策略可以帮助你不仅适应这种变化，还能够在未来的职业生涯中保持竞争力和创新力：
持续学习和适应新技术 跟上最新发展：定期关注AIGC领域的最新研究和技术进展ÿ…
DataWhale公开课笔记2：Diffusion Model和Transformer Diffusion
Stable Diffusion和AIGC
AIGC是什么
AIGC的全称叫做AI generated content，AlGC (Al-Generated Content，人工智能生产内容)，是利用AI自动生产内容的生产方式。
在传统的内容创作领域中，专业生成内容（PGC）…
docker安装ollama
拉取镜像
docker pull ollama/ollama
运行容器
（挂载路径 D:\ollama 改成你自己喜欢的路径） CPU only
docker run -d -v D:\ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
Nvidia GPU（没试过这个）
doc…
提示词（prompt）工程指南（三）：高级提示
到此为止，已经很明显完善提示有助于在不同任务上获得更好的结果。这就是提示工程的整体理念。
尽管那些例子很有趣，但在我们进入更高级的概念之前，让我们正式介绍一些概念。 完整的中文版本指南和更丰富的参考资料在 Github 和 Gitee 中&…
Lora：Low-Rank Adapation of Large Language models
Lora：Low-Rank Adapation of Large Language modelsIntroductionMethodExperiment代码Introduction
这篇论文最初与21.06上传与arXiv，作者指出在当时，NLP的一个重要范式是先训练一个通用领域的模型然后在通过微调适应不同的领域与数据&#…
【ChatGPT4】王老师零基础《NLP》（自然语言处理）第三课
龙傲天出现，数值化学习能力
因为学习是枯燥的，那么接下来，我跟最强AI王老师提出了更加有趣的学习方面设定。
（1）------------------------------------------------------------------------------------
我&#x…
NLP与AI会议期刊详细整理「CCF, SCI」
NLPer-Conferences-Journals-Survey
本文旨在调查所有可用的 NLPAI 会议和期刊（主要针对自然语言处理的学者），包括CCF等级、SCI、影响因子、主页和投稿介绍。 此处建议同学们早点想想未来走什么方向（比如教职/互联网/出国&#x…
三星引入ChatGPT半个月泄密3次；MidJourney V5相机镜头完整参数列表；万字长文，拆解投身大模型3个本质问题 | ShowMeAI日报
👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦！ 🤖 『三星引入 ChatGPT 半个月泄密三次』数据安全是个大问题啊！ 据韩国媒体报道，三星电子 (Samsung Electronics)…
RDF基本概念及序列化方法
前言 RDF(Resource Description Framework，资源描述框架) 被称为语义网技术体系的基石。他是W3C提倡的一个数据模型，用于描述万维网上的资源及其相互间的联系。
本文不做过深的讲解，主要集中在两个方面：
保证清晰讲述RDF数据模型…
【Transformers】第 9 章 ：处理很少或没有标签
🔎大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流🔎 📝个人主页－Sonhhxg_柒的博客_CSDN博客 📃 🎁欢迎各位→点赞…
HanLP实战教程：离线本地版分词与命名实体识别
HanLP是一个功能强大的自然语言处理库，提供了多种语言的分词、命名实体识别等功能。然而，网上关于HanLP的说明往往比较混乱，很多教程都是针对很多年前的API用法。而HanLP官网主要讲述的是RESTful格式的在线请求，但很少提到离线本地…
图解NLP模型发展：从RNN到Transformer
图解NLP模型发展：从RNN到Transformer
自然语言处理 (NLP) 是深度学习中一个颇具挑战的问题，与图像识别和计算机视觉问题不同，自然语言本身没有良好的向量或矩阵结构，且原始单词的含义也不像像素值那么确定和容易表示。一般我们需…
ChatGPT最强对手Claude使用教程
Cladue最近很火，作为ChatGPT4的平替版，它无需付费，使用方便，很多网友通过效果对比，发现它的性能要好于ChatGPT3.5，可以媲美ChatGPT4。最主要是使用很方便，十分钟就可以轻松部署，下面…
项目管理（PMP）真题解析（一）
请点击↑关注、收藏，本博客免费为你获取精彩知识分享！有惊喜哟！！
1.项目可行性研究确定了应该创建什么产品。现在，开发与原始需求冲突的另一种产品的一项变更请求，已经获得批准，在变更请求获得…
Talk | 微软亚洲研究院宋恺涛南大余博涛：面向文本/音乐序列任务的Transformer注意力机制设计
本期为TechBeat人工智能社区第456期线上Talk！ 北京时间11月22日(周二)20:00，微软亚洲研究院研究员——宋恺涛与南京大学硕士研究生——余博涛的Talk将准时在TechBeat人工智能社区开播！ 他们与大家分享的主题是: “面向文本/音乐序列任务的Tra…
NLP 自古以来的各预训练模型 (PTMs) 和预训练任务小结
😄目前写了预训练模型与任务的大致分类，还未将具体原理总结。持续更新ing。 ⏰ 早期的PTMs在模型结构上做的尝试比较多，transformers出现后，研究者们研究的重点就从模型结构转移到了训练任务与策略上。 ⭐ PTMSs优势在于： 1、大量的无标注数据进行预训练，降低人工标注成…
序列标注的BIO标注体系
1、什么是序列标注
输入和输出都是序列输入和输出序列是一一对应的是一种结构化的分类，分类问题的一种推广输出序列用的是BIO标注体系
序列标注是NLP中最基础的任务，应用十分广泛，如分词、词性标注、命名实体识别、关键词抽取、语义角色标注…
【使用 BERT 的问答系统】第 3 章 ：词嵌入介绍
🔎大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流🔎 📝个人主页－Sonhhxg_柒的博客_CSDN博客 📃 🎁欢迎各位→点赞…
【论文精读】A Survey on Deep Learning for Named Entity Recognition
A Survey on Deep Learning for Named Entity Recognition前言Abstract1. INTRODUCTION2. BACKGROUND2.1 What is NER?2.2 NER Resources: Datasets and Tools2.3 NER Evaluation Metrics2.3.1 Exact-Match Evaluation2.3.2 Relaxed-Match Evaluation2.4 Traditional Approach…
【Python自然语言处理】规则分词中正向、反向、双向最大匹配法的讲解及实战（超详细 附源码）
需要源码和字典集请点赞关注收藏后评论区留言私信~~~ 一、规则分词
规则分词核心内容是建立人工专家词典库，通过将语句切分出的单词串与专家词典库中的所有词语进行逐一匹配，匹配成功则进行对象词语切分，否则通过增加或者减少一个字继续比较…
【Python机器学习】条件随机场模型CRF及在中文分词中实战（附源码和数据集）
需要源码请点赞关注收藏后评论区留言私信~~~ 基本思想
假如有另一个标注序列（代词 动词 名词 动词 动词），如何来评价哪个序列更合理呢？
条件随机场的做法是给两个序列“打分”，得分高的序列被认为是更合理的。既然要…
【自然语言处理】【ChatGPT系列】大模型的涌现能力
大语言模型的涌现能力《Emergent Abilities of Large Language Models》论文地址：https://arxiv.org/pdf/2206.07682.pdf 相关博客 【自然语言处理】【ChatGPT系列】ChatGPT的智能来自哪里？ 【自然语言处理】【ChatGPT系列】Chain of Thought：…
中文问题相似度挑战赛版本2
都将两个版本做对比，构建自己的相似度打分，
版本一：特征工程（中文特征）集成模型
版本二：预训练模型。
后续改进
模型融合
赛题介绍
赛题背景
问答系统中包括三个主要的部分：问题理解、信…
【2021/反事实/POI推荐】Improving location recommendation with urban knowledge graph
文章全文首发：码农的科研笔记（公众号） 原文：https://arxiv.org/abs/2111.01013 1 动机
位置推荐定义为推荐地理位置给用户，现有推荐无法无法很好的建模地理位置属性，这导致推荐结果是次优的。同时作者希望…
【初探人工智能】2、雏形开始长成
【初探人工智能】2、雏形开始长成【初探人工智能】2、雏形开始长成安装Flask封装Web接口雏形设置接收参数功能验证聊天写代码代码补全生成图片写在后面笔者初次接触人工智能领域，文章中错误的地方还望各位大佬指正！ 【初探人工智能】2、雏形开始长成
在…
A Time Series is Worth 64 Words（PatchTST模型）论文解读
摘要
我们提出了一种高效的基于Transformer设计的模型，用于多变量时间序列预测和自我监督表征学习（self-supervised learning）。它基于两个关键部分：1、将时间序列分隔成子序列级别的patches，作为Transformer的输入&a…
【数据结构与算法】- 周测三
课程链接: 清华大学驭风计划
代码仓库：Victor94-king/MachineLearning: MachineLearning basic introduction (github.com) 驭风计划是由清华大学老师教授的，其分为四门课，包括: 机器学习(张敏教授) ， 深度学习(胡晓林教授), 计算…
【论文速递】ACL 2021-CLEVE: 事件抽取的对比预训练
【论文速递】ACL 2021-CLEVE: 事件抽取的对比预训练
【论文原文】：CLEVE: Contrastive Pre-training for Event Extraction
【作者信息】：Wang, Ziqi and Wang, Xiaozhi and Han, Xu and Lin, Yankai and Hou, Lei and Liu, Zhiyuan and Li, Peng and …
【自然语言处理】【大模型】GLM-130B：一个开源双语预训练语言模型
GLM-130B：一个开源双语预训练语言模型《GLM-130B: An open bilingual pre-trained model》论文：https://arxiv.org/pdf/2210.02414.pdf 相关博客 【自然语言处理】【大模型】GLM-130B：一个开源双语预训练语言模型 【自然语言处理】【大模型】…
《知识图谱：概念与技术》 读书笔记（上）
肖仰华老师的读书笔记，很多思路、方法都值得借鉴。
原始课件链接http://kw.fudan.edu.cn/workshop/kgbook，本博文中提到的资料就是这些原始课件链接。
本篇博客主要记录了原书第一篇和第二篇，与知识图谱的概念、构建相关，可以结…
Transformer及其子孙后代
三大灵魂模型
Transformer
attention is all you need，现在已经是money is all you need时代了（x
首先介绍自注意力机制 Atention(Q,K,V)softmax(QKTdk)V\operatorname{Atention}(Q,K,V)\operatorname{softmax}(\dfrac{QK^T}{\sqrt{d_k}})VAtenti…
推荐系统[八]算法实践总结V3：重排在快手短视频推荐系统中的应用and手淘信息流多兴趣多目标重排技术
相关文章推荐：
推荐系统[一]：超详细知识介绍，一份完整的入门指南，解答推荐系统相关算法流程、衡量指标和应用，以及如何使用jieba分词库进行相似推荐，业界广告推荐技术最新进展
推荐系统[二]：召回算法超详细讲解[召回模型演化过程、召回模型主流常见算法(DeepMF/TDM/Ai…
厦大纪老师chatgpt相关讲座3.7
在线更新数据，迭代学习训练，进而提高模型性能。 比较明显的是API部分，这一步学习的就是intruction,实现人机写作的复杂系统工程 数据充足，维基类似于百度百科 transformer结构更有优势，预测下一个字，模型越…
深入理解layernorm在nlp中的含义和计算公式. 附带cv上ln的理解.
import torchimport torch.nn as nnfrom torch.nn import LayerNorm# NLP Examplebatch, sentence_length, embedding_dim 2, 2, 3embedding torch.randn(batch, sentence_length, embedding_dim)layer_norm nn.LayerNorm(embedding_dim) # shape是10. 所以结果是他在最后一…
概率图模型 - 学习笔记
文章目录教材与公开课视频概率图模型例子如何理解BP算法？概率图模型相比有监督学习的优势教材与公开课视频
国外经典教材
英文版：Probabilistic Graphical Models: Principles and Techniques中文版：《概率图模型：原理与技术》 …
自然语言处理实战项目4-文本相似度的搜索功能，搜索文本内容
大家好，我是微学AI，今天给大家带来自然语言处理实战项目4-文本相似度的搜索功能，搜索文本内容。文本相似度搜索是一种基于自然语言处理技术，用于搜索和匹配文本内容的方法。其主要目的是将用户输入的查询内容与已有的文本数据进行…
20+ Prompt工具网站汇总；我用AI工具开了一家「无人公司」；如何10分钟上线一个AI导航网站；第一部AIGC中英双语图文辞典 | ShowMeAI日报
👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦！ 🤖 『MidJourney Prompt工具网站』加速生成与优化，持续更新中 ShowMeAI知识星球 | 资源标签：找工具 这是一个总结…
自然语言处理知识抽取（pkuseg、DDParser安装及使用）
一、分词简介
1.基本概念
分词是自然语言处理中的一个重要步骤，它可以帮助我们将文本分成一个个词语，以便更好地理解和分析文本。在计算机视觉、语音识别、机器翻译等领域，分词都扮演着重要的角色。
目前，常用的分词库包括 jie…
就当下的研究情况，国内外有哪些体育领域的词汇表
目录 一、国外
1. WordNet Domains for Sports:
2. SportVU:
3. SportsDB:
4. ESPN Glossary:
5. Sports Language Analysis:
二、国内
1. 体育术语词汇表：
2. 体育用语词典：
3. 体育词汇大全：
4. 体育词典：
5. 体育运…
PyTorch：深度学习框架的优雅演进与设计理念
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
第二章--第一节--什么是语言生成
一、什么是语言生成
1.1. 说明语言生成的概念及重要性
语言生成是指使用计算机程序来生成符合人类自然语言规范的文本的过程。它是自然语言处理（NLP）领域中的一个重要分支，涉及到语言学、计算机科学和人工智能等领域的交叉应用。语言生成技术可以被广泛地应用于自动问答系…
AI和GPT之间什么关系，GPT怎么推动AI发展
AI（人工智能）和GPT（Generative Pre-trained Transformer）都是与计算机技术相关的术语，但它们代表着不同层次的概念。以下是它们之间的区别： 定义：
AI是指任何类型的计算机科学，如机…
句子扩写软件-文案扩写软件
什么是扩写软件
扩写软件是一种工具，可以帮助用户对一段文本进行扩展，增加文本的长度和信息量，同时保持原始内容的基本意思和结构不变。简单来说，扩写软件就是通过自然语言处理技术，对原始文本进行修改或补充…
信息抽取与命名实体识别：从原理到实现
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
In-Context Learning中的示例选择及效果
一. ICL的背景 大型语言模型（LLM）如GPT-3是在大规模的互联网文本数据上训练，以给定的前缀来预测生成下一个token（Next token prediction）。这样简单的训练目标，大规模数据集以及高参数量模型相结合&#x…
深度理解机器学习19-自然语言处理前沿
深度理解机器学习19-自然语言处理前沿
评估长句中的梯度消失。
将注意力机制模型描述为最先进的自然语言处理领域。
评估一个特定的注意力机制架构。
使用注意力机制开发神经机器翻译模型。
使用注意力机制开发文本摘要模型。
注意力机制
神经机器翻译任务中，…
自然语言处理实战项目11-阅读理解项目的数据处理与训练详细讲解，实验结果与分析
大家好，我是微学AI，今天给大家介绍一下自然语言处理实战项目11-阅读理解项目的数据处理与训练详细讲解，阅读理解任务目标是让计算机从给定的文章中理解并回答问题。为了完成这个任务，我们需要对给定的数据进行处理和训练。该任务是…
ChatGPT的历史和发展过程是怎样的？
ChatGPT的历史和发展过程可以追溯到OpenAI的早期工作和一系列的语言模型项目。下面将对ChatGPT的历史和发展过程进行详细分析：
1. 早期语言模型：早在2015年，OpenAI的研究人员就开始探索使用深度学习模型进行自然语言处理的研究。他们开发了一…
每日学术速递6.10
CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理 Subjects: cs.CV
1.Unifying (Machine) Vision via Counterfactual World Modeling 标题：通过反事实世界建模统一（机器）视觉
作者：Daniel M. Bear, K…
Gradio Flagging模块解析与实践
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
具身智能与强化学习前沿进展 | 2023智源大会精彩回顾
导读 今年是具身智能值得纪念的一年，从谷歌发布具身多模态大模型，展示了智能体与环境智能交互的能力；再到特斯拉的人形机器人引发人们对具身智能和未来通用机器人的想象。那么，具身智能究竟“走”到哪里了？ 在2023北京…
NLP实践——VQA/Caption生成模型BLIP-2的应用介绍
NLP实践——VQA/Caption生成模型BLIP-2的应用介绍1. 简介2. 模型下载3. 运行环境4. 模型应用1. 简介
今天介绍一个跨模态模型，也是最近比较火的一个工作，叫做BLIP-2。很久很久之前我写过一个简单的image caption项目的介绍，那个模型原理比较…
【学习笔记】人工智能哲学研究：《心智、语言和机器》
关于人工智能哲学，我曾在这篇文章里 【脑洞大开】从哲学角度看人工智能：介绍徐英瑾的《心智、语言和机器》 做过介绍。图片来源：http://product.dangdang.com/29419969.html在我完成了一些人工智能相关的工作以后，我再来分享《心智…
ChatGPT、人工智能、人类和一些酒桌闲聊
© 2023 Conmajia Initiated 10th March, 2023 昨天跟某化学家喝酒，期间提到了 ChatGPT。他的评价是：这鬼东西大量输出毫无意义、错漏百出甚至是虚假的信息，“in a confident accent”。例如某次 GPT 针对“描述某某记者”这一问题&#…
【NLP开发】Python实现聊天机器人（ChatterBot，集成web服务）
🍺NLP开发系列相关文章编写如下🍺：
🎈【NLP开发】Python实现词云图🎈🎈【NLP开发】Python实现图片文字识别🎈🎈【NLP开发】Python实现中文、英文分词🎈🎈【N…
人工智能基础部分15-自然语言处理中的数据处理上采样、下采样、负采样是什么？
大家好，我是微学AI，今天给大家介绍一下人工智能基础部分15-自然语言处理中的数据处理上采样、下采样、负采样是什么？在自然语言处理中，上采样、下采样、负采样都是用于处理数据不平衡问题的技术，目的是为了优化模型的训…
各种预训练模型的理论和调用方式大全
诸神缄默不语-个人CSDN博文目录
本文主要以模型被提出的时间为顺序，系统性介绍各种预训练模型的理论（尤其是相比之前工作的创新点）、调用方法和表现效果。
最近更新时间：2023.5.10 最早更新时间：2023.5.10
BertRobe…
手搓GPT系列之 - 通过理解LSTM的反向传播过程，理解LSTM解决梯度消失的原理 - 逐条解释LSTM创始论文全部推导公式，配超多图帮助理解（上篇）
1. 前言
说起RNN和LSTM，就绕不过Sepp Hochreiter 1997年的开山大作 Long Short-term Memory。奈何这篇文章写的实在是太劝退，整篇论文就2张图，网上很多介绍LSTM的文章都对这个模型反向传播的部分避重就轻，更少见（反正…
ChatGPT插件与简要介绍（已收集70个）了解添加插件后的chatgpt能做什么
🥑 Welcome to Aedream同学 s blog! 🥑 70个ChatGPT插件与简要介绍 Name of the plugindescription_for_human_zhVoxScript用于搜索Varius数据源的插件。Wahi搜索多伦多，GTA和安大略省的房地产物业信息。Comic Finder一个插件，用于…
Marvin - LLM驱动的AI函数开发包【Python】
Marvin是一个用于构建 AI 驱动软件的Python库。 Marvin 的工作是将 AI 直接集成到你的代码库中，使其看起来和感觉起来与任何其他功能一样。
Marvin 引入了一个新概念，称为 AI 函数（AI functions）。 AI函数与传统函数的不同之处在…
![Prompt工程师指南[资料整合篇]：Prompt最新前沿论文整理合集、工具和库推荐、数据集整合、推荐阅读内容等，超全面资料](https://img-blog.csdnimg.cn/f4678da78ca54715bcf1cf62e262522e.png#pic_center)
Prompt工程师指南[资料整合篇]：Prompt最新前沿论文整理合集、工具和库推荐、数据集整合、推荐阅读内容等，超全面资料
Prompt工程师指南[资料整合篇]：Prompt最新前沿论文整理合集、工具和库推荐、数据集整合、推荐阅读内容等，超全面资料 1.论文合集
The following are the latest papers (sorted by release date) on prompt engineering. We update this on a daily bas…
人工智能基础部分17-隐马尔科夫模型在序列问题的应用
大家好，我是微学AI，今天给大家介绍一下人工智能基础部分16-隐马尔科夫模型在序列问题的应用，隐马尔可夫模型(HMM)是一种统计模型，广泛应用于各种领域，如语音识别、自然语言处理、生物信息学等。本文将介绍隐马尔可夫模…
NLP大模型微调答疑
什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选？
答：Bert 的模型由多层双向的Transformer编码器组成，由12层组成，768隐藏单元，12个head，总参数量110M，约1.1…
阿里通义千问_VS_讯飞星火
今天终于获得阿里通义千问大模型体验授权，第一时间来测试一下效果，使用申请手机号登录（地址：https://tongyi.aliyun.com）后，需要同意通义千问大模型体验规则，如下图所示： 同意之后就…
自然语言处理实战10-文本处理过程与输入bert模型后的变化
大家好，我是微学AI，今天给大家介绍一下自然语言处理实战10-文本处理过程与输入bert模型后的变化，通过一段文本看看他的整个变化过程，经过怎样得变化才能输入到模型，输入到模型后文本又经过怎样的计算得到最后的结果。看…
首个ChatGPT开发的应用上线；ChatMind思维导图工具；中文提示词大全；Copilot平替 | ShowMeAI日报
👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦！ 🤖 『一本与众不同的AI绘本』ChatGPT 编写故事 Midjourney 绘制插图 作者的女儿特别喜欢迪士尼动画《海洋奇缘》里的主人公莫阿娜&#…
深度学习学习路线：从入门到精通
深度学习是机器学习的一个分支，已经成为人工智能领域最热门的技术之一。想要深入学习深度学习，需要具备一定的数学和编程基础。以下是一个深度学习学习路线的建议，可以帮助你快速入门深度学习： 数学基础：
线性代数&am…
使用BERT对句子进行向量化(TensorFlow版和Pytorch版)
更多、更及时内容欢迎留意微信公众号： 小窗幽记机器学习
背景
用BERT对句子进行向量化
实施
TensorFlow版直接用肖涵博士的bert-as-service。使用方法真的很小白，简单概括为2点：server和client安装。
pip install bert-serving-server …
bert中文文本摘要代码（3）
bert中文文本摘要代码 写在最前面关于BERT使用transformers库进行微调 train.py自定义参数迭代训练验证评估更新损失绘图主函数 test.pytop_k或top_p采样sample_generate函数generate_file函数主函数 写在最前面
熟悉bert＋文本摘要的下游任务微调的代码，…
DiffRate详解：高效Vision Transformers的可微压缩率
DiffRate详解：高效Vision Transformers的可微压缩率 0. 引言1. 相关内容介绍1.1 Transformer Block1.2 令牌修剪和合并1.3 修剪和合并的统一 2 DiffRate中的创新点2.1 令牌排序2.2 压缩率重参数化2.3 训练目标 3. 算法流程4. 总结 0. 引言
就当前的Vision Transfor…
停用词（stop words）+TF-IDF实现
一、什么是停用词？
在汉语中，有一类没有实际意义的词语，比如组词“的”，连词“以及”，副词“甚至”，语气词“吧”，被称为停用词。一个句子去掉这些停用词，并不影响理解。所以&#…
Transformers 发展一览
动动发财的小手，点个赞吧！ Transformers 研究概览 1. 介绍 近年来，深度学习的研究步伐显着加快，因此越来越难以跟上所有最新发展。尽管如此，有一个特定的研究方向因其在自然语言处理、计算机视觉和音频处理等多个领域取…
Lecture 4 Text Classification
目录 Classification 分类Text Classification Tasks 文本分类任务Topic Classification 主题分类Sentiment Analysis 情感分析Native-Language Identification 母语识别Natural Language Inference 自然语言推理 Building a Text Classifier 构建文本分类器Choosing a Classif…
干货！来自北大、KAUST、斯坦福、达摩院的大模型前沿动态：表格推理、代码生成、MiniGPT-4、生成式推理...
点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入！ ChatGPT的发布使得国内外众多的研究机构掀起了一股AI热潮，而这也进一步推动了人们对大语言模型的深入研究。2023年4月26日，AI TIME举办的大模型专场四活动邀请了阿里巴巴达摩院NLP研究员…
深入理解搜索引擎——搜索评价指标
搜索引擎，在做好query理解、索引召回以及排序模型之后，就能直接推上线了吗？答案是否定的，还需对其性能和质量进行评测。性能无非是对时间和空间的运行效率作评测，不细讲，今天讲讲搜索引擎的质量评测。通过质…
开源大语言模型完整列表
Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。 LLM 通常基于神经网络模型，使用大规模的语料库进行训练，比如使…
大模型部署实战（一）——Ziya-LLaMA-13B
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
什么是自然语言处理的机器翻译？
机器翻译（Machine Translation，MT）是一种自然语言处理技术，旨在将一种语言的文本自动翻译成另一种语言。机器翻译是自然语言处理领域的重要应用之一，它可以帮助人们在跨语言交流、文档翻译和信息检索等方面更加便捷和高…
Live800:智能客服与人工客服谁能更胜一筹？
科技改变生活，而智能客服改变客服行业。
随着互联网技术不断发展，越来越多的新名词、新技术涌入我们的生活，从早期的社交媒体碎片化，到互联网，再到新零售，先进的理念和技术给我们带来新的改变，…
BERT: 理解上下文的语言模型
BERT 全名为 Bidrectional Encoder Representations from Transformers, 是 Google 以无监督的方式利用大量无标注文本生成的语言代表模型，其架构为 Transforer 中的 Encoder. BERT 是 Transformer 中的 Encoder, 只是有很多层 (图片来源]以前在处理不同的 NLP 任务…
EMNLP 2021事件相关(事件抽取、事件关系抽取、事件预测等)论文汇总
EMNLP 2021事件相关(事件抽取、事件关系抽取、事件预测等)论文汇总，已更新全部。
Event Extraction Crosslingual Transfer Learning for Relation and Event Extraction via Word Category and Class Alignments 讲解地址 本篇论文提出一个新的方法对REE(关系抽取…
最流行的开源 LLM （大语言模型）整理
本文对国内外公司、科研机构等组织开源的 LLM 进行了全面的整理。
Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。
所谓"语言模…
对话ChatGPT，大模型时代到来，文末可获得ChatGPT免费访问地址
文章目录 1. 你觉得大模型时代已经到来了吗？2. 大模型和以前的模型有什么区别？3. 列举一下你知道的大模型有哪些4. ChatGPT与传统的智能助手有什么区别？5. ChatGPT有什么优势和劣势？6. ChatGPT有哪些应用场景，请举例说…
论文笔记 EMNLP 2021|Treasures Outside Contexts: Improving Event Detection via Global Statistics
文章目录1 简介1.1 动机1.2 创新2 方法2.1 语义特征提取器2.2 统计特征提取器3 实验1 简介
论文题目：Treasures Outside Contexts: Improving Event Detection via Global Statistics 论文来源：EMNLP 2021 组织机构：北京邮电大学 论文链接&a…
论文笔记 ACL 2022|Query and Extract: Refining Event Extraction as Type-oriented Binary Decoding
文章目录1 简介1.1 创新2 方法2.1 触发词检测2.2 论元抽取3 实验1 简介
论文题目：Query and Extract: Refining Event Extraction as Type-oriented Binary Decoding 论文来源：ACL 2022 组织机构：弗吉尼亚理工学院暨州立大学 论文链接&#…
论文笔记 EMNLP 2021|Uncertain Local-to-Global Networks for Document-Level Event Factuality Identificatio
文章目录1 简介1.1 创新2 方法3.1 Local Uncertainty Estimation3.2 Uncertain Information Aggregation3.3 Reparameterization for Prediction3 实验1 简介
论文题目：Uncertain Local-to-Global Networks for Document-Level Event Factuality Identification 论…
人工智能基础部分19-强化学习的原理和简单应用，一看就懂
大家好，我是微学AI，今天给大家介绍一下人工智能基础部分19-强化学习的原理和简单应用，随着人工智能的不断发展，各种新兴技术不断涌现。作为人工智能的一个重要分支，强化学习近年来受到了广泛关注。本文将介绍强化学习的…
RPA×IDP×AIGC，实在智能打造全新“超进化”文档审阅超自动化解决方案
企业商业活动频繁，每日都有大量文档被创建、书写、传递，需要人工审阅核查，以确保其准确性和合法性。这是对企业文档管理的一个巨大挑战，尤其对于金融机构、审计机构等文本相关岗位的工作人员来说更是如此。传统的文档审核通常需要…
人工智能专栏第七讲——自然语言处理
自然语言处理（Natural Language Processing，NLP）是一种研究计算机如何处理和理解人类语言的学科。随着人工智能的发展，自然语言处理已经成为一个越来越重要的领域，涉及到自然语言理解、自然语言生成、语音识别、机器翻译等方面。
自然语言处理的主要挑战是语言的复杂性和…
【自然语言处理】 - 作业1: Word2Vec及TransE实现
课程链接: 清华大学驭风计划
代码仓库：Victor94-king/MachineLearning: MachineLearning basic introduction (github.com) 驭风计划是由清华大学老师教授的，其分为四门课，包括: 机器学习(张敏教授) ， 深度学习(胡晓林教授), 计算…
论文笔记 EMNLP 2020|Resource-Enhanced Neural Model for Event Argument Extraction
文章目录1 简介1.1 动机1.2 创新2 方法3 实验1 简介
论文题目：Resource-Enhanced Neural Model for Event Argument Extraction 论文来源：EMNLP 2020 论文链接：https://aclanthology.org/2020.findings-emnlp.318.pdf
1.1 动机
对于事件论…
建议收藏，最全ChatGPT 中文调教指南：提供各个领域的角色提示词（prompts）及使用技巧，当然也有不正经指南
ChatGPT是一种基于GPT（Generative Pre-trained Transformer）模型的聊天机器人，能够回答用户提出的问题和进行对话。它是由OpenAI开发的人工智能产品，具有自然语言处理和深度学习技术。
ChatGPT在日常的对话中，表现的非…
Transformer网络原理与实战
Transformer网络原理与实战 1. 什么是Transformer网络2. Transformer网络原理2.1 自注意力机制2.2 多头自注意力机制2.3 Transformer网络的训练 3.Transformer网络实战 1. 什么是Transformer网络
Transformer网络是一种基于自注意力机制的神经网络，由Google于2017年…
论文笔记 AAAI 2019|One for All: Neural Joint Modeling of Entities and Events
文章目录1 简介1.1 创新2 方法3 实验1 简介
论文题目：One for All: Neural Joint Modeling of Entities and Events 论文来源：AAAI 2019 论文链接：https://arxiv.org/pdf/1812.00195.pdf
1.1 创新
提出一个模型，联合解决实体提…
论文笔记 ICML 2017|Deep Value Networks Learn to Evaluate and Iteratively Refine Structured Outputs
文章目录1 简介1.2 创新2 背景知识3 方法4 实验1 简介
论文题目：Deep Value Networks Learn to Evaluate and Iteratively Refine Structured Outputs 论文来源：ICML 2017 论文链接：https://arxiv.org/pdf/1703.04363.pdf 代码链接ÿ…
论文笔记 EMNLP 2020|Graph Transformer Networks with Syntactic and Semantic Structures for Event Argument
文章目录1 简介1.1 创新2 方法3 实验1 简介
论文题目：Graph Transformer Networks with Syntactic and Semantic Structures for Event Argument Extraction 论文来源：EMNLP 2020 论文链接：https://arxiv.org/pdf/2010.13391.pdf
1.1 创新 …
论文笔记 EMNLP 2019|HMEAE: Hierarchical Modular Event Argument Extraction
文章目录1 简介1.1 动机1.2 创新2 方法3 实验1 简介
论文题目：HMEAE: Hierarchical Modular Event Argument Extraction 论文来源：EMNLP 2019 论文链接：https://aclanthology.org/D19-1584.pdf 代码链接：https://github.com/thun…
Transformer、Bert、Gpt对比系列，超详细介绍transformer的原理，bert和gpt的区别
一、Transformer架构图
Transformer 是一种用于序列到序列学习的神经网络模型，主要用于自然语言处理任务，如机器翻译、文本摘要等。它在2017年由 Google 提出，采用了注意力机制来对输入序列进行编码和解码。
Transformer 模型由编码器和解码…
【录用案例】2区毕业快刊仅34天录用，新增8篇录用、9篇见刊、13篇检索
2023年5月13日-2023年5月19日，经核实，由我处Unionpub学术推荐的8篇论文已被期刊部录用、9篇见刊、13篇检索： 2区系统类SSCI
【期刊简介】IF:2.5-3.0，JCR2区，中科院4区
【检索情况】SSCI 在检，正刊
【征稿…
BERT网络的原理与实战
BERT网络的原理与实战 一、简介二、原理1. Transformer2. BERT2.1 MLM2.2 NSP 3. Fine-tuning 三、实战1. 数据集2. 预处理3. 模型训练 一、简介
BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer架构的预训练语言…
NLP——part of speech （POS）中的隐马尔可夫模型 + Viterbi 算法
文章目录 POS隐马尔可夫模型计算简介转移概率矩阵（Transition matrix）观察矩阵（Observation / emission Matrix）预测 predictionVitervi 算法练习 POS
词性标注（Part-of-Speech Tagging，POS Tagging&#…
NVDIA GPU参数列表： 3090，4090， A40， A30，V100， A100， A800性能参数
GeForce RTX 4090 GeForce RTX 3090 Ti （左） GeForce RTX 3090（右） A40：
The NVIDIA A40 accelerates the most demanding visual computing workloads from the data center, combining the latest NVIDIA Ampere …
GCVC全球人工智能视觉产业与技术大会在青岛圆满召开
6月18日，以“AI新势能，智创新未来”为主题的GCVC全球人工智能视觉产业与技术大会在青岛西海岸新区举行，聚焦探讨AI新势能下的机遇与挑战。本次活动由青岛西海岸新区管委、青岛市工业和信息化局、青岛市委台港澳办、青岛市城市管理局、极视角科…
Transformer应用之构建聊天机器人（二）
四、模型训练解析
在PyTorch提供的“Chatbot Tutorial”中，关于训练提到了2个小技巧：
使用”teacher forcing”模式，通过设置参数“teacher_forcing_ratio”来决定是否需要使用当前标签词汇来作为decoder的下一个输入，而不是把d…
极视角走进北交大，推动人工智能与前沿技术教育教学的融合创新
2021年3月，“十四五”规划纲要围绕我国人工智能的发展目标、核心技术突破、智能化转型与应用，以及保障措施等多个方面都作出了部署。在新基建和科技强国的战略指引下，人工智能领域的科技创新和智能化产业已成为我国人工智能发展的重要议题&am…
![深度学习进阶篇-国内预训练模型[6]：ERNIE-Doc、THU-ERNIE、K-Encoder融合文本信息和KG知识；原理和模型结构详解。](https://img-blog.csdnimg.cn/img_convert/eafad84b81b8503e6075273425866556.png)
深度学习进阶篇-国内预训练模型[6]：ERNIE-Doc、THU-ERNIE、K-Encoder融合文本信息和KG知识；原理和模型结构详解。
【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等 专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化…
OpenAI最新研究Let's verify step-by-step，过程胜于结果！
深度学习自然语言处理 原创作者：Winni OpenAI最新研究 <Let’s verify step-by-step> 于昨天发布，引起了广泛关注。这个想法非常简单，可以用一句话来概括： 对于复杂的逐步推理问题，我们在每个步骤都给予奖励&…
CS224W摘要15.Deep Generative Models for Graphs
文章目录Graph Generative ModelsSetup步骤1步骤2Auto-regressive modelsGraphRNN图与序列的映射RNNGraphRNN训练测试训练实例测试例子问题及解决方法效果可视化效果属性统计相似度深度图生成模型的应用（药物）GCPNGCPN概览GCPN的训练结果CS224W: Machine…
第四周.01.GCN文本分类及RGCN模型讲解
文章目录GCN在文本识别的应用GCN文本分类摘要模型RGCN模型讲解本文内容整理自深度之眼《GNN核心能力培养计划》GCN在文本识别的应用
GCN文本分类
是一个半监督任务 主要参考的文章是：Graph Convolutional Networks for Text Classification，是2019 AAA…
国内外有哪些自然语言处理的团队？
清华大学自然语言处理与社会人文计算实验室 清华大学智能技术与系统国家重点实验室信息检索组 北京大学计算语言学教育部重点实验室 北京大学计算机科学技术研究所语言计算与互联网挖掘研究室哈工大社会计算与信息检索研究中心 哈工大机器智能与翻译研究室 哈尔滨工业大学智能技…
N-Gram语言模型工具kenlm的详细安装教程
【本配置过程基于Linux系统】
下载源代码：
wget -O - https://kheafield.com/code/kenlm.tar.gz |tar xz 编译：
makdir kenlm/build
cd kenlm/build
cmake .. && make -j4
发现报错： 系统中没有cmake，按照错误提示&am…
Gradio Blocks：queue、integrate和load方法介绍
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
NLP实战：使用Word2vec实现文本分类
目录
一、数据预处理
1、加载数据
2. 构建词典
3.生成数据批次和迭代器
二、模型构建
1.搭建模型
2.初始化模型
3.定义训练与评估函数
三、训练模型
1. 拆分数据集并运行模型
2. 测试指定数据 🍨 本文为[🔗365天深度学习训练营]内部限免文章&…
深入理解深度学习——GPT（Generative Pre-Trained Transformer）：GPT-2与Zero-shot Learning
分类目录：《深入理解深度学习》总目录 相关文章： GPT（Generative Pre-Trained Transformer）：基础知识 GPT（Generative Pre-Trained Transformer）：在不同任务中使用GPT GPT&#x…
深入理解深度学习——BERT（Bidirectional Encoder Representations from Transformers）：基础知识
分类目录：《深入理解深度学习》总目录 BERT全称为Bidirectional Encoder Representations from Transformers，即来自Transformers的双向编码器表示，是谷歌发表的论文Pre-training of Deep Bidirectional Transformers for Language Understan…
02.GLM-130B
文章目录 前言泛读相关知识GPTBERTT5小结 背景介绍主要贡献和创新点GLM 6B 精读自定义Mask模型量化1TB 的中英双语指令微调RLHFPEFT训练策略 实验分析与讨论模型参数六个指标其他测评结果 代码复现（6B）环境准备运行调用代码调用网页服务命令行调用 模型微…
文献学习-联合抽取-Joint entity and relation extraction based on a hybrid neural network
目录
1、Introduction
2、Related works
2.1 Named entity recognition
2.2 Relation classification
2.3 Joint entity and relation extraction
2.4 LSTM and CNN models On NLP
3、Our method
3.1 Bidirectional LSTM encoding layer
3.2 Named entity recogniton …
全国大数据与计算智能挑战赛：面向低资源的命名实体识别基线方案，排名13/64，组织单位：国防科技大学系统工程学院（大数据与决策实验室）
NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型压缩算法等 专栏详细介绍：NLP专栏简介：数据增强、智能标注、意图识别算法|多分类算法、文本信息抽取、多模态信息抽取、可解释性分析、性能调优、模型…
【零基础-3】PaddlePaddle学习Bert
概要
【零基础-1】PaddlePaddle学习Bert_ 一只博客-CSDN博客https://blog.csdn.net/qq_42276781/article/details/121488335【零基础-2】PaddlePaddle学习Bert_ 一只博客-CSDN博客https://blog.csdn.net/qq_42276781/article/details/121523268
Cell 7
# 创建dataloader
def…
基于GPT2的中文闲聊机器人/GPT2 for Chinese chitchat
基于GPT2的中文闲聊机器人/GPT2 for Chinese chitchat
项目github地址：中文闲聊机器人
该项目被微软DialoGPT官方仓库引用
UPDATE 2019.12.17
基于微软的论文DialoGPT:Large-Scale Generative Pre-training for Conversational Response Generation添加了MMI Mo…
深入理解搜索引擎-搜索召回
你有没有想过，当我们在搜索框中输入关键词时，搜索引擎是如何确定返回哪些内容给你的？搜索引擎底层有一个巨大的索引库，返回的搜索结果跟你输入的关键词又有什么关系？今天我们就来讲讲搜索引擎中的召回。
召回是根据…
LLM 相关资料备忘
1：Transformer
零基础解析教程
https://zhuanlan.zhihu.com/p/609271490
如何从浅入深理解transformer？
https://www.zhihu.com/question/471328838/answer/3011638037
2：Prompt工程如此强大，我们还需要模型训练吗ÿ…
使用Gradio创建交互式复选框组件
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
实用工具 | 语音文本对齐MFA的安装及使用
Montreal Forced Aligner（MFA）[1]是一个用于将音频和文本进行对齐的工具。它可以用于语音识别、语音合成和发音研究等领域。MFA支持多种语言和语音，用户可以根据需要自定义训练模型。
本博客介绍如何使用MFA对音频和文本进行对齐，…
过年刷【千言数据集：文本相似度】比赛
过年刷千言数据集：文本相似度数据集1.比赛信息2. 数据集介绍3. 模型细节3.1 数据增强：3.2 模型：3.3 训练：3.4 模型融合：其他：可以提高的点 或者 没有用尝试。1.领域数据进一步预训练。2.半监督训练…
论文笔记 ACL 2022|Unified Structure Generation for Universal Information Extraction
文章目录1 简介1.1 动机1.2 创新2 方法2.1 Structured Extraction Language2.2 Structural Schema Instructor2.3 Structure Generation with UIE3 Pre-training and Fine-tuning for UIE3.1 Pre-training3.2 On-Demand Fine-tuning4 实验1 简介
论文题目：Unified …
论文笔记 EMNLP 2020|Joint Constrained Learning for Event-Event Relation Extraction
文章目录1 简介1.1 创新2 方法2.1 事件对表示2.2 上下文事件触发词编码2.3 常识知识2.4 联合约束学习3 实验1 简介
论文题目：Joint Constrained Learning for Event-Event Relation Extraction 论文来源：EMNLP 2020 论文链接：https://arxiv.…
论文笔记 AAAI 2021|Span-Based Event Coreference Resolution
文章目录1 简介1.1 创新2 背景知识3 方法3.1 Baseline3.2 Pipeline3.3 Joint4 实验1 简介
论文题目：Span-Based Event Coreference Resolution 论文来源：AAAI 2021 论文链接：https://www.aaai.org/AAAI21Papers/AAAI-9086.LJ.pdf
1.1 创新 …
论文笔记 EMNLP 2019|Text Summarization with Pretrained Encoders
文章目录1 简介1.1 创新2 方法2.1 抽取式摘要2.2 生成式摘要3 实验1 简介
论文题目：Text Summarization with Pretrained Encoders 论文来源：EMNLP 2019 论文链接：https://arxiv.org/abs/1908.08345 代码链接：https://github.com…
《Universal Language Model Fine-tuning for Text Classification》论文笔记
摘要
基于Pretrain-Finetune与语言模型的优点，作者提出 ULMFiT 迁移学习方法，降低深度学习模型对标注数据集的依赖， 以及提升模型表现。 ULMFiT 包含三个主要步骤， 第一，在大规模通用数据集上训练语言模型，…
【pytorch】Dataloader学习笔记
总结
Pytorch中加载数据集的核心类为torch.utils.data.Dataloder，Dataloader中最核心的参数为dataset，表示需加载的源数据集。dataset有两种类型：“map-style dataset” 与 “iterable-style dataset”， map-style dataset可以理…
【人工智能技术专题】「入门到精通系列教程」零基础带你进军人工智能领域的全流程技术体系和实战指南（NLP、GPT-Pre-Training和数据标注都是什么）
零基础带你进军人工智能领域的全流程技术体系和实战指南（NLP、GPT-Pre-Training和数据标注都是什么） 前言专栏介绍专栏说明学习大纲前提条件面向读者学习目标核心内容NLP自然话言理解指的是什么定义概念涉及到的领域技术与应用关系 重要性语言结构剖析分…
论文笔记 ACL 2020|A Joint Neural Model for Information Extraction with Global Features
文章目录1 简介1.1 创新2 方法2.1 编码2.2 识别2.3 分类2.4 解码3 实验1 简介
论文题目：A Joint Neural Model for Information Extraction with Global Features 论文来源：ACL 2020 论文链接：https://aclanthology.org/2020.acl-main.713.p…
论文笔记 ACL 2020|Improving Event Detection via Open-domain Trigger Knowledge
文章目录1 简介1.1 动机1.2 创新2 方法2.1 知识收集2.2 模型3 实验1 简介
论文题目：Improving Event Detection via Open-domain Trigger Knowledge 论文来源：ACL 2020 论文链接：https://aclanthology.org/2020.acl-main.522.pdf 代码链接&a…
SyntaxError: Non-UTF-8 code starting with ‘\xa3‘ in file
SyntaxError: Non-UTF-8 code starting with ‘\xa3’ in file
只需要在第一行加入： -*- coding:utf-8 -*-
kaldi的安装编译测试
kaldi的安装与编译
1.kadi的安装
我的系统是Ubantu18.04
1.1 下载直接利用git版本控制系统
sudo apt-get install git1.2利用git clone 来下载kaldi源代码
sudo git clone https://github.com/kaldi-asr/kaldi.git kaldi --origin golden1.3检查需要安装的库
进入tools文…
论文笔记 IJCAI 2019|Extracting Entities and Events as a Single Task Using a Transition-Based Neural Mode
文章目录1 简介1.1 动机1.2 创新2 方法2.1 转移系统2.2 模型3 实验1 简介
论文题目：Extracting Entities and Events as a Single Task Using a Transition-Based Neural Model 论文来源：IJCAI 2019 论文链接：https://www.ijcai.org/proceed…
自然语言处理: 第三章NPLM(Neural Probabilistic Language Mode)
理论基础
NPLM的全称是"Neural Probabilistic Language Model"，即神经概率语言模型。这是一种基于神经网络的语言模型，用于生成自然语言文本。最早是由Bengio 在2003年的A Neural Probabilistic Language Model一文中提出来的， NP…
深入理解深度学习——GPT（Generative Pre-Trained Transformer）：GPT-3与Few-shot Learning
分类目录：《深入理解深度学习》总目录 相关文章： GPT（Generative Pre-Trained Transformer）：基础知识 GPT（Generative Pre-Trained Transformer）：在不同任务中使用GPT GPT&#x…
【自然语言处理】NLP学习及实践记录 | part 02 自然语言实现 篇章分析、自动摘要、知识提取、文本相似度计算
篇章分析
自动分析出文本中的段落层次结果 http://open.memect.cn/section
案例分析经过分析，有几种方法，比如分析每行间是否为最后一个字，还有标点符号，还有日期间隔。使用工具可以完成段落间的分割。
自动摘要
左侧为老师…
基于百度LAC2.0的词云图生成——各大分词工具实战比较
1.前言
词法分析是自然语言处理的基本工具，主要包括分词、词性标注和实体识别等功能。目前各类词法分析工具大行其道，有免费开源的，也有商业收费的；有高校研发的，也有企业开发的；有支持Java的，…
文献阅读：Sentence-BERT：Sentence Embeddings using Siamese BERT-Networks
文献阅读：Sentence-BERT：Sentence Embeddings using Siamese BERT-Networks 1. 文章简介2. 主要方法介绍3. 主要实验内容 1. Unsupervised STS2. Supervised STS3. Downsteam SentEval Evaluation4. Ablation Study 4. 结论 & 思考 文献链接&#x…
深入理解深度学习——BERT派生模型：BART（Bidirectional and Auto-Regressive Transformers）
分类目录：《深入理解深度学习》总目录 UniLM和XLNet都尝试在一定程度上融合BERT的双向编码思想，以及GPT的单向编码思想，同时兼具自编码的语义理解能力和自回归的文本生成能力。由脸书公司提出的BART（Bidirectional and Auto-Regre…
【NLP】Word2vec概念和演进史
一、说明 “万物都有一种模式，它是我们宇宙的一部分。它具有对称、优雅和优雅——这些品质你总能在真正的艺术家捕捉到的作品中找到。” ~ 沙丘 (1965) 对于word2vec，它不是一个或一种算法，而是一系列思想和算法的综合。本文通过有限篇幅&…
NLP---信息抽取
Information Extraction简介
抽取实体(entities): 通用性：人(person), 地名(location),时间(time) 专业性：医疗领域(蛋白质，疾病，药物)
抽取关系(relations) 位于（located in), 工作在(work at), 部分(is part of) 基…
【零基础-2】PaddlePaddle学习Bert
概要
【零基础-1】PaddlePaddle学习Bert_ 一只博客-CSDN博客https://blog.csdn.net/qq_42276781/article/details/121488335
Cell 3
# 调用bert模型用的tokenizer
tokenizer ppnlp.transformers.BertTokenizer.from_pretrained(bert-base-chinese)
inputs_1 tokenizer(今天…
NER--关系抽取常用算法
关系抽取通常的做法：
基于规则(工业大多数用)监督学习半监督&无监督学习 Bootstrap（Snowball） Distant Supervision 无监督学习
1.基于规则的方法—“is-a”
目标：找出尽可能多的拥有"is-a"关系的实体对(entity,…
解决Linux中：bash: /opt/conda/bin/activate: Permission denied
一、permission denied
报错：bash: /opt/conda/bin/activate: Permission denied 解决方法：把 activate base换为source activate base 成功！ 二、找不到指定torch版本
去官网找旧版本，根据自己的cuda版本以及torch版本选择命令…
一个网友收集的科研资源--内容很多，转载麻烦
将OpenCV2.3中的HOG抽取出来http://www.zhizhihu.com/html/y2011/3451.htmlCVPR 2012 papershttp://www.zhizhihu.com/html/y2012/3765.html2011年度图灵奖依旧人工智能刘江CE ： 最新一届图灵奖（2011年）颁发给了UCLA的Judea Pearl教授&#x…
关于国际AI会议的转载
AI会议的总结（by南大周志华） 分类： 图像处理2011-05-20 00:08 48人阅读 评论(0) 收藏 举报粗体标出来的都是Computer Vision和Image Processing相关的 ---------------------------------------------------------------------------------- …
实在智能秋季发布会——实在人为，智能取胜!
金秋十月，是实实在在收获的季节！实在智能作为一家行业领先的人工智能科技公司，致力于通过AI技术引领和推动RPA行业向IPA发展。公司在实实在在地解决客户真实痛点堵点过程中，全自研RPA产品和 AI 能力再次获得大幅提升，每…
掌握Gradio的Audio模块：实时交互与多功能展示
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
论文浅尝 | SimKGC：基于预训练语言模型的简单对比知识图谱补全
笔记整理：李雅新，天津大学硕士，研究方向为知识图谱补全 链接：https://dl.acm.org/doi/10.1145/3539597.3570483 动机 知识图谱补全 (KGC) 旨在对已知事实进行推理并推断缺失的链接。基于文本的方法从自然语言描述中学习实体表示&a…
2021年制冷与空调设备安装修理考试及制冷与空调设备安装修理试题及解析
题库来源：安全生产模拟考试一点通公众号小程序
安全生产模拟考试一点通：制冷与空调设备安装修理考试参考答案及制冷与空调设备安装修理考试试题解析是安全生产模拟考试一点通题库老师及制冷与空调设备安装修理操作证已考过的学员汇总，相对有…
2021-10-042021年育婴员（五级）模拟考试题库及育婴员（五级）复审模拟考试
题库来源：安全生产模拟考试一点通公众号小程序
安全生产模拟考试一点通：育婴员（五级）模拟考试题库根据新育婴员（五级）考试大纲要求，安全生产模拟考试一点通将育婴员（五级࿰…
ASR自动语音识别基础理论
基础理论对话式AI的理解与其子任务的介绍ASR自动语音识别简史和发展历程工作流程及原理ASR自动语音识别简介ASR自动语音识别应用场景ASR自动语音识别理论自动语音识别工具包的简介及设计架构使用先进的ASR工具快速实现第一个语音识别应用对话式AI的理解与其子任务的介绍 ASR自动…
论文笔记 EMNLP 2021|Lifelong Event Detection with Knowledge Transfer
文章目录1 简介1.1 创新2 方法2.1 baseline2.2 新旧事件类型的知识迁移3 实验1 简介
论文题目：Lifelong Event Detection with Knowledge Transfer 论文来源：EMNLP 2021 组织机构：伊利诺伊大学厄巴纳-香槟分校 论文链接：https://…
构建交互式颜色选择器：介绍Gradio的ColorPicker模块和方法
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
大模型基础之注意力机制和Transformer
【注意力机制】
核心思想：在decoder的每一步，把encoder端所有的向量提供给decoder，这样decoder根据当前自身状态，来自动选择需要使用的向量和信息.
【注意力带来的可解释性】
decoder在每次生成时可以关注到encoder端所有位置的…
百度智能云——自然语言处理
39.1 目标
通过百度智能云的API调度写一首指定主题的诗
39.2 网址
https://ai.baidu.com/sdk#asr下载SDK并查看接口相关说明
39.3 开发步骤(Ubuntu开发) 下载对应SDK ├── base
│ ├── base.h // 请求客户端基类
│ ├── base64.h …
极视角携手日本SUGENA，共同推进全球化市场布局
2021年4月15日，
极视角与日本株式会社SUGEHARA & NA Associates （以下简称SUGENA）达成战略合作， 在人工智能计算机视觉领域及其相关行业应用领域成为战略合作伙伴，共同开拓日本市场。 SUGENA总裁兼首席执行官须毛…
xgboost介绍与实践
参考： 终于把XGBoost总结写出来了！ 机器学习算法之XGBoost及其自动调参 参考：xgboost如何处理缺失值
【机器学习基础】XGBoost、LightGBM与CatBoost算法对比与调参
介绍
2016年由华盛顿大学陈天奇老师带领开发的一个可扩展机器学习系统。严…
文献阅读：SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples
文献阅读：SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples 1. 内容简介2. 方法实现 1. embedding的获取2. soft negative样品的生成3. loss函数的定义 3. 实验 & 结果 1. 基础实验结果2. soft-negative样品的作用…
NLP笔记：生成问题常用metrics整理
NLP笔记：生成问题常用metrics整理 1. 生成问题的评估方法2. 常用metrics 1. ppl2. bleu 1. 句长惩罚因子BP2. n-gram字符匹配精度与权重因子3. 样例说明 3. rouge4. bleurt 3. 参考链接 1. 生成问题的评估方法
nlp中的生成问题大致可以涵盖以下一些部分࿱…
目前自然语言处理的实际应用方法总结
自然语言处理的方法
分词
分词的任务定义为：输入一个句子，输出一个词语序列的过程。如将「严守一把手机关了。」输出为「严守一/把/手机/关/了。」
目前的两种主流方法包括基于离散特征的 CRF 和 BILSTM-CRF。
挑战包括交叉歧义、新词识别、领域移植…
NLP英文数据分析干货！！！——针对English分析模版
NLP英文数据分析一、全套英文预处理代码二、统计词频词云图分析统计词频词云图分析三、情感分析NLTK情感分析实战四、相似度分析（LDA、LSI、Tfidf）一、全套英文预处理代码
# 英文句子处理模块
from nltk.corpus import stopwords as pw
import sys
imp…
NLP中文数据分析干货！！！——针对Chinese分析模版、苏宁空调评论分析实战（提供数据）
NLP中文数据分析一、全套中文预处理代码去掉文本中多余的空格去除多余符号，保留指定中英文和数字繁体转简体分词去除停用词预处理封装二、统计词频词云图分析统计词频词云图分析三、情感分析SnowNLP情感分析实战四、主题分析LDA前数据预处理LDA主题模型五、实战演练…
自然语言处理领域的两种创新观念
/*版权声明：可以任意转载，转载时请务必标明文章原始出处和作者信息 .*/ 自然语言处理领域的两种创新观念 张俊林 timestamp:2006年11月26日 自然语言处理作为一个研究领域，曾经是一个颇为冷门…
python调用hanlp分词包手记
Hanlp作为一款重要的分词工具，本月初的时候看到大快搜索发布了hanlp的1.7版本，新增了文本聚类、流水线分词等功能。关于hanlp1.7版本的新功能，后面有使用的到时候在给大家分享。本篇分享一个在python里调用hanlp分词包的过程文章，…
mac版 SimHei添加教程
mac版本matplotlib SimHei配置
一、环境描述 python 3.7 mac 10.15.4 二、问题描述 使用matplotlib绘制图片的时候，所有的中文字符无法正常显示。
三、解决方法 1、下载字体ttf文件 链接:https://pan.baidu.com/s/1RLVvbIi_NpAiiycBYQRPCQ 密码:n1sv
2、找到配置…
SmartChineseAnalyzer的对中文开源社区是一大贡献
转自 ： SmartChineseAnalyzer_java - imdict-chinese-analyzer - Project Hosting on Google Code.htm 欣喜的看到在lucene 3.0里已经集成进了SmartChineseAnalyzer这个基于隐马尔科夫模型的中文分词模块，绝对是对中文开源社区的一大贡献。绝对得支持啊&…
21世纪发展最快的数据科学的总结
一、认识 数据科学是一个多学科领域，它使用科学技术和计算算法从结构化和非结构化数据中收集有价值的见解和知识。
它涉及数学、统计学、统计建模、计算机科学、数据库技术、编程、预测分析、信号处理、人工智能、机器学习、神经网络、信号处理和许多更高级的过程。…
【文本分类】基于三种分类器实现影评的情感分析（朴素贝叶斯，最大熵，决策树）
朴素贝叶斯（Nave Bayes）
属性独立性是Nave Bayes的前提也是关键思想：通俗地说，就是根据已有的数据集，得到先验概率和各种属性对于各种决策的条件概率（可以理解为每种属性对每种决策的影响的大小࿰…
NLTK载入自己的语料库
假如自定义语料库(loli.txt)的完整文件路径如下：
Users/samarua/Documents/NLP自然语言处理/自定义语料/loli.txt语料内容假设为：
loli loli loliPlaintextCorpusReader 纯文本语料库阅读器
from nltk.corpus import PlaintextCorpusReader corpus_ro…
aircrack-ng + wireshark 进行wireless packet sniffer
我们用aircrack-ng wireshark 可以进行 空气抓包， 这个非常简单不需要ominpic 工具了。
这个工具非常实用 在linux 下和windows 下都可以。
安装 Linux下 sudo apt-get install aircrack-ng
aircrack基本使用流程： aircrack-ng.exe *.cap 检查cap…
训练调试tang出的bug
可能是TF版本的问题
UnboundLocalError: local variable batch_index referenced before assignment
简介：《自然语言处理与信息系统/会议录/ Natural language processing and information systems 》
自然语言处理与信息系统/会议录/ Natural language processing and information systems 作 者： Christian Kop 等著出 版 社： 湖北辞书出版社出版时间： 2006-12-1 字 数： 版 次： 1 页 数： 222…
基于计算机技术的媒体分析
文章结构
总体1500字 第一部分：介绍技术的作用和本场景 技术选型的原因 （200~400） -每种技术的功能描述; -与你选择的广泛研究问题相关的，可以用每种技术解决的一些具体问题。 第二部分：你想要什么样的知识࿰…
Transformer原理解析及机器翻译的应用
基于Seq2Seq模型的机器翻译
引入Attention的Seq2Seq模型-机器翻译
Transformer
首先，可以思考为什么会需要Transformer？ 大部分的机器翻译等序列生成任务都是基于Encoder-Decoder的模式，而Encoder和Decoder一般是由RNN、LSTM、GRU其中一种…
引入Attention的Seq2Seq模型-机器翻译
在上一篇博客中，我们介绍了 基于Seq2Seq模型的机器翻译。今天，在此基础上，对模型加入注意力机制Attention。
模型结构
首先，我们先了解一下模型的结构，基本与Seq2Seq模型大体一致：
首先，第一…
李沐 深度学习论文 解读 alexnet 笔记
李沐b站视频链接9年后重读深度学习奠基作之一：AlexNet【论文精读】_哔哩哔哩_bilibili-https://www.bilibili.com/video/BV1ih411J7Kz?spm_id_from333.999.0.0
主要记录行业大专家如何看待细分领域，跨领域工作的 1.alexnet 论文只是说明了效果很好 但是…
【实在RPA财务实战营】2周轻松实现财务自动化 ，升职加薪不是梦
“为什么财务人员工资那么低？”相信看到这句话，很多财务工作者都深有同感，从业多年工资却一直原地踏步，看不到职业上升的路径。
1.从业门槛低
2.为企业创造价值少
以上两点被认为是财务工作者工资较低的主要原因，那…
PipeTransformer：适用于大规模模型分布式训练的自动化弹性管线
内容导读 本文围绕一篇论文展开，探讨了 PyTorch DDP (torch.nn.parallel) 以及 Pipeline (torch.Distributed.Pipeline) 的加速混合。 本文首发自微信公众号「PyTorch 开发者社区」 论文题目：
PipeTransformer: Automated Elastic Pipelining for Dist…
论文综述——Entity-centered Cross-document Relation Extraction
Entity-centered Cross-document Relation Extraction 任务介绍ECRIM模型实验总结 任务介绍
什么是关系抽取（RE）？ 以往的研究：从同一文本中抽取出的两个实体，分别作为头实体 (Peter Kappesser) 和尾实体 (U.S.) &…
包含近 20 万本图书，OpenAI 级别的训练数据集上线
了By 超神经内容提要：你是否也想要像 OpenAI 一样，训练出强大的 GPT 模型，但是却苦于没有足够的训练数据集？近期，reddit 社区的一位网友上传了一个纯文本数据集，包含近 20 万本书籍，训练出一流的…
自然语言处理学习笔记（六）————字典树
目录 1.字典树
（1）为什么引入字典树
（2）字典树定义
（3）字典树的节点实现
（4）字典树的增删改查
DFA（确定有穷自动机）
（5）优化 1.…
【编译原理】Python自然语言处理中的词法分析
目录
一、实验目的
二、实验任务
三、实验原理
1 NumPy 简介
2 匹配算法
四、实验过程
1 正向最大匹配法
2 逆向最大匹配法
*3 jieba英文词组分词
五、实验结果
1 中文分词
2 jieba词频统计
参考资料
附录
1 任务一：中文分词代码
2 任务二ÿ…
2023年排行前五的大规模语言模型(LLM)
2023年排行前五的大规模语言模型(LLM)
截至2023年，人工智能正在风靡全球。它已经成为热门的讨论话题，吸引了数百万人的关注，不仅限于技术专家和研究人员，还包括来自不同背景的个人。人们对人工智能热情高涨的原因之一是其在人类多…
LLM - 大模型评估指标之 ROUGE
目录
一.引言
二.ROUGE-简介
1.ROUGE-N
2.ROUGE-L
3.ROUGE-W
4.ROUGE-S
三.ROUGE-实现
1.How To Use
2.Inputs
3.Outputs
四.总结 一.引言
ROUGE 代表面向召回的研究，用于 Gisting 评估。它包括通过将摘要与人类创建的其他摘要进行比较来自动确定摘要质…
精细解析中文公司名称：智能分词工具助力地名、品牌名、行业词和后缀提取
精细解析中文公司名称：智能分词工具助力地名、品牌名、行业词和后缀提取
中文公司名称分词工具，支持公司名称中的地名，品牌名（主词），行业词，公司名后缀提取。
对公司名文本解析，识…
局部敏感哈希(LSH)：高维数据下的最近邻查找
哈希算法
首先，将局部敏感哈希之前，我们先说下普通的哈希算法，把任意长度的输入通过散列算法变换成固定长度的输出，该输出就是散列值。
最理想的是所有不同的输入都可以映射到散列值，但是存在这种可能性的。当不同的…
维特比(Viterbi)算法
算法思想
维特比（Viterbi）算法属于一种动态规划算法，目标在于寻找最优路径。我个人用得最多就是与BiLSTMCRF模型的结合，比如命名实体识别、分词等，计算了每个token的归一化概率矩阵和转移概率矩阵之后，最后…
机器学习深度学习——seq2seq实现机器翻译（详细实现与原理推导）
👨🎓作者简介：一位即将上大四，正专攻机器学习的保研er 🌌上期文章：机器学习&&深度学习——seq2seq实现机器翻译（数据集处理） 📚订阅专栏：机器学习&…
TinyStories: How Small Can Language Models Be and Still Speak Coherent English?
本文是LLM系列的文章之一，针对《TinyStories: How Small Can Language Models Be and Still Speak Coherent English?》的翻译。 TinyStories：语言模型能有多小，还能说连贯的英语？ 摘要1 引言2 TinyStories数据集的描述2.1 Tiny…
突破边界：文本检测算法的革新与应用前景
突破边界：文本检测算法的革新与应用前景
1.文本检测理论篇（文本检测方法介绍）
文本检测任务是找出图像或视频中的文字位置。不同于目标检测任务，目标检测不仅要解决定位问题，还要解决目标分类问题。
文本在图像中的…
论文浅尝 | 大语言模型综述
笔记整理：刘康为、方润楠，浙江大学硕士，研究方向为自然语言处理 链接：https://arxiv.org/abs/2303.18223 一、介绍 在当前机遇和挑战的背景下，对大语言模型的研究和开发需要更多的关注。为了让读者对大语言模型有一个基…
人工智能任务1-【NLP系列】句子嵌入的应用与多模型实现方式
大家好，我是微学AI，今天给大家介绍一下人工智能任务1-【NLP系列】句子嵌入的应用与多模型实现方式。句子嵌入是将句子映射到一个固定维度的向量表示形式，它在自然语言处理（NLP）中有着广泛的应用。通过将句子转化为向量…
自然语言处理从入门到应用——LangChain：记忆（Memory）-[自定义对话记忆与自定义记忆类]
分类目录：《自然语言处理从入门到应用》总目录 自定义对话记忆
本节介绍了几种自定义对话记忆的方法：
from langchain.llms import OpenAI
from langchain.chains import ConversationChain
from langchain.memory import ConversationBufferMemoryllm…
后门攻击阅读笔记，Input-aware dynamic backdoor attack
论文标题：Input-aware dynamic backdoor attack
论文单位：VinAI Research, Hanoi University of Science and Technology, VinUniversity
论文作者：Tuan Anh Nguyen, Tuan Anh Tran
收录会议：NIPS2020
开源代码：ht…
AI「反腐」，德国马普所结合 NLP 和 DNN 开发抗蚀合金
内容一览：在被不锈钢包围的世界中，我们可能都快忘记了腐蚀的存在。然而，腐蚀存在于生活中的方方面面。无论是锈迹斑斑的钢钉，老化漏液的电线，还是失去光泽的汽车，这一切的发生都与腐蚀有关。据统计…
探索Gradio库中的Image模块及其强大功能
❤️觉得内容不错的话，欢迎点赞收藏加关注😊😊😊，后续会继续输入更多优质内容❤️ 👉有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博…
一站式印度跨境电商平台开发--多用户购物商城搭建
搭建一个一站式印度跨境电商平台开发，需要考虑以下几个方面：平台设计，技术架构，多用户购物商城搭建。
一、平台设计： 1. 市场调研：了解印度电商市场的特点和需求，确定目标用户群体。 2. 平台功…
【huggingface】数据集及模型下载并保存至本地
目录 数据集ChnSentiCorppeoples_daily_ner 模型bert-base-chinesehfl/rbt3t5-baseopus-mt-zh-enChinese_Chat_T5_Base 环境：没有代理，无法访问部分国外网络 数据集 正常情况下通过load_dataset加载数据集；save_to_disk保存至本地；…
AnomalyGPT: Detecting Industrial Anomalies using Large Vision-Language Models
本文是LLM系列文章，针对《AnomalyGPT: Detecting Industrial Anomalies using Large Vision AnomalyGPT：使用大型视觉语言模型检测工业异常 摘要1 引言2 相关工作3 方法4 实验5 结论 摘要
大型视觉语言模型（LVLMs），如…
后门攻击经典背景文献（综述）
总结
攻击在各个场景都有体现，比如外包场景、迁移学习、联邦学习等，主要集中于前两个前景，联邦学习的攻击还有待发展。攻击手段都集中在带触发器输入的构造上，无论是直接设计，还是使用目标模型的参数进行优化得到的触…
自然语言处理: 第七章GPT的搭建
理论基础
在以transformer架构为框架的大模型遍地开花后，大模型的方向基本分成了三类分别是:
decoder-only架构 , 其中以GPT系列为代表encoder-only架构，其中以BERT系列为代表encoder-decoder架构，标准的transformer架构以BART和T5为代表 大…
自然语言处理从入门到应用——LangChain：记忆（Memory）-[将记忆添加到LangChain组件中]
分类目录：《自然语言处理从入门到应用》总目录 将记忆添加到LLMChain中
本节介绍如何将Memory类与LLMChain结合使用，我们将添加ConversationBufferMemory类作为示例，但实际上可以使用任何Memory类。
from langchain.memory import Conversa…
大语言模型LLM的一些点
LLM发展史 GPT模型是一种自然语言处理模型，使用Transformer来预测下一个单词的概率分布，通过训练在大型文本语料库上学习到的语言模式来生成自然语言文本。 GPT-1(117亿参数)，GPT-1有一定的泛化能力。能够用于和监督任务无关的任务中。GPT-2(…
【深度学习】NLP中的对抗训练
在NLP中，对抗训练往往都是针对嵌入层（包括词嵌入，位置嵌入，segment嵌入等等）开展的，思想很简单，即针对嵌入层添加干扰，从而提高模型的鲁棒性和泛化能力，下面结合具体代码…
Automatically Correcting Large Language Models
本文是大模型相关领域的系列文章，针对《Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies》的翻译。 自动更正大型语言模型：综述各种自我更正策略的前景 摘要1 引言2 自动反馈校正LLM的…
自然语言处理从入门到应用——LangChain：记忆（Memory）-[记忆的存储与应用]
分类目录：《自然语言处理从入门到应用》总目录 使用SQLite存储的实体记忆
我们将创建一个简单的对话链，该链使用ConversationEntityMemory，并使用SqliteEntityStore作为后端存储。使用EntitySqliteStore作为记忆entity_store属性上的参数&am…
自然语言处理从入门到应用——LangChain：记忆（Memory）-[聊天消息记录]
分类目录：《自然语言处理从入门到应用》总目录 Cassandra聊天消息记录
Cassandra是一种分布式数据库，非常适合存储大量数据，是存储聊天消息历史的良好选择，因为它易于扩展，能够处理大量写入操作。
# List of contact…
NLP（六十五）LangChain中的重连（retry）机制
关于LangChain入门，读者可参考文章NLP（五十六）LangChain入门 。 本文将会介绍LangChain中的重连机制，并尝试给出定制化重连方案。 本文以LangChain中的对话功能（ChatOpenAI）为例。
LangChain中的重…
Justpy中文文档
Justpy 什么是 JustPy简介如果您有任何问题、建议或希望与我们联系Hello World!Hello world with click后台新闻与更新许可证教程入门入门演示浏览器安装运行程序基本概念JustPy 组件JustPy 网页JustPy Requests第一个 Hello World更多 Hello World更多 Hello World 现场演示&l…
Deep Walk 和 Node2Vec：图嵌入
特杰帕尔库马瓦特 一、说明 DeepWalk 是一种基于图的机器学习算法，可为给定图生成节点嵌入。它由纽约大学的 Bryan Perozzi、Rami Al-Rfou 和 Steven Skiena 于 2014 年开发。 该算法的目标是通过分析图中每个节点的局部邻域来学习图中每个节点的表示。 DeepWalk应…
【编译原理】Python自然语言处理中的语法分析
目录
一、实验目的
二、实验任务
三、实验原理
1 自然语言处理概述
2 Stanford Parser简介
四、实验过程
1 安装JDK
2 下载StanfordParser[3]，配置环境变量
3 安装NLTK库，配置环境变量
4 使用Stanford Parser的PCFG算法进行句法分析
五、实…
Hugging Face 的文本生成和大语言模型的开源生态
[更新于 2023 年 7 月 23 日: 添加 Llama 2。] 文本生成和对话技术已经出现多年了。早期的挑战在于通过设置参数和分辨偏差，同时控制好文本忠实性和多样性。更忠实的输出一般更缺少创造性，并且和原始训练数据更加接近，也更不像人话。最近的研…
深度学习处理文本（NLP）
文章目录 引言1. 反向传播1.1 实例流程实现1.2 前向传播1.3 计算损失1.4 反向传播误差1.5 更新权重1.6 迭代1.7 BackPropagation & Adam 代码实例 2. 优化器 -- Adam2.1 Adam解析2.2 代码实例 3. NLP任务4. 神经网络处理文本4.1 step1 字符数值化4.2 step 2 矩阵转化为向量…
【NLP】1、BERT | 双向 transformer 预训练语言模型
文章目录 一、背景二、方法 论文：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
出处：Google
一、背景
在 BERT 之前的语言模型如 GPT 都是单向的模型，但 BERT 认为虽然单向（从左到右预测…
自然语言处理学习笔记（七）————字典树效率改进
目录
1. 首字散列其余二分的字典树
2.双数组字典树
3.AC自动机(多模式匹配)
（1）goto表
（2）output表
（3）fail表
4.基于双数组字典树的AC自动机 字典树的数据结构在以上的切分算法中已经很快了&#x…
自然语言处理从入门到应用——LangChain：索引（Indexes）-[文档加载器（Document Loaders）]
分类目录：《自然语言处理从入门到应用》总目录 合并语言模型和我们自己的文本数据是区分它们的一种强大方式，这样做的第一步是将数据加载到“文档”中，文档加载器的作用就是使这个过程变得简单。
LangChain提供了三种文档加载器：…
中文医学知识语言模型：BenTsao
介绍
BenTsao：[原名：华驼(HuaTuo)]: 基于中文医学知识的大语言模型指令微调 本项目开源了经过中文医学指令精调/指令微调(Instruction-tuning) 的大语言模型集，包括LLaMA、Alpaca-Chinese、Bloom、活字模型等。
我们基于医学知识图谱以及医…
【大模型】二 、大语言模型的基础知识
文章目录 大型语言模型国内外大语言模型大模型列表国外大模型 大型语言模型
大型语言模型是近年来机器学习和自然语言处理领域的一个重要发展趋势。以GPT模型为例，阐述其发展
GPT系列基于Transformer架构，进行构建，旨在理解和生成人类语言。…
自然语言处理从入门到应用——LangChain：链（Chains）-[通用功能：自定义Chain和Chain的异步API]
分类目录：《自然语言处理从入门到应用》总目录 创建自定义Chain
要实现自己的自定义链式连接，我们可以子类化Chain并实现以下方法：
from __future__ import annotations
from typing import Any, Dict, List, Optional
from pydantic impor…
自然语言处理 | 双向匹配中文分词 Python
理论描述
中文分词是指中文在基本文法上有其特殊性而存在的分词。
算法描述
本文实现双向匹配算法，具体算法描述如下：
正向最大算法 设MaxLen表示最大词长，D为分词词典。 （1）从待切分语料中按正向取长度为MaxLen的…
大模型一、大语言模型的背景和发展
文章目录 背景模型1 文本LLM模型ChatGLMChatGLM2-6BChinese-LLaMA-Alpaca：Chinese-LLaMA-Alpaca-2：Chinese-LlaMA2：Llama2-Chinese：OpenChineseLLaMA：BELLE：Panda：Robin (罗宾):Fengshenbang-LM…
自然语言处理从入门到应用——LangChain：索引（Indexes）-[向量存储器（Vectorstores）]
分类目录：《自然语言处理从入门到应用》总目录 Vectorstores是构建索引的最重要组件之一。本文展示了与VectorStores相关的基本功能。在使用VectorStores时，创建要放入其中的向量是一个关键部分，通常通过嵌入来创建。
from langchain.embedd…
A Survey on Model Compression for Large Language Models
本文是LLM系列文章，关于模型压缩相关综述，针对《A Survey on Model Compression for Large Language Models》的翻译。 大模型的模型压缩综述 摘要1 引言2 方法3 度量和基准3.1 度量3.2 基准 4 挑战和未来方向5 结论 摘要
大型语言模型（LLM…
[NLP]LLM--transformer模型的参数量
1. 前言
最近，OpenAI推出的ChatGPT展现出了卓越的性能，引发了大规模语言模型(Large Language Model, LLM)的研究热潮。大规模语言模型的“大”体现在两个方面：模型参数规模大，训练数据规模大。以GPT3为例，GPT3的参数量…
如何做情感分析，以京东评论为例（jieba+sklearn)
1、引言
作为 我的自然语言处理的第一篇博客，就简单的给大家看看用jieba分词，提取特征，利用机器学习的算法做情感分析的过程，照样，我不多做说明，请看代码，代码有注释
2、介绍
我的文本 来自…
EDG夺冠，用爬虫+数据分析+自然语言处理(情感分析)+数据可视化分析3万条数据：粉丝都疯了(唯一原创)
原创不易，本文禁止抄袭、转载，违权必究！ 目录一、EDG夺冠信息二、实战目标2.1 网络爬虫2.2 数据可视化（词云图）2.3 自然语言处理（情感分析）三、bilibili接口分析四、编码4.1 爬取数据4.2 数据可…
Transformer 模型详解
Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，现在比较火热的 Bert 也是基于 Transformer。Transformer 模型使用了 Self-Attention 机制，不采用 RNN 的顺序结构，使得模型可以并行化训练，而且能够拥有全局信息…
java_免费文本翻译API_小牛翻译
目录 前言 开始集成API
纯文本翻译接口
双语对照翻译接口
指定术语翻译接口
总结 前言 网络上对百度，有道等的文本翻译API集成的文章比较多，所以集成的第一篇选择了小牛翻译的文本翻译API。 小牛翻译文本翻译API，支持388个语种࿰…
使用 spaCy 增强 NLP 管道
介绍
spaCy 是一个用于自然语言处理 (NLP) 的 Python 库。SpaCy 的 NLP 管道是免费且开源的。开发人员使用它来创建信息提取和自然语言理解系统，例如 Cython。使用该工具进行生产，拥有简洁且用户友好的 API。
如果您处理大量文本，您会想了解更多相关信息。例如，它是关于什…
大语言模型微调实践——LoRA 微调细节
1. 引言 近年来人工智能领域不断进步，大语言模型的崛起引领了自然语言处理的革命。这些参数量巨大的预训练模型，凭借其在大规模数据上学习到的丰富语言表示，为我们带来了前所未有的文本理解和生成能力。然而，要使这些通用模型在特…
Similarities：精准相似度计算与语义匹配搜索工具包，多维度实现多种算法，覆盖文本、图像等领域，支持文搜、图搜文、图搜图匹配搜索
Similarities：精准相似度计算与语义匹配搜索工具包，多维度实现多种算法，覆盖文本、图像等领域，支持文搜、图搜文、图搜图匹配搜索
Similarities 相似度计算、语义匹配搜索工具包，实现了多种相似度计算、匹配搜索算法&…
如何在机器学习中实现分类？
机器学习和统计学中的分类是一种监督学习方法，其中计算机程序从给定的数据中学习并进行新的观察或分类。在本文中，我们将详细了解机器学习中的分类。
本博客涵盖以下主题： 目录 什么是机器学习中的分类？ 机器学习中的分类术语 分类算法
机器学习深度学习——NLP实战（自然语言推断——微调BERT实现）
👨🎓作者简介：一位即将上大四，正专攻机器学习的保研er 🌌上期文章：机器学习&&深度学习——针对序列级和词元级应用微调BERT 📚订阅专栏：机器学习&&深度学习 希望文…
The Rise and Potential of Large Language Model Based Agents: A Survey
本文是LLM系列文章，针对《The Rise and Potential of Large Language Model Based Agents：A Survey》的翻译。 基于大型语言模型的Agent的兴起及其潜力 摘要1 引言2 背景2.1 AI代理的起源2.22.3 3 Agent的诞生：基于LLM的Agent构建4 实践中的…
【词性标注】词性标注器设计
写在前面：本文用基于nltk库和Brown语料库进行演示： from nltk.corpus import brown
import nltksent brown.sents(categories news)[0] # Brown语料库中取一个句子，一会儿我们可对其进行词性标注
tagged_sents brown.tagge…
【词性标注】一篇文章弄懂词性标注
词性标注概述
▶ 词类
同一个词类的词具有相同的语法功能、在同样的位置中出现
划分词类的目的在于描写语句的结构规则，以基于模式自动处理成批的语料（便于自然语言处理）
词类 实词(content) 虚词(function)
实词——动词、形容词、代…
大模型如何赋能智能客服
2022年，大模型技术的出色表现让人们瞩目。随着深度学习和大数据技术的发展，大模型在很多领域的应用已经成为可能。许多公司开始探索如何将大模型技术应用于自己的业务中，智能客服也不例外。
智能客服是现代企业中非常重要的一部分࿰…
Prompt本质解密及Evaluation实战（二）
一、LangChain基于evaluation的prompt使用解析
我们来看下LangChain中关于prompt的使用，下面是取自LangChain源码中的一个经典的示例，描述了AI模型被授予访问几种工具来帮助回答用户的问题，其中“tool_descriptions”是至关重要的࿰…
A Survey on Knowledge-Enhanced Pre-trained Language Models
摘要
自然语言处理(NLP)已经通过使用BERT等预训练语言模型(plm)发生了革命性的变化。尽管几乎在每个NLP任务中都创造了新的记录，但plm仍然面临许多挑战，包括可解释性差，推理能力弱，以及在应用于下游任务时需要大量昂贵的注释数据。通过将外部知识集成到plm中，知识增强预训…
记录一次“top负1”比赛经历
获奖啦！
比赛题目：中文语义病句识别与纠正挑战赛
比赛链接：https://challenge.xfyun.cn/topic/info?typeidentification-and-correction&optionphb“请介绍你们团队”
“各位评委老师，我是来自WOT团队的选手AMBT࿰…
ChatGPT Prompting开发实战（二）
一、基于LangChain源码react来解析prompt engineering
在LangChain源码中一个特别重要的部分就是react，它的基本概念是，LLM在推理时会产生很多中间步骤而不是直接产生结果，这些中间步骤可以被用来与外界进行交互，然后产生new con…
Re44：数据集 GSM8K 和 论文 Training Verifiers to Solve Math Word Problems
诸神缄默不语-个人CSDN博文目录
论文全名：Training Verifiers to Solve Math Word Problems GSM8K数据集原始论文
OpenAI 2021年的工作，关注解决MWP问题（具体场景是小学（grade school）数学题），…
探索图像数据中的隐藏信息：语义实体识别和关系抽取的奇妙之旅
探索图像数据中的隐藏信息：语义实体识别和关系抽取的奇妙之旅
1. 简介
1.1 背景
关键信息抽取 (Key Information Extraction, KIE)指的是是从文本或者图像中，抽取出关键的信息。针对文档图像的关键信息抽取任务作为OCR的下游任务，存在非常…
文献阅读：Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
文献阅读：Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 1. 文章简介2. 具体方法3. 实验结果 1. 数学推理 1. 实验设计2. 实验结果3. 消解实验4. 鲁棒性考察 2. 常识推理 1. 实验设计2. 实验结果 3. 符号推理 1. 实验设计2. 实验结果 4.…
ChatGPT Prompting开发实战（四）
一、chaining prompts应用解析及输出文本的设定
由于输入和输出都是字符串形式的自然语言，为了方便输入和输出信息与系统设定使用的JSON格式之间进行转换，接下来定义从输入字符串转为JSON list的方法： 定义从JSON list转为输出字符串的方法&…
GREASELM: GRAPH REASONING ENHANCED LANGUAGE MODELS FOR QUESTION ANSWERING
本文是LLM系列文章，针对《GREASELM: GRAPH REASONING ENHANCED LANGUAGE MODELS FOR QUESTION ANSWERING》的翻译。 GREASELM：图推理增强的问答语言模型 摘要1 引言2 相关工作3 提出的方法：GREASELM4 实验设置5 实验结果6 结论 摘要
回答关…
ChatGPT在新闻媒体和新闻报道中的潜在角色如何？
ChatGPT在新闻媒体和新闻报道中具有潜在的重要角色。随着人工智能技术的发展，ChatGPT可以在新闻领域提供多种功能，包括新闻生成、编辑、事实检查、推荐系统、个性化新闻和自动化报道。本文将探讨ChatGPT在新闻媒体中的潜在角色以及其对新闻业的影响。
#…
YaRN: Efficient Context Window Extension of Large Language Models
本文是LLM系列文章，针对《YaRN: Efficient Context Window Extension of Large Language Models》的翻译。 YaRN：大型语言模型的有效上下文窗口扩展 摘要1 引言2 背景和相关工作3 方法4 实验5 结论 摘要
旋转位置嵌入（RoPE）已被…
【精品】NLP自然语言处理学习路线(知识体系)
当前，大规模预训练语言模型的强大对话问答、文本生成能力，将自然语言处理（NLP）的研究和应用推向了新一轮的热潮。NLP是计算机科学、人工智能和语言学等学科交叉的前沿领域。NLP的应用和研究范围非常的广泛，个人是没有找…
TPTU: Task Planning and Tool Usage of Large Language Model-based AI Agents
本文是LLM系列文章，针对《TPTU: Task Planning and Tool Usage of Large Language Model-based AI Agents》的翻译。 TPTU:任务规划和工具使用的LLM Agents 摘要1 引言2 方法3 评估4 相关工作5 结论 摘要
随着自然语言处理的最新进展，大型语言模型&…
【AI理论学习】语言模型：深入理解GPT-2计算掩码自注意力过程，了解GPT-3工作原理
深入理解GPT-2计算掩码自注意力过程，了解GPT-3工作原理 图解Self-Attention图解 Self-Attention（without masking）1. 创建Query、Key和Value向量2. 计算分数3. 计算和 图解 Masked Self-AttentionGPT-2 Masked Self-Attention评价模型&#x…
用huggingface.Accelerate进行分布式训练
诸神缄默不语-个人CSDN博文目录
本文属于huggingface.transformers全部文档学习笔记博文的一部分。 全文链接：huggingface transformers包 文档学习笔记（持续更新ing…）
本部分网址：https://huggingface.co/docs/transformers/m…
自然语言处理NLP：一文了解NLP自然语言处理技术，NLP在生活中的应用，图导加深了解，NLP语料库，NLP开源工具
目录 1.自然语言处理NLP
1.1 NLP中英对照（双份）
1.2 相关文章
2.NLP语料库 2.1 NLP语料库列举 2.2 相关文章
3.NLP开源工具 3.1 NLP开源工具列举 3.2 相关文章
4.自然语言文本分类模型代码
5.图导NLP
6. NLP在生活中的应用 1.自然语言处理NLP …
NLP领域可以投稿的期刊或会议（不断更新中……）
目录
引言：
会议
优点：
缺点：
期刊：
优点：
缺点：
NLP领域可投稿的期刊或会议
会议
期刊 引言：
作为一名科研工作者，一旦有产出的时候，就会想要写成论文&#…
自然语言处理应用(二)：自然语言推断
自然语言推断
自然语言推断（Natural Language Inference）是指通过对自然语言文本进行逻辑推理和推断，判断两个句子之间的关系，通常包括三种关系：蕴含（entailment）、矛盾（contradict…
链式法则：概率论描述语言模型
目录 1.事件相互独立
2.链式法则
3.示例
4.语言模型中的链式法则 1.事件相互独立
事件相互独立就是：一个事件的发生与否，不会影响另外一个事件的发生。
当a和b两个事件互相独立时，有： P(a | b) P(a) 推广到3个事件就有下面…
一文解码语言模型：语言模型的原理、实战与评估
目录 一、语言模型概述什么是语言模型？核心概念和数学表示挑战：高维度和稀疏性链式法则与条件概率举例 应用场景小结 二、n元语言模型（n-gram Language Models）基本概念数学表示 代码示例：计算Bigram概率输入与输出 优…
[NLP] LLM---＜训练中文LLama2(二)＞扩充LLama2词表构建中文tokenization
使用SentencePiece的除了从0开始训练大模型的土豪和大公司外，大部分应该都是使用其为当前开源的大模型扩充词表，比如为LLama扩充通用中文词表（通用中文词表，或者 垂直领域词表）。
LLaMA 原生tokenizer词表中仅包含少量…
达摩院SPACE对话大模型：预训练语言模型，预训练对话模型，知识注入
01 预训练语言模型 VS 预训练对话模型
1. 大规模语言模型 过去几年 NLP 领域的重大进展，主要是大型预训练模型出现与大规模使用。预训练语言模型有了很大的发展，出现了很多变种。但是，本质上都还是语言模型，如上图右边的流程图所…
AIGC入门 - LLM 信息概览
本文将介绍以下 LLM
OPTLLaMaAlpacaVicunaMosschatGLMBaichuanOpenbuddy
一、OPT
1、背景
OPT全称Open Pre-trained Transformer Language Models，即“开放的预训练Transformer语言模型”，是 Meta AI 团队在2022年5月发布了开源大模型OPT-175B&#…
EdgeMoE: Fast On-Device Inference of MoE-based Large Language Models
本文是LLM系列文章，针对《EdgeMoE: Fast On-Device Inference of MoE-based Large Language Models》的翻译。 EdgeMoE：基于MoE的大型语言模型的快速设备推理 摘要1 引言2 实验与分析3 EDGEMOE设计4 评估5 相关工作6 结论 摘要
GPT和LLaMa等大型语言模…
【AI视野·今日NLP 自然语言处理论文速览 第三十六期】Tue, 19 Sep 2023
AI视野今日CS.NLP 自然语言处理论文速览 Tue, 19 Sep 2023 (showing first 100 of 106 entries) Totally 106 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Speaker attribution in German parliamentary debates with QLoRA-ada…
ChatGPT Prompting开发实战（九）
一、什么是推理式的prompt开发
有时候需要针对一些产品的评论文本进行分析，常见的做法如对每段评论所表达的情感倾向进行推理判断，识别用户对这个产品的使用体验是否满意，那么可以编写相关的prompt来做这样的推理分析。另外，针对…
【小沐学NLP】关联规则分析Apriori算法（Mlxtend库，Python）
文章目录 1、简介2、Mlxtend库2.1 安装2.2 功能2.2.1 User Guide2.2.2 User Guide - data2.2.3 User Guide - frequent_patterns 2.3 入门示例 3、Apriori算法3.1 基本概念3.2 apriori3.2.1 示例 1 -- 生成频繁项集3.2.2 示例 2 -- 选择和筛选结果3.2.3 示例 3 -- 使用稀疏表示…
如何将原始按照word为单位索引标识的数据集修改为以char单位
目录 问题描述：
问题解决： 问题描述：
原始数据集中，数据的标注是以word为单位，且计数从1开始的。如下图： 如何修改为以char为单位的，从0开始计数的数据格式： 问题解决：…
KMeans算法全面解析与应用案例
目录 一、聚类与KMeans介绍聚类的基础概念KMeans算法的重要性 二、KMeans算法原理数据集和特征空间距离度量算法步骤 三、KMeans案例实战案例背景：客户细分数据集说明Python实现代码输出与解释 四、KMeans的优缺点优点计算效率高算法简单易于实现 缺点需要预设K值对…
DreamLLM：多功能多模态大型语言模型，你的DreamLLM~
深度学习自然语言处理 原创作者：wkk 今天为大家介绍西安交大，清华大学、华中科大联合MEGVII Technology的一篇关于多模态LLM学习框架的论文，名为DREAMLLM。 论文：DreamLLM: Synergistic Multimodal Comprehension and Creation论文…
【斯坦福cs324w】中译版 大模型学习笔记九 大模型之Adaptation
文章目录 引言Adaptation的必要性从llm的训练过程分析从下游任务和原始训练任务之间的差异分析 通用的Adaptation配置 当前主流的Adaptation方法ProbingFine-tuningLightweight Fine-tuningPrompt TuningPrefix TuningAdapter Tuning 参考资料 在特定领域的下游任务中ÿ…
NLP 项目：维基百科文章爬虫和分类 - 语料库阅读器
塞巴斯蒂安 一、说明 自然语言处理是机器学习和人工智能的一个迷人领域。这篇博客文章启动了一个具体的 NLP 项目，涉及使用维基百科文章进行聚类、分类和知识提取。灵感和一般方法源自《Applied Text Analysis with Python》一书。 在接下来的文章中，我将…
那么国内比较好用的ai写作助手？
在过去的几年里，人工智能（AI）已经取得了巨大的进步，其中之一就是AI写作助手。这些工具基于先进的自然语言处理技术，可以生成多种类型的文本，包括文章、博客、广告文案、新闻稿等。它们不仅可以提供高质量的…
numpy中的keepdims参数
numpy.mean,sum,max,min等函数中都有keepdims这个参数，这个参数的作用：
当 keepidmsTrue,保持其二维或者三维的特性,(结果保持其原来维数) 默认为 False,不保持其二维或者三维的特性.(结果不保持其原来维数) 假设我们有一个二维数组A，其中A的…
大语言模型之十三 LLama2中文推理
在《大语言模型之十二 SentencePiece扩充LLama2中文词汇》一文中已经扩充好了中文词汇表，接下来就是使用整理的中文语料对模型进行预训练了。这里先跳过预训练环节。先试用已经训练好的模型，看看如何推理。
合并模型
这一步骤会合并LoRA权重࿰…
【小沐学NLP】AI辅助编程工具汇总
文章目录 1、简介2、国内2.1 aiXcoder2.1.1 工具特点2.1.2 部署方式2.1.3 使用费用2.1.4 代码测试2.1.4.1 代码搜索引擎2.1.4.2 在线体验 2.2 CodeGeeX2.2.1 工具特点2.2.2 部署方式2.2.3 使用费用2.2.4 代码测试 2.3 Alibaba Cloud AI Coding Assistant（cosy&#…
[NLP] LLM---＜训练中文LLama2(四)＞对LLama2进行SFT微调
指令精调
指令精调阶段的任务形式基本与Stanford Alpaca相同。训练方案也采用了LoRA进行高效精调，并进一步增加了可训练参数数量。在prompt设计上，精调以及预测时采用的都是原版Stanford Alpaca不带input的模版。对于包含input字段的数据，采…
大语言模型LLM知多少？
你知道哪些流行的大语言模型？你都体验过哪写？ GPT-4，Llamma2, T5, BERT 还是 BART?
1.GPT-4
1.1.GPT-4 模型介绍
GPT-4（Generative Pre-trained Transformer 4）是由OpenAI开发的一种大型语言模型。GPT-4是前作GPT系列模型的进一步改进，旨在提高语言理解和生成的能力，…
【自然语言处理】关系抽取 —— SOLS 讲解
SOLS 论文信息 标题：Speaker-Oriented Latent Structures for Dialogue-Based Relation Extraction 作者：Guoshun Nan, Guoqing Luo, Sicong Leng, Yao Xiao, Wei Lu 发布时间与更新时间：2021.09.11 主题：自然语言处理、关系抽取、对话场景、跨语句、DialogRE、GCN arXiv：…
NLP 03(LSTM)
一、LSTM
LSTM (Long Short-Term Memory) 也称长短时记忆结构,它是传统RNN的变体,与经典RNN相比：
能够有效捕捉长序列之间的语义关联缓解梯度消失或爆炸现象 LSTM的结构更复杂,它的核心结构可以分为四个部分去解析: 遗忘门、输入门、细胞状态、输出门 LSTM内部结构…
pipreqs /path/to/project是什么？
pipreqs /path/to/project" 是一个十分实用的工具，它可以在扫描指定项目路径下的Python代码文件时，自动识别依赖的Python包，并帮助用户将这些依赖写入到指定的文件中。这个功能对于管理Python项目的依赖关系非常有用，让我们可…
编程前置：怎么知道一句话的重点？
怎么知道一句话的重点？
<small>
之所以要这个问题，是因为① 对标题进行分词
② 找到标题中的重点词
③ 然后找到主题中唯一的词语
④ 然后对这个词语进行绘图说和看👀来看👀去，也就是文字成图的步骤啦ÿ…
【自然语言处理】关系抽取 —— SIEF 概述
SIEF 论文信息 标题：Document-Level Relation Extraction with Sentences Importance Estimation and Focusing 作者：Wang Xu, Kehai Chen, Lili Mou, Tiejun Zhao 期刊：NAACL-HLT 2022 发布时间与更新时间：2022.04.27 主题：自然语言处理、关系抽取、DocRE、DialogRE arXi…
一款简化Python自然语言处理的开源库
迷途小书童 读完需要 3分钟 速读仅需 1 分钟 1 简介 TextBlob 是一个 Python 库，用于处理文本数据的自然语言处理（NLP）任务。它提供了简单且易于使用的 API，使得对文本进行分析、情感分析、词性标注、名词短语提取等任务变得更加简…
大语言模型之十四-PEFT的LoRA
在《大语言模型之七- Llama-2单GPU微调SFT》和《大语言模型之十三 LLama2中文推理》中我们都提到了LoRA（低秩分解）方法，之所以用低秩分解进行参数的优化的原因是为了减少计算资源。
我们以《大语言模型之四-LlaMA-2从模型到应用》一文中的图…
大模型RLHF算法更新换代，DeepMind提出自训练离线强化学习框架ReST
文章链接： https://arxiv.org/abs/2308.08998 大模型（LLMs）爆火的背后，离不开多种不同基础算法技术的支撑，例如基础语言架构Transformer、自回归语言建模、提示学习和指示学习等等。这些技术造就了像GPT-3、PaLM等基座…
极大似然估计概念的理解——统计学习方法
目录 1.最大似然估计的概念的理解1
2.最大似然估计的概念的理解2
3.最大似然估计的概念的理解3
4.例子 1.最大似然估计的概念的理解1 最大似然估计是一种概率论在统计学上的概念，是参数估计的一种方法。给定观测数据来评估模型参数。也就是模型已知，参…
HONEYWELL 05704-A-0144 端子模块
HONEYWELL 05704-A-0144 端子模块用于连接电缆、导线或连接器，以便将电信号或电源引出到不同的部件或设备中。这些模块在各种工业和电子应用中都有广泛的用途，通常具有以下特点： 连接性：HONEYWELL 05704-A-0144 端子模块提供可靠的…
【小笔记】fasttext文本分类问题分析
【学而不思则罔，思维不学则怠】 2023.9.28 关于fasttext的原理及实战文章很多，我也尝试在自己的任务中进行使用，是一个典型的短文本分类任务，对知识图谱抽取的实体进行校验，判断实体类别是否正确，我构建了…
NLP 01(介绍)
一、NLP
自然语言处理 (Natural Language rrocessing,简称NLP) 是计算机科学与语言学中关注于计算机与人类语言间转换的领域。 1.1 发展 规则：基于语法 自然语言处理的应用场景: 语音助手 机器翻译 搜索引擎 智能问答
大语言模型(LLM)综述(三)：大语言模型预训练的进展
A Survey of Large Language Models 前言4. PRE-TRAINING4.1数据收集4.1.1 数据源4.1.2 数据预处理4.1.3 预训练数据对LLM的影响 4.2 模型架构4.2.1 典型架构4.2.2 详细配置 前言
随着人工智能和机器学习领域的迅速发展，语言模型已经从简单的词袋模型（B…
米哈游、复旦发布，具备感知、大脑、行动的大语言模型“智能体”
ChatGPT等大语言模型展示了前所未有的创造能力，但距AGI（通用人工智能）还有很大的距离，缺少自主决策、记忆存储、规划等拟人化能力。
为了探索大语言模型向AGI演变，进化成超越人类的超级人工智能，米哈游与复…
RAG之微调垂域BGE的经验之谈
文章目录 前言数据格式部分代码训练参数接下来的尝试总结 前言
随着大模型的爆火，很多垂域行业都开始使用大模型来优化自己的业务，最典型的方法就是RAG（检索增强生成）了。简单来说就是利用检索技术，找出与用户问题相关…
全面超越AutoGPT，面壁智能联合清华NLP实验室开源大模型「超级英雄」XAgent
近日，国内领先的人工智能大模型公司面壁智能又放大招，联合清华大学 NLP 实验室共同研发并推出大模型「超级英雄」——XAgent。
通过任务测试，XAgent 在真实复杂任务的处理能力已全面超越 AutoGPT。 现已在 GitHub 正式开源，地址 …
使用Git下载大语言模型
在下载Huggingface和ModelScope上面的大语言预训练模型的时候，经常会因为网页无法访问或者文件太大无法下载的情况，是大家常常比较苦恼的事情，下面给出用Git下载模型到本地的方法，可以轻松解决上述问题。
目录
一、下载和安装Gi…
Py之tiktoken：tiktoken的简介、安装、使用方法之详细攻略
Py之tiktoken：tiktoken的简介、安装、使用方法之详细攻略 目录
tiktoken的简介
1、性能：tiktoken比一个类似的开源分词器快3到6倍
tiktoken的安装
tiktoken的使用方法
1、基础用法
(1)、用于OpenAI模型的快速BPE标记器
(2)、帮助可视化BPE过程的代…
自然语言处理状况简介
一、说明 自然语言处理已经进入大模型时代，然而从业人员必须了解整个知识体系、发展过程、知识结构，应用范围等一系列知识。本篇将报道此类概况。
二、自然语言处理简介 自然语言处理，或简称NLP，是处理和转换文本的计算机科学学科…
FROZEN TRANSFORMERS IN LANGUAGE MODELS ARE EFFECTIVE VISUAL ENCODER LAYERS
本文是LLM系列文章，针对《FROZEN TRANSFORMERS IN LANGUAGE MODELS ARE EFFECTIVE VISUAL ENCODER LAYERS》的翻译。 语言模型中的冻结Transformer是有效的视觉编码器层 摘要1 引言2 相关工作3 方法：用于视觉编码的冷冻LLMTransformer4 LLMTransformer在…
[python-大语言模型]从浅到深一系列学习笔记记录
整体学习路径参照：点这里 python-机器学习-深度学习-大语言模型-数据开发 面向开发者的LLM入门提示原则 面向开发者的LLM入门 学习链接： github地址：https://github.com/datawhalechina/prompt-engineering-for-developers 在线阅读地址&…
自然语言处理---Transformer机制详解之ELMo模型介绍
1 ELMo简介
ELMo是2018年3月由华盛顿大学提出的一种预训练模型.
ELMo的全称是Embeddings from Language Models.ELMo模型的提出源于论文<< Deep Contextualized Word Representations >>.ELMo模型提出的动机源于研究人员认为一个好的预训练语言模型应该能够包含丰…
自然语言处理---Transformer机制详解之Decoder详解
1 Decoder端的输入解析
1.1 Decoder端的架构
Transformer原始论文中的Decoder模块是由N6个相同的Decoder Block堆叠而成，其中每一个Block是由3个子模块构成，分别是多头self-attention模块，Encoder-Decoder attention模块，前馈全…
自然语言处理---Transformer机制详解之BERT模型介绍
1 BERT简介
BERT是2018年10月由Google AI研究院提出的一种预训练模型.
BERT的全称是Bidirectional Encoder Representation from Transformers.BERT在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且在11种不…
自然语言处理---Transformer机制详解之Multi head Attention详解
1 采用Multi-head Attention的原因
原始论文中提到进行Multi-head Attention的原因是将模型分为多个头, 可以形成多个子空间, 让模型去关注不同方面的信息, 最后再将各个方面的信息综合起来得到更好的效果.多个头进行attention计算最后再综合起来, 类似于CNN中采用多个卷积核的…
论文阅读_LMM 的黎明_GPT4_4V
英文名称: The Dawn of LMMs: Preliminary Explorations with GPT-4V(ision)
中文名称: LMM 的黎明：GPT-4V 的初步探索
文章: http://arxiv.org/abs/2309.17421
中文翻译：https://mp.weixin.qq.com/s/a8Y_yU5XYgJhQ2xMuTK13w
作者: Zhengyuan Yang
日期:…
R语言易错点(持续更新中~~)
1.R向量元素的索引(下标)是从1开始的，而非0
>x
[1] 1 2 4>x[3]
[1] 4 2.[]和[ [ ] ]
mylist<-list(stud.id1234,stud.name"Tom",stud.marksc(10,3,14,25,19))
> mylist
$stud.id
[1] 1234$stud.name
[1] "Tom"$stud.marks
[1] 10…
如何使用大语言模型来绘制图画
请创作一张科技感十足的图片，包含siri和iphone两个元素，请帮我挑选合适的style和background 好的，我会为你创作一张科技感十足的图片，包含siri和iphone两个元素。我会根据你的要求，选择一种适合的风格和背景。请稍等一…
最强英文开源模型LLaMA架构探秘，从原理到源码
导读： LLaMA 65B是由Meta AI（原Facebook AI）发布并宣布开源的真正意义上的千亿级别大语言模型，发布之初（2023年2月24日）曾引起不小的轰动。LLaMA的横空出世，更像是模型大战中一个搅局者。虽然它…
自然语言处理---Transformer机制详解之GPT模型介绍
1 GPT介绍
GPT是OpenAI公司提出的一种语言预训练模型.OpenAI在论文<< Improving Language Understanding by Generative Pre-Training >>中提出GPT模型.OpenAI后续又在论文<< Language Models are Unsupervised Multitask Learners >>中提出GPT2模型.…
自然语言处理 | WordNet
WordNet是词汇数据库，即英语词典，专为自然语言处理而设计。
Synset是一种特殊的简单接口，存在于 NLTK 中，
用于在 WordNet 中查找单词。同义词集实例是表达相同概念的同义词的分组。有些单词只有一个同义词集，有些则有多个。
python pytorch- TextCNN TextRNN FastText Transfermer （中英文）文本情感分类实战（附数据集，代码皆可运行）
python pytorch- TextCNN TextRNN FastText Transfermer 文本情感分类实战（附数据集，代码皆可运行）
注：本次实验，主要注重代码实现这些模型，博主的数据集质量较差，模型评估效果并不是十分理想&…
Can Large Language Models Understand Real-World Complex Instructions?
本文是LLM系列文章，针对《Can Large Language Models Understand Real-World Complex Instructions?》的翻译。 大型语言模型能理解现实世界的复杂指令吗? 摘要引言相关工作CELLO基准实验结论 摘要
大型语言模型(llm)可以理解人类指令，显示出它们在传…
超详细！主流大语言模型的技术原理细节汇总！
1.比较 LLaMA、ChatGLM、Falcon 等大语言模型的细节：tokenizer、位置编码、Layer Normalization、激活函数等。 2. 大语言模型的分布式训练技术：数据并行、张量模型并行、流水线并行、3D 并行、零冗余优化器 ZeRO、CPU 卸载技术 ZeRo-offload、混合精度训…
在 Amazon SageMaker 上使用 ESMFold 语言模型加速蛋白质结构预测
蛋白质驱动着许多生物过程，如酶活性、分子输运和细胞支持。通过蛋白质的三维结构，可以深入了解蛋白质的功能以及蛋白质如何与其他生物分子相互作用。测定蛋白质结构的实验方法（如 X 射线晶体学和核磁共振波谱学）既昂贵又耗时。相比…
自然语言处理---注意力机制
注意力概念
观察事物时，之所以能够快速判断一种事物(当然允许判断是错误的)，是因为大脑能够很快把注意力放在事物最具有辨识度的部分从而作出判断，而并非是从头到尾的观察一遍事物后，才能有判断结果。正是基于这样的理论…
【AI视野·今日NLP 自然语言处理论文速览 第五十二期】Wed, 11 Oct 2023
AI视野今日CS.NLP 自然语言处理论文速览 Wed, 11 Oct 2023 Totally 81 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
LongLLMLingua: Accelerating and Enhancing LLMs in Long Context Scenarios via Prompt Compression Author…
cv_for_nlp
import paddle
import numpy as np
import pandas as pd
from tqdm import tqdmclass FeedFroward(paddle.nn.Layer):def __init__(self, hidden_dim):super
自然语言处理（NLP）-概述
NLP 一、什么是自然语言处理（NLP）二、NLP的发展三、相关理论1 语言模型2 词向量表征和语义分析3 深度学习 一、什么是自然语言处理（NLP）
什么是自然语言处理
二、NLP的发展
三、相关理论
1 语言模型 序列数据形式多样…
数据分析案例-基于snownlp模型的MatePad11产品用户评论情感分析（文末送书）
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
自然语言处理---Transformer模型
Transformer概述 相比LSTM和GRU模型，Transformer模型有两个显著的优势： Transformer能够利用分布式GPU进行并行训练，提升模型训练效率。 在分析预测更长的文本时，捕捉间隔较长的语义关联效果更好。 Transformer模型的作用 基于seq…
Reasoning with Language Model Prompting: A Survey
本文是LLM系列的文章，针对《Reasoning with Language Model Prompting: A Survey》的翻译。 语言模型提示推理：综述 摘要1 引言2 前言3 方法分类4 比较和讨论5 基准与资源6 未来方向7 结论与视角 摘要
推理作为解决复杂问题的基本能力，可以…
如何利用验证链技术减少大型语言模型中的幻觉
一、前言
随着大型语言模型在自然语言处理领域取得了惊人的进步。相信深度使用过大模型产品的朋友都会发现一个问题，就是有时候在上下文内容比较多，对话比较长，或者是模型本身知识不了解的情况下与GPT模型对话，模型反馈出来的结果…
【Gensim概念】02/3 NLP玩转 word2vec
第二部分 句法 六、句法模型（类对象和参数）
6.1 数据集的句子查看
classgensim.models.word2vec.BrownCorpus(dirname) Bases: object 迭代句子 Brown corpus (part of NLTK data).
6.2 数据集的句子和gram
classgensim.models.word2vec.Heapitem(c…
自然语言处理---Transformer构建语言模型
语言模型概述
以一个符合语言规律的序列为输入，模型将利用序列间关系等特征，输出一个在所有词汇上的概率分布，这样的模型称为语言模型。 # 语言模型的训练语料一般来自于文章，对应的源文本和目标文本形如: src1 "I can do&…
自然语言处理---Transformer机制详解之Transformer结构
1 Encoder模块
1.1 Encoder模块的结构和作用
经典的Transformer结构中的Encoder模块包含6个Encoder Block.每个Encoder Block包含一个多头自注意力层，和一个前馈全连接层.
1.2 Encoder Block
在Transformer架构中，6个一模一样的Encoder …
A Close Look into the Calibration of Pre-trained Language Models
本文是LLM系列文章，针对《A Close Look into the Calibration of Pre-trained Language Models》的翻译。 预训练语言模型的校准研究 摘要1 引言2 背景3 评测指标4 PLM是否学会了校准？5 现有方法的效果如何？6 结论局限性与未来工作 摘要
预…
大模型的数据隐私问题有解了，浙江大学提出联邦大语言模型
作者 | 小戏、Python 理想化的 Learning 的理论方法作用于现实世界总会面临着诸多挑战，从模型部署到模型压缩，从数据的可获取性到数据的隐私问题。而面对着公共领域数据的稀缺性以及私有领域的数据隐私问题，联邦学习（Federated Le…
主流大语言模型的技术细节
主流大语言模型的技术原理细节从预训练到微调https://mp.weixin.qq.com/s/P1enjLqH-UWNy7uaIviWRA
比较 LLaMA、ChatGLM、Falcon 等大语言模型的细节：tokenizer、位置编码、Layer Normalization、激活函数等。2. 大语言模型的分布式训练技术：数据并行、…
Fasttext解读(1)
我先说一个小问题，估计很多人也有疑惑。
看了很多文章，有的说是fasttext是CBOW的简单变种，有的说是Skip-gram的变种。究竟哪个是对的？
带着这个问题，我们来聊一聊Fasttext。首先Fasttext涉及到两个论文： …
构建强大的产品级NLP系统：PaddleNLP Pipelines端到端流水线框架解析
搜索推荐系统专栏简介：搜索推荐全流程讲解（召回粗排精排重排混排）、系统架构、常见问题、算法项目实战总结、技术细节以及项目实战（含码源） 专栏详细介绍：搜索推荐系统专栏简介：搜索推荐全流程讲解（召回粗排精排重排混排）、系统架构、常见问题、算法项目实战总结、技术…
【LLM】大语言模型高效微调方案Lora||直击底层逻辑
敬请期待... Reference
深入浅出剖析 LoRA 技术原理_lora csdn-CSDN博客
【OpenLLM 006】LoRA:大模型的低秩适配-最近大火的lora到底是什么东西？为啥stable diffusion和开源ChatGPT复现都在用？ - 知乎 (zhihu.com)
应用场景由点及面，大模型在银行业落地的方法｜案例研究
自2022年11月面世以来，ChatGPT已经吸引了全球范围内的广泛关注。其底层技术大模型，也获得了银行业自上而下所有人员前所未有的关注度。
01 相较于传统AI小模型，大模型具有以下三大核心优势：效率提升，个性化输出和交互…
使用 Python 进行自然语言处理第 4 部分：文本表示
一、说明 本文是在 2023 年 3 月为 WomenWhoCode 数据科学跟踪活动发表的系列文章中。早期的文章位于：第 1 部分（涵盖 NLP 简介）、第 2 部分（涵盖 NLTK 和 SpaCy 库）、第 2 部分（涵盖NLTK和SpaCy库…
Elasticsearch：使用你的 RAG 来进行聊天
什么是人工智能中的检索增强生成（RAG）？
检索增强生成 (RAG)，与你的文档聊天的超级英雄，架起信息检索和文本生成世界的桥梁！ 这就像福尔摩斯和莎士比亚联手解决需要大量知识的复杂任务。 RAG 突然介入&…
大模型LLM论文目录
持续更新中ing！！！ 友情链接：大模型相关资料、基础技术和排行榜 大模型LLM论文目录 标题和时间作者来源简介Artificial General Intelligence: Concept, State of the Art, and Future Prospects，2014GoertzelJournal o…
【nlp】3.6 Tansformer模型构建（编码器与解码器模块耦合）
Tansformer模型构建（编码器与解码器模块耦合） 1. 模型构建介绍2 编码器-解码器结构的代码实现3 Tansformer模型构建过程的代码实现4 小结1. 模型构建介绍
通过上面的小节, 我们已经完成了所有组成部分的实现, 接下来就来实现完整的编码器-解码器结构耦合.
Transformer总体架…
【2023】COMAP美赛数模中的大型语言模型LLM和生成式人工智能工具的使用
COMAP比赛中的大型语言模型和生成式人工智能工具的使用 写在最前面GitHub Copilot工具 说明局限性 团队指南引文和引用说明人工智能使用报告 英文原版 Use of Large Language Models and Generative AI Tools in COMAP ContestslimitationsGuidance for teamsCitation and Refe…
DO LARGE LANGUAGE MODELS KNOW ABOUT FACTS?
本文是LLM系列文章，针对《DO LARGE LANGUAGE MODELS KNOW ABOUT FACTS?》的翻译。 TOC
摘要
大型语言模型（LLM）最近推动了一系列自然语言处理任务的显著性能改进。在预训练和指令调整过程中获得的事实知识可以用于各种下游任务，…
NLP常见任务的分类指标
自然语言处理（NLP）任务的评估指标因任务类型和目标而异。以下是一些常见的 NLP 任务以及相应的评估指标：
1、 文本分类任务：
准确率（Accuracy）：分类正确的样本数量与总样本数量的比例。 精确率…
HMM与LTP词性标注之命名实体识别与HMM
文章目录 知识图谱介绍NLP应用场景知识图谱（Neo4j演示）命名实体识别模型架构讲解HMM与CRFHMM五大要素（两大状态与三大概率）HMM案例分享HMM实体识别应用场景代码实现 知识图谱介绍
NLP应用场景
图谱的本质，就是把自然…
第三章:人工智能深度学习教程-基础神经网络(第二节-ANN 和 BNN 的区别)
在本文中，我们将了解单层感知器及其使用 TensorFlow 库在Python中的实现。神经网络的工作方式与我们的生物神经元的工作方式相同。 生物神经元的结构
生物神经元具有三个基本功能 接收外部信号。 处理信号并增强是否需要发送信息。 将信号传递给目标细胞&#x…
word2vec两种优化方式的联系和区别
总结不易，请大力点赞，感谢
上一个文章，Word2vec-负采样/霍夫曼之后模型是否等价-绝对干货是字节的面试真题，建议朋友们多看几遍，有问题及时沟通。
私下有几个朋友看完之后还是有点懵，又问了一下具体细节。…
释放搜索潜力：基于ES(ElasticSearch)打造高效的语义搜索系统，让信息尽在掌握[1.安装部署篇]，支持Linux/Windows部署安装
搜索推荐系统专栏简介：搜索推荐全流程讲解（召回粗排精排重排混排）、系统架构、常见问题、算法项目实战总结、技术细节以及项目实战（含码源） 专栏详细介绍：搜索推荐系统专栏简介：搜索推荐全流程讲解（召回粗排精排重排混排）、系统架构、常见问题、算法项目实战总结、技术…
通过对多个思维链进行元推理来回答问题11.8
通过对多个思维链进行元推理来回答问题 摘要1 引言2 背景3 方法3.1 生成推理链3.2 对推理链进行元推理 4 实验4.1 实验设置4.1.1 数据集4.1.2 方法 摘要
现代的多跳问题回答（QA）系统通常将问题分解为一系列推理步骤，称为思维链（C…
中英双语大模型ChatGLM论文阅读笔记
论文传送门： [1] GLM: General Language Model Pretraining with Autoregressive Blank Infilling [2] Glm-130b: An open bilingual pre-trained model Github链接： THUDM/ChatGLM-6B 目录 笔记Abstract 框架总结1. 模型架构2. 预训练设置3. 训练稳定性…
NLP学习笔记：使用 Python 进行NLTK
一、说明 本文和接下来的几篇文章将介绍 Python NLTK 库。NLTK — 自然语言工具包 — NLTK 是一个强大的开源库，用于 NLP 的研究和开发。它内置了 50 多个文本语料库和词汇资源。它支持文本标记化、词性标记、词干提取、词形还原、命名实体提取、分割、分类、语义推…
![【NLP】特征提取: 广泛指南和 3 个操作教程 [Python、CNN、BERT]](https://img-blog.csdnimg.cn/img_convert/7d4a81ef947b615bdc05f5a4d4087c34.jpeg)
【NLP】特征提取: 广泛指南和 3 个操作教程 [Python、CNN、BERT]
什么是机器学习中的特征提取？
特征提取是数据分析和机器学习中的基本概念，是将原始数据转换为更适合分析或建模的格式过程中的关键步骤。特征，也称为变量或属性，是我们用来进行预测、对对象进行分类或从数据中获取见解的数据点的…
第四章:人工智能深度学习教程-激活函数(第三节-Pytorch 中的激活函数)
在本文中，我们将了解 PyTorch 激活函数。
目录
什么是激活函数以及为什么使用它们？
Pytorch 激活函数的类型
ReLU 激活函数：
Python3
Leaky ReLU 激活函数：
Python3
S 形激活函数：
Python3
Tanh 激活函数&am…
语音识别与自然语言处理（NLP）：技术前沿与未来趋势
语音识别与自然语言处理（NLP）：技术前沿与未来趋势 随着科技的快速发展，语音识别与自然语言处理（NLP）技术逐渐成为人工智能领域的研究热点。这两项技术的结合，使得机器能够更好地理解和处理人类语…
Transforme原理--全局解读
文章目录 作用全局解读 作用
Transformer最初设计用于处理序列数据，特别在NLP(自然语言处理)领域取得了巨大成功
全局解读
Transformer来源于谷歌的一篇经典论文Attention is All you Need
在此使用Transformer在机器翻译中的运用来讲解Transformer。
其中Tran…
使用 Python 进行自然语言处理第 5 部分：文本分类
一、说明 关于文本分类，文章已经很多，本文这里有实操代码，明确而清晰地表述这种过程，是实战工程师所可以参照和依赖的案例版本。 本文是 2023 年 1 月的 WomenWhoCode 数据科学跟踪活动提供的会议系列文章中的一篇。 之前的文章在…
如何基于gensim和Sklearn实现文本矢量化
大家利用机器学习或深度学习开展文本分类或关联性分析之前，由于计算机只能分析数值型数据，而人类所熟悉的自然语言文字，机器学习算法是一窍不通的，因此需要将大类的文本及前后关系进行设计，并将其转换为数值化表示。一…
【语言模型】快速了解大模型中的13个重要概念
快速了解大模型中的13个重要概念 1. 自回归语言模型2. 自编码语言模型3. 排列语言模型4. CLIP5. DreamBooth6. LoRA7. 图像超分辨率8. TimeGrad9.Diffusion-LM10.多模态11.向量数据库12.检索增强生成（RAG）13. AI for Science13.1 SMCDiff13.2 CDVAE 预训…
【NLP】大型语言模型，ALBERT — 用于自监督学习的 Lite BERT
🔎大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流🔎 📝个人主页－Sonhhxg_柒的博客_CSDN博客 📃 🎁欢迎各位→点赞…
NEFTune: 通过简单的噪声提升指令精调效果
NEFTune指的是Noise Embedding Finetuning（噪声嵌入精调），提出自论文：NEFTune: NOISY EMBEDDINGS IMPROVE INSTRUCTION FINETUNING。
NEFTune方法的原理仅使用一句话就可以描述清楚：在finetune过程的词向量中引入一些…
English：small classified word（continuously update）
Distant family members(远亲)
grandparents (外)祖父母 grandpa grandma grandchildren (外)孙女 aunt 姑姑 / 婶婶 / 姨 / 舅妈 uncle 叔叔 / 姑父 / 姨父/ 舅舅 niece 侄女 / 外甥女 nephew 侄子 / 外甥 cousin 堂 / 表兄弟姐妹
Appearance（外貌）
…
GPTS全网刷屏！定制增长速度指数增长
还记的上周OpenAI刚刚举行完开发者大会，在大会上主要公布了三个事情：
新版本的GPT-4 Turbo：更强大、更便宜且支持128K新的助手API：让开发者更轻松地基于GPT构建辅助AI应用平台中新的多模态功能：包括视觉、图像创作&am…
OpenAI临时CEO变更，Mira Murati接任，Sam Altman被辞退
2个小时前，OpenAI 官网宣布，首席技术官Mira Murati临时接任OpenAI CEO，并辞退了CEO Sam Altman。新闻里董事会对辞退的原因只有一个简单说明：
“奥特曼离职之前，董事会进行了审慎审查，得出的结论是&#…
戴姆勒——从豪华私家车到无人驾驶飞机
戴姆勒(DaimlerAG)是梅赛德斯-奔驰和精灵(Smart)汽车的德国母公司。自1926年其前身公司合并为戴姆勒-奔驰公司以来，戴姆勒在生产豪华和消费型汽车、卡车和公共汽车方面有着悠久的历史。
如今，除了以其精密设计的汽车闻名外，该公司还在设计、…
探索亚马逊大语言模型：开启人工智能时代的语言创作新篇章
文章目录 前言一、大语言模型是什么？应用范围 二、Amazon Bedrock总结 前言
想必大家在ChatGPT的突然兴起，大家多多少少都会有各种各样的问题，比如：大语言模型和生成式AI有什么关系呢？大语言模型为什么这么火…
基础模型的自然语言处理能力综述
NLP作为一个领域为基础模型开辟了道路。虽然这些模型在标准基准测试中占据主导地位，但这些模型目前获得的能力与那些将语言描述为人类交流和思维的复杂系统的能力之间存在明显的差距。针对这一点，我们强调语言变异的全部范围（例如，…
NLP中两个词向量间余弦相似度的求解方式
根据ChatGPT生成的答案改的。记在这里。
# 1.通过numpy库计算余弦相似度：
import numpy as np
def cosine_similarity(vector1, vector2):dot_product np.dot(vector1, vector2)norm1 np.linalg.norm(vector1)norm2 np.linalg.norm(vector2)similarity dot_pro…
使用大语言模型 LLM 做文本分析
本文主要分享 传统聚类算法 LLM与嵌入算法 嵌入算法聚类 LLM的其他用法
聚类是一种无监督机器学习技术，旨在根据相似的数据点的特征将其分组在一起。使用聚类成簇，有助于解决各种问题，例如客户细分、异常检测和文本分类等。尽管传统的聚…
集成多元算法，打造高效字面文本相似度计算与匹配搜索解决方案，助力文本匹配冷启动[BM25、词向量、SimHash、Tfidf、SequenceMatcher]
搜索推荐系统专栏简介：搜索推荐全流程讲解（召回粗排精排重排混排）、系统架构、常见问题、算法项目实战总结、技术细节以及项目实战（含码源） 专栏详细介绍：搜索推荐系统专栏简介：搜索推荐全流程讲解（召回粗排精排重排混排）、系统架构、常见问题、算法项目实战总结、技术…
传统词嵌入方法的千层套路
诸神缄默不语-个人CSDN博文目录
在自然语言处理（NLP）领域，词嵌入是一种将词语转换为数值形式的方法，使计算机能够理解和处理语言数据。 词嵌入word embedding也叫文本向量化/文本表征。 本文将介绍几种流行的传统词嵌入方法。 文…
激发创新，助力研究：CogVLM，强大且开源的视觉语言模型亮相
项目设计集合（人工智能方向）：助力新人快速实战掌握技能、自主完成项目设计升级，提升自身的硬实力（不仅限NLP、知识图谱、计算机视觉等领域）：汇总有意义的项目设计集合，助力新人快速实…
自然语言处理---RNN经典案例之使用seq2seq实现英译法
1 seq2seq介绍
1.1 seq2seq模型架构 seq2seq模型架构分析： seq2seq模型架构，包括两部分分别是encoder(编码器)和decoder(解码器)，编码器和解码器的内部实现都使用了GRU模型，这里它要完成的是一个中文到英文的翻译：欢迎…
Elasticsearch：什么是自然语言处理（NLP）？
自然语言处理定义
自然语言处理 (natural language processing - NLP) 是人工智能 (AI) 的一种形式，专注于计算机和人们使用人类语言进行交互的方式。 NLP 技术帮助计算机使用我们的自然交流模式（语音和书面文本）来分析、理解和响应我们。 自…
自然语言处理常用方法和评价指标
常用方法
文本分类：如情感分析、主题标签分类。使用方法如朴素贝叶斯、支持向量机、神经网络等。信息提取：从文本中提取结构化信息，如命名实体识别（NER）、关系提取。语义分析：理解文本的含义，包…
解析大型语言模型的训练、微调和推理的运行时性能
背景
这篇论文是截至目前为数不多的介绍大模型训练配套环境比对的论文，对于想要入门大模型训练同学是个不错的入门资料。比较了不同尺寸模型（比较常用的7、13、70b），在不同型号gpu、训练框架、推理框架数据。结合自己实际工作需要…
主流开源大语言模型的微调方法
文章目录 模型ChatGLM2网址原生支持微调方式 ChatGLM3网址原生支持微调方式 Baichuan 2网址原生支持微调方式 Qwen网址原生支持微调方式 框架FireflyEfficient-Tuning-LLMsSuperAdapters 模型
ChatGLM2
网址
https://github.com/thudm/chatglm2-6b
原生支持微调方式
https…
LL(1)语法分析程序设计与实现
制作一个简单的C语言词法分析程序_用c语言编写词法分析程序-CSDN博客文章浏览阅读322次。C语言的程序中，有很单词多符号和保留字。一些单词符号还有对应的左线性文法。所以我们需要先做出一个单词字符表，给出对应的识别码，然后跟据对应的表格…
【AI视野·今日NLP 自然语言处理论文速览 第四十三期】Thu, 28 Sep 2023
AI视野今日CS.NLP 自然语言处理论文速览 Thu, 28 Sep 2023 Totally 38 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Cross-Modal Multi-Tasking for Speech-to-Text Translation via Hard Parameter Sharing Authors Brian Yan,…
信息压缩模型在自然语言处理中的应用和探讨
信息压缩模型在自然语言处理中的应用和探讨 摘要:正文:结论:附录：摘要:
随着人工智能和深度学习的发展，自然语言处理(NLP)在信息处理中的角色变得越来越重要。然而，海量的自然语言数据为信息处理带来了挑战——更多的信息通常意味着更高的处理成本，并可能导致效率降低。为…
【自然语言处理】正向最大匹配算法（FMM），反向最大匹配算法（BMM）和双向最大匹配算法（BM）原理及实现
目录
一，正向最大匹配算法（FMM） 二，反向最大匹配算法（RMM) 一，正向最大匹配算法（FMM） 正向最大匹配分词（Forward maximum matching segmentation）通常简称为…
大语言模型——BERT和GPT的那些事儿
前言
自然语言处理是人工智能的一个分支。在自然语言处理领域，有两个相当著名的大语言模型——BERT和GPT。两个模型是同一年提出的，那一年BERT以不可抵挡之势，让整个人工智能届为之震动。据说当年BERT的影响力是GPT的十倍以上。而现在&#…
PubMedBERT:生物医学自然语言处理领域的特定预训练模型
今年大语言模型的快速发展导致像BERT这样的模型都可以称作“小”模型了。Kaggle LLM比赛LLM Science Exam 的第四名就只用了deberta，这可以说是一个非常好的成绩了。所以说在特定的领域或者需求中，大语言模型并不一定就是最优的解决方案，“小…
使用大型语言模型进行文本摘要
路易斯费尔南多托雷斯 📝 Text Summarization with Large Language Models。通过单击链接，您将能够逐步阅读完整的过程，并与图进行交互。谢谢你！ 一、介绍 2022 年 11 月 30 日，标志着机器学习历史上的重要篇章。就在这…
文本分析：NLP 魔法！
一、说明 这是一个关于 NLP 和分类项目的博客。NLP 是自然语言处理，目前需求量很大。让我们了解如何利用 NLP。我们将通过编码来理解流程和概念。我将在本博客中介绍 BagOfWords 和 n-gram 以及朴素贝叶斯分类模型。这个博客的独特之处（这使得它很长&…
LLM | 一文了解大语言模型中的参数高效微调(PEFT)
Parameter Efficient Fine Tuning(PEFT)也就是参数高效微调，是一种用于微调大型语言模型 （LLM） 的方法，与传统方法相比，它有效地降低了计算和内存需求。PEFT仅对模型参数的一小部分进行微调，同时冻结大部分…
数据挖掘实战-基于word2vec的短文本情感分析
🤵♂️ 个人主页：艾派森的个人主页 ✍🏻作者简介：Python学习者 🐋 希望大家多多支持，我们一起进步！😄 如果文章对你有帮助的话， 欢迎评论 💬点赞Ǵ…
自然语言处理22-基于本地知识库的快速问答系统，利用大模型的中文训练集为知识库
大家好，我是微学AI，今天给大家介绍一下自然语言处理22-基于本地知识库的快速问答系统，利用大模型的中文训练集为知识库。我们的快速问答系统是基于本地知识库和大模型的最新技术，它利用了经过训练的中文大模型，该模型使用了包括alpaca_gpt4_data的开源数据集。
一、本地…
自然语言处理（NLP）技术应用示例
以下是一些自然语言处理（NLP）技术及其应用的例子： 语音识别：通过NLP技术，计算机可以识别语音并将其转换为文本，如语音识别软件Siri、Alexa和Google Assistant等。 文本分类：NLP技术可用于对文本…
【EI会议征稿中】#先投稿，先送审#第三届网络安全、人工智能与数字经济国际学术会议（CSAIDE 2024）
#先投稿，先送审#
第三届网络安全、人工智能与数字经济国际学术会议（CSAIDE 2024）
2024 3rd International Conference on Cyber Security, Artificial Intelligence and Digital Economy 2024年3月1日-3日 | 中国南京 会议官网：…
【AI视野·今日NLP 自然语言处理论文速览 第七十五期】Thu, 11 Jan 2024
AI视野今日CS.NLP 自然语言处理论文速览 Thu, 11 Jan 2024 Totally 36 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
Leveraging Print Debugging to Improve Code Generation in Large Language Models Authors Xueyu Hu, Kun K…
语言模型文本处理基石：Tokenizer简明概述
编者按：近年来，人工智能技术飞速发展，尤其是大型语言模型的问世，让 AI 写作、聊天等能力有了质的飞跃。如何更好地理解和利用这些生成式 AI，成为许多开发者和用户关心的问题。 今天，我们推出的这篇文章有助…
LangChain的函数，工具和代理(五)：Tools Routing
关于langchain的函数、工具、代理系列的博客我之前已经写了四篇，还没有看过的朋友请先看一下，这样便于对后续博客内容的理解：
LangChain的函数，工具和代理(一)：OpenAI的函数调用
LangChain的函数，工具和代…
GPT等大语言模型是典型的人机环境交互、协同系统
GPT等大语言模型是一种典型的人机环境交互、协同系统，同时也是一种基于Transformer模型的自然语言处理（NLP）模型，使用了大规模的无监督预训练和有监督微调的方法进行训练。通过预训练和微调的方式来生成文本。GPT能够根据输入的文…
【ChatGLM3】第三代大语言模型多GPU部署指南
关于ChatGLM3
ChatGLM3是智谱AI与清华大学KEG实验室联合发布的新一代对话预训练模型。在第二代ChatGLM的基础之上，
更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、…
MetaAI发布Seamless：两秒内实现跨语言同声传译
在当今日益互联的世界中，语言差异常常成为沟通的障碍。MetaAI最新发布的语音翻译大模型Seamless，正是为打破这一障碍而生。Seamless不仅提供流畅、高效的多语言翻译功能，更在保留说话人韵律和风格方面取得突破，是AI同声传译领域的…
LLM大语言模型（二）：Streamlit 无需前端经验也能画web页面
目录
问题
Streamlit是什么？
怎样用Streamlit画一个LLM的web页面呢？
文本输出
页面布局
滑动条
按钮
对话框
输入框
总结 问题
假如你是一位后端开发，没有任何的web开发经验，那如何去实现一个LLM的对话交互页面呢&…
开源 LLM 微调训练指南：如何打造属于自己的 LLM 模型
一、介绍
今天我们来聊一聊关于LLM的微调训练，LLM应该算是目前当之无愧的最有影响力的AI技术。尽管它只是一个语言模型，但它具备理解和生成人类语言的能力，非常厉害！它可以革新各个行业，包括自然语言处理、机器翻译、…
NLP论文阅读记录 - AAAI-23 | 01 Cogito Ergo Summ：通过语义解析图和一致性奖励对生物医学论文进行抽象总结
文章目录 前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献 二.相关工作2.1抽象概括2.2图增强摘要2.3 抽象概括的强化学习 三.本文方法COGITOERGOSUMM 框架3.1 问题陈述3.2 图表构建**事件图****AMR 图****图合并和重新连接**Model文本编码器图编码器解码器…
Text2SQL学习整理（四）将预训练语言模型引入WikiSQL任务
导语
上篇博客：Text2SQL学习整理（三）：SQLNet与TypeSQL模型简要介绍了WikiSQL数据集提出后两个早期的baseline，那时候像BERT之类的预训练语言模型还未在各种NLP任务中广泛应用，因而作者基本都是使用Bi-LSTM…
吴恩达RLHF课程笔记
1.创建偏好数据集
一个prompt输入到LLM后可以有多个回答，对每个回答选择偏好
比如{prompt,answer1,answer2,prefer1}
2.根据这个数据集（偏好数据集），创建reward model，这个model也是一个LLM,并且它是回归模型&#…
Huggingface T5模型代码笔记
0 前言
本博客主要记录如何使用T5模型在自己的Seq2seq模型上进行Fine-tune。
1 文档介绍
本文档介绍来源于Huggingface官方文档，参考T5。
1.1 概述
T5模型是由Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi…
【自然语言处理】用Python从文本中删除个人信息-第二部分
自我介绍 做一个简单介绍，酒架年近48 ，有20多年IT工作经历，目前在一家500强做企业架构．因为工作需要，另外也因为兴趣涉猎比较广，为了自己学习建立了三个博客，分别是【全球IT瞭望】，【…
用通俗易懂的方式讲解大模型：Prompt 提示词在开发中的使用
OpenAI 的 ChatGPT 是一种领先的人工智能模型，它以其出色的语言理解和生成能力，为我们提供了一种全新的与机器交流的方式。但不是每个问题都可以得到令人满意的答案，如果想得到你所要的回答就要构建好你的提示词 Prompt。本文将探讨 Prompt 提…
Jetson Orin安装riva以及llamaspeak，使用 Riva ASR/TTS 与 Llama 进行实时交谈，大语言模型成功运行笔记
NVIDIA 的综合语音 AI 工具包 RIVA 可以处理这种情况。此外，RIVA 可以构建应用程序，在本地设备（如 NVIDIA Jetson）上处理所有这些内容。
RIVA 是一个综合性库，包括：
自动语音识别 （ASR&#x…
初识大数据，一文掌握大数据必备知识文集(6)
🏆作者简介，普修罗双战士，一直追求不断学习和成长，在技术的道路上持续探索和实践。 🏆多年互联网行业从业经验，历任核心研发工程师，项目技术负责人。 🎉欢迎 👍点赞✍评论…
一文掌握Java注解之@SpringBootApplication知识文集(1)
🏆作者简介，普修罗双战士，一直追求不断学习和成长，在技术的道路上持续探索和实践。 🏆多年互联网行业从业经验，历任核心研发工程师，项目技术负责人。 🎉欢迎 👍点赞✍评论…
大语言模型提示工程：引领生成式AI的未来
在当今数字化时代，大语言模型（LLMs）已成为人工智能领域的焦点。在2023 re:Invent大会上，亚马逊云科技Bedrock部门的主要工程师约翰贝克（John Baker）和Anthropic公司的代表尼古拉斯马鲁尔（Nichol…
【人工智能】之深入了解嵌入模型中的 Token：NLP 中的语义之旅(1)
自然语言处理（NLP）领域的发展在很大程度上受到了嵌入模型的推动。嵌入模型通过将文本中的每个 token 转换为向量表示，为计算机理解语言提供了强大的工具。本文将深入研究嵌入模型中的 token，揭示它在 NLP 中的重要性以及在语义表示…
Pytorch详细安装过程
1、安装anaconda
官网（https://www.anaconda.com/products/distribution#Downloads）下载，使用管理员身份运行（不使用似乎也没事）
这里选择Just me（至于为啥，咱也不是很清楚） 更改路…
【报错解决】TypeError: __init__() got an unexpected keyword argument ‘size‘
报错描述
我在使用Doc2vec训练模型时，遇到了这一报错，相应的代码及报错信息如下所示：
#代码model Doc2Vec(x_train, min_count5, window5, sizesize, sample1e-4, negative5,workersmultiprocessing.cpu_count())#报错信息TypeError: __in…
Byte-Pair Encoding（BPE）
Byte-Pair Encoding（简称BPE）是一种在自然语言处理（NLP）中使用的压缩算法，它用一小组子词单元表示大词汇量。它由Sennrich等人于2016年引入，并广泛用于各种NLP任务，如machine translation, text classification, and text generation。BPE的基本思想是通过迭代地合并文本…
使用jieba库进行中文分词和去除停用词
jieba.lcut
jieba.lcut()和jieba.lcut_for_search()是jieba库中的两个分词函数，它们的功能和参数略有不同。
jieba.lcut()方法接受三个参数：需要分词的字符串，是否使用全模式（默认为False）以及是否使用HMM模型&…
主流大语言模型集体曝出训练数据泄露漏洞
内容概要：
安全研究人员发现，黑客可利用新的数据提取攻击方法从当今主流的大语言模型（包括开源和封闭，对齐和未对齐模型）中大规模提取训练数据。当前绝大多数大语言模型的记忆（训练数据）可被恢…
NLP论文阅读记录 - 2021 | RefSum：重构神经总结
文章目录 前言0、论文摘要一、Introduction1.1目标问题1.2相关的尝试1.3本文贡献 二.前提堆叠重新排序 三.本文方法3.1 总结为两阶段学习3.1.1 基础系统3.1.2 元系统 3.2 重构文本摘要3.2.1 重构3.2.2 预训练重构3.2.3 微调重构3.2.4 应用场景3.2.4.1 重构为基础学习者3.2.4.2 …
大数据毕业设计：新闻情感分析系统 舆情分析 NLP 机器学习 爬虫 朴素贝叶斯算法（附源码+论文）✅
毕业设计：2023-2024年计算机专业毕业设计选题汇总（建议收藏）
毕业设计：2023-2024年最新最全计算机专业毕设选题推荐汇总
🍅感兴趣的可以先收藏起来，点赞、关注不迷路，大家在毕设选题ÿ…
NLP_引入注意力机制
文章目录 点积注意力创建两个张量x1和x2计算张量点积， 得到原始权重对原始权重进行归一化求出注意力分布的加权和 缩放点积注意力编码器-解码器注意力定义Attention类重构Decoder类重构Seq2Seq类可视化注意力权重 注意力机制中的 Q、K、V自注意力多头自注意力注意力…
AAAI 2024｜ETH轻量化Transformer最新研究，浅层MLP完全替换注意力模块提升性能
论文题目： Rethinking Attention: Exploring Shallow Feed-Forward Neural Networks as an Alternative to Attention Layers in Transformers 论文链接： https://arxiv.org/abs/2311.10642 代码仓库： GitHub - vulus98/Rethinking-attention…
大型语言模型与知识图谱的完美结合：从LLMs到RAG，探索知识图谱构建的全新篇章
最近，使用大型语言模型（LLMs）和知识图谱（KG）开发 RAG（Retrieval Augmented Generation）流程引起了很大的关注。在这篇文章中，我将使用 LlamaIndex 和 NebulaGraph 来构建一个关于费城费利斯队（Philadelphia Phillies）的 RAG 流程。
我们用的是开源的 NebulaGraph 来…
用通俗易懂的方式讲解：如何用大语言模型构建一个知识问答系统
传统搜索系统基于关键字匹配，在面向：游戏攻略、技术图谱、知识库等业务场景时，缺少对用户问题理解和答案二次处理能力。
本文探索使用大语言模型（Large Language Model, LLM），通过其对自然语言理解和生成的…
自然语言处理持续更新
文章目录 自然语言处理列出几种文本特征提取算法RNN基本原理RNN 常见的几种设计模式是怎样的？RNN 为什么会梯度消失？RNN 为什么会梯度爆炸？RNN中为什么要采用tanh而不是ReLu作为激活函数？RNN和CNN对比，RNN对文本的时间…
ToolLearning Eval：CodeFuse发布首个中文Function Call的大语言模型评测基准！
1. 背景
随着ChatGPT等通用大模型的出现，它们可以生成令人惊叹的自然语言，使得机器能够更好地理解和回应人类的需求，但在特定领域的任务上仅靠通用问答是无法满足日常工作需要。随着OpenAI推出了Function Call功能，工具学习能力越…
论文精读：Vary: Scaling up the Vision Vocabulary for Large Vision-Language Models
Vary: Scaling up the Vision Vocabulary for Large Vision-Language Models
Status: Reading Author: Chunrui Han, Haoran Wei, Jianjian Sun, Jinrong Yang, Jinyue Chen, Liang Zhao, Lingyu Kong, Xiangyu Zhang, Zheng Ge Institution: 中国科学院大学, 华中科技大学, 旷…
大模型学习篇(一)：初识大模型
目录
一、大模型的定义
二、大模型的基本原理与特点
三、大模型的分类
四、大模型的相关落地产品
五、总结 一、大模型的定义 大模型是指具有数千万甚至数亿参数的深度学习模型。大模型具有以下特点：
参数规模庞大：大模型的一个关键特征是其包含了…
大语言模型面试问题【持续更新中】
自己在看面经中遇到的一些面试题，结合自己和理解进行了一下整理。 transformer中求和与归一化中“求和”是什么意思？ 求和的意思就是残差层求和，原本的等式为y H(x)转化为y x H(x)，这样做的目的是防止网络层数的加深而造成的梯…
如何用AI提高论文阅读效率？
已经2024年了，该出现一个写论文解读AI Agent了。
大家肯定也在经常刷论文吧。
但真正尝试过用GPT去刷论文、写论文解读的小伙伴，一定深有体验——费劲。其他agents也没有能搞定的，今天我发现了一个超级厉害的写论文解读的agent ，…
2024年1月17日Arxiv热门NLP大模型论文：THE FAISS LIBRARY
Meta革新搜索技术！提出Faiss库引领向量数据库性能飞跃
引言：向量数据库的兴起与发展
随着人工智能应用的迅速增长，需要存储和索引的嵌入向量（embeddings）数量也在急剧增加。嵌入向量是由神经网络生成的向量表示&…
人工智能 | 自然语言处理的发展历程
github：https://github.com/MichaelBeechan CSDN：https://blog.csdn.net/u011344545 自然语言处理的发展 方向一：技术进步1. 基于规则的语法（1950-1990）2. 统计语言处理（1990-2010）3. 基于深度学…
【深度学习每日小知识】NLP 自然语言处理
自然语言处理 (NLP) 是人工智能 (AI) 的一个子领域，处理计算机和人类（自然）语言之间的交互。它涉及使用算法和统计模型使计算机能够理解、解释和生成人类语言。 NLP 是人工智能领域的重要工具，广泛应用于语言翻译、文本分类和聊天…
掌握大语言模型技术: 推理优化
掌握大语言模型技术_推理优化 堆叠 Transformer 层来创建大型模型可以带来更好的准确性、少样本学习能力，甚至在各种语言任务上具有接近人类的涌现能力。 这些基础模型的训练成本很高，并且在推理过程中可能会占用大量内存和计算资源（经常性成…
【Agent论文】大型语言模型智能评估新尺度：AGENTBENCH（Agentbench: Evaluating llms as agents）
大型语言模型智能评估新尺度：AGENTBENCH
论文题目：Agentbench: Evaluating llms as agents
论文链接：https://arxiv.org/pdf/2308.03688
目录：
摘要总览方法 代码环境中的智能Agent评估 操作系统环境：OS数据库环境…
言传身留：NLP技术引领机器翻译革新
NLP技术引领机器翻译革新 一. 引言1.1 背景介绍1.2 目的和重要性1.2.1 NLP技术在机器翻译中的关键作用1.2.2 如何改善搜索引擎、语音助手等领域的应用 二. NLP技术在机器翻译中的应用2.1 文本理解2.1.1 情感分析2.1.2 上下文理解 2.2 语言生成2.2.1 自动生成翻译2.2.2 提高翻译…
自然语言处理：transfomer架构
介绍
transfomer是自然语言处理中的一个重要神经网络结构，算是在传统RNN和LSTM上的一个升级，接下来让我们来看看它有处理语言序列上有哪些特殊之处
模型整体架构
原论文中模型的整体架构如下，接下来我们将层层解析各层的作用和代码实现 该…
【文本到上下文 #6】Word2Vec、GloVe 和 FastText
一、说明 欢迎来到“文本到上下文”博客的第 6 个系列。到目前为止，我们已经探索了自然语言处理的基础知识、应用和挑战。我们深入研究了标记化、文本清理、停用词、词干提取、词形还原、词性标记和命名实体识别。我们的探索包括文本表示技术，如词袋、TF…
nlp文本主题提取算法总结
BERTopic: 简介： 基于预训练的语言模型BERT（Bidirectional Encoder Representations from Transformers）的主题模型，通过将文档嵌入到BERT空间中并进行聚类，实现主题提取。作者： 出自Cherubin等人的研究&am…
调用阿里通义千问大语言模型API-小白新手教程-python
阿里大语言模型通义千问API使用新手教程
最近需要用到大模型，了解到目前国产大模型中，阿里的通义千问有比较详细的SDK文档可进行二次开发,目前通义千问的API文档其实是可以进行精简然后学习的,也就是说，是可以通过简单的API调用在自己网页或…
LLM大语言模型（五）：用streamlit开发LLM应用
目录 背景准备工作切记streamlit开发LLM demo开一个新页面初始化session先渲染历史消息接收用户输入模拟调用LLM 参考 背景
Streamlit是一个开源Python库，可以轻松创建和共享用于机器学习和数据科学的漂亮的自定义web应用程序，用户可以在几分钟内构建一…
自然语言处理发展(自然语言处理发展经历了哪些阶段)
一、历史发展
自然语言处理的研究始于20世纪50年代初期，当时的主要任务是理解自然语言，并将其转换为机器语言。随着计算机硬件和软件的不断发展，NLP也得以逐步发展。在20世纪70年代，Chomsky提出了语法结构理论&a…
【大语言模型】大型语言模型的数据收集和预处理
前言 LLM（大型语言模型）是先进的人工智能模型，使用大量文本数据进行广泛的训练。 通过这种培训，他们学习语言结构和模式，并能够执行各种与语言相关的任务，例如摘要、翻译、情感分析等。 由于LLM具有执行以前机器难以完成的自然语言任务的卓越能力，近年来LLM受到了广泛关…
Anything本地知识库问答系统：基于检索增强生成式应用（RAG）两阶段检索、支持海量数据、跨语种问答
QAnything本地知识库问答系统：基于检索增强生成式应用（RAG）两阶段检索、支持海量数据、跨语种问答
QAnything (Question and Answer based on Anything) 是致力于支持任意格式文件或数据库的本地知识库问答系统，可断网安装使用。…
解决：ModuleNotFoundError: No module named ‘tiktoken’
解决：ModuleNotFoundError: No module named ‘tiktoken’ 文章目录 解决：ModuleNotFoundError: No module named tiktoken背景报错问题报错翻译报错位置代码报错原因解决方法方法一，直接安装方法二，手动下载安装方法三࿰…
#RAG|NLP|Jieba|PDF2WORD# pdf转word-换行问题
文档在生成PDF时,文宁都发生了什么。本文讲解了配置对象、resources对象和content对象的作用,以及字体、宇号、坐标、文本摆放等过程。同时,还解释了为什么PDF转word或转文字都是一行一行的以及为什么页眉页脚的问题会加大识别难度。最后提到了文本的编码和PDF中缺少文档结构标…
大模型视觉理解能力更进一步，谷歌提出全新像素级对齐模型PixelLLM
论文题目：Pixel Aligned Language Models 论文链接：https://arxiv.org/abs/2312.09237 项目主页：Pixel Aligned Language Models 近一段时间以来，大型语言模型（LLM）在计算机视觉领域中也取得了巨大的成功&a…
香港科技园公司董事车品觉：探秘大数据背后的大语言模型世界
大数据产业创新服务媒体 ——聚焦数据 改变商业 在数字时代的大舞台上，大数据与大语言模型的交汇如同星辰般璀璨，勾勒出创新之路的奇妙轨迹。这两者的完美契合不仅是科技领域的巨大突破，更是创新之路的重要交汇点。 作为大数据领域的一位先锋…
大白话理解大型语言模型（LLM）：预训练和微调
引言： 在人工智能的世界里，大型语言模型（LLM）已成为一种强大的工具，它们不仅能理解和生成自然语言，还能在各种复杂任务中表现出色。本文将深入探讨这些模型的两个关键阶段：预训练和微调…
开源软件：改变信息时代的革新力量
开源软件：改变信息时代的革新力量
在这个信息爆炸的时代那么，开源软件究竟带来了哪些影响呢？让我们一起来探讨一下。
开源软件降低软件开发的成本
首先，开源软件降低了软件开发的成本。传统软件开发需要投入大量的人力、物力和…
MiniCPM：揭示端侧大语言模型的无限潜力
技术博客链接：
🔗https://shengdinghu.notion.site/MiniCPM
➤ Github地址：
🔗https://github.com/OpenBMB/MiniCPM
➤ Hugging Face地址：
🔗https://huggingface.co/openbmb/MiniCPM-2B-sft-bf16
1 …
LLM（大语言模型）——大模型简介
目录
概述
发展历程
大语言模型的概念
LLM的应用和影响
大模型的能力、特点
大模型的能力
涌现能力（energent abilities）
作为基座模型支持多元应用的能力
支持对话作为统一入口的能力
大模型的特点
常见大模型
闭源LLM（未公开源…
LLMs之Llama2 70B：《Self-Rewarding Language Models自我奖励语言模型》翻译与解读
LLMs之Llama2 70B：《Self-Rewarding Language Models自我奖励语言模型》翻译与解读 目录
《Self-Rewarding Language Models》翻译与解读
Abstract
5 Conclusion结论
6 Limitations限制 《Self-Rewarding Language Models》翻译与解读 地址 文章地址࿱…
【EI会议征稿通知】第三届信号处理与通信安全国际学术会议（ICSPCS 2024）
第三届信号处理与通信安全国际学术会议（ICSPCS 2024）
2024 3rd International Conference on Signal Processing and Communication Security 信号处理和通信安全是现代信息技术应用的重要领域，近年来这两个领域的研究相互交叉促进…
推荐一款开源的跨平台划词翻译和OCR翻译软件：Pot
Pot简介
一款开源的跨平台划词翻译和OCR翻译软件 下载安装指南 根据你的机器型号下载对应版本，下载完成后双击安装即可。 使用教程
Pot具体功能如下：
划词翻译输入翻译外部调用鼠标选中需要翻译的文本，按下设置的划词翻译快捷键即可按下输…
自然语言处理（NLP）——使用Rasa创建聊天机器人
1 基本概念
1.1 自然语言处理的分类 IR-BOT：检索型问答系统 Task-bot：任务型对话系统 Chitchat-bot:闲聊系统
1.2 任务型对话Task-Bot:task-oriented bot 这张图展示了一个语音对话系统（或聊天机器人）的基本组成部分和它们之间的…
基于albert的汽车评论情感分析【含代码】
汽车评论情感分析 汽车评论情感数据集代码加载库与参数设置数据集的读取超参数设置与数据集的构建模型的训练与验证 汽车评论情感数据集
链接：https://pan.baidu.com/s/1K5TWrXbXBRXkCUpMbZq2XA 提取码：9mt9
代码
加载库与参数设置
首先先把一些基础…
GPT-4模型中的token和Tokenization概念介绍
Token从字面意思上看是游戏代币，用在深度学习中的自然语言处理领域中时，代表着输入文字序列的“代币化”。那么海量语料中的文字序列，就可以转化为海量的代币，用来训练我们的模型。这样我们就能够理解“用于GPT-4训练的token数量大…
自然语言处理（Natural Language Processing，NLP）解密
专栏集锦，大佬们可以收藏以备不时之需：
Spring Cloud 专栏：http://t.csdnimg.cn/WDmJ9
Python 专栏：http://t.csdnimg.cn/hMwPR
Redis 专栏：http://t.csdnimg.cn/Qq0Xc
TensorFlow 专栏：http://t.csdni…
大模型思维链（CoT prompting）
思维链（Chain of Thought，CoT）
**CoT 提示过程是一种大模型提示方法，它鼓励大语言模型解释其推理过程。**思维链的主要思想是通过向大语言模型展示一些少量的 exapmles，在样例中解释推理过程，大语言模型在…
从CNN ,LSTM 到Transformer的综述
前情提要：文本大量参照了以下的博客，本文创作的初衷是为了分享博主自己的学习和理解。对于刚开始接触NLP的同学来说，可以结合唐宇迪老师的B站视频【【NLP精华版教程】强推！不愧是的最完整的NLP教程和学习路线图从原理构成开始学&a…
大型语言模型基础知识的可视化指南
直观分解复杂人工智能概念的工具和文章汇总 如今，LLM（大型语言模型的缩写）在全世界都很流行。没有一天不在宣布新的语言模型，这加剧了人们对错过人工智能领域的恐惧。然而，许多人仍在为 LLM 的基本概念而苦苦挣扎&…
答问：引论，导论，概论三词有何区别？
本人很长时间以来一直在学习和研究语言文章（尤其是专业性或科学性的，甚至是哲学性的）中的结构，同时也关注了这些名相。以下是个人观点：如果将正文描述的内容作为主要部分（简称“内容”，相当于“…
XTuner 大模型单卡低成本微调实战
安装xtuner
# 如果你是在 InternStudio 平台，则从本地 clone 一个已有 pytorch 2.0.1 的环境：
/root/share/install_conda_env_internlm_base.sh xtuner0.1.9
# 如果你是在其他平台：
conda create --name xtuner0.1.9 python3.10 -y# 激活环…
全量知识系统问题及SmartChat给出的答复 之1
Q1. 一套完整的全量知识系统应该有哪些组成部分？ 一套完整的全量知识系统应该包括以下组成部分：
数据采集：收集、整理、清洗和存储各种数据，包括结构化数据、半结构化数据和非结构化数据等。 数据存储和管理：建立可靠…
全量知识系统问题及SmartChat给出的答复 之4
Q11. 现在，我们进一步完善前端--知识表征。首先前端需要基于一个全面的GUI库，和前面说到的 混沌工程：基于流形 的分形混沌 与自相似性的计算机图像与程序。请考虑 1）这两部分的实现用什么 ？2） 如何封装它们…
为什么是大语言模型？
参考：复旦邱锡鹏：深度剖析 ChatGPT 类大语言模型的关键技术 – 我爱自然语言处理 (52nlp.cn)
随着算力的不断提升，语言模型已经从最初基于概率预测的模型发展到基于 Transformer 架构的预训练语言模型，并逐步走向大模型的时代。 …
Python WikiGPT代码，GPT代码实战，逐行讲解GPT代码，教你完整写完GPT代码，GPT代码模板，一文教你学会写GPT代码
1.GPT基本介绍 在GPT1诞生之前，NLP领域已存在多种任务，比如文本分类、语义相似度，以及问答等，这些任务的共同点在于它们都是有监督学习，且各自维护不同的量级较小的训练语料。OpenAI为了进一步提升这些任务的预测效果&…
AI推介-多模态视觉语言模型VLMs论文速览（arXiv方向）：2024.01.01-2024.01.10
论文目录~ 1.RoboFusion: Towards Robust Multi-Modal 3D obiect Detection via SAM2.Aligned with LLM: a new multi-modal training paradigm for encoding fMRI activity in visual cortex3.3DMIT: 3D Multi-modal Instruction Tuning for Scene Understanding4.Incorporati…
NLP - 神经网络与反向传播
使用神经网络进行命名实体识别（二值词窗分类）
根据上下文窗口 建立词向量 通过一个神经网络层，通过一个逻辑分类器，得到这个概率是属于特定实体词的预测概率。 另一个分类器来比较说明 这个词是哪个实体类型（比较概率…
大语言模型(LLM)技术名词表(一)
LLMs on a Phone：指在手机设备上运行的大型语言模型。 Scalable Personal AI：指用户可以在个人设备上对AI模型进行微调的技术。 Responsible Release：发布AI模型时考虑社会、法律和伦理影响的做法。 Multimodality：AI模型能处理…
论文笔记：SQLPrompt: In-Context Text-to-SQL with Minimal Labeled Data
导语
本文提出了SQLPrompt，通过创新的Prompt设计、基于执行一致性的解码策略，以及混合不同格式的Prompt和不同LLMs输出的方式，提高了LLM在Few-shot In-context Learning下的能力。
会议：EMNLP 2023 Findings （Short&…
小语言模型（SLM）介绍
大型语言模型（LLM），如GPT、Claude等的出现，证明了它们是人工智能领域的一项变革性步伐，彻底革新了机器学习模型的强大性质，并在改变AI生态系统中发挥了重要作用，促使生态系统中的每个成员都必须…
100 个 NLP 面试问题
100 个 NLP 面试问题
一、 说明 对于技术磨练中，其中一项很酷的技能培训是提问。不知道答案并没有多大的错;错就错在不谷歌这些疑问。本篇就是在面试之前，您将此文档复制给自己，做一个系统的模拟实战。
二、经典NLP问题（共8题&a…
在本地运行大型语言模型 (LLM) 的六种方法（2024 年 1 月）
一、说明 （开放）本地大型语言模型（LLM），特别是在 Meta 发布LLaMA和后Llama 2，变得越来越好，并且被越来越广泛地采用。 在本文中，我想演示在本地（即在您的计算机上&#x…
自然语言处理实验2 字符级RNN分类实验
实验2 字符级RNN分类实验 必做题： （1）数据准备：academy_titles.txt为“考硕考博”板块的帖子标题，job_titles.txt为“招聘信息”板块的帖子标题，将上述两个txt进行划分，其中训练集为70%…
昆仑万维发布天工 2.0 大语言模型及AI助手App；AI成功破解2000年前碳化古卷轴
🦉 AI新闻
🚀 昆仑万维发布天工 2.0 大语言模型及AI助手App
摘要：昆仑万维近日推出了新版MoE大语言模型“天工 2.0”和相应的“天工 AI 智能助手”App，宣称为国内首个面向C端用户免费的基于MoE架构的千亿级参数大模型应用。天工…
自然语言处理（NLP）—— 基本概念
自然语言处理（Natural Language Processing，简称NLP）是人工智能和语言学领域的一个分支，它涉及到计算机和人类（自然）语言之间的相互作用。它的主要目标是让计算机能够理解、解释和生成人类语言的数据。NLP结…
小周带你读论文之语言模型的进阶Scaling Laws 幂律，（参数/数据量/算力的最优解）
1,2,3上链接：2001.08361.pdf (arxiv.org) 幂律：所谓幂律，是说节点具有的连线数和这样的节点数目乘积是一个定值，也就是几何平均是定值，比如有10000个连线的大节点有10个，有1000个连线的中节点有100个，100个连线的小节点有1000个……，在对数坐标上画出来会得到一条斜向下…
Cohere For AI 推出了 Aya，这是一款覆盖超过 100 种语言的大型语言模型（LLM）
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…
书生·浦语大模型第四课作业
基础作业：
构建数据集，使用 XTuner 微调 InternLM-Chat-7B 模型, 让模型学习到它是你的智能小助手，效果如下图所示，本作业训练出来的模型的输出需要将不要葱姜蒜大佬替换成自己名字或昵称！
1.安装
# 如果你是在 Int…
LLM(2)之指令提示词(Prompt)基础教学
LLM(2)之指令提示词
Author：Once Day Date：2024年2月15日
全系列专栏请查看:LLM实践成长_Once_day的博客-CSDN博客
参考文章：
中文完整版全9集ChatGPT提示工程师｜AI大神吴恩达教你写提示词ChatGPT Shortcut - 简单易用的 Chat…
【论文精读】BERT
摘要 以往的预训练语言表示应用于下游任务时的策略有基于特征和微调两种。其中基于特征的方法如ELMo使用基于上下文的预训练词嵌入拼接特定于任务的架构；基于微调的方法如GPT使用未标记的文本进行预训练，并针对有监督的下游任务进行微调。 但上述两种策略…
小程序API能力集成指南——路由API汇总
ty.navigateBack
关闭当前页面，返回上一页面或多级页面 需引入MiniKit，且在>2.0.0版本才可使用 参数
Object object
属性类型默认值必填说明deltanumber否返回的页面数，如果 delta 大于现有页面数，则返回到首页completefunc…
论文精读--word2vec
word2vec从大量文本语料中以无监督方式学习语义知识，是用来生成词向量的工具
把文本分散嵌入到另一个离散空间，称作分布式表示，又称为词嵌入（word embedding）或词向量
Abstract We propose two novel model architec…
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.02.05-2024.02.10
相关LLMs论文大多都是应用型文章，少部分是优化prompt/参数量级等等… 有一些应用文还是值得参考的，当工作面临一个新的场景，可以学习下他人是如何结合LLMs与实际应用中的链接。
LLMs论文速览：2024.02.05-2024.02.10： …
大型语言模型的语义搜索(一)：关键词搜索
关键词搜索(Keyword Search)是文本搜索种一种常用的技术，很多知名的应用app比如Spotify、YouTube 或 Google map等都会使用关键词搜索的算法来实现用户的搜索任务，关键词搜索是构建搜索系统最常用的方法，最常用的搜索算法是Okapi BM25&#x…
CP04大语言模型ChatGLM3-6B特性代码解读（2）
CP04大语言模型ChatGLM3-6B特性代码解读（2） 文章目录 CP04大语言模型ChatGLM3-6B特性代码解读（2）构建对话demo_chat.py定义client对象与LLM进行对话 构建工具调用demo_tool.py定义client对象定义工具调用提示词定义main࿰…
关于大语言模型LLM相关的数据集、预训练模型、提示词、微调的文心一言问答
文章目录 关于大语言模型LLM相关的数据集、预训练模型、提示词、微调的文心一言问答先总结一下Q：LLM模型预训练前与提示词关系，LLM模型预训练后与提示词关系Q：预训练用的数据集与提示词有什么异同Q：为什么我看到的数据集结构和提示…
LLM （Large language model）的指标参数
1. 背景介绍
我们训练大模型的时候，或者我们用RAG的时候，不知道我们的算法，或者我们的提示，或者我们的本地知识库是否已经整理得符合要求了。又或我们需要一个指标去评估我们目前的所有围绕大模型，向量数据库或外挂知…
大语言模型LangChain + ChatGLM3-6B的组合集成：工具调用+提示词解读
文章目录 大语言模型LangChain ChatGLM3-6B的组合集成：工具调用提示词解读官方给出的提示词模板解读注解：1. 模板描述2. 工具调用规范3. 问题处理流程4. 最终响应5. 历史记录6. 实际应用举例 大语言模型LangChain ChatGLM3-6B的组合集成：工…
Uncertainty-Aware Mean Teacher（UA-MT）
Uncertainty-Aware Mean Teacher 0 FQA:1 UA-MT1.1 Introduction:1.2 semi-supervised segmentation1.3 Uncertainty-Aware Mean Teacher Framework 参考： 0 FQA:
Q1: 不确定感知是什么意思？不确定信息是啥？Q2：这篇文章的精妙的点…
Self-attention与Word2Vec
Self-attention（自注意力）和 Word2Vec 是两种不同的词嵌入技术，用于将单词映射到低维向量空间。它们之间的区别： Word2Vec： Word2Vec 是一种传统的词嵌入（word embedding）方法，旨在为…
Text-to-SQL任务中的思维链（Chain-of-thought）探索
导语
在探索LLM在解决Text-to-SQL任务中的潜能时，本文提出了一种创新的‘问题分解’Prompt格式，结合每个子问题的表列信息，实现了与顶尖微调模型（RASATPICARD）相媲美的性能。
会议：EMNLP 2023链接&#x…
使用大型语言模型进行实体提取
原文地址：Using A Large Language Model For Entity Extraction LLM 能否比传统 NLP 方法更好地提取实体？ 2022 年 7 月 12 日 Large Language Models for Generative Information Extraction: A Survey 实体简介 使用Co:here大型语言模型。 实体可以被视…
轻量级模型，重量级性能，TinyLlama、LiteLlama小模型火起来了，针对特定领域较小的语言模型是否与较大的模型同样有效?
轻量级模型，重量级性能，TinyLlama、LiteLlama小模型火起来了，针对特定领域较小的语言模型是否与较大的模型同样有效? 当大家都在研究大模型（LLM）参数规模达到百亿甚至千亿级别的同时，小巧且兼具高性能的小…
全量知识系统问题及SmartChat给出的答复 之5
Q15. 支持前端（知识表征）的自然语言能力 需要一个 元语言注释工具 以及两个库（叙词库和语料库）和主题词表。请 1)设计 两个库和主题词表的结构 ，2）分别设计它们的接口，3）通过调用它们…
大语言模型可信性浅谈
大语言模型可信性的研究
摘要： 随着人工智能技术的快速发展，大语言模型在自然语言处理领域的应用越来越广泛。然而，大语言模型的可信性一直是人们关注的焦点。本文将从多个维度探讨大语言模型的可信性问题，包括模型性能、数据质量…
顶会ICLR2024论文Time-LLM：基于大语言模型的时间序列预测
文青松 松鼠AI首席科学家、AI研究院负责人
美国佐治亚理工学院(Georgia Tech)电子与计算机工程博士，人工智能、决策智能和信号处理方向专家，在松鼠AI、阿里、Marvell等公司超10年的技术和管理经验，近100篇文章发表在人工智能相关的顶会与顶刊…
自然语言处理之语言模型（LM）：一段Pytorch的LSTM模型对自然语言处理的实际代码
当处理自然语言处理任务时，可以使用PyTorch来实现LSTM模型。下面是一个简单的示例代码，用于情感分类任务。
首先，导入所需的库：
import torch
import torch.nn as nn
import torch.optim as optim
from torchtext.data import F…
AI推介-多模态视觉语言模型VLMs论文速览（arXiv方向）：2024.01.10-2024.01.15
论文目录~ 1.Concept-Guided Prompt Learning for Generalization in Vision-Language Models2.WisdoM: Improving Multimodal Sentiment Analysis by Fusing Contextual World Knowledge3.Prometheus-Vision: Vision-Language Model as a Judge for Fine-Grained Evaluation4.…
自然语言处理之语言模型（LM）介绍
自然语言处理（Natural Language Processing，NLP）是人工智能（Artificial Intelligence，AI）的一个重要分支，它旨在使计算机能够理解、解释和生成人类语言。在自然语言处理中，语言模型&…
【AI视野·今日NLP 自然语言处理论文速览 第八十三期】Wed, 6 Mar 2024
AI视野今日CS.NLP 自然语言处理论文速览 Wed, 6 Mar 2024 Totally 74 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
MAGID: An Automated Pipeline for Generating Synthetic Multi-modal Datasets Authors Hossein Aboutalebi, …
Prompt Engineering、Finetune、RAG：OpenAI LLM 应用最佳实践
一、背景
本文介绍了 2023 年 11 月 OpenAI DevDay 中的一个演讲，演讲者为 John Allard 和 Colin Jarvis。演讲中，作者对 LLM 应用落地过程中遇到的问题和相关改进方案进行了总结。虽然其中用到的都是已知的技术，但是进行了很好的总结和串联…
LLM春招，搜广推，nlp(2)
Encoder和Decoder怎么交互的
decoder里面的K，V输入用的是encoder的输出，并不是共享了K, V参数，decoder每层的参数都是独立的。Decoder每层是有两块Attention的：一块是正常的Self-Attention，QKV的输入都来自Decoder上一…
自然语言处理: 第十三章P-tuing系列之P-tuning V1
项目地址: P-Tuning
论文地址: [2103.10385] GPT Understands, Too (arxiv.org) 理论基础
正如果上一节介绍LoRA(自然语言处理: 第十二章LoRA解读_lora自然英语处理-CSDN博客)一样,本次介绍的在21年由清华团推提出来的 P-Tuning V1系列也属于PEFT(参数高效微调系列)里的一种&…
官宣！百度智能云千帆产品发布会3月21日北京见！
回望2023大模型狂奔的一年，百度智能云千帆大模型平台无疑是浓墨重彩的一笔。自2023年3月27日正式问世后，百度智能云千帆大模型平台以突飞猛进的速度持续发展。从模型、应用到生态，“千帆”书写着自身在大模型时代的答卷。 作为全球首个一站式…
【AI视野·今日NLP 自然语言处理论文速览 第八十四期】Thu, 7 Mar 2024
AI视野今日CS.NLP 自然语言处理论文速览 Thu, 7 Mar 2024 Totally 52 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers
The Heuristic Core: Understanding Subnetwork Generalization in Pretrained Language Models Authors Adith…
SaulLM-7B: A pioneering Large Language Model for Law
SaulLM-7B: A pioneering Large Language Model for Law 相关链接：arxiv 关键字：Large Language Model、Legal Domain、SaulLM-7B、Instructional Fine-tuning、Legal Corpora 摘要
本文中，我们介绍了SaulLM-7B，这是为法律领域量…
![[nlp入门论文精读] | Transformer](https://img-blog.csdnimg.cn/direct/559a85a143524ae793f96e61e3f1c580.png)
[nlp入门论文精读] | Transformer
写在前面 最近工作从CV转向了NLP，于是空余时间便跟着哔哩哔哩李沐老师的视频学习。其实研一NLP课程讲论文的时候，我们小组就选择了经典的Attention和Bert，但还有很多细节并不完全理解，实际使用时也很困惑。 因此这个系列就来记…
自然语言处理（NLP）—— 生成式模型和判别式模型
生成式模型和判别式模型是机器学习领域两大类模型，它们在自然语言处理、计算机视觉等领域都有广泛的应用。理解这两类模型的区别对于选择正确的模型来解决特定问题非常重要。
1. 生成式模型 (Generative Models) 生成式模型旨在学习数据的联合概率分布\(P(X, Y)\)&…
用大语言模型控制交通信号灯，有效缓解拥堵！
城市交通拥堵是一个全球性的问题，在众多缓解交通拥堵的策略中，提高路口交通信号控制的效率至关重要。传统的基于规则的交通信号控制（TSC）方法，由于其静态的、基于规则的算法，无法完全适应城市交通不断变化的…
千帆AppBuilder开发参考-应用API调用说明
介绍
百度智能云千帆AppBuilder平台提供了AppBuilder-SDK，开发者可使用SDK，快捷的开发功能，提升开发效率。
AppBuilder-SDK提供了完整的AI原生应用开发套件，包括丰富的开发组件和应用示例代码。开发组件包括大模型组件、AI能力组…
Finetuned Multimodal Language Models Are High-Quality Image-Text Data Filters
Finetuned Multimodal Language Models Are High-Quality Image-Text Data Filters 相关链接：arxiv 关键字：Multimodal Language Models、Image-Text Data Filtering、Fine-tuning、Quality Assessment Metrics、Data Quality 摘要： 我们提出…
【适合初学者的LangChain教程】二、LangChain安装
系列文章地址
【适合初学者的LangChain教程】一、LangChain介绍-CSDN博客
安装步骤
1 安装Python环境
这里不介绍Python环境的配置，默认大家是已经安装并配置好Python运行环境的。
2 安装LangChain
pip install langchain
执行以上命令安装LangChain会默认安…
Transformer模型引领NLP革新之路
在不到4 年的时间里，Transformer 模型以其强大的性能和创新的思想，迅速在NLP 社区崭露头角，打破了过去30 年的记录。BERT、T5 和GPT 等模型现在已成为计算机视觉、语音识别、翻译、蛋白质测序、编码等各个领域中新应用的基础构件。因此&#…
Common 7B Language Models Already Possess Strong Math Capabilities
Common 7B Language Models Already Possess Strong Math Capabilities 相关链接：arxiv 关键字：Language Models、Math Capabilities、LLaMA-2 7B、Synthetic Data、SFT Data Scaling 摘要
以前人们认为，通用语言模型展现出的数学能力只有在…
LLM - 大语言模型的自注意力(Self-Attention)机制基础 概述
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://blog.csdn.net/caroline_wendy/article/details/136623432 注意力(Attention)机制是大型语言模型中的一个重要组成部分，帮助模型决定在处理信息时，所应该关注的部…
LLM(大语言模型)常用评测指标-困惑度（Perplexity）
困惑度（Perplexity）
是自然语言处理（NLP）中常用的一种评估语言模型的指标。它衡量的是模型对测试数据的预测能力，即模型对测试集中单词序列出现概率的预测准确度。困惑度越低，表示模型对数据的预测越准确。…
Prompt Learning：人工智能的新篇章
开篇：AI的进化之旅
想象一下，你正在和一位智能助手对话，它不仅理解你的问题，还能提出引导性的问题帮助你更深入地思考。这正是prompt learning的魔力所在——它让机器学习模型变得更加智能和互动。在这篇博客中，我们将…
深度学习_NLP常用库报错问题解决
1、SpaCy
can‘t find model ‘zh_core_web_sm‘. It doesn‘t seem to be a python package or a valid path to a data
或者
can‘t find model ‘en_core_web_sm‘. It doesn‘t seem to be a python package or a valid path to a data 安装最新的版本：
en_…
DRAGIN：利用LLM的即时信息需求进行动态RAG 论文解读
论文地址：https://arxiv.org/pdf/2403.10081.pdf DRAGIN 是一种新型的检索增强生成框架，专门为大型语言模型（LLMs）设计，以满足其在文本生成过程中的实时信息需求。该框架旨在解决传统检索增强生成（RAG）方法在动态性和准确性方面的局限性，特别是在处理复杂、多步骤或长文…
第六十三回 呼延灼月夜赚关胜 宋公明雪天擒索超-大模型BERT、ERNIE、GPT和GLM的前世今生
神行太保戴宗报信，关胜人马直奔梁上泊，请宋江早早收兵，解梁山之难。宋江派了花荣到飞虎峪左边埋伏，林冲到右边埋伏，再叫呼延灼带着凌振，在离城十里附近布置了火炮，然后才令大军撤退。
李成闻达…
LLM大语言模型（八）：ChatGLM3-6B使用的tokenizer模型BAAI/bge-large-zh-v1.5
背景
BGE embedding系列模型是由智源研究院研发的中文版文本表示模型。
可将任意文本映射为低维稠密向量，以用于检索、分类、聚类或语义匹配等任务，并可支持为大模型调用外部知识。
BAAI/BGE embedding系列模型
模型列表
ModelLanguageDescriptionq…
大语言模型微调相关的finetuning、CE Loss、RLHF如何配合工作
文章目录 大语言模型微调相关的finetuning、CE Loss、RLHF如何配合工作概念定义虽然有点啰嗦，但是值得反复强化概念 RAG、Agent、Finetuning之间的关系RAG、Agent、Finetuning各自的技术方法步骤流程示例代码 pytorch 抱抱脸Hugging Face基于预训练模型做微调基于预…
LLM（大语言模型）——Springboot集成文心一言、讯飞星火、通义千问、智谱清言
目录
引言
代码完整地址
入参 出参
Controller
Service
Service实现类 模型Service 入参转换类
文心一言实现类
讯飞星火实现类 通义千问实现类
智谱清言实现类 引言 本文将介绍如何使用Java语言，结合Spring Boot框架，集成国内热门大模型API&am…
使用Python进行自然语言处理（NLP）：NLTK与Spacy的比较【第133篇—NLTK与Spacy】
使用Python进行自然语言处理（NLP）：NLTK与Spacy的比较
自然语言处理（NLP）是人工智能领域的一个重要分支，它涉及到计算机如何理解、解释和生成人类语言。在Python中，有许多库可以用于NLP任务&…
什么是大型语言模型（LLM）？
大型语言模型 (LLM) 是一种能够理解和生成人类语言文本的机器学习模型。它们通过分析大量语言数据集来工作。 一、什么是大型语言模型 (LLM)？
大型语言模型 (LLM) 是一种人工智能 (AI) 程序，它可以识别和生成文本以及完成其他任务。LLM 经过了庞大的数据…
OLLAMA：如何像云端一样运行本地大语言模型
简介：揭开 OLLAMA 本地大语言模型的神秘面纱
您是否曾发现自己被云端语言模型的网络所缠绕，渴望获得更本地化、更具成本效益的解决方案？那么，您的探索到此结束。欢迎来到 OLLAMA 的世界，这个平台将彻底改变我们与大型…
开源中文大语言模型汇总
基于英文模型增量预训练的中文模型
LLama系列：
llama作为开源社区的宠儿，有许多基于它的中文模型，下面列举比较流行的一些模型
Chinese llama/Chinese Alpaca：https://github.com/ymcui/Chinese-LLaMA-AlpacaColossal-LLaMA&am…
Ollama教程——入门：开启本地大型语言模型开发之旅
Ollama教程——入门：开启本地大型语言模型开发之旅 引言安装ollamamacOSWindows预览版LinuxDocker ollama的库和工具ollama-pythonollama-js 快速开始运行模型访问模型库 自定义模型从GGUF导入模型自定义提示 CLI参考创建模型拉取模型删除模型复制模型多行输入多模态…
NLP学习路线总结：从入门到精通
自然语言处理（Natural Language Processing，NLP）是人工智能领域的重要分支，它致力于使计算机能够理解、解释和生成人类语言。NLP技术的应用范围广泛，涵盖了机器翻译、情感分析、语义理解、信息抽取等诸多领域。对于想要…
大语言模型中常见小模型LLM垂直领域应用微调数据集
文章目录 大语言模型中常见小模型LLM垂直领域应用微调数据集网友对于微调的看法本文内容参考、汇总了以下开源LLMAdvertiseGen广告LLM数据数据集结构ChatGLM3-6B对于微调数据结构的定义原始数据预处理代码 通用医学LLM数据集Chinese-medical-dialogue-data原始数据集微调数据格…
【NLP】LLM 和 RAG
在这里，我描述了我在过去几年中关于 RAG 系统如何发展的主要经验。分享 Naive RAG、Advanced RAG 和 Modular RAG 框架之间的区别。总结了高云帆等人发表的一篇出色的RAG 技术调查论文的关键见解。 什么是 RAG 框架？
OpenAI的GPT系列、Meta的LLama系列…
LLM - 大语言模型 基于人类反馈的强化学习(RLHF)
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://blog.csdn.net/caroline_wendy/article/details/137269049 基于人类反馈的强化学习(RLHF，Reinforcement Learning from Human Feedback)，结合 强化学习(RL) 和 人类反馈 来优化模型的性能。这种方法主要包…
《书生·浦语大模型全链路开源开放体系》学习笔记
书生浦语大模型全链路开源开放体系-学习笔记 大模型成为发展通用人工智能的重要途径专用模型通用大模型 书生大模型开源历程InternLM2回归语言建模的本质主要亮点性能全方位提升强大的内生计算能力 从模型到应用典型流程全链条开源开放体系数据数据集获取预训练微调XTuner 评测…
采用大语言模型进行查询重写——Query Rewriting via Large Language Models
文章：Query Rewriting via Large Language Models，https://arxiv.org/abs/2403.09060
摘要
查询重写是在将查询传递给查询优化器之前处理编写不良的查询的最有效技术之一。 手动重写不可扩展，因为它容易出错并且需要深厚的专业知识。 类似地…
【编译原理】清华王生原第三版第二章课后题——部分答案
文章目录 1.相关知识2.答案 1.相关知识
短语:把语法树上的每一个非叶子结点做为根，该子树的所有儿子从左到右排列。 直接短语:短语中由根一步推导就能推出的。 最左直接短语或句柄:直接短语不止一个，排在最左的直接短语。 右句型: 最右推导可以得出的句…
语言模型进化史（上）
由于篇幅原因，本文分为上下两篇，上篇主要讲解语言模型从朴素语言模型到基于神经网络的语言模型，下篇主要讲解现代大语言模型以及基于指令微调的LLM。文章来源是：https://www.numind.ai/blog/what-are-large-language-models 一、语…
自然语言处理NLP概述
大家好，自然语言处理(NLP)是计算机科学领域与人工智能领域中的一个重要方向，其研究能实现人与 计算机之间用自然语言进行有效通信的各种理论和方法。本文将从自然语言处理的本质、原理和应用三个方面，对其进行概述。
一、NLP的本质
NLP是一…
开源模型应用落地-chatglm3-6b模型小试-入门篇（一）
一、前言 刚开始接触AI时，您可能会感到困惑，因为面对众多开源模型的选择，不知道应该选择哪个模型，也不知道如何调用最基本的模型。但是不用担心，我将陪伴您一起逐步入门，解决这些问题。 在信息时代…
glm2大语言模型服务环境搭建
一、模型介绍
ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：
更强大的性能：基于 ChatGLM 初代模型的开发经验&…
本地部署属于自己的大语言模型和图文识别模型
1安装docker
docker官网
安装docker-desktop(自行百度即可)
2.docker 配置：setting->Docker Engine {"builder": {"gc": {"defaultKeepStorage": "20GB","enabled": true}},"debug": false,&quo…
开源模型应用落地-chatglm3-6b模型小试-入门篇（二）
一、前言 刚开始接触AI时，您可能会感到困惑，因为面对众多开源模型的选择，不知道应该选择哪个模型，也不知道如何调用最基本的模型。但是不用担心，我将陪伴您一起逐步入门，解决这些问题。 在信息时代…
阿里云PAI + pytorch大语言模型开发环境简介
文章目录 阿里云PAI pytorch大语言模型开发环境简介PAI-DSW 快速入门1. 安装和配置2. 模型训练2.1 数据集准备2.2 模型训练脚本准备2.3 提交训练作业 3. 部署模型为推理服务4. 调用推理服务 阿里云PAI pytorch大语言模型开发环境简介
PAI-DSW 快速入门
阿里云机器学习PAI&a…
利用Lora调整和部署 LLM
使用 NVIDIA TensorRT-LLM 调整和部署 LoRA LLM 大型语言模型 (LLM) 能够从大量文本中学习并为各种任务和领域生成流畅且连贯的文本，从而彻底改变了自然语言处理 (NLP)。 然而，定制LLM是一项具有挑战性的任务，通常需要完整的培训过程…
克服大型语言模型幻觉使用检索增强生成（RAG）
大型语言模型中的幻觉问题及检索增强生成技术
摘要
大型语言模型(LLM)在语言处理和生成方面带来了革命性的变化，但它们并非完美无缺。LLM可能会产生“幻觉”，即生成不准确的信息。这种现象被称为LLM幻觉，随着LLM的使用范围扩大，…
免费接口调用 招标信息自动抽取|招标信息|招标数据解析接口
一、开源项目介绍
一款多模态AI能力引擎，专注于提供自然语言处理（NLP）、情感分析、实体识别、图像识别与分类、OCR识别和语音识别等接口服务。该平台功能强大，支持本地化部署，并鼓励用户体验和开发者共同完善…
spacy进行简单的自然语言处理的学习
自然语言处理基本概念
概念：自然语言处理，是让机器理解人的语言的过程。 作用：通过使用自然语言处理，机器可以理解人的语言，从而进行语义分析，例如：从一句话中判断喜怒哀乐；从一段文…
中文分词库：jieba的词性对照表
jieba词性对照表
字母词性a形容词ad副形词ag形容词性语素an名形词b区别词c连词d副词dg副词素e叹词f方位词g语素h前接成分i成语j简称略称k后接成分l习用语m数词mq数量词n名词ng名词性语素nr人名ns地名nt机构团体名nz其他专名o拟声词p介词q量词r代词rg代词性语素rr人称代词rz指示…
deepseek-coder模型量化
1 简介
DeepSeek-Coder在多种编程语言和各种基准测试中取得了开源代码模型中最先进的性能。 为尝试在开发板进行部署，首先利用llama.cpp对其进行量化。
2 llama.cpp安装
git clone之后进入文件夹make即可，再将依赖补全pip install -r requirements.tx…
GRACE:梯度引导的可控检索增强基于属性的生成
在本文中，我们提出通过梯度引导的可控检索（GRACE）来增强基于属性的生成，考虑到目标属性（见图1）。具体来说，我们训练一个鉴别器来计算给定上下文的属性分布。我们构建了一个检索库，存…
text-generation-webui大模型部署
1 简介
text-generation-webui是一个挺好用的大模型部署UI，提供了很多便于交互的接口，安装部署好之后将model放置到对应的位置即可在网页访问，若是在服务器部署也可以通过ssh端口转发至公网服务器进行访问。 其中，模型的下载可参…
猫头虎分享已解决Bug || TypeError: Cannot interpret ‘float‘ value as integer.
博主猫头虎的技术世界 🌟 欢迎来到猫头虎的博客 — 探索技术的无限可能！ 专栏链接： 🔗 精选专栏： 《面试题大全》 — 面试准备的宝典！《IDEA开发秘籍》 — 提升你的IDEA技能！《100天精通鸿蒙》 …
自然语言处理: 第十七章RAG的评估技术RAGAS
论文地址：[2309.15217] RAGAS: Automated Evaluation of Retrieval Augmented Generation (arxiv.org)
项目地址: explodinggradients/ragas: Evaluation framework for your Retrieval Augmented Generation (RAG) pipelines (github.com)
上一篇文章主要介绍了R…
自然语言处理：人机交流的桥梁
引言：
自然语言处理（Natural Language Processing，NLP）作为人机交流的桥梁，在当今数字化社会中扮演着至关重要的角色。它不仅是计算机科学和人工智能领域中的一项重要技术，更是将人类语言与计算机智能相结…
Python 自然语言处理库之stanza使用详解
概要
在自然语言处理（NLP）领域，Python Stanza 库是一个备受推崇的工具，它提供了强大的功能和易用的接口，帮助开发者处理文本数据、进行语言分析和构建NLP应用。本文将深入探讨 Stanza 库的特性、用法，并通过丰富的示例代码展示其在实际项目中的应用。 Stanza 简介
Stan…
【NLP笔记】预训练+微调范式之OpenAI Transformer、ELMo、ULM-FiT、Bert..
文章目录 OpenAI TransformerELMoULM-FiTBert基础结构Embedding预训练&微调 【原文链接】：
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 【本文参考链接】
The Illustrated BERT, ELMo, and co. (How NLP Cracked Tra…
容器中的大模型（三）| 利用大语言模型：容器化高效地部署 PDF 解析器实践...
作者：宋文欣，智领云科技联合创始人兼CTO 01 简介 大语言模型（LLMs）正逐渐成为人工智能领域的一颗璀璨明星，它们的强大之处在于能够理解和生成自然语言，为各种应用提供了无限可能。为了让这些模型更好地服务…
LLM RAG系统中消除数据幻觉的几个绝招-OPENAI公司内称的“大招”
前言-什么是数据幻觉？它到底有什么危害呢
我们直接来举例：
我是金银花一区的，附近有什么小学？
此时RAG带出如下信息：
金银花小区一区、二区、三区附近教育资源有：银树大学、建设小学金银花校区、金树高…
【NLP】小结：fasttext模型中的层次softmax策略
一. fasttext介绍 1. fasttext的作用
作为NLP工程领域常用的工具包, fasttext有两大作用:
进行文本分类训练词向量
2. fasttext的优势
在保持较高精度的前提下, 快速的进行训练和预测是fasttext的最大优势。 fasttext有上述优势的原因可以简单总结为以下几点:
fasttext工具…
【Roadmap to Learn LLM】Intro to Large Language Models
by Andrej Karpathy 文章目录 什么是LLM模型训练微调阶段llm的发展方向LLM安全参考资料 什么是LLM
Large Language Model(LLM)就是两个文件，一个是模型参数文件，一个是用于运行模型的代码文件
模型训练
一个压缩的过程，将所有训练数据压缩…
深度学习中的Attention机制
深度学习中的Attention机制 一、Encoder-Decoder框架二、Attention机制(1) Soft Attention模型(2) Attention机制的本质思想(3) Self Attention模型(4) Attention机制的应用 一、Encoder-Decoder框架
Encoder-Decoder框架是一种深度学习领域的研究模式，应用场景异常…
思维线索(Thread of Thought)-ThoT梳理混乱的语境
Thread of Thought Unraveling Chaotic Contexts
大型语言模型（LLMs）在自然语言处理领域开启了一个变革的时代，在文本理解和生成任务上表现出色。然而，当面对混乱的上下文环境（例如，干扰项而不是长的无关上…
人工智能时代的引领者：AI提示工程激发大语言模型的无限潜能
文章目录 一、AI提示工程的概念与定义二、AI提示工程的应用领域三、AI提示工程的技术创新与突破四、AI提示工程的未来发展趋势《AI提示工程实战：从零开始利用提示工程学习应用大语言模型》亮点内容简介作者简介目录 一、AI提示工程的概念与定义
在当今日新月异的科…
论文《Exploring to Prompt for Vision-Language Models》阅读
论文《Exploring to Prompt for Vision-Language Models》阅读 论文概况论文动机（Intro）MethodologyPreliminaryCoOp[CLASS]位置Context 是否跨 class 共享表示和训练 ExperimentsOverall ComparisonDomain GeneralizationContext Length (M) 和 backbon…
【NLP】从变形金刚到Transfomer 01
Transformer是一种非常强大的模型，在自然语言处理（NLP）领域里引起了一场革命。 "从变形金刚到技术革命家，Transformer不再仅是儿时屏幕上的英雄。🤖✨ 在今天的AI领域，它变身成为自然语言处理的超级英…
LLMOps快速入门，轻松开发部署大语言模型
大家好，如今我们能够与ChatGPT进行轻松互动：只需输入提示，按下回车，就能迅速得到回应。然而，这个无缝互动的底层，是一系列复杂而有序的自动执行步骤，即大型语言模型运营（LLMOps&…
自然语言处理——信息熵
理解自然语言处理中的信息熵
本文将从以下六个方面进行阐述: 背景介绍核心概念与联系核心算法原理和具体操作步骤以及数学模型公式详细讲解具体代码实例和详细解释说明附录常见问题与解答1. 背景介绍
在自然语言处理（NLP）的领域，熵是一个至关重要的概念。它不仅帮助我们量…
从理论到实践---实现LLM微调的7个步骤
原文地址：7-steps-to-mastering-large-language-model-fine-tuning
From theory to practice, learn how to enhance your NLP projects with these 7 simple steps.
2024 年 3 月 27 日 在过去的一年半里，自然语言处理（NLP）领域…
大语言模型RAG项目实战
学习完大语言模型落地的关键技术：RAG的相关概念，我们今天来用代码实现一下RAG。
项目实战：基于百度ERNIE SDK 和 LangChain 搭建个人知识库。 1、安装ERNIE Bot
!pip install --upgrade erniebot测试embedding
import erniebot
erniebot.…
开源模型应用落地-qwen1.5-7b-chat-LoRA微调代码拆解
一、前言 本篇文章将解析 QWen1.5 系列模型的微调代码，帮助您理解其中的关键技术要点。通过阅读本文，您将能够更好地掌握这些关键技术，并应用于自己的项目中。 开源模型应用落地-qwen1.5-7b-chat-LoRA微调（二） 二、术语介绍
2.1. LoRA微调 LoRA (Low-Rank Adaptation) 用…
大语言模型LLM《提示词工程指南》学习笔记03
文章目录 大语言模型LLM《提示词工程指南》学习笔记03链式提示思维树检索增强生成自动推理并使用工具自动提示工程师Active-Prompt方向性刺激提示Program-Aided Language ModelsReAct框架Reflexion多模态思维链提示方法基于图的提示大语言模型LLM《提示词工程指南》学习笔记03 …
CLoVe:在对比视觉语言模型中编码组合语言
CLoVe:在对比视觉语言模型中编码组合语言 摘要引言相关工作CLoVe: A Framework to Increase Compositionality in Contrastive VLMsSynthetic CaptionsHard NegativesModel Patching CLoVe: Encoding Compositional Language inContrastive Vision-Language Models 摘要
近年来…
CCL 2024投稿指南
诸神缄默不语-个人CSDN博文目录
因为ACL估计要寄，所以我准备……如果ACL寄了，我就3天火线转投CCL
CCL 2024官网：第二十三届中国计算语言学大会 - CCL 2024 提交网址：CCL 2024 Conference | OpenReview
2024.4.18 截稿 2024.5.1…
【NLP】隐马尔可夫(HMM)与条件随机场(CRF)简介
一. HMM
隐马尔可夫模型（Hidden Markov Model, HMM）是一种用于处理含有隐藏状态的序列数据的统计学习模型。通过建模隐藏状态之间的转移关系以及隐藏状态与观测数据的生成关系，HMM能够在仅观察到部分信息的情况下进行状态推理、概率计算、序…
探索自然语言处理：简单而完整的学习路线指南
引言： 自然语言处理（NLP）作为人工智能和语言学的交汇点，正在彻底改变我们与技术的互动方式。从Siri到Google翻译，NLP技术已成为现代生活的不可或缺的一部分。本文旨在为初学者提供一个简单而全面的NLP学习路径…
docker一键部署GPU版ChatGLM3
一键运行
docker run --gpus all -itd --name chatglm3 -p 81:80 -p 6006:6006 -p 8888:8888 -p 7860:7860 -p 8501:8501 -p 8000:8000 --shm-size32gb registry.cn-hangzhou.aliyuncs.com/cwp-docker/chatglm3-gpu:1.0
进入容器
docker exec -it chatglm3 /bin/bash
cd /…
Octopus V2：设备端super agent的高级语言模型
论文：Octopus v2: On-device language model for super agent论文地址：https://arxiv.org/abs/2404.01744模型主页：https://huggingface.co/NexaAIDev/Octopus-v2
Octopus-V2-2B
Octopus-V2-2B 是一款具有20亿参数的开源先进语言模型&#…
AI推介-多模态视觉语言模型VLMs论文速览（arXiv方向）：2024.03.31-2024.04.05
文章目录~ 1.Know Your Neighbors: Improving Single-View Reconstruction via Spatial Vision-Language Reasoning2.DeViDe: Faceted medical knowledge for improved medical vision-language pre-training3.Is CLIP the main roadblock for fine-grained open-world percept…
Embedding：跨越离散与连续边界——离散数据的连续向量表示及其在深度学习与自然语言处理中的关键角色
Embedding嵌入技术是一种在深度学习、自然语言处理（NLP）、计算机视觉等领域广泛应用的技术，它主要用于将高维、复杂且离散的原始数据（如文本中的词汇、图像中的像素等）映射到一个低维、连续且稠密的向量空间中。这些低…
Data Interpreter: An LLM Agent For Data Science 论文解读
论文地址：https://arxiv.org/abs/2402.18679
Github：MetaGPT: The Multi-Agent Framework 数据解释器（Data Interpreter）是一个基于大型语言模型（LLM）的代理，专门为解决数据科学问题而设计。它…
人工智能在产业中应用--生成智能
二、生成式人工智能
前面介绍了很多人工智能的应用，接下来部分我们会介绍当前正在进行的生成智能。生成智能和以往的人工智能有什么区别，个人觉得主要区别就在于“度”。在表现上就是以前的人工智能更多是利用既有的数据集分布挖掘和解决在这个数据集下…
让机器理解语言，从字词开始，逐步发展到句子和文档理解：独热编码、word2vec、词义搜索、句意表示、暴力加算力
让机器理解语言，从字词开始，逐步发展到句子和文档理解：独热编码、词嵌入、word2vec、词义搜索、句意表示、暴力加算力 独热编码：分类 二进制特征Word2Vec 词嵌入： 用低维表示 用嵌入学习 用上下文信息Skip-gram 跳字…
自然语言处理（NLP）全面指南
自然语言处理（NLP）是人工智能领域中最热门的技术之一，它通过构建能够理解和生成人类语言的机器，正在不断推动技术的发展。本文将为您提供NLP的全面介绍，包括其定义、重要性、应用场景、工作原理以及面临的挑战和争议。…
Mini-Gemini: Mining the Potential of Multi-modality Vision Language Models
Mini-Gemini: Mining the Potential of Multi-modality Vision Language Models 相关链接：arxiv 关键字：Vision Language Models、Multi-modality、High-Resolution Visual Tokens、High-Quality Data、VLM-guided Generation 摘要
在这项工作中&#x…
llama-index 结合chatglm3-6B 利用RAG 基于文档智能问答
简介
llamaindex结合chatglm3使用
import os
import torch
from llama_index.core import VectorStoreIndex, ServiceContext
from llama_index.core.callbacks import CallbackManager
from llama_index.core.llms.callbacks import llm_completion_callback
from llama_ind…
利用免费 GPU 部署体验大型语言模型推理框架 vLLM
vLLM简介
vLLM 是一个快速且易于使用的 LLM（大型语言模型）推理和服务库。
vLLM 之所以快速，是因为： 最先进的服务吞吐量 通过 PagedAttention 高效管理注意力键和值内存 连续批处理传入请求 使用 CUDA/HIP 图快速模型执行 量…
检索增强微调(RAFT)---使语言模型适应特定领域的 RAG
原文地址：retrieval-augmented-fine-tuning-raft
2024 年 3 月 29 日 摘要(Abstract) 论文介绍了一种名为Retrieval Augmented Fine Tuning（RAFT）的训练方法，旨在提升模型在特定领域“开卷”环境下回答问题的能力。RAFT通过训练模型忽略那些对回答问题没有帮助的文档（称为…
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.03.25-2024.03.31
文章目录~ 1.Gecko: Versatile Text Embeddings Distilled from Large Language Models2.Towards Greener LLMs: Bringing Energy-Efficiency to the Forefront of LLM Inference3.LUQ: Long-text Uncertainty Quantification for LLMs4.Draw-and-Understand: Leveraging Visua…
论文：Zero-Shot Entity Linking by Reading Entity Descriptions翻译笔记（阅读实体描述、实体链接）
文章目录 论文题目：通过阅读实体描述实现零样本实体链接摘要1 介绍2 零点实体链接2.1 审查： 实体链接2.2 任务定义2.3 与其他 EL 任务的关系 3 数据集构建4 实体链接模型4.1 生成候选4.2 候选排序 5 适应目标世界6 实验6.1 基线6.2 对未知实体和新世界6.…
Doccano标注数据转化为便捷实用的数据格式
简介
Doccano 标注导出格式如下所示：
{id: 6400, text: 扎实推进垃圾分类示范区创建，实现覆盖率100%，开展垃圾分类示范片区创建的街道占比达到100%, Comments: [], entities: [{id: 1662, label: 关键数据, start_offset: 26, end_offset: …
深度学习知识点：神经网络
深度学习知识点：神经网络 前言神经网络激活函数的优缺点为什么ReLU常用于神经网络的激活函数？梯度消失和梯度爆炸的解决方案？梯度爆炸引发的问题？如何确定是否出现梯度爆炸？神经网络中有哪些正则化技术？批量…
【自然语言处理】统计中文分词技术（一）：1、分词与频度统计
文章目录 一、词与分词1、词 vs 词素2、世界语言分类 二、分词的原因与基本原因1、为什么要分词2、分词规范3、分词的主要难点-切分歧义如何排除切分歧义利用词法信息利用句法信息利用语义信息利用语用、语境信息 4、分词的主要难点-未登录词未登录词如何识别未登录词 三、分词…
Reasoning on Graphs: Faithful and Interpretable Large Language Model Reasonin
摘要
大型语言模型(llm)在复杂任务中表现出令人印象深刻的推理能力。然而，他们在推理过程中缺乏最新的知识和经验幻觉，这可能导致不正确的推理过程，降低他们的表现和可信度。知识图谱(Knowledge graphs, KGs)以结构化的形式捕获了大量的事实…
语言模型transformers调用部分 (To be continue...
什么？！！！原来自回归模型的model.generate不能用于训练！！？？
只能用法forward一次生成，但一次性只能得到一个tensor 就是在这里取最大值导致模型梯度断了，所以…
Automatic Prompt Engineering
让大模型自己生成prompt，生成提示（prompt）存在两种不同的操作方式。第一种方式是在文本空间中进行，这种提示以离散的文本形式存在。第二种方式是将提示抽象成一个向量，在特征空间中进行操作，这种提示是抽象…
AI大模型在医疗领域的应用案例：自然语言处理与医疗文本分析
随着人工智能技术的快速发展，AI大模型在自然语言处理、图像识别、语音识别等领域的应用越来越广泛。在医疗领域，AI大模型的应用正在深刻改变着医疗实践，为患者和医生带来前所未有的便利。近期AI医疗的概念也比较火热，本文将聚焦于…
记录些LangChain相关的知识
RAG的输出准确率
RAG的输出准确率 向量信息保留率 * 语义搜索准确率 * LLM准确率RAG的输出准确率由三个因素共同决定：向量信息保留率、语义搜索准确率以及LLM准确率。这三个因素是依次作用的，因此准确率实际上是它们的乘积。这意味着，任何一…
基于大语言模型的云故障根因分析｜顶会EuroSys24论文
*马明华 微软主管研究员 2021年CCF国际AIOps挑战赛程序委员会主席（第四届） 2021年博士毕业于清华大学，2020年在佐治亚理工学院做访问学者。主要研究方向是智能运维（AIOps）、软件可靠性。近年来在ICSE、FSE、ATC、EuroS…
开源AI引擎|企业合同管理：自然语言处理与OCR技术深度融合
一、企业应用：合同智能管理
结合NLP和OCR技术，企业可以构建智能化的合同管理系统，实现合同的自动化审查、风险评估和知识抽取。这样的系统不仅能够提高合同处理的效率，还能够降低人为错误，加强风险控制。 例如&#x…
【大模型】非常好用的大语言模型推理框架 bigdl-llm，现改名为 ipex-llm
非常好用的大语言模型推理框架 bigdl-llm，现改名为 ipex-llm bigdl-llmgithub地址环境安装依赖下载测试模型加载和优化预训练模型使用优化后的模型构建一个聊天应用 bigdl-llm
IPEX-LLM is a PyTorch library for running LLM on Intel CPU and GPU (e.g., local P…
TnT-LLM: Text Mining at Scale with Large Language Models
TnT-LLM: Text Mining at Scale with Large Language Models 相关链接：arxiv 关键字：Large Language Models (LLMs)、Text Mining、Label Taxonomy、Text Classification、Prompt-based Interface 摘要
文本挖掘是将非结构化文本转换为结构化和有意义的…
【NLP】多头注意力（Multi-Head Attention）的概念解析
一. 多头注意力
多头注意力（Multi-Head Attention）是一种在Transformer模型中被广泛采用的注意力机制扩展形式，它通过并行地运行多个独立的注意力机制来获取输入序列的不同子空间的注意力分布，从而更全面地捕获序列中潜在的多种语…
Training language models to follow instructions with human feedback
Abstract
使语言模型变得更大并不意味着它们本身就能更好地遵循用户的意图。模型的输出结果可能存在以下问题 不真实有毒对用户没有帮助即这些模型没有和用户 “对齐”（aligned）
在给定的 Prompt 分布上，1.3B 的 InstructGPT 的输出比 175B GPT-3 的输出更好（尽管参数量相…
hanlp中文分词器(ing...)
目前的工作中需要对文本进行分词分析词性,找出热词,经过一系列的调研感觉hanlp这个库还不错,想先试用看看
介绍
HanLP（Han Language Processing）是一个由一系列模型与算法组成的NLP工具包，目标是普及自然语言处理在生产环境中的应用。HanLP…
2024年自然语言处理科学与信息检索技术国际会议(ICNLPSIRT 2024)
2024 International Conference on Natural Language Processing Science and Information Retrieval Technology (ICNLPSIRT 2024)
●会议简介
2024年自然语言处理科学与信息检索技术国际会议旨在汇聚来自世界各地的自然语言处理和信息检索领域的专家和学者，共同…
论文笔记：Large Language Models as Analogical Reasoners
iclr 2024 reviewer打分5558
1 intro
基于CoT prompt的大模型能够更好地解决复杂推理问题 然而传统CoT需要提供相关的例子作为指导，这就增加了人工标注的成本——>Zero-shot CoT避免了人工标注来引导推理 但是对于一些复杂的任务难以完成推理，例如c…
ChatGPT 的核心 GPT 模型：探究其生成式预训练变换架构的革新与应用潜力
GPT（Generative Pre-trained Transformer）模型是一种深度学习模型，由OpenAI于2018年首次提出，并在随后的几年中不断迭代发展，包括GPT-2、GPT-3以及最新的GPT-4。GPT模型在自然语言处理（NLP）领域…
微软卡内基梅隆大学：无外部干预，GPT4等大语言模型难以自主探索
目录
引言：LLMs在强化学习中的探索能力探究
研究背景：LLMs的在情境中学习能力及其重要性
实验设计：多臂老虎机环境中的LLMs探索行为
实验结果概览：LLMs在探索任务中的普遍失败
成功案例分析：Gpt-4在特定配置下的探…
Streamlit 构建大语言模型 (LLM) web 界面
文章目录 Streamlit 构建大语言模型 (LLM) web 界面选择Streamlit的原因原理流程streamlit布局示例代码聊天机器人示例代码（简化版） Streamlit在ChatGLM3-6B中的应用 Streamlit 构建大语言模型 (LLM) web 界面
选择Streamlit的原因 易用性：S…
大语言模型基石：文字与数字的起源与演变
大语言模型基石：文字与数字的起源与演变 1、文字
1.1、起源 我们的祖先在还没有发明文字和语言之前就已经开始使用“咿咿呀呀”的声音来传播信息了，比如在野外活动遇到危险，然后发出“咿咿呀呀”的声音来提醒同伴小心，同伴在接收…
大语言模型LLM《提示词工程指南》学习笔记01
文章目录 大语言模型LLM《提示词工程指南》学习笔记01以下是使用不同LLM提供程序时会遇到的常见设置：标准提示词应该遵循以下格式：提示词要素 大语言模型LLM《提示词工程指南》学习笔记01
提示工程（Prompt Engineering）是一门较新…
AI推介-大语言模型LLMs论文速览（arXiv方向）：2024.03.31-2024.04.05
文章目录~ 1.AutoWebGLM: Bootstrap And Reinforce A Large Language Model-based Web Navigating Agent2.Training LLMs over Neurally Compressed Text3.Unveiling LLMs: The Evolution of Latent Representations in a Temporal Knowledge Graph4.Visualization-of-Thought …
机器学习全攻略：概念、流程、分类与行业应用案例集锦
目录
1.引言
2.从零开始认识机器学习：基本概念与重要术语
3.五步走：掌握机器学习项目执行的完整流程
3.1.问题定义与数据收集
3.2.数据预处理与特征工程
3.3.模型选择与训练
3.4.模型评估与优化
3.5.模型部署与监控
4.深入了解各类机器学习方法…
NLP学习路线指南总结
当然可以，以下是一份较为详细的NLP学习路线指南，帮助你逐步掌握自然语言处理的核心技术和应用。
一、基础知识与技能
语言学基础： 语言学基本概念：语音、语法、语义等。语言的层次与分类：语音学、音系学、句法学、语…
大模型面试准备（十一）：怎样让英文大语言模型可以很好的支持中文？
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何备战、面试常考点分享等热门话题进行了深入的讨论。 合集在这…
深度解析GPT中的Tokenizer
继学习完深度解析大语言模型中的词向量后，让我们继续学习大语言模型中另外几个重要概念：token（词元）、tokenization（词元化）、tokenizer（词元生成器）。 在GPT模型中，toke…
Chatopera 云服务的智能问答引擎实现原理，如何融合 #聊天机器人 技术 #Chatbot #AI #NLP
观看视频
Bilibili: https://www.bilibili.com/video/BV1pZ421q7EH/YouTube: https://www.youtube.com/watch?vx0d1_0HQa8o
内容大纲
提前在浏览器打开网址：
Chatopera 云服务：https://bot.chatopera.comChatopera 入门教程：https://dwz…
使用 LLMLingua-2 压缩 GPT-4 和 Claude 提示
原文地址：Compress GPT-4 and Claude prompts with LLMLingua-2
2024 年 4 月 1 日
向大型语言模型（LLM）发送的提示长度越短，推理速度就会越快，成本也会越低。因此，提示压缩已经成为LLM研究的热门领域。 …
初识人工智能---------自然语言处理词袋模型
1.自然语言处理（NLP）
自然语言处理（Natural Language Processing，简称NLP）研究的是如何通过机器学习等技术，让计算机学会处理自然（人类）语言，以完成有意义的任务。
下面…
Quiet-STaR:让语言模型在“说话”前思考
大型语言模型(llm)已经变得越来越复杂，能够根据各种提示和问题生成人类质量的文本。但是他们的推理能力让仍然是个问题，与人类不同LLM经常在推理中涉及的隐含步骤中挣扎，这回导致输出可能在事实上不正确或缺乏逻辑。 考虑以下场景:正在阅读一…
面了美团大模型算法岗（实习），这次我要上岸了。。。
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总…
面了金山和 OPPO 的 NLP 算法岗，还热乎的面经分享给大家
节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总…
Anaconda/Python快速安装jieba 【win/mac】
一、直接上命令
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple jieba 我是在PyCharm里面的终端输进去。
之后就很快速的看到成功的下图。 二、官网
官网下载的速度太慢了——这是官网地址https://pypi.org/project/jieba/#files
点进去之后点击下载，…
Coursera自然语言处理专项课程04：Natural Language Processing with Attention Models笔记 Week01
Natural Language Processing with Attention Models
Course Certificate 本文是学习这门课 Natural Language Processing with Attention Models的学习笔记，如有侵权，请联系删除。 文章目录 Natural Language Processing with Attention ModelsWeek 01…
利用免费的开源AI引擎：优化企业合规管理与合同审核
合同作为商业活动中的重要法律文件，其准确性、完整性和合规性对于保障企业利益至关重要。然而，传统的人工合同审核和管理过程耗时耗力，且容易出错。随着人工智能技术的发展，我们现在可以通过智能化的手段来优化合同审核和管理流程…
KnowLog：基于知识增强的日志预训练语言模型｜顶会ICSE 2024论文
徐波 东华大学副教授 东华大学计算机学院信息技术系副系主任，复旦大学知识工场实验室副主任，智能运维方向负责人。入选“上海市青年科技英才扬帆计划”。研究成果发表在IJCAI、ICDE、ICSE、ISSRE、ICWS、CIKM、COLING等国际会议上，曾获中国数…
使用RAKE简单实现关键词提取
文章目录 算法说明算法步骤提取可能的关键词spacy处理文本注意:关键词不是token 对关键词所含的每个token进行评分对于关键词进行评分计算和排序返回 算法分析 算法说明
RAKE的全称叫做Rapid Automatic Keyword Extraction,是一个用来自动从文章中抽取关键词的简单的算法。它的…
【自然语言处理八-transformer实现翻译任务-一（输入）】
自然语言处理八-transformer实现翻译任务-一（输入） transformer架构数据处理部分模型的输入数据(图中inputs outputs outputs_probilities对应的label)以处理英中翻译数据集为例的代码 positional encoding 位置嵌入代码 鉴于transfomer的重要性…
真·人工智障!“弱智贴吧”竟被用来训练大模型
离了个大谱，弱智吧登上正经AI论文，还成了最好的中文训练数据？中国科学院、北京大学、中国科学技术大学、滑铁卢大学以及01.ai等十家知名机构联合推出了一款专注于中文的高质量指令调优数据集——COIG-CQIA。 在大型语言模型的研究领域&#x…
ReLU Strikes Back: Exploiting Activation Sparsity in Large Language Models
iclr 2024 oral reviewer 评分 688
1 intro
目前LLM社区中通常使用GELU和SiLU来作为替代激活函数，它们在某些情况下可以提高LLM的预测准确率 但从节省模型计算量的角度考虑，论文认为经典的ReLU函数对模型收敛和性能的影响可以忽略不计，同时…
自然语言处理技术（Natural Language Processing）知识点
自然语言处理知识点 自然语言处理1. word2vec是什么2. 常用的NLP工具和软件3. 朴素贝叶斯分类器4. BiLSTM-CRF模型怎么去实现5. Bert模型实现NER6. 命名实体识别任务中，怎么去处理数据分布不均的问题？7. 用户问题检索相关文本时，具体都用了哪…
计算机视觉（Computer Vision）知识点
计算机视觉Computer Vision 知识点 计算机视觉1. 文档处理涉及哪些类型，是否需要ocr识别某类文档，用ocr识别过程中有什么难点和问题，相应的处理策略有哪些？2. 池化层是什么？3. 最大池化是什么?4. 什么是平均池化?5. …
大语言模型上下文窗口初探（上）
由于篇幅原因，本文分为上下两篇，上篇主要讲解上下文窗口的概念、在LLM中的重要性，下篇主要讲解长文本能否成为LLM的护城河、国外大厂对长文本的态度。 1、什么是上下文窗口？
上下文窗口（context window）是…
【NLP练习】中文文本分类-Pytorch实现
中文文本分类-Pytorch实现 🍨 本文为🔗365天深度学习训练营 中的学习记录博客🍖 原作者：K同学啊 一、准备工作
1. 任务说明
本次使用Pytorch实现中文文本分类。主要代码与文本分类代码基本一致，不同的是本次任务使用…
自然语言处理——计算编辑距离
编辑距离（Levenshtein距离）的概念和计算方法
编辑距离（Levenshtein距离）的概念和计算方法深入地探讨了字符串之间的差异和相似度。通过测量一个字符串变换成另一个字符串所需的最小单字符编辑操作次数，我们能够量化两个字符串之间的相似程度。编辑距离的核心在于识别和执…
大语言模型LLM《提示词工程指南》学习笔记04
文章目录 大语言模型LLM《提示词工程指南》学习笔记04数据生成生成代码完成函数，继续下一行生成其他有用的代码，例如创建和测试MySQL查询代码解释 提示函数 大语言模型LLM《提示词工程指南》学习笔记04
数据生成
LLMs具有生成连贯文本的强大能力。使用…
【Python】探索 FunNLP：让自然语言处理更有趣
夜深了 我还为你不能睡 黎明前的心情 最深的灰 左右为难的你 不知怎样去面对 我能做的 只剩沉默 体会 爱情是让人沉溺的海洋 孤单的时候 想要去逃亡 转身的一瞬间 你出现在我身旁 你的眼泪 让我不敢开口讲 🎵 樊凡《我想大声告诉你》 简介&…
阿里通义千问开源 320 亿参数模型；文字和音频自动翻译成手语Hand Talk拉近人与人的距离
✨ 1: Qwen1.5-32B
Qwen1.5-32B是Qwen1.5系列中性能与效率兼顾的最新语言模型，内存占用低，运行速度快。 Qwen1.5-32B是Qwen1.5语言模型系列的最新成员，这个模型是基于先进的技术研发的，旨在提供一种既高效又经济的AI语言理解和生…
提高大型语言模型 (LLM) 性能的四种数据清理技术
原文地址：four-data-cleaning-techniques-to-improve-large-language-model-llm-performance
2024 年 4 月 2 日 检索增强生成（RAG）过程因其增强对大语言模型（LLM）的理解、为它们提供上下文并帮助防止幻觉的潜力而受…
Chinese Tiny LLM: Pretraining a Chinese-Centric Large Language Model
Chinese Tiny LLM: Pretraining a Chinese-Centric Large Language Model 相关链接：arXiv 关键字：Chinese LLM、Pretraining、Large Language Model、Chinese Corpora、Multilingual 摘要
本研究介绍了CT-LLM（Chinese Tiny Large Language M…
超级agent的端语言模型Octopus v2: On-device language model for super agent
大型语言模型（LLMs）在函数调用方面展现出卓越的应用潜力，特别是针对Android API的定制应用。与那些需要详尽描述潜在函数参数、有时甚至涉及数万个输入标记的检索增强生成（RAG）方法相比，Octopus-V2-2B在训练…
Social Skill Training with Large Language Models
Social Skill Training with Large Language Models 关键字：社交技能训练、大型语言模型、人工智能伙伴、人工智能导师、跨学科创新 摘要
本文探讨了如何利用大型语言模型（LLMs）进行社交技能训练。社交技能如冲突解决对于有效沟通和在工作和…
AI大模型基石：文字与数字的起源与演变
AI大模型基石：文字与数字的起源与演变 1、文字
1.1、起源 我们的祖先在还没有发明文字和语言之前就已经开始使用“咿咿呀呀”的声音来传播信息了，比如在野外活动遇到危险，然后发出“咿咿呀呀”的声音来提醒同伴小心，同伴在接收到…
大语言模型及提示工程在日志分析任务中的应用 | 顶会IWQoS23 ICPC24论文分享
本文是根据华为技术专家陶仕敏先生在2023 CCF国际AIOps挑战赛决赛暨“大模型时代的AIOps”研讨会闪电论文分享环节上的演讲整理成文。 BigLog：面向统一日志表示的无监督大规模预训练方法 BigLog: Unsupervised Large-scale Pre-training for a Unified Log Represen…
BERT入门：理解自然语言处理中的基本概念
1. 自然语言处理简介
自然语言处理（Natural Language Processing，NLP）是人工智能领域的重要分支，涉及计算机与人类自然语言之间的相互作用。NLP 的应用已经深入到我们日常生活中的方方面面，如智能助理、机器翻译、舆情…
大型语言模型如何助力推荐系统：综述研究
论文地址：https://arxiv.org/pdf/2306.05817.pdf 这篇论文主要探讨了推荐系统（RS）如何从大型语言模型（LLM）中获益。论文首先指出，随着在线服务和网络应用的快速发展，推荐系统已成为缓解信息过载…
AI大模型探索之路-应用篇2：Langchain框架ModelIO模块—数据交互的秘密武器
目录 前言
一、概述
二、Model
三、Prompt
五、Output Parsers
总结 前言
随着人工智能技术的不断进步，大模型的应用场景越来越广泛。LangChain框架作为一个创新的解决方案，专为处理大型语言模型的输入输出而设计。其中，…
scaling laws for neural language models
关于scaling law 的正确认识 - 知乎最近scaling law 成了最大的热词。一般的理解就是，想干大模型，清洗干净数据，然后把数据tokens量堆上来，然后搭建一个海量H100的集群，干就完了。训练模型不需要啥技巧，模型…
人工智能——大语言模型
5. 大语言模型
5.1. 语言模型历史
20世纪90年代以前的语言模型都是基于语法分析这种方法，效果一直不佳。到了20世纪90年代，采用统计学方法分析语言，取得了重大进展。但是在庞大而复杂的语言信息上，基于传统统计的因为计算量巨大…
大语言模型本地化部署思路
目前国内大语言模型犹如雨后春笋一样在神州大地生长，结合目前的政策形势，人工智能将迎来爆发式增长，目前发展状况通用大语言模型的部署将越来越容易，且能力将越来越强。但通用大模型如何赋能各行各业打造垂直大模型的应用呢&#…
零基础入门NLP - 新闻文本分类比赛方案分享 nano- Rank1
nano- 康一帅
简介
环境
Tensorflow 1.14.0Keras 2.3.1bert4keras 0.8.4
文件说明
EDA：用于探索性数据分析。data_utils：用于预训练语料的构建。pretraining：用于Bert的预训练。train：用于新闻文本分类模型的训练。pred&a…
大语言模型开源数据集
本文目标：汇聚目前大语言模型预训练、微调、RM/RL、评测等全流程所需的常见数据集，方便大家使用，本文持续更新。文章篇幅较长，建议收藏后使用。 一、按语料类型分类
1、维基百科类
No.1 Identifying Machine-Paraphrased Plagia…
NLP 在搜索引擎优化上做的工作
自然语言处理（NLP）在搜索引擎优化上的工作主要集中在提升搜索结果的相关性和准确性，以及改善用户的搜索体验。以下是NLP在搜索引擎优化中所做工作的详细介绍：
1. 理解用户查询意图【4】
NLP技术可以帮助搜索引擎更好地理解用户的…
如何从零开始训练一个语言模型
如何从零开始训练一个语言模型 #mermaid-svg-gtUlIrFtNPw1oV5a {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-gtUlIrFtNPw1oV5a .error-icon{fill:#552222;}#mermaid-svg-gtUlIrFtNPw1oV5a .error-text{fill:#5522…
【截至2023年底】语言模型的发展
什么是大语言模型LLM？ChatGPT、LLAMA各自有什么优势？ from： https://www.youtube.com/watch?vt6qBKPubEEo
github： https://github.com/Mooler0410/LLMsPracticalGuide 来自这篇survey，但据说还在更新，到…
大语言模型：红蓝对抗的工作原理及作用
您是否对强大的生成式AI领域心生好奇，却又担心随之而来的潜在漏洞？您只需了解红蓝对抗就好了，它也称为破解或提示注入。AI开发的这一关键环节往往被忽视，但其在提高生成式AI模型的性能方面发挥的作用却至关重要。
大语言模型&…
CharRNN实现简单的文本生成
文本数字表示
统计文档中的字符，并且统计字符个数。这里是为了将文字转换为数字表示。
import numpy as np
import re
import torch
class TextConverter(object):def __init__(self,text_path,max_vocab=5000):"""建立一个字符索引转换,主要还是为了生成一个…