Multimodal RAG and Prompt Compression
Multimodal RAG与Prompt compression再梳理Multimodal RAG System Work Flow多模态RAG的完整工作流如下图所示： 再次梳理一遍多模态RAG系统的工作流程： 1.多模态信息输入—2.特征提取—3.特征融合—4.信息检索—5.上下文构建—6.生成答案 1.加载所有文档，并使用类似unstruc
动手学循环神经网络
由于pytorch已经将三个循环神经网络、LSTM进行了高度的封装，所以本节不再去关注网络结构的设计和复现，而是重点关注如何在自己设计的网络结构中将RNN和LSTM融入进去以实现特等的任务。 卷积神经网络是借鉴人类视觉的思想，教会计算机识别东西；从循环神经网络开始，我们的核心任务就是教会计算机理解序列数据。 人类并不是每时每刻都从头开始思考。 当我们阅读这篇文章时，会根据对前面单词的理解来理解每个
2024年11月总结与展望
消失的半个月，难得喘口气折腾了半个月的分布式文件系统期末结课结课实验，终于汇报结束了。 第15周了，很多课程都是实验节课，最近半个月实验压力也别大。但是好在昨天把大数据的实验和C++的实验都完成了，周六还有一场英语考试，紧张刺激的15周就终于要迎来胜利的曙光了！ 这半个月主要在忙这些事，科研搁置了很多。今天开始，我要把失去的，都补回来哈哈哈哈！！ 最后一个月的工作重心转移到MLLMs RAG pr
LLM训练常用操作-从训练到崩溃
Conda相关虚拟环境123456789101112131415161718#创建虚拟环境(指定python版本)(base) root@I1dc83206c700201ce5:~/Echo/EchoSight# conda create --name echosight python=3.10#激活虚拟环境(base) root@I1dc83206c700201ce5:~/Echo/EchoSi
EchoSight论文研读复现
EchoSight: Advancing Visual-Language Models with Wiki Knowledge Yibin Yan && Weidi Xie School of Artificial Intelligence, Shanghai Jiao Tong University 原文连接：https://arxiv.org/pdf/2407.12735 论文
经典卷积神经网络复现
基于pytorch将经典的卷积神经网络架构复现一下 卷积神经网络基础知识数据又表格数据过渡到图像的像素数据，网络结构由全连接的多层感知机过渡到卷积结构。 卷积神经网络就是将空间不变性这一概念系统化，基于这个模型使用较少的参数学习有用的表示。 卷积神经网络的输入：n * n * 3的图片向量 卷积神经网络的输出：类别标签/类别向量(经过s
C++五子棋
在Windows中一切矩形的东西都是窗口 微软MFC的CPoint类库 五子棋设计需要的类和方法： 棋子：黑棋、白棋、最后一步 点类：参考微软MFC的CPoint类库，看似细节很见水平 棋盘：数组（GetAt()、SetAt()）、init、display函数、输入函数、输出 玩家：分类（人人、人机），需要创建裁判对象、AI对象（大部分AI事都是它
2024年10月总结与展望
得与失得：心情上不再纠缠与患得患失了，月下旬相比于月初和月中，要平和了许多。学习上稳扎稳打吧，慢慢的在往前走。 失：李沐的课程并没有按进度跟上学习、一些经典的论文都没有读；这个月旷课不少。 有得有失：这个月罕见地勇敢了一次，不知怎的。但是方式方法我认为并不妥当，会很冒失、唐突，但是于我本人，我绝对真诚。真诚有用吗？说不好。以后还要继续真诚吗？还会的。阅读能学到东西，同样地，经历、体验也能学到东西，