365文档－一个专业的IT技术博客

网站标签

IT技术博客、 365文档、 专业IT技术文档、 大模型、 AIGC、 人工智能、 HPC、 云计算、 大数据、 服务器、 存储、 虚拟化、 操作系统、 系统运维、

---

网站描述

365文档一个专业的IT技术博客，提供并分享最新IT方向的专业技术文档，包括大模型、AIGC、人工智能、HPC、云计算、大数据、服务器、存储、虚拟化、操作系统、系统运维等方向的专业技术文档

---

上一篇：PCSOSO - 资源多，更快搜！100+网站聚合搜索!

下一篇：分体式/智能陶瓷纤维马弗炉(智能高温炉)-北京中科奥博百科

seo综合信息

SEO信息	百度来访IP： | 移动端来访IP： | 出站链接： | 站内链接：
IP网速：	IP地址： | 网速：
ALEXA排名	世界排名： | 预估IP： | 预估PV：
备案信息	| 名称： | 已创建：

收录	百度	360	搜狗	谷歌
查询

电脑关键词	手机关键词	页面友好	首页位置	索引	近期收录
		电脑端优秀

网站快照

3 6 5 文 档 － 一 个 专 业 的 I T 技 术 博 客 3 6 5 文 档 首 页 大 模 型 A I G C 最 新 资 讯 大 数 据 H P C 存 储 云 计 算 系 统 运 维 服 务 器 管 理 联 想 技 术 专 栏 操 作 系 统 网 站 建 设 优 化 文 章 导 航 修 改 记 录 1 . 密 码 保 护 ： m e l l a n o x ( 迈 络 思 ) O E M c o n n e c t x X 网 卡 刷 写 官 方 固 件 改 为 零 售 版 2 . 密 码 保 护 ： O E M C X 4 网 卡 刷 g e n e r i c 固 件 版 本 3 . O p e n C o n n e c t 在 u b u n t u 下 安 装 步 骤 4 . 1 0 0 , 0 0 0 个 H 1 0 0 集 群 ： 电 源 、 网 络 拓 扑 、 以 太 网 与 I n f i n i B a n d 、 可 靠 性 、 故 障 、 检 查 点 5 . A I 时 代 的 G P U 集 群 网 络 算 力 分 析 6 . G P T 推 理 t o k e n 生 成 机 制 中 的 k v c a c h e 详 解 7 . 大 模 型 训 练 显 存 分 析 8 . 使 用 C o l P a l i 和 视 觉 语 言 模 型 G r o q ( L l a v a ) 和 Q w e n 2 V L 实 现 多 模 态 R A G 9 . 基 于 多 向 量 检 索 器 的 多 模 态 R A G 实 现 1 0 . D B G P T 应 用 部 署 测 试 最 新 文 章 最 新 资 讯 大 模 型 A I G C H P C 存 储 云 计 算 系 统 运 维 网 站 建 设 优 化 操 作 系 统 大 数 据 服 务 器 管 理 密 码 保 护 ： m e l l a n o x ( 迈 络 思 ) O E M c o n n e c t x X 网 卡 刷 写 官 方 固 件 改 为 零 售 版 这 是 一 篇 受 保 护 的 文 章 ， 输 入 密 码 后 才 能 查 看 哈 系 统 运 维 a d m i n 2 0 2 4 1 1 0 6 1 9 7 热 度 0 评 论 密 码 保 护 ： O E M C X 4 网 卡 刷 g e n e r i c 固 件 版 本 这 是 一 篇 受 保 护 的 文 章 ， 输 入 密 码 后 才 能 查 看 哈 系 统 运 维 a d m i n 2 0 2 4 1 1 0 6 1 4 6 热 度 0 评 论 O p e n C o n n e c t 在 u b u n t u 下 安 装 步 骤 P o s t V i e w s : 1 3 3 介 绍 O p e n C o n n e c t 是 一 个 支 持 多 种 协 议 的 跨 平 台 S S L V P N 客 户 端 ， 其 支 持 以 下 V P N p r o t o c o l s : C i s c o A n y C o n n e c t ( p r o t o c o l = a n y c o n n e c t ) A r r a y N e t w o r k s S S L V P N ( p r o t o c o l = a r r a y ) J u n i p e r S S L V P N ( p r o t o c o l = n c ) P u l s e C o n n 系 统 运 维 a d m i n 2 0 2 4 1 1 0 5 1 3 3 热 度 0 评 论 1 0 0 , 0 0 0 个 H 1 0 0 集 群 ： 电 源 、 网 络 拓 扑 、 以 太 网 与 I n f i n i B a n d 、 可 靠 性 、 故 障 、 检 查 点 P o s t V i e w s : 2 1 3 原 文 ： h t t p s / / w w w . s e m i a n a l y s i s . c o m / p / 1 0 0 0 0 0 h 1 0 0 c l u s t e r s p o w e r n e t w o r k 前 沿 模 型 扩 展 挑 战 和 要 求 、 通 过 内 存 重 建 进 行 故 障 恢 复 、 机 架 布 局 有 一 个 阵 营 认 为 ， 自 G P T 4 发 布 以 来 ， 人 工 智 能 能 力 就 陷 入 了 停 滞 。 这 通 常 是 正 确 的 ， 但 这 只 是 因 为 没 有 人 能 够 大 规 模 增 加 专 用 于 单 个 模 型 的 计 算 量 。 已 发 布 的 每 个 模 型 大 致 为 G P T A I G C a d m i n 2 0 2 4 1 1 0 4 2 1 2 热 度 0 评 论 A I 时 代 的 G P U 集 群 网 络 算 力 分 析 P o s t V i e w s : 3 0 3 引 言 在 生 成 式 A I （ G e n A I ） 和 大 模 型 时 代 ， 不 仅 需 要 关 注 单 个 G P U 卡 的 算 力 ， 更 要 关 注 G P U 集 群 的 总 有 效 算 力 。 单 个 G P U 卡 的 有 效 算 力 可 以 通 过 该 卡 的 峰 值 算 力 来 测 算 ， 例 如 ， 对 于 N v i d i a A 1 0 0 ， 峰 值 F P 1 6 / B F 1 6 稠 密 算 力 是 3 1 2 T F L O P S ， 单 卡 有 效 算 力 约 为 ～ 2 9 8 T F L O P S 。 本 篇 将 聊 聊 G P U 集 群 网 络 配 置 和 G P U 集 群 规 模 以 及 总 有 效 算 力 ， 重 点 讨 A I G C a d m i n 2 0 2 4 1 1 0 4 3 1 6 热 度 0 评 论 G P T 推 理 t o k e n 生 成 机 制 中 的 k v c a c h e 详 解 P o s t V i e w s : 2 4 4 一 句 话 介 绍 k v c a c h e 是 一 种 以 空 间 换 时 间 的 策 略 ， 能 够 加 快 语 言 模 型 的 生 成 速 度 。 要 明 白 k v c a c h e ， 需 要 弄 明 清 楚 两 个 细 节 — — G P T 的 生 成 机 制 以 及 注 意 力 掩 码 ( a t t e n t i o n m a s k ) 。 G P T 的 生 成 机 制 在 介 绍 k v c a c h e 之 前 ， 我 们 需 要 先 了 解 生 成 式 预 训 练 模 型 （ G P T ） 的 生 成 机 制 。 G P T 是 泛 指 所 有 生 成 式 语 言 模 型 ， 而 非 特 指 O p e n A I 的 G P T 产 A I G C a d m i n 2 0 2 4 1 0 3 0 2 4 2 热 度 0 评 论 大 模 型 训 练 显 存 分 析 P o s t V i e w s : 1 6 3 数 据 类 型 f l o a t 3 2 （ F P 3 2 ） ： 3 2 位 浮 点 数 ， 也 称 为 单 精 度 。 f l o a t 1 6 （ F P 1 6 ） ： 1 6 位 浮 点 数 ， 表 示 范 围 较 小 ， 也 被 称 为 半 精 度 。 b f l o a t 1 6 （ B F 1 6 ） ： 扩 大 了 指 数 位 数 ， 缩 小 了 小 数 位 数 ， 因 此 表 示 的 范 围 更 大 ， 精 度 更 弱 。 一 般 采 用 1 6 位 的 表 示 ， 那 么 一 个 参 数 占 用 2 b y t e ， 即 2 B 。 F P 1 6 的 精 度 高 ， 但 是 表 示 范 围 小 ， 容 易 上 溢 ； B F 1 6 的 A I G C a d m i n 2 0 2 4 1 0 3 0 1 6 6 热 度 0 评 论 使 用 C o l P a l i 和 视 觉 语 言 模 型 G r o q ( L l a v a ) 和 Q w e n 2 V L 实 现 多 模 态 R A G P o s t V i e w s : 2 5 8 多 模 态 R A G 管 道 介 绍 在 标 准 R A G 中 ， 输 入 文 档 由 文 本 数 据 组 成 。 L L M 利 用 上 下 文 学 习 ， 通 过 检 索 与 所 提 查 询 上 下 文 相 匹 配 的 文 本 文 档 块 来 提 供 更 相 关 、 更 准 确 的 答 案 。 但 是 如 果 文 档 除 了 文 本 数 据 之 外 还 包 含 图 像 、 表 格 、 图 表 等 怎 么 办 ？ 不 同 的 文 档 格 式 P D F （ 便 携 式 文 档 格 式 ） ： 通 常 用 于 跨 平 台 共 享 保 留 其 格 式 的 文 档 ， 但 由 于 其 布 局 非 结 构 化 ， 因 此 很 难 从 中 提 取 数 据 。 M i c r o s o A I G C a d m i n 2 0 2 4 1 0 2 4 2 8 3 热 度 0 评 论 基 于 多 向 量 检 索 器 的 多 模 态 R A G 实 现 P o s t V i e w s : 1 6 5 长 话 短 说 下 面 三 个   L a n g C h a i n   示 例 代 码 ， 展 示 了 如 何 使 用 L a n g C h a i n   多 向 量 检 索 器 （ M u l t i V e c t o r   R e t r i e v e r ） 对 多 内 容 类 型 的 文 档 实 现 更 好 的 R A G 效 果 。 后 面 两 个 示 例 还 涵 盖 了 一 些 配 合 多 模 态 L L M   的 多 矢 量 检 索 器 用 法 ， 以 实 现 针 对 图 像 的 R A G 。 半 结 构 化 数 据 ( t a b l e s + t e x t ) R A G 多 模 态 ( t e x t + t a b l A I G C a d m i n 2 0 2 4 1 0 2 4 1 7 0 热 度 0 评 论 D B G P T 应 用 部 署 测 试 P o s t V i e w s : 1 6 2 环 境 要 求 启 动 模 式 C P U * M E M G P U 备 注 代 理 模 型 4 C * 8 G 代 理 模 型 不 依 赖 G P U 本 地 模 型 8 C * 3 2 G 2 4 G 本 地 启 动 最 好 有 2 4 G 以 上 G P U c o n d a 环 境 安 装 默 认 数 据 库 使 用 S Q L i t e ， 因 此 默 认 启 动 模 式 下 ， 无 需 安 装 数 据 库 。 如 果 需 要 使 用 其 他 数 据 库 ， 可 以 看 后 面 的 高 级 教 程 。 我 们 推 荐 通 过 c o n d a 的 虚 拟 环 境 来 进 行 P y t h o n 虚 拟 环 境 的 安 装 。 关 于 M A I G C a d m i n 2 0 2 4 1 0 2 4 1 7 4 热 度 0 评 论 点 击 查 看 更 多 最 新 文 章 修 改 记 录 密 码 保 护 ： m e l l a n o x ( 迈 络 思 ) O E M c o n n e c t x X 网 卡 刷 写 官 方 固 件 改 为 零 售 版 2 0 2 4 1 1 0 6 密 码 保 护 ： O E M C X 4 网 卡 刷 g e n e r i c 固 件 版 本 2 0 2 4 1 1 0 6 O p e n C o n n e c t 在 u b u n t u 下 安 装 步 骤 2 0 2 4 1 1 0 5 1 0 0 , 0 0 0 个 H 1 0 0 集 群 ： 电 源 、 网 络 拓 扑 、 以 太 网 与 I n f i n i B a n d 、 可 靠 性 、 故 障 、 检 查 点 2 0 2 4 1 1 0 4 A I 时 代 的 G P U 集 群 网 络 算 力 分 析 2 0 2 4 1 1 0 4 G P T 推 理 t o k e n 生 成 机 制 中 的 k v c a c h e 详 解 2 0 2 4 1 0 3 0 大 模 型 训 练 显 存 分 析 2 0 2 4 1 0 3 0 使 用 C o l P a l i 和 视 觉 语 言 模 型 G r o q ( L l a v a ) 和 Q w e n 2 V L 实 现 多 模 态 R A G 2 0 2 4 1 0 2 4 最 新 评 论 修 改 记 录 L i v e s o c c e r b e t 7 . w o r d p r e s s . C o m I a m c u r i o u s t o f i n d o u t w h a t b l o g p l a t f o r m y o u r e u t i l i z i n g ? I m e x p e r i e n c i n g s o m e s m a l l s e c u r i t y i s s u e s w i t h m y l a t e s t b l o g a n d I w o u l d l i k e t t o f i n d s o m e t h i n g m o r e s a f e . D o y o u u h a v e a n y s o l u t i o n s ? h t t p s : / / l i v e s o c c e r b e t 7 . w o r d p r e s s . c o m / h t t p s : / / p a s t e l i n k . n e t / 5 5 1 a 2 3 o q H i m y f a m i l y m e m b e r ! I w a n t t o s a y t h a t t h i s a r t i c l e i s a m a z i n g , g r e a t w r i t t e n a n d c i m e w i t h a p p r o x i m a t e l y a l l v i t a l i n f o s . I d l i i e t o p e e r m o r e p o o s t s l i k e t h i s . h t t p s : / / p a s t e l i n k . n e t / 5 5 1 a 2 3 o q h t t p s : / / c a r a m e l l a a p p . c o m / m i l a n m u 1 / M M r d m r 9 C 9 / p a n t h e r f l y a g a r i c u n i q u e b e n e f i t s f o r n a t u r a l h e a l i n g I l o v e d a s m u c h a s y o u w i l l r e c e i v e c a r r i e d o u t r i g h t h e r e . T h e s k e t c h i s a t t r a c t i v e , y o u r a u t h o r e d s u b j e c t m a t t e r s t y l i s h . n o n e t h e l e s s , y o u c o m m a n d g e e t b o u y h t a n i m p a t i e n c e o v e r t h a t y o u w i s h b e d e l i v e r i n g t h e f o l l o w i n g . u n w e l l u n q u e s t i o n a b l y c o m e f u r t h e r f o r m e r l y a g a i n a s e x a c t l y t h e s a m e n e a r l y v e r y o f t e s n i n s i d e c a s e y o u s h i e l d t h i s h i k e . h t t p s : / / c a r a m e l l a a p p . c o m / m i l a n m u 1 / M M r d m r 9 C 9 / p a n t h e r f l y a g a r i c u n i q u e b e n e f i t s f o r n a t u r a l h e a l i n g h t t p s : / / w w w . p e a r l t r e e s . c o m / a l e x x 2 2 x / i t e m 6 8 5 6 1 3 4 6 0 Q u a l i t y p o s t s i s t h h e c r u c i a l t o i n t e r e s t t h e p e o p l e t o g o t o s e e t h e w e b s i t e , t h a t s w h a t t h i s w e b s i t e i s p r o v i d i n g . h t t p s : / / w w w . p e a r l t r e e s . c o m / a l e x x 2 2 x / i t e m 6 8 5 6 1 3 4 6 0 l i v e s o c c e r s 2 . w o r d p r e s s . c o m T h a n k s f o r t h e e g o o d w r i t e u p . I t i f t r u t h b e t o l d w a s o n c e a e n j o y m e n t a c c o u n t i t . G l a n c e c o m p l e x t o f a r b r o u h t a g r e e a b l e f r o m y o u ! H o w e v e r , h o w c o u l d w e k e e p i n t o u c h ? h t t p s : / / l i v e s o c c e r s 2 . w o r d p r e s s . c o m / 0 % C o p y r i g h t 2 0 2 4 2 0 3 0 3 6 5 文 档 . I C P 备 案 号 京 I C P 备 2 0 2 2 0 1 3 5 8 6 号 2

站点概括

关于www.365doc.com.cn说明：
www.365doc.com.cn由网友主动性提交被微量导航网整理收录的，微量导航网仅提供www.365doc.com.cn的基础信息并免费向大众网友展示，www.365doc.com.cn的是IP地址：，www.365doc.com.cn的百度权重为、百度手机权重为、百度收录为条、360收录为条、搜狗收录为条、谷歌收录为条、百度来访流量大约在之间、百度手机端来访流量大约在之间、www.365doc.com.cn的备案号是、备案人叫、被百度收录的关键词有个、手机端关键词有个、该站点迄今为止已经创建。

内容声明：

1、本站收录的内容来源于大数据收集，版权归原网站所有！
2、本站收录的内容若侵害到您的利益，请联系我们进行删除处理！
3、本站不接受违规信息，如您发现违规内容，请联系我们进行清除处理！
4、本文地址：https://www.wl200.cn/links/88b29600c24bcb2d7be5.html，复制请保留版权链接！

---