本周，美团万亿parametersದೊಡ್ಡ ಮಾದರಿ LongCat-2.0开全开源！!
ಅಪ್ಪುಗೆಯ ಮುಖ | GitHub | ಮಾದರಿ ಸ್ಕೋಪ್
ಕಂಪನಿಯಾಗಿ, LongCat-2.0傀弅搆的三亿parametermodelಸೀಮಿತ ಸಂಗ್ರಹಣೆ ಮತ್ತು ಬ್ಯಾಂಡ್ವಿಡ್ತ್ನೊಂದಿಗೆ ದೇಶೀಯ ಕಂಪ್ಯೂಟಿಂಗ್ ಪವರ್ ಚಿಪ್ಗಾಗಿ, ನಾವು ಮಾದರಿಯ ಆರ್ಕಿಟೆಕ್ಚರ್ ಮತ್ತು ಚಿಪ್ ಫಿಟ್ನಲ್ಲಿ ಆಳವಾದ ಸಮನ್ವಯ ಆಪ್ಟಿಮೈಸೇಶನ್ ಅನ್ನು ನಡೆಸಿದ್ದೇವೆ, ಇದರಿಂದಾಗಿ ಶೇಖರಣಾ ಕಾರ್ಡ್ನಲ್ಲಿನ ಮಾದರಿಯ ನಿಯತಾಂಕಗಳು ಸಹ ಸ್ಥಿರವಾಗಿರುತ್ತವೆ ಮತ್ತು ಸ್ಥಿರವಾಗಿರುತ್ತವೆ. ನೈಜ ಕೋಡಿಂಗ್ ಏಜೆಂಟ್ ಕಾರ್ಯದ ಸ್ಥಿರ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಅವಲಂಬಿಸಲು ನಾವು ಭಾವಿಸುತ್ತೇವೆ, ಮುಕ್ತ ಮೂಲ, ಮಾದರಿ ಸಾಮರ್ಥ್ಯ ಮತ್ತು ಫಲಿತಾಂಶಗಳ ಆಪ್ಟಿಮೈಸೇಶನ್ ಸಂಪೂರ್ಣವಾಗಿ ತೆರೆದಿರುತ್ತದೆ, ಡಿಸ್ಕ್ ಲೈಫ್ ಹೆಚ್ಚು ಶೇಖರಣಾ ಸಾಮರ್ಥ್ಯವನ್ನು ದೇಶೀಯವಾಗಿ, ದೇಶೀಯ ಆರ್ಥಿಕತೆಯ ದೀರ್ಘಾವಧಿಯ ಮೌಲ್ಯವನ್ನು ಬಿಡುಗಡೆ ಮಾಡುತ್ತದೆ.
美团 LongCat-2.0 ಒಟ್ಟು ನಿಯತಾಂಕಗಳು 1.6T, ಸರಾಸರಿ ಸಕ್ರಿಯಗೊಳಿಸುವಿಕೆ ≈ 48B, ನೈಜ ಏಜೆಂಟ್ ಕೋಡಿಂಗ್ ಕಾರ್ಯಗಳಿಗಾಗಿ, ವಾಸ್ತುಶಿಲ್ಪ 上刧性上戧性上怞的稀疏性上怞的稀疏性力和 ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುವಿಕೆ ಅದೇ ಸಮಯದಲ್ಲಿ ಟೋಕನ್-ಮಟ್ಟದ ಪ್ರದರ್ಶನ ಸಾಮರ್ಥ್ಯ, ಡೈನಾಮಿಕ್ ಸಕ್ರಿಯಗೊಳಿಸುವಿಕೆಯೊಂದಿಗೆ ಸಂಯೋಜಿಸಲ್ಪಟ್ಟ ಕೋಡ್ ತಿಳುವಳಿಕೆ, ಉತ್ಪಾದನೆ ಮತ್ತು ನಿಯಂತ್ರಣವನ್ನು ಮತ್ತಷ್ಟು ಬಲಪಡಿಸಿತು
ಬ್ಯಾಂಡ್ವಿಡ್ತ್ ಮತ್ತು ಇಂಟರ್ಆಪರೇಬಿಲಿಟಿಯ ಬಹು ಮಿತಿಗಳನ್ನು ಎದುರಿಸುತ್ತಿರುವ LongCat-2.0 ದೇಶೀಯ ಚಿಪ್ಗಳ ಗುಣಲಕ್ಷಣಗಳನ್ನು ಸಂಯೋಜಿಸುತ್ತದೆ.ಮಾದರಿ, ಚಿಪ್ ಹೊಂದಾಣಿಕೆ ಮತ್ತು ಮೂರು ದಿಕ್ಕುಗಳಲ್ಲಿ ನಿಯೋಜನೆಯಿಂದ, ಮಾದರಿಯ ಒಂದು ಬಿಲಿಯನ್ ನಿಯತಾಂಕಗಳ ಹರಿವನ್ನು ಅರಿತುಕೊಳ್ಳಲಾಗಿದೆ:
-
ಮಾದರಿ ಪದರ: ಗಮನ, ಲೆಕ್ಕಾಚಾರದ ಮೋಡ್, ಇಂಡೆಕ್ಸರ್ ಮತ್ತು ಎಂಎಲ್ಎ ಪ್ರೊಲಾಗ್ ಮತ್ತು KVP 切分 KV-ಸಂಗ್ರಹವನ್ನು ಹೀರಿಕೊಳ್ಳುವ ಮೂಲಕ ಒತ್ತಡವನ್ನು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ನಿವಾರಿಸುತ್ತದೆ.
-
ಚಿಪ್ ಹೊಂದಾಣಿಕೆಯ ಪದರ: ಸೂಪರ್ ಕರ್ನಲ್ ಮೂಲಕ, ಸ್ಟಾರ್ಟ್ಅಪ್ಗಳ ಸಂಖ್ಯೆಯನ್ನು ಕಡಿಮೆ ಮಾಡಿ, ಮತ್ತು ತೂಕದ ಪ್ರಿಫೆಚ್ ಅನ್ನು ಕಡಿಮೆ ಮಾಡಿ, ಹಿಂದಿನ ಲೆಕ್ಕಾಚಾರದಲ್ಲಿ I/O ವಿಳಂಬವನ್ನು ಮರೆಮಾಡಲಾಗಿದೆ; ಅದೇ ಸಮಯದಲ್ಲಿ, ಹೈ-ಸ್ಪೀಡ್ ಚಲನಚಿತ್ರಗಳ ಆಧಾರದ ಮೇಲೆ ಲೇಯರ್-ವೈಸ್ KV-ಸಂಗ್ರಹ ವರ್ಗಾವಣೆಯನ್ನು TP/SP-up/KV ಪ್ರಮಾಣದಲ್ಲಿ ಪೂರ್ಣಗೊಳಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ಸೀಮಿತ ಸಂಗ್ರಹಣೆ ಮತ್ತು ಬ್ಯಾಂಡ್ವಿಡ್ತ್ನ ಪರಿಸ್ಥಿತಿಗಳಲ್ಲಿ ಹಾರ್ಡ್ವೇರ್ ಬಳಕೆಯ ಅನುಪಾತವನ್ನು ಗರಿಷ್ಠಗೊಳಿಸಲಾಗುತ್ತದೆ;
-
ನಿಯೋಜನೆ ತಂತ್ರ ಪದರ: ನಿಯೋಜನೆ 兼顾 TTFT ಮತ್ತು TPOT ಅನ್ನು ಪ್ರತ್ಯೇಕಿಸಲು PD ಅನ್ನು ಬಳಸಿ: ಪರಿಣಿತ-ಸಮಾನಾಂತರವನ್ನು ಕುಗ್ಗಿಸುವ ಮೂಲಕ ಪೂರ್ವಭರ್ತಿ 端切分与高今行度切分与高今行度再卡月存占用，可以异步化ದೊಡ್ಡ ಲೋಡ್ ಅಸಮತೋಲನವನ್ನು ಪರಿಹರಿಸಲು ಪರಿಣಿತ-ಸಮಾನಾಂತರ ಲೋಡ್ ಸಮತೋಲನ. MTP ಮತ್ತು ಇತರರು.
LongCat-2.0 ಸಂಕೀರ್ಣವಾದ ದೊಡ್ಡ-ಮಾದರಿ ಕಾರ್ಯಗಳನ್ನು ಕೈಗೊಳ್ಳಲು ದೇಶೀಯ ಚಿಪ್ಗಳ ಪ್ರಬುದ್ಧ ಸಾಮರ್ಥ್ಯವನ್ನು ಪರಿಶೀಲಿಸಿದೆ ಮತ್ತು ತೆರೆದ ಮೂಲದ ಮೂಲಕ ಉದ್ಯಮಕ್ಕೆ ಪುನರುತ್ಪಾದಿಸಬಹುದಾದ ತಂತ್ರಜ್ಞಾನದ ಮಾರ್ಗವನ್ನು ಒದಗಿಸಲು ಮತ್ತು ನೈಜ-ಪ್ರಪಂಚದ ಸನ್ನಿವೇಶಗಳಲ್ಲಿ ಅಪ್ಲಿಕೇಶನ್ನ ಮೌಲ್ಯವನ್ನು ಉತ್ತೇಜಿಸುತ್ತದೆ.
ಲಾಂಗ್ಕ್ಯಾಟ್-2.0 ಲಾಂಗ್ಕ್ಯಾಟ್-ಫ್ಲ್ಯಾಶ್ನ ಒಟ್ಟಾರೆ ವಿನ್ಯಾಸವನ್ನು ಬಳಸುತ್ತದೆ ಮತ್ತು ದೀರ್ಘ ಸಂದರ್ಭ, ಕೋಡ್ ಕಾರ್ಯಗಳು ಮತ್ತು ಬುದ್ಧಿವಂತ ಸನ್ನಿವೇಶಗಳಲ್ಲಿ ಲಾಂಗ್ಕ್ಯಾಟ್-2.0 ಅನ್ನು ಮತ್ತಷ್ಟು ನವೀಕರಿಸುತ್ತದೆ ಮತ್ತು ಮೂರು ಪ್ರಮುಖ ಆಪ್ಟಿಮೈಸೇಶನ್ಗಳನ್ನು ಮಾಡಿದೆ:
ಬುದ್ಧಿವಂತ ಕಾರ್ಯಗಳಲ್ಲಿ ದೀರ್ಘ ಇನ್ಪುಟ್ ಸನ್ನಿವೇಶಗಳಿಗಾಗಿ, LongCat-2.0 LSA ನ ಗಮನ ಕಾರ್ಯವಿಧಾನವನ್ನು (LSA) ಪರಿಚಯಿಸುತ್ತದೆ, ಫ್ಲೋ ಸೆನ್ಸಿಂಗ್ ಇಂಡೆಕ್ಸಿಂಗ್, ಕ್ರಾಸ್-ಲೇಯರ್ ಇಂಡೆಕ್ಸಿಂಗ್ ಮತ್ತು ಲೇಯರ್-ಲೆವೆಲ್ ಇಂಡೆಕ್ಸಿಂಗ್, ಮತ್ತು ಪುನರಾವರ್ತಿತ ಸೂಚ್ಯಂಕ ಲೆಕ್ಕಾಚಾರಗಳು, ಮಾದರಿ ಗುಣಮಟ್ಟವನ್ನು ಕಾಪಾಡಿಕೊಳ್ಳುವ ಪ್ರಮೇಯದಲ್ಲಿ, ತರಬೇತಿಯ ದೀರ್ಘಾವಧಿಯನ್ನು ವೇಗಗೊಳಿಸಲು.
ಲಾಂಗ್ಕ್ಯಾಟ್-2.0 ಎನ್-ಗ್ರಾಮ್ ಎಂಬೆಡಿಂಗ್ ಅನ್ನು MoE ತಜ್ಞರ ಹೊರಗೆ ಹೊಸ ಪ್ಯಾರಾಮೀಟರ್ ವಿಸ್ತರಣೆ ಮಾರ್ಗವಾಗಿ ಪರಿಚಯಿಸುತ್ತದೆ. MoE ಸಂದರ್ಭದಲ್ಲಿ 稀疏度已接%97过分，将135B ಪ್ಯಾರಾಮೀಟರ್ ಇನ್ಪುಟ್ N-ಗ್ರಾಮ್ ಎಂಬೆಡಿಂಗ್ 远超 ತಜ್ಞರನ್ನು ವಿಸ್ತರಿಸುವುದನ್ನು ಮುಂದುವರೆಸಿದೆ. ಮಾಡ್ಯೂಲ್ 坛占毥 ಮಾಡ್ಯೂಲ್ 娀毥 ಮಾಡ್ಯೂಲ್ 占毶掜% 1 ಒಳಗೆ，兼顾了ಪ್ಯಾರಾಮೀಟರ್ ಆದಾಯ ಮತ್ತು ರಚನಾತ್ಮಕ ಸ್ಥಿರತೆ.
ತರಬೇತಿ ಹಂತದ ನಂತರ, LongCat-2.0 ಬಹು ಆನ್ಲೈನ್ ಶಿಕ್ಷಕರನ್ನು ಅಳವಡಿಸಿಕೊಳ್ಳುತ್ತದೆ ಮತ್ತು ತಜ್ಞರನ್ನು ಮೂರು ವಿಭಾಗಗಳಾಗಿ ವಿಂಗಡಿಸಲಾಗಿದೆ: ಏಜೆಂಟ್, ಆಪ್ಟಿಮೈಸೇಶನ್ ಮತ್ತು ಪರಸ್ಪರ ಕ್ರಿಯೆ, ಕ್ರಮವಾಗಿ, ಸ್ವಾಯತ್ತ ಮರಣದಂಡನೆ, ಸ್ವಯಂ-ಹೊಂದಾಣಿಕೆ, ಆಪ್ಟಿಮೈಸೇಶನ್ ಮತ್ತು ಭದ್ರತೆ, ಇತ್ಯಾದಿ.
LongCat-2.0 ನ ಮುಕ್ತ ಮೂಲವು ಜೀವಿತಾವಧಿಯಲ್ಲಿ ಒಮ್ಮೆ ತಂತ್ರಜ್ಞಾನದ ಮಾರ್ಗವನ್ನು ತೆರೆಯುತ್ತದೆ, ಇದು ಜೀವಿತಾವಧಿಯಲ್ಲಿ ಒಮ್ಮೆ ಪರಿಸರ ಆಹ್ವಾನವಾಗಿದೆ.
ಈ ತೆರೆದ ಮೂಲವು ಏಕಕಾಲದಲ್ಲಿ BF16, FP8 ಮತ್ತು INT8 ಬಹು-ನಿಖರ ಆವೃತ್ತಿಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ, ವಿಭಿನ್ನ ಕಂಪ್ಯೂಟಿಂಗ್ ಪವರ್ ಪ್ಲಾಟ್ಫಾರ್ಮ್ಗಳ ನಿಯೋಜನೆ ಅಗತ್ಯಗಳನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಒಳಗೊಂಡಿದೆ. ಅದೇ ಸಮಯದಲ್ಲಿ, ನಾವು ತೆರೆದ ಮೂಲ ಸಮುದಾಯವನ್ನು ಆಳವಾಗಿ ಬೆಂಬಲಿಸುತ್ತೇವೆ ಮತ್ತು ದೇಶೀಯ ಕಂಪ್ಯೂಟಿಂಗ್ ಶಕ್ತಿಯ ಆಪ್ಟಿಮೈಸೇಶನ್ ಫಲಿತಾಂಶಗಳು ಏಕಕಾಲದಲ್ಲಿ ತೆರೆದ ಮೂಲವಾಗಿರುತ್ತದೆ. ಇದರರ್ಥ ನೀವು ಇತ್ತೀಚಿನ ಕಂಪ್ಯೂಟಿಂಗ್ ಶಕ್ತಿಯನ್ನು ಹೊಂದಿಲ್ಲದಿದ್ದರೂ ಸಹ, ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಹಾರ್ಡ್ವೇರ್ ಅನ್ನು ಆಧರಿಸಿ ನೀವು LongCat-2.0 ಅನ್ನು ಸ್ಥಿರವಾಗಿ ಚಲಾಯಿಸಬಹುದು.
ಈ ಆರಂಭಿಕ ಪೆಟ್ಟಿಗೆಗಳ ಮೂಲಕ, ಹಳೆಯ ಕಾರ್ಡ್ಗಳನ್ನು ಒಳಗೊಂಡಂತೆ ನಾವು ಹೆಚ್ಚು ದೇಶೀಯ ಕಾರ್ಡ್ಗಳನ್ನು ಬಳಸಬಹುದು ಮತ್ತು ನಮ್ಮ ಉತ್ಪನ್ನಗಳ 1000 ಶತಕೋಟಿ ದೊಡ್ಡ ಮಾದರಿಗಳನ್ನು ನಾವು ಸರಾಗವಾಗಿ ನಿಯೋಜಿಸಬಹುದು ಮತ್ತು ನೈಜ ಉತ್ಪಾದನಾ ಸನ್ನಿವೇಶಗಳಲ್ಲಿ ಹೆಚ್ಚಿನ ಮೌಲ್ಯವನ್ನು ತರಬಹುದು ಎಂದು ನಾವು ಭಾವಿಸುತ್ತೇವೆ.
ತಂತ್ರಜ್ಞಾನ ಬ್ಲಾಗ್: https://longcat.ai/blog/longcat-2.0/
ತೂಕ ಮಾದರಿ:
ಉಲ್ಲೇಖ ಕೋಡ್:
ಪ್ಲಾಟ್ಫಾರ್ಮ್ API:
