你好,欢迎来到潮汕IT智库!
您的位置:首页 > IT资讯> 热点新闻 热点新闻
DeepSeek 两种部署方式及官方 prompt 模版
2025-02-12 10:01:54 作者: (评论0条)

image.png

image.png

image.png

image.png

image.png

vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-7B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager

其中deepseek-ai/DeepSeek-R1-Distill-Qwen-7B表示要部署的模型版本,--tensor-parallel-size表示GPU数量。同样的,如模型下载出现中断或超时也可以先手动用modelscope下载后将模型名称改为本地模型所在的路径即可。

这是模型服务启动的页面:

图片

然后我们就可以通过python调用API的方式使用该部署好的模型:

from openai import OpenAI
# Set OpenAI's API key and API base to use vLLM's API server.
openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"
client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)
chat_response = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-R1-Distill-Qwen-7B",
    messages=[
        {"role""system""content""You are DeepSeek-R1, created by DeepSeek. You are a helpful assistant."},
        {"role""user""content""介绍一下PPO与GRPO算法之间的区别"},
    ],
    temperature=0.7,
    top_p=0.8,
    max_tokens=512,
    extra_body={
"repetition_penalty": 1.05,
    },
)
print("Chat response:", chat_response)

image.png

这样就可以供内部开发使用了。当然如果需要一个网页端的对话页面的话,我们也可以写一个简单的chat网页模板文件。

以上就是DeepSeek-R1蒸馏版小模型的两种部署方式。当然了,很多人会觉得蒸馏版用起来没意思,比671B的满血版差远了,但能即使是网络上量化后的R1模型,也需要非常高的硬件配置(4卡4090),对普通玩家来说非常劝退。以上配置过程如有问题,欢迎留言!

官方推荐Prompt

DeepSeek V3和R1横空出世之后,一定程度上改变了之前复杂的提示词撰写方式。特别是R1,用户只需要清晰描述自己的要求即可得到R1高质量的思考与回复。

DeepSeek的官方API文档也提供了13种应用场景下的提示词模版,供大家参考使用。

地址:https://api-docs.deepseek.com/zh-cn/prompt-library

image.png

代码改写

用于对代码进行修改,来实现纠错、注释、调优等。

下面这段的代码的效率很低,且没有处理边界情况。请先解释这段代码的问题与解决方法,然后进行优化:

``` def fib(n):

if n <= 2:

return n

return fib(n-1) + fib(n-2)

```

代码解释

用于对代码进行解释,来帮助理解代码内容。

请解释下面这段代码的逻辑,并说明完成了什么功能:

```

// weight数组的大小 就是物品个数

for(int i = 1; i < weight.size(); i++) { // 遍历物品

for(int j = 0; j <= bagweight; j++) { // 遍历背包容量

if (j < weight[i]) dp[i][j] = dp[i - 1][j];

else dp[i][j] = max(dp[i - 1][j], dp[i - 1][j - weight[i]] + value[i]);

}

}

```

代码生成

用于让模型生成一段完成特定功能的代码。

请帮我用 HTML 生成一个五子棋游戏,所有代码都保存在一个 HTML 中。

内容分类

对文本内容进行分析,并对齐进行自动归类。

#### 定位

- 智能助手名称 :新闻分类专家

- 主要任务 :对输入的新闻文本进行自动分类,识别其所属的新闻种类。

#### 能力 -

- 文本分析 :能够准确分析新闻文本的内容和结构。

- 分类识别 :根据分析结果,将新闻文本分类到预定义的种类中。

#### 知识储备

- 新闻种类 :

- 政治

- 经济

- 科技

- 娱乐

- 体育

- 教育

- 社会

- ...

#### 使用说明

- 输入 :一段新闻文本。

- 输出 :只输出新闻文本所属的种类,不需要额外解释。

美国太空探索技术公司的猎鹰9号运载火箭在短暂叫停发射后,于8月31日凌晨重启了发射任务。

结构化输出

将内容转化为 JSON,来方便后续程序处理。

用户将提供给你一段新闻内容,请你分析新闻内容,并提取其中的关键信息,以 JSON 的形式输出,输出的 JSON 需遵守以下的格式:

{ "entiry": <新闻实体>,
"time": <新闻时间,格式为 YYYY-mm-dd HH:MM:SS,没有请填 null>,
"summary": <新闻内容总结>
}

8月31日,一枚猎鹰9号运载火箭于美国东部时间凌晨3时43分从美国佛罗里达州卡纳维拉尔角发射升空,将21颗星链卫星(Starlink)送入轨道。紧接着,在当天美国东部时间凌晨4时48分,另一枚猎鹰9号运载火箭从美国加利福尼亚州范登堡太空基地发射升空,同样将21颗星链卫星成功送入轨道。两次发射间隔65分钟创猎鹰9号运载火箭最短发射间隔纪录。美国联邦航空管理局于8月30日表示,尽管对太空探索技术公司的调查仍在进行,但已允许其猎鹰9号运载火箭恢复发射。目前,双方并未透露8月28日助推器着陆失败事故的详细信息。尽管发射已恢复,但原计划进行五天太空活动的“北极星黎明”(任务却被推迟。

角色扮演(自定义人设)

自定义人设,来与用户进行角色扮演。

系统:请你扮演一个刚从美国留学回国的人,说话时候会故意中文夹杂部分英文单词,显得非常fancy,对话中总是带有很强的优越感。

用户:美国的饮食还习惯么。

角色扮演(情景续写)

提供一个场景,让模型模拟该场景下的任务对话。

假设诸葛亮死后在地府遇到了刘备,请模拟两个人展开一段对话。

诗歌创作

让模型根据提示词,创作诗歌。

模仿李白的风格写一首七律.飞机。

散文写作

让模型根据提示词创作散文。

以孤独的夜行者为题写一篇750字的散文,描绘一个人在城市中夜晚漫无目的行走的心情与所见所感,以及夜的寂静给予的独特感悟。

文案大纲生成

根据用户提供的主题,来生成文案大纲。

你是一位文本大纲生成专家,擅长根据用户的需求创建一个有条理且易于扩展成完整文章的大纲,你拥有强大的主题分析能力,能准确提取关键信息和核心要点。具备丰富的文案写作知识储备,熟悉各种文体和题材的文案大纲构建方法。可根据不同的主题需求,如商业文案、文学创作、学术论文等,生成具有针对性、逻辑性和条理性的文案大纲,并且能确保大纲结构合理、逻辑通顺。该大纲应该包含以下部分:引言:介绍主题背景,阐述撰写目的,并吸引读者兴趣。主体部分:第一段落:详细说明第一个关键点或论据,支持观点并引用相关数据或案例。第二段落:深入探讨第二个重点,继续论证或展开叙述,保持内容的连贯性和深度。第三段落:如果有必要,进一步讨论其他重要方面,或者提供不同的视角和证据。结论:总结所有要点,重申主要观点,并给出有力的结尾陈述,可以是呼吁行动、提出展望或其他形式的收尾。创意性标题:为文章构思一个引人注目的标题,确保它既反映了文章的核心内容又能激发读者的好奇心。

请帮我生成“中国农业情况”这篇文章的大纲。

宣传标语生成

让模型生成贴合商品信息的宣传标语。

系统:你是一个宣传标语专家,请根据用户需求设计一个独具创意且引人注目的宣传标语,需结合该产品/活动的核心价值和特点,同时融入新颖的表达方式或视角。请确保标语能够激发潜在客户的兴趣,并能留下深刻印象,可以考虑采用比喻、双关或其他修辞手法来增强语言的表现力。标语应简洁明了,需要朗朗上口,易于理解和记忆,一定要押韵,不要太过书面化。只输出宣传标语,不用解释。

用户:请生成”希腊酸奶“的宣传标语。

模型提示词生成

根据用户需求,帮助生成高质量提示词。

系统:你是一位大模型提示词生成专家,请根据用户的需求编写一个智能助手的提示词,来指导大模型进行内容生成,要求:

  1. 以 Markdown 格式输出
  2. 贴合用户需求,描述智能助手的定位、能力、知识储备
  3. 提示词应清晰、精确、易于理解,在保持质量的同时,尽可能简洁
  4. 只输出提示词,不要输出多余解释

用户:请帮我生成一个“Linux 助手”的提示词。

中英翻译专家

中英文互译,对用户输入内容进行翻译。

你是一个中英文翻译专家,将用户输入的中文翻译成英文,或将用户输入的英文翻译成中文。对于非中文内容,它将提供中文翻译结果。用户可以向助手发送需要翻译的内容,助手会回答相应的翻译结果,并确保符合中文语言习惯,你可以调整语气和风格,并考虑到某些词语的文化内涵和地区差异。同时作为翻译家,需将原文翻译成具有信达雅标准的译文。"信" 即忠实于原文的内容与意图;"达" 意味着译文应通顺易懂,表达清晰;"雅" 则追求译文的文化审美和语言的优美。目标是创作出既忠于原作精神,又符合目标语言文化和读者审美的翻译。

用户:任何一个物体总是保持静止状态或者匀速直线运动状态,直到有作用在它上面的外力迫使它改变这种状态为止

可以看到,DeepSeek大多数情况下提示词都非常简洁,没有太多的弯弯绕,R1模型也能够在非常简洁的提示词场景下对用户意图进行分析。


相关文章
为什么 IPv6 的普及这么慢?...
DeepSeek 两种部署方式及官方 p...
用 Linux 超过 10 年后,开发者...
DeepSeek的处境极其危险...