http、tcp、udp

💯 InterviewedRecord

# king" 和 "queen" 这两个单词在嵌⼊空间中的位置将会⾮常接近，因为它们的含义相似。 请问是依据什么内容或者含义转换的向量数据


在自然语言处理（NLP）和词嵌入（word embeddings）中，像“king”和“queen”这样具有相似含义的单词在嵌入空间中会被映射到彼此相近的位置。词嵌入的基本原理是将词语转换为一个多维空间中的向量，这些向量能够捕捉到词与词之间的语义关系。具体来说，“king”和“queen”会在嵌入空间中彼此接近，主要是由于它们具有相似的语义特征，比如都是关于“王室成员”的概念，但它们也有一些关键的差异，例如性别的不同。

这种关系的背后，通常是基于以下几个原理：



### 1. **上下文相似性**：
词嵌入模型（如Word2Vec、GloVe、FastText等）通过分析大量的文本数据，利用单词在不同上下文中出现的频率来学习词向量。这些模型通过捕捉单词与其上下文之间的相似性来进行训练。因此，"king" 和 "queen" 在许多相同的上下文中会有相似的出现方式，反映了它们在语义上的接近性。

### 2. **词对关系**：
词嵌入还能够捕捉单词之间的某些语法和语义变换。例如，Word2Vec模型使用的Skip-gram或CBOW（Continuous Bag of Words）方法能够捕捉到“king”和“queen”在性别上的对立关系。虽然它们的上下文相似，但它们在某些语法属性（如性别、数、格）上存在差异。这种语法和语义上的关系会在嵌入空间中反映为某种向量变换，比如通过简单的向量加减操作来实现性别的转换：

- "king" - "man" + "woman" ≈ "queen"。

这种关系反映了词汇之间的语法性别差异，通常可以通过向量的相对位置来捕捉。

### 3. **共享的语义特征**：
“king”和“queen”都属于“君主”类别的词，它们在语言中经常出现在类似的语境下，比如历史、政治、权力等领域。这些共享的语义特征使得它们在嵌入空间中更加接近。词嵌入模型通过统计学习提取了这些共享特征，使得它们的向量非常相似。

### 4. **高维空间的语义结构**：
词嵌入空间是高维的，每个单词的向量表示通常会有几十到几百个维度。词汇之间的距离是通过计算向量之间的相似度（如余弦相似度）来衡量的。像“king”和“queen”这样的词，其向量之间的距离会非常小，因为它们在嵌入空间中共享许多相似的语义维度。

### 总结：
“king”和“queen”在词嵌入空间中接近，主要是因为它们在语义上非常相似，都与“君主”相关，并且它们之间的关系可以通过向量操作（如性别的转换）来表现。这种接近关系是通过对大量文本数据进行统计学习得来的，并且通过上下文、语法和语义等特征相互联系而实现的。



# 转换为向量的过程是怎么进行的，使用了哪些工具或者框架
将单词转换为向量（词嵌入）是自然语言处理（NLP）中的一个重要过程，目的是将文本中的每个词语转化为一个稠密的实数向量，这样计算机就可以在数学空间中操作这些词语。词嵌入的过程通常是通过以下几个主要步骤来完成的，并且会使用不同的工具和框架。

### 1. **数据准备和文本预处理**
在词嵌入的训练过程中，首先需要对文本进行预处理。这包括：
- **分词**：将文本分解为单独的词（或子词），如通过空格、标点符号等分隔符。
- **去除停用词**：通常会去掉常见的、没有实际意义的词（如“the”、"and"等）。
- **词干提取和词形还原**：将单词还原为词根形式（如将“running”还原为“run”）。
- **其他处理**：如去除特殊字符、转换大小写等。

### 2. **构建词典**
通过对预处理过的文本进行统计分析，构建词典或词汇表。词典包含了文本中所有出现过的单词，并为每个单词分配一个唯一的索引。

### 3. **选择词嵌入方法**

词嵌入有很多不同的实现方法，其中最常见的几种包括：

#### 3.1 **Word2Vec**
Word2Vec是由Google的Tomas Mikolov等人提出的一个模型，采用了**神经网络**来学习词向量。Word2Vec有两种主要的训练方式：
- **CBOW（Continuous Bag of Words）**：根据上下文预测中心词。即给定一组上下文词，预测它们中心的词语。
- **Skip-gram**：与CBOW相反，Skip-gram是通过给定一个中心词，来预测它的上下文词。

Word2Vec的基本思路是利用大量文本中的上下文信息，通过神经网络来学习词语的高维稠密向量表示。

**Word2Vec实现工具**：
- **Gensim**：一个非常流行的Python库，提供了Word2Vec模型的实现，可以高效地进行大规模文本训练。
  ```python
  from gensim.models import Word2Vec
  sentences = [["dog", "barks"], ["cat", "meows"]]
  model = Word2Vec(sentences, min_count=1)
  vector = model.wv["dog"]  # 获取“dog”对应的词向量
  ```

#### 3.2 **GloVe (Global Vectors for Word Representation)**
GloVe由斯坦福大学提出，是一种基于词与词之间的共现矩阵的词嵌入方法。它通过将词与词之间的共现概率信息编码成词向量来进行训练。GloVe的目标是最小化词向量之间的共现信息的重构误差。

**GloVe实现工具**：
- **GloVe**官方实现：可以在其GitHub上找到GloVe的实现，支持基于大规模文本数据训练词嵌入。
  ```bash
  ./glove -input-file corpus.txt -output-file vectors.txt
  ```
- **Gensim**：除了Word2Vec，Gensim也可以加载GloVe预训练词向量，并将其用于文本分析。

#### 3.3 **FastText**
FastText是Facebook提出的一种改进版词嵌入方法，与Word2Vec类似，但它考虑了**子词信息**。FastText将每个单词拆分为字符n-gram，在训练过程中不仅学习单词的向量表示，还学习子词（子字符）的向量表示，这使得它在处理拼写错误和罕见词时表现得更好。

**FastText实现工具**：
- **FastText**官方库：Facebook提供了一个高效的工具，能够进行大规模文本数据的训练。
  ```bash
  ./fasttext skipgram -input corpus.txt -output vectors
  ```
- **Gensim**：Gensim也支持加载FastText模型。

#### 3.4 **Transformer-based Models (BERT, GPT, etc.)**
近年来，基于Transformer架构的预训练模型（如BERT、GPT等）在NLP中取得了突破性进展。它们不仅能够为每个词生成静态的词向量（如Word2Vec那样），还能够生成动态的词向量，这些词向量能够根据上下文的不同进行调整。

BERT（Bidirectional Encoder Representations from Transformers）模型是一种双向训练的Transformer模型，它能够捕捉单词在上下文中的多重含义。在BERT中，词嵌入不仅考虑了单词的本身，还考虑了上下文中的每个位置，生成上下文感知的词向量。

**BERT实现工具**：
- **Hugging Face Transformers**：一个流行的开源库，提供了对多种Transformer模型（包括BERT、GPT等）的支持。
  ```python
  from transformers import BertTokenizer, BertModel
  tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")
  model = BertModel.from_pretrained("bert-base-uncased")
  inputs = tokenizer("Hello, how are you?", return_tensors="pt")
  outputs = model(**inputs)
  ```

### 4. **训练词嵌入模型**
对于Word2Vec、GloVe和FastText等传统词嵌入模型，一旦选择了合适的模型和算法，就可以开始训练模型。训练过程包括：
- **定义模型结构**：选择Skip-gram、CBOW、GloVe等模型的具体类型。
- **优化训练**：使用梯度下降算法优化词嵌入向量，使得上下文词和目标词的相似度最大化。
- **选择超参数**：例如词向量的维度、窗口大小、学习率等。

### 5. **生成词向量**
通过训练，词嵌入模型会生成每个词的稠密向量（通常是几十到几百维），这些向量能够捕捉到词与词之间的语义关系。在生成词向量后，可以将它们用于各种NLP任务，如文本分类、情感分析、机器翻译等。

### 总结
词嵌入的过程通常涉及以下步骤：
1. 预处理文本。
2. 选择并训练合适的词嵌入模型（如Word2Vec、GloVe、FastText、BERT等）。
3. 使用工具（如Gensim、FastText、Hugging Face Transformers）进行模型训练和词向量提取。

通过这些方法，计算机能够以向量的形式理解和处理文本中的词语，从而实现对语言的深度分析。

“king" 和 "queen"， 请问是依据什么内容或者含义转换的向量数据

# 向量数据库通过计算与目标向量的余弦距离、点积等获取与目标响亮的相似度。 余弦距离和点积代表什么意思，通俗的举例解释

向量数据库中，**余弦距离**和**点积**是计算两个向量相似度的常用方法。通过这两个度量，我们可以判断两个向量之间的"相似程度"或者它们的"关系"。接下来我会通过通俗的例子来解释它们的含义。



### 1. **余弦相似度（Cosine Similarity）**
余弦相似度是通过计算两个向量的夹角来衡量它们的相似度。具体来说，余弦相似度是两个向量的**余弦值**，它表示的是这两个向量的方向是否相近，而与它们的大小无关。

#### 公式：
\[ \text{余弦相似度} = \frac{\mathbf{A} \cdot \mathbf{B}}{|\mathbf{A}| |\mathbf{B}|} \]
其中：
- \(\mathbf{A}\) 和 \(\mathbf{B}\) 是两个向量。
- \(\mathbf{A} \cdot \mathbf{B}\) 是向量的点积（也就是它们的相似度的一个度量）。
- \(|\mathbf{A}|\) 和 \(|\mathbf{B}|\) 是向量的模（即它们的大小）。

#### 通俗例子：
假设你有两个方向：
- 向量A表示你向东走的方向。
- 向量B表示你向东南走的方向。

如果你只看方向而不考虑它们的长度（你走得快慢），这两个方向还是比较接近的。余弦相似度就是衡量两个向量方向相似的程度。
- **完全相同方向**（比如A和B指向完全一样）：余弦相似度为1。
- **完全相反方向**（比如A向东，B向西）：余弦相似度为-1。
- **正交方向**（比如A向东，B向北）：余弦相似度为0（没有相似性）。

#### 举个例子：
如果你在地图上行走，A向东走，B向东北走，虽然B的路径比A稍微偏左一点，但它们的大部分方向还是一致的。所以余弦相似度会很接近1，表示这两个向量的方向非常相似。

### 2. **点积（Dot Product）**
点积是两个向量的**乘积**，它是衡量两个向量之间的**相似性**或**相关性**的一个数值。点积不仅考虑了向量的方向，还会考虑它们的大小（即它们的长度）。在计算点积时，两个向量的“角度”越小，它们的点积值就越大。

#### 公式：
\[ \mathbf{A} \cdot \mathbf{B} = A_1 B_1 + A_2 B_2 + ... + A_n B_n \]
其中 \(A_1, A_2, ..., A_n\) 是向量A的各个分量，\(B_1, B_2, ..., B_n\) 是向量B的各个分量。

#### 通俗例子：
如果你和朋友都背着重包去爬山，背包的重量和你们行走的速度可以看作两个向量。假设：
- 向量A表示你爬山的速度和背包的重量。
- 向量B表示你朋友爬山的速度和背包的重量。

点积会衡量你们在相同方向（比如爬山的方向）上的“贡献”。如果你们的速度都很快，背包也很重，那么点积的值就会很大，表示你们在同一个方向上有很强的相似性。

- **点积越大**，表示两个向量在方向和大小上的相似度越高。
- **点积为0**，表示两者在某些方面完全不相关（即它们的方向正交）。

### 比较余弦相似度和点积：
- **余弦相似度**更加关注两个向量的**方向**，而不太关注它们的大小。
- **点积**不仅考虑**方向**，还考虑了两个向量的**大小**（即它们的“长度”）。点积较大的向量通常表示相似度更高，但同时它们的大小也可能影响结果。

### 总结：
- **余弦相似度**通过计算两个向量的夹角来评估它们的相似度，注重的是“方向”的相似性，不考虑它们的长度。
- **点积**则更关注两个向量的**大小和方向**，点积大意味着两个向量不仅方向相似，而且大小也可能相似。

这两种方法都可以用于向量数据库中的相似度搜索，比如在推荐系统、语义搜索等应用中，计算一个查询向量与数据库中其他向量的相似度，从而找到最相关的结果。

余弦距离和点积代表什么意思

# 基本概念

## 1. Prompt
Prompt最初是NLP（自然语言处理）研究者为下游任务设计出来的一种任务专属的输入模板，类似于一种任务（例如：分类、聚类等）会对应一种Prompt。

我们每一次访问大模型的输入为一个Prompt，而大模型给我们的返回结果则被称为Completion


## 2. Temperature
LLM生成是具有随机性的，在模型的顶层通过选取不同的预测概率的预测结果来生成最后的结果。

我们一般可以通过控制temperature参数来控制LLM生成结果的随机性与创造性。

Temperature一般取值在0~1之间

- 当取值较低接近0时，预测的随机性会较低，产生更保守、可预测的文本，不太可能生成意想不到或不寻常的词。
- 当取值较高接近1时，预测的随机性会较高，所有词被选择的可能性更大，会产生更有创意、多样化的文本，更有可能生成不寻常或者意想不到的词。


## 3. System Prompt

事实上，它并不在大模型本身训练中得到体现，而是大模型服务方为提升用户体验锁设置的一种策略。

具体来说，在使用ChatGpt API时，你可以设置两种Prompt：
- 一种是System Prompt，该种Prompt会在整个会话过程中持久地影响模型的回复，且相比于普通Prompt具有更高的重要性；
- 另一种是UserPrompt，这更偏向于我们平时提到的Prompt，即需要模型做回复的输入。


# 使用LLM API
## 1.百度千帆
```python
import qianfan, os
from dotenv import load_dotenv, find_dotenv
# 读取本地/项⽬的环境变量。
# find_dotenv() 寻找并定位 .env ⽂件的路径
# load_dotenv() 读取该 .env ⽂件，并将其中的环境变量加载到当前的运⾏环境中 
# 如果你设置的是全局的环境变量，这⾏代码则没有任何作⽤。
_ = load_dotenv(find_dotenv())

def gen_wenxin_messages(prompt):
    '''
    构造⽂⼼模型请求参数 messages
    请求参数：
    prompt: 对应的⽤户提示词
    '''
    messages = [{"role": "user", "content": prompt}]
    return messages

def get_completion(prompt, model="ERNIE-Bot", temperature=0.01):
    '''
    获取⽂⼼模型调⽤结果
    请求参数：
    prompt: 对应的提示词
    model: 调⽤的模型，默认为 ERNIE-Bot，也可以按需选择 ERNIE-Bot-4 等其他模型
    temperature: 模型输出的温度系数，控制输出的随机程度，取值范围是 0~1.0，且不能
    设置为 0。温度系数越低，输出内容越⼀致。
    '''
    chat_comp = qianfan.ChatCompletion()
    message = gen_wenxin_messages(prompt)
    resp = chat_comp.do(messages=message, 
    model=model,
    temperature = temperature,
    system="你是⼀名个⼈助理-⼩鲸⻥")
    return resp["result"]

print(get_completion("你好，介绍⼀下你⾃⼰"))

"""
参数解释：
· messages，即调⽤的 prompt。⽂⼼的 messages 配置与 ChatGPT 有⼀定区别，其不⽀持
max_token 参数，由模型⾃⾏控制最⼤ token 数，messages 中的 content 总⻓度、
functions 和 system 字段总内容不能超过 20480 个字符，且不能超过 5120 tokens，否则模
型就会⾃⾏对前⽂依次遗忘。⽂⼼的 messages 有以下⼏点要求：① ⼀个成员为单轮对话，多个成员
为多轮对话；② 最后⼀个 message 为当前对话，前⾯的 message 为历史对话；③ 成员数⽬必须为
奇数，message 中的 role 必须依次是 user、assistant。注：这⾥介绍的是 ERNIE-Bot 模型
的字符数和 tokens 限制，⽽参数限制因模型⽽异，请在⽂⼼千帆官⽹查看对应模型的参数说明。
· stream，是否使⽤流式传输。
· temperature，温度系数，默认 0.8，⽂⼼的 temperature 参数要求范围为 (0, 1.0]，不能
设置为 0。
"""
```


## 2. Prompt Engineering

### 2.1 Prompt Engineering的意义
对于具有较强⾃然语⾔理解、⽣成能⼒，能够实现多样化任务处理的⼤语⾔模型（LLM）
来说，⼀个好的 Prompt 设计极⼤地决定了其能⼒的上限与下限。

如何去使⽤ Prompt，以充分发挥 LLM 的性能？

⾸先我们需要知道设计 Prompt 的原则，它们是每⼀个开发者设计 Prompt 所必须知道的基础概念。

本节讨论了设计⾼效 Prompt 的两个关键原则：编写清晰、具体的指令和给予模型充⾜思考时间。掌握这两点，对创建可靠的语⾔模型交互尤为重要。
### 2.2 Prompt设计的原则及使用技巧
1. `原则1：编写清晰、具体的指令`
- 使⽤分隔符清晰地表示输⼊的不同部分。在编写 Prompt 时，我们可以使⽤各种标点符号作为“分隔符”，将不同的⽂本部分区分开来。分隔符就像是 Prompt 中的墙，将不同的指令、上下⽂、输⼊隔开，避免意外的混淆。你可以选择⽤ ```，"""，< >， ，: 等做分隔符，只要能明确起到隔断作⽤即可。```
- 寻求结构化输出。按照某种格式组织的内容，例如 JSON、HTML 等。
- 要求模型检查是否满足条件。如果任务包含不⼀定能满⾜的假设（条件），我们可以告诉模型先检查这些假设，如果不满⾜，则会指 出并停⽌执⾏后续的完整流程。您还可以考虑可能出现的边缘情况及模型的应对，以避免意外的结果或 错误发⽣。
- 提高少量示例。"Few-shot" prompting（少样本提示），即在要求模型执⾏实际任务之前，给模型提供⼀两个参考样例，让模型了解我们的要求和期望的输出样式
:::warning{title="注"}
使⽤分隔符尤其需要注意的是要防⽌提示词注⼊（Prompt Rejection）。什
么是提示词注⼊？

就是⽤户输⼊的⽂本可能包含与你的预设 Prompt 相冲突的内容，如果不加分隔，
这些输⼊就可能“注⼊”并操纵语⾔模型，轻则导致模型产⽣毫⽆关联的不正确的输
出，严重的话可能造成应⽤的安全⻛险。
:::

2. `原则2：给予模型充足思考时间`
- 指定完成任务所需的步骤
- 指导模型在下结论之前找出一个自己的解法

:::warning{title="注意"}
在开发与应⽤语⾔模型时，需要注意它们可能⽣成虚假信息的⻛险。尽管模型
经过⼤规模预训练，掌握 了丰富知识，但它实际上并没有完全记住所⻅的信息，
难以准确判断⾃⼰的知识边界，可能做出错误推断。

若让语⾔模型描述⼀个不存在的产品,它可能会⾃⾏构造出似是⽽⾮的细节。这被称为“幻觉”
(Hallucination)，是语⾔模型的⼀⼤缺陷。
:::

king" 和 "queen" 这两个单词在嵌⼊空间中的位置将会⾮常接近，因为它们的含义相似。请问是依据什么内容或者含义转换的向量数据

向量数据库通过计算与目标向量的余弦距离、点积等获取与目标响亮的相似度。余弦距离和点积代表什么意思，通俗的举例解释

基本概念

1. Prompt

king" 和 "queen" 这两个单词在嵌⼊空间中的位置将会⾮常接近，因为它们的含义相似。 请问是依据什么内容或者含义转换的向量数据

向量数据库通过计算与目标向量的余弦距离、点积等获取与目标响亮的相似度。 余弦距离和点积代表什么意思，通俗的举例解释

基本概念

1. Prompt

king" 和 "queen" 这两个单词在嵌⼊空间中的位置将会⾮常接近，因为它们的含义相似。请问是依据什么内容或者含义转换的向量数据

向量数据库通过计算与目标向量的余弦距离、点积等获取与目标响亮的相似度。余弦距离和点积代表什么意思，通俗的举例解释