基础 LLMs 与 AI Agent
IT Standard 14 10 hrs AI Python
本课程介绍大型语言模型的工作原理，以及如何将该模型转化为能够在电脑上执行操作的 agent。学生将首先透过词元化、嵌入、注意力机制及下一个词预测来追踪提示词的处理过程，然后在 Google Gemini 中练习良好提示词的五个要素，并透过一次对话产生重点内容、一幅 AI 生成漫画以及一个使用 Canvas 工具构建的应用程式。除了实作外，学生还会探讨幻觉、训练数据截止及记忆体上限，应用「信任但须验证」常规，并审视何谓网上敏感资讯。课程的后半部将转离云端：学生将安装 Ollama，在本地运行开源模型，同时记录 CPU 使用率、记忆体及 token 吞吐量，并比较不同的模型大小。然后，他们将在 Thonny 中运行提供的 Python agents，以在受限的沙盒资料夹内重新命名、建立、读取及删除档案，观察 Think-Act-Observe 循环，并为 agent 增加新工具。课程最后将介绍基于技能的个人助理，学生将从范本中编写自己的 Python 技能，并将其载入至助理的技能组中。
学习目标
- 解释大型语言模型如何生成文字，涵盖词元化、嵌入、注意力机制及下一个词预测。
- 编写结构化提示词，并针对幻觉、知识截止、记忆体限制及网上私隐风险评估 LLM 的输出。
- 使用 Ollama 在本地运行开源模型，并使用 Python 构建沙盒档案 agent 及基于技能的助理。
课程大纲
探索 AI 与 LLM | 描述人工智能、机器学习、深度学习及 transformer 模型之间的关系，并解释 LLM 如何透过词元化、嵌入、注意力机制及下一个词预测来构建答案
提示词、限制与网上私隐 | 应用良好提示词的五个要素（角色、目标、受众、背景、界限）及大师级提示策略；识别幻觉、训练数据截止及记忆体上限；应用「信任但须验证」规则并比较常见 LLM 服务的优势；识别敏感个人数据及其在网上分享的风险 | 实作：i) 使用 Google Gemini 就选定主题生成重点内容，并利用后续提示词进行完善 ii) 要求 LLM 撰写图像提示词，然后生成一幅解释相同主题的四格漫画 iii) 使用 Canvas 工具将对话转化为应用程式
本地电脑上的 LLMs | 比较云端与本地模型在私隐、连接性及模型大小方面的差异，并安装及使用 Ollama 运行开源模型 | 实作：i) 记录载入模型前后的 CPU 使用率及总 RAM ii) 使用 --verbose 运行 gemma4:e2b 及 deepseek-r1:8b，并以每秒 token 数量为单位记录提示词与回应速度 iii) 比较两个模型，并讨论较大的参数数量是否总是能带来更好的结果
AI agent 实验 | 区分聊天机械人与 agent，介绍指令与简单脚本，解释 Think-Act-Observe 循环，并解释为何 agent 会被限制在沙盒资料夹内 | 实作：i) 在 Thonny 运行 agent.py，并要求其重新命名及删除 AI_Sandbox 资料夹内的档案 ii) 运行 smart-agent.py，并计算其列出、读取、建立、重新命名及删除档案所需的步骤数量 iii) 尝试对 AI_Sandbox 外的档案进行操作以测试资料夹限制 iv) 为 smart-agent.py 增加新工具，使 agent 能够将文字写入档案
个人助理与技能组 | 理解技能组作为赋予 LLM 的操作集合，以及工具列表和系统提示词如何指示助理在何时使用哪项技能；概述进阶 agents 如何透过自行编写代码及平行运行子 agents 来扩展此功能 | 实作：i) 运行 assistant.py 并向其查询当前时间 ii) 从 skill_template.py 构建 get_current_time.py 并将其加入至 Skillset 资料夹 iii) 建立一项额外的个人技能，例如笔记或从开放数据 API 获取天气数据
先修课程
- 具备基础 Python 经验
硬体需求
- 配备已更新浏览器的手提电脑／桌上电脑
- 能够使用 Ollama 运行本地模型的 Windows 手提电脑／桌上电脑
软体需求
- Google Gemini
- Ollama
- Thonny
- 已安装 ollama 套件的 Python