M3U8 下载助手油猴脚本 - 技术实现解析
M3U8 下载助手油猴脚本 - 技术实现解析
概述
本文深入解析 M3U8 下载助手油猴脚本的技术实现,包括 M3U8 链接检测机制、iframe 跨域通信、DOM 监听等核心技术。
架构设计
整体架构
1
┌─────────────────────────────────────────────────────────────┐
2
│ 浏览器页面 │
3
│ ┌───────────────────────────────────────────────────────┐ │
4
│ │ 注入的拦截脚本 │ │
5
│ │ ┌─────────┐ ┌─────────┐ ┌─────────┐ ┌─────────┐ │ │
6
│ │ │ XHR │ │ fetch │ │WebSocket│ │ DOM │ │ │
7
│ │ │ 劫持 │ │ 劫持 │ │ 劫持 │ │ 监听 │ │ │
8
│ │ └────┬────┘ └────┬────┘ └────┬────┘ └────┬────┘ │ │
9
│ │ │ │ │ │ │ │
10
│ │ └────────────┴─────┬──────┴────────────┘ │ │
11
│ │ │ │ │
12
│ │ 收集 M3U8 链接 │ │
13
│ │ │ │ │
14
│ │ ┌───────────┴───────────┐ │ │
15
│ │ │ window.__m3u8Links │ │ │
16
│ │ │ (Set 集合) │ │ │
17
│ │ └───────────┬───────────┘ │ │
18
│ └──────────────────────────┼────────────────────────────┘ │
核心技术详解
1. 脚本注入机制
油猴脚本使用 @run-at document-start 在页面最早期执行,但为了不阻塞页面加载,只注入一个轻量级的 script 元素:
1
const injectScript = `
2
(function() {
3
// 拦截逻辑
4
})();
5
`;
6
7
const s = document.createElement('script');
8
s.textContent = injectScript;
9
(document.head || document.documentElement).appendChild(s);
10
s.remove();
为什么要注入到页面上下文?
油猴脚本运行在隔离的沙箱环境中,无法直接访问页面的 window 对象。通过注入 script 元素,可以让拦截代码在页面上下文中执行,从而劫持页面的原生 API。
2. 网络请求拦截
2.1 XMLHttpRequest 劫持
1
// 保存原始方法
2
const xhrOpen = XMLHttpRequest.prototype.open;
3
const xhrSend = XMLHttpRequest.prototype.send;
4
5
// 劫持 open 方法,保存 URL
6
XMLHttpRequest.prototype.open = function(method, url) {
7
this._url = url;
8
return xhrOpen.apply(this, arguments);
9
};
10
11
// 劫持 send 方法,检测 URL
12
XMLHttpRequest.prototype.send = function(body) {
13
if (this._url) {
14
add(this._url); // 添加到检测集合
15
}
16
return xhrSend.apply(this, arguments);
17
};
为什么要在 send 时检测?
因为 open 只是设置参数,send 才真正发起请求。而且有些代码会在 open 之后修改 URL。
2.2 fetch 劫持
1
const origFetch = window.fetch;
2
3
window.fetch = function(input) {
4
// input 可以是字符串或 Request 对象
5
add(typeof input === 'string' ? input : input.url);
6
return origFetch.apply(this, arguments);
7
};
2.3 WebSocket 劫持
1
const origWS = window.WebSocket;
2
3
window.WebSocket = function(url) {
4
add(url);
5
return new origWS(url);
6
};
3. DOM 变化监听
使用 MutationObserver 监听 DOM 变化,捕获动态添加的视频元素:
1
new MutationObserver(mutations => {
2
mutations.forEach(mutation => {
3
// 属性变化
4
if (mutation.type === 'attributes') {
5
const attrName = mutation.attributeName;
6
if (attrName === 'src' || attrName === 'href') {
7
add(mutation.target[attrName]);
8
}
9
}
10
// 子节点变化
11
else if (mutation.type === 'childList') {
12
mutation.addedNodes.forEach(node => {
13
if (node.nodeType === 1) { // Element 节点
14
// 检查各种可能包含 URL 的属性
15
['src', 'href', 'data-src', 'data-href'].forEach(attr => {
16
const value = node.getAttribute(attr);
17
if (value) add(value);
18
});
优化点:
- 使用
attributeFilter只监听src和href属性,减少回调次数 - 只检查
nodeType === 1的元素节点
4. iframe 跨域通信
当视频在 iframe 中加载时,需要跨 iframe 传递检测到的链接。
4.1 iframe 内部:发送消息
1
// 在 iframe 中检测到链接后
2
if (top === self) {
3
// 是顶层窗口,直接添加
4
window.__m3u8Links.add(url);
5
} else {
6
// 是 iframe,发送消息给顶层
7
top.postMessage({
8
type: 'M3U8_LINK_FOUND',
9
url: url
10
}, '*');
11
}
4.2 顶层窗口:接收消息
1
if (realWin.top === realWin.self) {
2
realWin.addEventListener('message', e => {
3
if (e.data?.type === 'M3U8_LINK_FOUND' && e.data.url) {
4
if (!realWin.__m3u8Links.has(e.data.url)) {
5
realWin.__m3u8Links.add(e.data.url);
6
// 更新 UI
7
if (realWin.__m3u8Links.size === 1) {
8
ensureButton();
9
}
10
}
11
}
12
});
13
}
5. URL 标准化
检测到的 URL 需要标准化处理:
1
const add = (url) => {
2
if (!url) return;
3
try {
4
// 转换为绝对 URL
5
let abs = new URL(url, location.href).href;
6
7
// 验证是否是 M3U8 链接
8
if (abs.includes('.m3u8') && /^https?:/.test(abs)) {
9
// 只在顶层窗口存储
10
if (top === self) {
11
window.__m3u8Links.add(abs);
12
} else {
13
top.postMessage({ type: 'M3U8_LINK_FOUND', url: abs }, '*');
14
}
15
}
16
} catch(e) {
17
// URL 解析失败,忽略
18
}
关键点:
- 使用
new URL(url, location.href)处理相对路径 - 正则验证必须是 HTTP(S) 协议
- 使用 Set 自动去重
6. 文件名处理
自动清理文件名中的非法字符:
1
const sanitize = name => {
2
if (!name) return '';
3
return name
4
.replace(/[\\/:*?"<>|]/g, '_') // 替换非法字符为下划线
5
.trim();
6
};
智能默认文件名生成:
1
const defaultFileName = (link) => {
2
// 优先使用网页标题
3
let title = document.title;
4
if (title?.trim()) return sanitize(title);
5
6
// 其次使用 URL 中的文件名
7
try {
8
let last = new URL(link).pathname
9
.split('/')
10
.pop()
11
.replace(/\.m3u8$/i, '');
12
return sanitize(decodeURIComponent(last)) || 'video';
13
} catch (e) {
14
return 'm3u8_video';
15
}
16
};
7. GM_xmlhttpRequest
使用油猴提供的 GM_xmlhttpRequest 发送跨域请求:
1
const startDownload = (url, name) => new Promise((resolve, reject) => {
2
GM_xmlhttpRequest({
3
method: 'POST',
4
url: `${BACKEND_URL}/api/download`,
5
headers: {
6
'Content-Type': 'application/json'
7
},
8
data: JSON.stringify({ url, name }),
9
onload: resp => {
10
if (resp.status === 200 || resp.status === 201) {
11
try {
12
resolve(JSON.parse(resp.responseText).id);
13
} catch (e) {
14
reject('解析失败');
15
}
16
} else {
17
reject(`状态码 ${resp.status}`);
18
}
为什么不用原生 fetch?
因为油猴脚本运行在隔离环境中,原生 fetch 会受到同源策略限制。GM_xmlhttpRequest 是油猴提供的特权 API,可以绕过这些限制。
8. WebSocket 进度监控
下载任务创建后,通过 WebSocket 实时监控进度:
1
const monitorTask = (taskId, taskName, url) => {
2
const ui = createProgressModal(taskId, taskName, url);
3
4
const connect = () => {
5
const ws = new WebSocket(
6
`${BACKEND_URL.replace('http', 'ws')}/api/tasks/${taskId}/ws`
7
);
8
9
ws.onmessage = e => {
10
const task = JSON.parse(e.data);
11
12
// 更新进度
13
if (task.progress !== undefined) {
14
ui.updateProgress(task.progress);
15
}
16
17
// 更新状态
18
if (task.status) {
性能优化
1. 防抖处理
对于频繁触发的事件,使用防抖减少处理次数:
1
let updateTimeout = null;
2
const debouncedUpdate = () => {
3
clearTimeout(updateTimeout);
4
updateTimeout = setTimeout(() => {
5
// 实际处理逻辑
6
}, 100);
7
};
2. Set 去重
使用 Set 自动去重,避免重复存储相同链接:
1
window.__m3u8Links = new Set();
3. 定时扫描优化
定时扫描只在检测到链接后才创建浮动按钮,避免空操作:
1
setInterval(() => {
2
if (realWin.__m3u8Links?.size && !document.getElementById('tm-m3u8-btn')) {
3
ensureButton();
4
}
5
}, 1500);
4. 条件注入
检查是否已注入,避免重复注入:
1
if (realWin.__m3u8InterceptorInstalled) return;
2
realWin.__m3u8InterceptorInstalled = true;
安全考虑
1. URL 验证
只处理 HTTP(S) 协议的 URL:
1
if (!/^https?:/.test(abs)) return;
2. XSS 防护
用户输入的文件名需要转义:
1
const escapeHtml = (text) => {
2
const div = document.createElement('div');
3
div.textContent = text;
4
return div.innerHTML;
5
};
3. 作用域隔离
使用 IIFE 避免污染全局作用域:
1
(function() {
2
'use strict';
3
// 脚本代码
4
})();
调试技巧
1. 查看检测到的链接
在浏览器控制台中执行:
1
// 在页面上下文中执行
2
console.log(Array.from(window.__m3u8Links));
2. 手动触发按钮显示
1
// 强制显示按钮
2
ensureButton();
3. 查看注入是否成功
1
console.log(window.__m3u8InterceptorInstalled); // 应该是 true
总结
M3U8 下载助手油猴脚本综合运用了多种浏览器技术:
| 技术 | 用途 |
|---|---|
| XHR/fetch 劫持 | 拦截网络请求 |
| MutationObserver | 监听 DOM 变化 |
| postMessage | iframe 跨域通信 |
| GM_xmlhttpRequest | 跨域 API 调用 |
| WebSocket | 实时进度监控 |
| URL API | URL 标准化 |
这些技术的组合使得脚本能够全面、高效地检测网页中的 M3U8 链接,并提供良好的用户体验。
相关文章
查看同分类文章MAVLink 消息处理指南
MAVLink消息处理系统摘要 本系统实现了一套完整的MAVLink消息处理机制,用于无人机通信与控制。核心功能包括: 消息接收:通过UDP连接持续接收飞控消息,支持心跳维持机制 消息处理:分类处理多种MAVLink消息类型,包括心跳、位置、姿态和航点相关消息 航点管理:实现航点下载状态机,支持分片请求和接收航点数据 消息转发:将处理后的消息通过MQTT发布到指定主题 系统采用多线程架构,包含独立的消息接收线程和主处理循环,通过通道进行线程间通信。关键特性包括航点下载状态机、错误处理和日志记录机制,确保通信
304 浏览
我做了一个局域网传文件的小工具,记录一下
本文记录了作者开发局域网文件传输工具的过程。起因是工作中遇到大文件传输不便的问题,作者选择用Rust语言开发,解决了WebSocket状态管理、大文件上传限制等技术难点。最终成品通过浏览器即可使用,支持文字聊天和文件传输,内存占用低。同事们试用后反馈良好,建议增加拖拽上传等功能。作者认为Rust虽开发较繁琐但运行高效稳定,并将项目开源供社区参与改进。
291 浏览
局域网聊天工具
这是一个基于Rust和Axum框架开发的局域网实时聊天工具,支持文本聊天、图片和文件分享功能。项目采用WebSocket实现实时通信,前端使用Tailwind CSS构建界面。主要功能包括实时消息传递、文件上传下载(限制100MB)、在线用户显示和消息历史记录。部署简单,只需Rust环境,通过Cargo编译运行即可启动服务。系统架构清晰,包含后端处理、前端界面和文件存储模块,适合局域网内团队协作使用。
350 浏览
彻底解决 Windows 下无法删除 nul 文件的问题
摘要:Windows系统下无法删除名为nul的文件,因为它是系统保留设备名。常见解决方法如\\.\路径可能失效,更可靠的方案是使用Git Bash的rm命令直接删除,或使用\\?\前缀的扩展路径。备选方案包括安全模式、PE系统或第三方工具。Git Bash方案操作简单成功率最高,\\?\路径是原生解决方案,建议根据实际情况选择最佳方法。
1312 浏览