shower LV
发表于 2025-4-15 17:36:19
screenpipe图标
rewind.ai 和 http://cursor.com 的结合 = 一个真正懂你的 AI 助手
超级智能时代来临，24小时不间断记录屏幕和语音，让数据为你赋能
随着AI应用的发展，可以发现各种应用在整体走向通用的同时，一些个性化的应用也崭露头角。
个人是非常看好个性化AI应用的发展的。
目前较为热门的比如 社交领域MiniMax的星野，直播领域的Neoru-sama，或者是开源的酒馆sillytavern，我认为都是极具潜力的产品。
这些产品的诞生的基底来着各领域的大模型的进步，这是一个AI强势生长的时代。AI模型的迭代速度即使是从业人员也可能无法掌控全貌。
然而个性化AI产品应用的底座模型的养料，个性化隐私数据，却是永远稀少的。因为个人很少有收集有关自身数据的意识。
个人用户还没有意识到自己产生的数据的珍贵。
Screenpipe的出现使得个人较为完善有结构地收集自身产生的数据成为了可能，也使得个人通过AI解读利用自身所产生数据的要求有所降低。
此外Screenpipe的Rust含量极高，在个人看来是生长潜力巨大的种子级项目。
Trend
<hr/>Verse
接下来介绍一下Screenpipe的构成和基本使用方式
ScreenPipe的构成
架构图
官方架构图非常清晰，数据源有俩个，一个是PC的屏幕截图，一个是PC的音频输入和输出。
屏幕截图使用的rust开发的Xcap，rust开发适用于多平台，能够输出基于屏幕的截图信息和基于窗口的屏幕信息，我之前开发用过这个库，效率中等，未来可期。
nashaofu/xcap: XCap is a cross-platform screen capture library written in Rust. It supports Linux (X11, Wayland), MacOS, and Windows. XCap supports screenshot and video recording (to be implemented).将屏幕截图和音频数据通过和时间戳一起整理，其中屏幕截图可以通过ocr进行再处理转换为文本信息，音频数据通过ASR进行在处理转化为文本信息。
最终存入数据库中，可惜目前是本地的，估计是处于个人隐私安全考虑。
.screenpipe目录下
data目录下
可以看到最终存储的数据是屏幕截图转成的视频（减少体积），还要时间戳和文本信息存在sqlite中，存储数据的方式还是有优化空间的。
存好数据后就可以来使用了，基本的用法是通过向量化后做向量化搜索，或者是将数据整体喂给大模型进行处理。
官方提供的示例有
检查自己干了啥
会议总结
Pipe商店
约等于steam的创意工坊，大家将个人数据的使用想法汇总，做定向话UGC内容。比如截图所示的总结会议后发邮件或者总结今天干了什么然后发邮件。
Chorus
个人开发利用
官方给出的示例使用方式还是比较保守的。我最近也将Screenpipe集成到我的一个小项目中，效果非常不错。
可以看到Screenpipe让多模态交互的AI有了更大的用处。笔者使用的FunAsr作为语言输入，Chatts作为语音输出，人脸识别和环境识别作为视觉。
直接通过语音问询AI，可以得知过去自己干了什么。
如果进一步开发，也许能让AI通过屏幕截图帮我写代码也说不定呢~
安装
那么讲了这么多，也该到了激动人心的安装环节。
官方安装GUI
只需要交钱就会发一个安装包，但是价格有点贵，富哥随意。
自行构建
Screenpipe官方是rust-cli + tauri + deno的形式构建的，对于开发者来说只需要构建cli。tauri和deno都是非常现代化的工具，只要环境配置正确基本不存在编译安装的难点，除非项目方人为制造难点。
这里是我最近构建的一个0.11.0版本的windows安装包，欢迎取用。
链接screenpipe-0.11.0-installer.exe
https://mypikpak.com/s/VOCHqwqqaFGZn4HSo63pdZQKo1
密码: ae3n - choco install pkgconfiglite bun
- winget install -e --id GnuWin32.UnZip
- winget install -e --id Rustlang.Rustup
- cd V:\projects
- git clone https://github.com/mediar-ai/screenpipe
- cd V:\packages
- git clone https://github.com/microsoft/vcpkg.git
- cd vcpkg
- ./bootstrap-vcpkg.bat -disableMetrics
- ./vcpkg.exe integrate install --disable-metrics
- ./vcpkg.exe install ffmpeg
-
- SET PKG_CONFIG_PATH=V:\packages\vcpkg\packages\ffmpeg_x64-windows\lib\pkgconfig
- SET VCPKG_ROOT=V:\packages\vcpkg
- SET LIBCLANG_PATH=C:\Program Files (x86)\Microsoft Visual Studio\2022\BuildTools\VC\Tools\Llvm\x64\bin
- cd V:\projects\screenpipe
-
- rustup default stable
- cargo build --release --features cuda
-
- cd screenpipe-app-tauri
- bun install
- bun scripts\pre_build.js # (you might wget not retriving error, if so use &#39;-O&#39; flag) <- this is important to copy the CLI into the app
- bun tauri build
有构建问题欢迎评论留言
Finale
也许在现在的阶段，给自己电脑装一个监控还没有什么大用。
但是永远别低估AI的发展，万一用上了呢。
这时候，基于个人PC的个性化数据就能快速打造独属于个人的PC智能助理。 |
|
