在本地運行 OpenHands-LM-32B-V0.1：解鎖自主軟體開發

大约 5 分鐘

在本地運行 OpenHands-LM-32B-V0.1：解鎖自主軟體開發

想像一下，身邊有一個自主軟體開發助手，能夠創建代碼片段、解決 GitHub 問題並高效組織項目。OpenHands-LM-32B-V0.1 是一個改變遊戲規則的模型，旨在利用其開源能力來增強軟體開發。在本文中，我們將探討如何在本地運行這個模型，利用其潛力來改變您的編碼工作流程。

OpenHands-LM 介紹

OpenHands-LM 是基於 Qwen Coder 2.5 Instruct 基礎構建的，並使用 SWE-Gym 開發的強化學習框架進行微調。這個 32B 參數模型在軟體工程任務上表現出色，特別是在解決 GitHub 問題方面，在 SWE-Bench Verified 基準上達到了 37.2% 的驗證解決率。由於相對緊湊，它可以在單個 NVIDIA GeForce 3090 GPU 等硬體上本地運行，使開發者能夠管理和優化他們的項目，而無需依賴雲服務。

為什麼要在本地運行 OpenHands-LM？

本地部署 提供了幾個優勢：

安全性和隱私：在本地運行模型確保敏感項目數據保持在您的環境中，降低通過外部 API 曝露的風險。
自訂性：您可以根據特定的開發工作流程微調模型，提升其在您項目獨特任務上的表現。
成本效益：通過最小化對外部 API 調用的依賴，您可以節省服務成本，同時保持對數據訪問的控制。

在本地設置 OpenHands-LM

前置條件

硬體要求：確保您擁有合適的 GPU（例如，NVIDIA GeForce 3090）和至少 16 GB 的 RAM，以確保順利運行。
軟體設置：在您的系統上安裝 Docker 和 Docker Desktop（Windows、macOS 或 Linux）。
對於 macOS 和 Windows：
- 確保已安裝 Docker Desktop 並配置為使用默認 Docker 套接字。
- 驗證您的系統正在運行最新版本的 Docker。
對於 Linux：
- 安裝 Docker，並至少使用 Ubuntu 22.04 或類似的 Linux 發行版。

運行 OpenHands-LM 的步驟

下載 OpenHands LM 模型：
- 訪問 Hugging Face 直接下載 OpenHands-LM-32B-V0.1，大小約為 20 GB。
創建 OpenAI 兼容的端點：
- 使用像 SGLang 或 vLLM 這樣的模型服務框架來創建本地的 OpenAI 兼容端點。
配置 OpenHands Agent：
- 根據 OpenHands 文檔提供的說明，將您的 OpenHands agent 指向新設置的模型。

使用 Docker 的示例設置

以下是使用 Docker 運行 OpenHands 的簡化設置指南：

安裝 Docker：

# 對於 Ubuntu
sudo apt-get update
sudo apt-get install docker.io -y

# 對於 Windows（使用 WSL）
wsl --install -d Ubuntu

拉取並運行 OpenHands Docker 映像：

由於沒有特定的 OpenHands-LM Docker 映像，您通常會運行 OpenHands 的主容器並將其連接到您的本地模型介面。

docker pull docker.all-hands.dev/all-hands-ai/openhands:0.30

然後，按照其官方安裝指南啟動 OpenHands：

docker run -it --rm --pull=always \
-e SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.30 \
-e LOG_ALL_EVENTS=true \
-v /var/run/docker.sock:/var/run/docker.sock \
-v ~/.openhands-state:/.openhands-state \
-p 3000:3000 \
--add-host host.docker.internal:host-gateway \
--name openhands-app \
docker.all-hands.dev/all-hands-ai/openhands:0.30

OpenHands UI：
- 在您的網頁瀏覽器中訪問 http://localhost:3000 以訪問您的 OpenHands 設置。
將 OpenHands 與本地模型連接：
- 確保 OpenHands 通過模型的端點連接到您本地托管的 OpenHands-LM-32B-V0.1 模型。

挑戰與解決方案

在本地運行 OpenHands-LM 時，您可能會面臨與硬體性能、環境設置或模型對量化水平的敏感性相關的問題。以下是一些建議：

硬體升級：
- 如果遇到性能瓶頸，考慮升級您的 GPU 以獲得更好的處理能力。
環境調整：
- 確保 Docker 和模型服務框架（如 SGLang）已正確安裝並更新。
量化優化：
- 在量化水平上要謹慎；在較低水平運行可能會影響模型性能。

與 LightNode VPS 的整合

對於需要可擴展性或希望遠程托管其開發項目，同時保持對 OpenHands-LM 控制的用戶，使用 LightNode VPS（虛擬私人伺服器） 是一個絕佳選擇。LightNode 提供靈活的伺服器配置，適合高性能任務，如運行本地 AI 模型。

為什麼選擇 LightNode 托管 OpenHands-LM？：

可自訂資源：
- 根據您的需求分配資源，確保模型高效執行。
安全功能：
- 利用強大的安全措施來保護您的項目和數據。
可擴展性：
- 根據項目需求輕鬆擴展您的基礎設施。

考慮今天將您的設置遷移到 LightNode，以提升您的開發工作流程：
訪問 LightNode 探索量身定制的 VPS 解決方案。

結論

在本地運行 OpenHands-LM-32B-V0.1 為軟體開發開啟了新的途徑，提供自主性、自訂性和增強的項目安全性。通過將這個強大的模型整合到您的工作流程中，您可以以前所未有的效率自動化代碼編寫、問題解決和項目管理任務。隨著軟體開發的未來越來越依賴 AI 輔助工具，充分利用像 OpenHands-LM 這樣的模型將對於在行業中保持領先至關重要。