在本地运行OpenHands-LM-32B-V0.1：解锁自主软件开发

大约 5 分钟

在本地运行OpenHands-LM-32B-V0.1：解锁自主软件开发

想象一下，有一个自主软件开发助手在你身边，创建代码片段、解决GitHub问题并高效组织项目。OpenHands-LM-32B-V0.1 是一个改变游戏规则的模型，旨在通过其开源能力赋能软件开发。在本文中，我们将探讨如何在本地运行此模型，利用其潜力来转变你的编码工作流程。

OpenHands-LM简介

OpenHands-LM 基于Qwen Coder 2.5 Instruct基础构建，并使用SWE-Gym开发的强化学习框架进行微调。这个32B参数模型在软件工程任务上表现出色，特别是在处理GitHub问题时，在SWE-Bench Verified基准上验证的解决率为37.2%。由于相对紧凑，它可以在单个NVIDIA GeForce 3090 GPU等硬件上本地运行，使开发者能够管理和优化他们的项目，而无需依赖云服务。

为什么要在本地运行OpenHands-LM？

本地部署 提供了几个优势：

安全性和隐私：在本地运行模型确保敏感项目数据保持在你的环境中，减少通过外部API暴露的风险。
自定义：你可以根据特定的开发工作流程微调模型，提高其在你项目独特任务上的表现。
成本效益：通过减少对外部API调用的依赖，你可以节省服务成本，同时保持对数据访问的控制。

在本地设置OpenHands-LM

前提条件

硬件要求：确保你有合适的GPU（例如，NVIDIA GeForce 3090）和至少16 GB的RAM，以确保顺利运行。
软件设置：在你的系统上安装Docker和Docker Desktop（Windows、macOS或Linux）。
对于macOS和Windows：
- 确保安装并配置Docker Desktop以使用默认的Docker套接字。
- 验证你的系统正在运行最新版本的Docker。
对于Linux：
- 安装Docker，并确保至少使用Ubuntu 22.04或类似的Linux发行版。

运行OpenHands-LM的步骤

下载OpenHands LM模型：
- 访问Hugging Face直接下载OpenHands-LM-32B-V0.1，大小约为20 GB。
创建OpenAI兼容的端点：
- 使用像SGLang或vLLM这样的模型服务框架创建一个本地的OpenAI兼容端点。
配置OpenHands代理：
- 根据OpenHands文档提供的说明，将你的OpenHands代理指向新设置的模型。

使用Docker的示例设置

以下是使用Docker运行OpenHands的简化设置指南：

安装Docker：

# 对于Ubuntu
sudo apt-get update
sudo apt-get install docker.io -y

# 对于Windows（使用WSL）
wsl --install -d Ubuntu

拉取并运行OpenHands Docker镜像：

由于没有特定的OpenHands-LM Docker镜像，通常你会使用其主容器运行OpenHands，并将其连接到你的本地模型接口。

docker pull docker.all-hands.dev/all-hands-ai/openhands:0.30

然后，按照其官方安装指南启动OpenHands：

docker run -it --rm --pull=always \
-e SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.30 \
-e LOG_ALL_EVENTS=true \
-v /var/run/docker.sock:/var/run/docker.sock \
-v ~/.openhands-state:/.openhands-state \
-p 3000:3000 \
--add-host host.docker.internal:host-gateway \
--name openhands-app \
docker.all-hands.dev/all-hands-ai/openhands:0.30

OpenHands UI：
- 在你的网络浏览器中访问 http://localhost:3000 以查看你的OpenHands设置。
将OpenHands与本地模型链接：
- 确保OpenHands通过模型的端点连接到你本地托管的OpenHands-LM-32B-V0.1模型。

挑战与解决方案

在本地运行OpenHands-LM时，你可能会面临与硬件性能、环境设置或模型对量化水平敏感性相关的问题。以下是一些建议：

硬件升级：
- 如果遇到性能瓶颈，考虑升级你的GPU以获得更好的处理能力。
环境调整：
- 确保Docker和模型服务器框架（如SGLang）正确安装并更新。
量化优化：
- 对量化水平要谨慎；在较低水平下运行可能会影响模型性能。

与LightNode VPS的集成

对于那些需要可扩展性或希望远程托管其开发项目，同时保持对OpenHands-LM控制的人来说，使用**LightNode VPS（虚拟专用服务器）**是一个绝佳选择。LightNode提供灵活的服务器配置，适合运行本地AI模型等高性能任务。

为什么选择LightNode来托管OpenHands-LM？：

可定制资源：
- 根据你的需求分配资源，确保模型高效执行。
安全功能：
- 利用强大的安全措施保护你的项目和数据。
可扩展性：
- 根据项目需求轻松扩展你的基础设施。

考虑今天将你的设置迁移到LightNode，以增强你的开发工作流程：
访问LightNode以探索量身定制的VPS解决方案。

结论

在本地运行OpenHands-LM-32B-V0.1为软件开发开辟了新的途径，提供了自主性、自定义和增强的项目安全性。通过将这个强大的模型集成到你的工作流程中，你可以以前所未有的效率自动化代码编写、问题解决和项目管理任务。随着软件开发的未来越来越依赖于AI辅助工具，充分利用像OpenHands-LM这样的模型的潜力将对在行业中保持领先至关重要。