Huggingface 一键迁移 Modelscope 工具
<h2 id="用法">用法</h2><p>使用 hf-ms-transfer 迁移 Huggingface 模型、数据集到 modelscope 平台：</p>
<p>安装</p>
<pre><code>pip install hf-ms-transfer # install
</code></pre>
<p>迁移</p>
<pre><code>hf-ms-transfer "hf-user/hf-package" --ms-token "modelscope_token" --ms-name "modelscope_user_name" # transfer
# example: hf-ms-transfer "stanfordnlp/imdb" --ms-token "02342424-0g23-254c-9f9a-f23fasdfafaf" --ms-name "Qwen"
</code></pre>
<p>可以从 ModelScope个人中心 获取 用户名（左上角）和 个人token（SDK/API 令牌）</p>
<h2 id="主要功能">主要功能</h2>
<p>hf-ms-transfer 支持:</p>
<ul>
<li>同时支持模型和数据集</li>
<li>支持在单个命令中迁移多个模型和数据集</li>
<li>解决数据集迁移后 load_dataset 失败问题</li>
<li>可自定义在 ModelScope 上的仓库名称</li>
</ul>
<h3 id="bonus">Bonus</h3>
<p>默认情况把数据集下从 huggingface 迁移到 modelscope 之后，load_dataset 函数会遇到以下错误</p>
<pre><code>TypeError: Value.__init__() missing 1 required positional argument: 'dtype'
</code></pre>
<p>是多余的 <code>dataset_infos.json</code> 文件导致，把数据集中该文件删除即可。</p>
<p>使用 hf-ms-transfer 迁移会默认解决该问题，如果需要保留该文件也可以通过传入参数来实现。</p><br><br>
来源：https://www.cnblogs.com/wa007/p/18976551
頁:
[1]