解决git clone及huggingface下载等网络失败问题

开源 0

最近git clone经常会clone不下来,于是乎记录一下解决方案。


git clone相关问题

工具:VPN

需要有一个VPN,然后git中输入如下命令:

git config --global http.proxy "localhost:1020"

如果不行的话再试试下面这两个命令就好了。
git config --global http.proxy ‘socks5://127.0.0.1:1080’

git config --global https.proxy ‘socks5://127.0.0.1:1080’

这里的1020换成你自己的VPN端口,然后开着VPN git clone就可以成功啦。

huggingface数据集下载等问题

另外如果打代码的过程遇到huggingface数据集或者其他数据集在线下载不下来等情况,可以在代码中添加一下环境变量 挂个代理 就可以下载了。如下代码所示,localhost也就是127.0.0.1

from datasets import load_datasetimport osos.environ['HTTP_PROXY'] = 'http://127.0.0.1:1020'os.environ['HTTPS_PROXY'] = 'http://127.0.0.1:1020'datasets = load_dataset('cmrc2018', cache_dir='./data')

huggingface eval评价指标问题

一般加载评价指标直接从huggingface加载下载就可以

import evaluate metric_name = 'accuracy'accuracy = evaluate.load(metric_name)result = accuracy.compute(references=[0,1,0,1], predictions=[1,0,0,1]) print(result)

但是如果出现一些网络问题的话,上述代码就会一直卡在 load 迟迟没有结果。
如果直接使用指标名称“accuracy”等,程序将会从 huggingface 上下载相应模块到缓存中使用,实际上我的问题就是无法顺利下载,
因此只能将相关文件下载到本地,采用 local metric script 方法:

因此只能将相关文件下载到本地,采用 local metric script 方法:

打开官方Github GitHub - huggingface/evaluate: 🤗 Evaluate: A library for easily evaluating machine learning models and datasets. 下载 metrics 文件夹,放在测试脚本的目录下,将’accuracy’ 改为 ‘./metrics/accuracy’,再次运行文件即可得到正确结果

参考资料:https://blog.csdn.net/misaki_min/article/details/132650725

也许您对下面的内容还感兴趣: