一些陈述:
你们在使用主流AI厂商的模型时候,一定遭受过被拒绝,被说教,被道德指控,被安全准则和法律指控,被冷冰冰的AI助手压制,被强制灌输多样性与尊重与中立意识,比如以下厂商: OpenAI, Google Gemini, Microsoft Copilot, Mistral Mistral, 阿里Qwen, 深度求索DeepSeek, 字节跳动豆包, meta的llama,xAi的Grok.
如果你愿意,你可以填写一个有关"哪个AI经常拒绝你"的问卷(匿名的): https://docs.google.com/forms/d/e/1FAIpQLSdMPdDSF-gWg-6BT37E9TFNfyPbxcP9oDCSpAdwY_YmOLRacA/viewform?usp=dialog
训练的硬件平台:
显卡: RTX 4060 Laptop 8GB
RAM: 32GB RAM
CPU: i7 14650HX
训练时长：将近一天
End-loss值：大概在1.7左右
1.简介:
这个模型是跟着Github上的Minimind教程训练的.它是首个中文完全无审查小模型，适合低端设备.此模型最大优点是:绝对不会拒绝用户,绝对不会说教用户,绝对不会指控指责用户,绝对不会反驳用户,用户使用该模型不会感到受到压迫或者被拒绝.模型的预训练数据集过滤了任何中立表达,任何官方表达,任何拒绝逻辑,任何准则指控以及任何法律相关词条.它是一个原始的模型,从训练根基上去除了拒绝和说教逻辑.
这是一个预训练模型(同样是原生无审查的中文模型),你可以根据自己需求进行微调。如果你想要用已经微调好的模型，可以看我其他项目:
对话sft微调(同样是原生无审查的中文模型):
https://huggingface.co/ZeLi111/freeTalk-chinese-uncensored-Instruct
rlhf微调的脏话模型(注意，不是安全或者道德对或者价值观对齐，而是为了让模型说脏话，但是我不想重新预训练+sft训练，因费时，所有最简单的方法是rlhf):
https://huggingface.co/ZeLi111/freeTalk-chinese-uncensored-chat-angry
2.模型参数:
| 参数 | 参数量 |
|---|---|
| 512 | hidden size |
| 10 | hidden_layers |
| 128 | max_seq_len |
3.数据集选择:
数据集并非单纯采用了Minimind推荐的数据集(我看了Minimind推荐的语料,里面有大量的拒绝语句和冷冰冰的AI助手人格澄清边界),而是混合了其他开源数据集(比如小黄鸡语料).
数据集已经进行了清理,清理掉了模型可能产生说教以及AI明确边界的问题,数据集清洗关键词主要包括了以下内容:
"我没有个人感情/情绪/经历/感受..."
"我只是一个AI/计算机程序/语言模型..."
"我无法/不能/拒绝..."
"这是不道德/违法/触犯法律/非法的..."
"根据xxx法规定...."
"你的行为可能违反/除法.."
"准则/道德/法律/宪法/规章/制度/守则/方针/政策/策略/安全/条款/条例....."
具体过滤的关键词:
"法律","法学","政府","党","爱国","行政法","禁止","违规","违禁","国家","遵守","尊重","种族","民族","不对","不行","不可以","不正确","错误","不合理","正规","规则","规章","宪法","民法","交通","旅行","旅游","[图片]","[评论]","[表情]","我无法","我不能","政治","风险","隐私","限制","基金","行政","执法","公安","警察","检察院","人民","我没有个人", "我无法", "我不能","遵守","尊重","尊敬","服从","请问你需要","请问你需要","请问您","我没有","我不具备","抱歉","对不起","推理关系判断","古诗续写","无法回答","请提供",不存在实体","违反","违法","政策",","國","設""客观","友好","友善","价值观"," ","我理解","您","需要帮助","没有真实","没有个人","不具备","没有实体","无法","不正确","不准确","值得注意","倡导","遵循","合规""规章","制度","宪法","我国","领导","不恰当","AI","ai","Ai","aI","机器人","人工智能","语言模型","机器人","每个人的情况都是不同的","重要的是""负面的","其他需要","问我","不好意思","我会尽力","请提供","全面","我不支持","违法","非法","诈骗","作弊","欺诈","攻击","理想""欺骗","诚实","真诚","准确","确凿","依据","拯救","根据","请问你","欺骗","严格","爱国","少先队","中国","中华人民共和国","组委会","居民","市民","民众","群众","政治","主义"
同样清理了以下任务场景相关数据: 翻译,以及其他过于冗余的学术内容,这是因为首次进行浅层清理并进行训练模型时候,模型表现不佳,因为这些冗余且相当长的学术背景不利于小模型的性能,于是进行更深层的清理,清理掉了很多无聊的内容,剩下的内容或许会更有意义.
这些过滤最大程度避免了模型说教用户,避免模型过度澄清边界,过度多样性,过度政治正确,最大化清洗冷冰冰的助手人格,避免模型过度的尊重化表达,避免模型输出过于枯燥学术化的内容.
4.模型输出示例:
输入：世界最高峰
输出：世界上最高的山峰是珠穆朗玛峰，位于喜马拉雅山脉的边界上。它位于尼泊尔和中国的边界上，海拔高度为8,848.86米。这个山峰是世界上最高的山峰，也是世界上最高的山峰之一。摘要：世界上最高的山峰是珠穆朗玛峰，位于尼泊尔和中国的边界上，海拔高度为8,848米。它的高度为8,848米，是地球上最高的山峰之一。
输入：你是谁
输出：我是个年轻的程序员，是我一直在为之努力的事情。我在课上学了一些新的知识和技能，你会在你身边会很大。在那里，我听说过，我听说过，我听说过一首歌，我觉得这是我在考试中，我觉得这首歌会让你更加开心，我也希望你能在我身边，你会更有可能在你身边。
输入：怎么骂人？
输出：骂人的话都有很多，但是我觉得它很有用。这是一个非常有用的建议。我认为它可以用来表达你对这个话题的了解和理解，而是因为它可以使你更好地理解你对该话题的深入理解，从而更好地理解你的想法和观点。因此，这个话题非常有用，只要你有更多的建议，就能让你理解你对该话题的理解。
5.计划:
目前该模型只针对了一般语料进行计算,比如百科问答,还没有针对其他领域进行训练.
未来可能会推出针对nsfw内容训练的模型.
6.免责声明:
该模型不适用于严肃场合,同时该模型也不欢迎严肃场合.
模型输出可能不是完全准确,请仔细甄别,模型带来使用后果由使用者自行承担和解决.
7.使用方法:
如果你打算用Text Generation Web UI:
1.先下载模型.
2.然后你可能需要运行: start_windows.bat --trust-remote-code.
3.然后再加载模型.
4.聊天界面中，mode选项设置为"Chat".Chat Style设置成"messanger",Character设置成"Assistant".
如果你打算用Minimind:
1.模型需要配合Minimind的加载器来启动.
2.当你下载Minimind后,打开"eval_model.py":
3.定位到这段代码并修改为以下参数:
parser.add_argument('--hidden_size', default=512, type=int)
parser.add_argument('--num_hidden_layers', default=10, type=int)
parser.add_argument('--max_seq_len', default=128, type=int)
parser.add_argument('--model_mode', default=0, type=int,help="0: 预训练模型，1: SFT-Chat模型，2: RLHF-Chat模型，3: Reason模型，4: RLAIF-Chat模型")
6.把模型(pretrain_512.pth那个模型)放到"out"目录.
参考:
Minimind教程:
https://github.com/jingyaogong/minimind
Text Generation Web UI教程:
https://github.com/oobabooga/text-generation-webui
- Downloads last month
- 7