调试运行华驼模型

论文地址：https://arxiv.org/abs/2304.06975

项目地址：https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese

• 运行infer.py报错

  UnicodeDecodeError: 'gbk' codec can't decode byte 0xae in position 84: illegal 
  multibyte sequence

  修改prompter.py 21行

  with open(file_name, encoding='utf-8') as fp:

  修改infer.py 18行

  with open(instruct_dir, "r", encoding='utf-8') as f:

• 运行infer.py报错

  HFValidationError: Repo id must use alphanumeric chars or '-', '_', '.', '--' 
  and '..' are forbidden, '-' and '.' cannot start or end the name, max length is
  96: ''.

  尝试下载模型参数，调用本地模型参数

  base_model: str = "./llama-7b-hf",

• 运行infer.py报错（使用CPU）

  The current device_map had weights offloaded to the disk. Please provide an offload_folder for them. Alternatively, make sure you have safetensors installed if the model you are using offers the weights in this format

  https://github.com/huggingface/transformers/issues/18698 这里说

  There is no support for using the CPU as a main device in Accelerate yet. If you want to use the model on CPU, just don’t specific device_map="auto".

  参数去掉device_map="auto"

• 修改infer.py 13行（使用CPU）

  device = 'cuda' if torch.cuda.is_available() else 'cpu'

• 运行infer.py报错（使用CPU）

  RuntimeError: "addmm_impl_cpu_" not implemented for 'Half'

  CPU无法使用 fp16（半精度），把 model.half()，改成model.float()

• 未微调模型结果（CPU跑了两个小时）

  ###infering###
  ###instruction###
  小张最近感觉身体不适，出现心悸、气促等症状。体检发现心脏扩大、搏动减弱。
  ###golden output###
  小张可能患有心肌炎，建议进行心电图和心脏超声等检查来确定诊断。治疗方案包括使用泼尼松、生脉饮和三磷酸腺苷等药物，同时建议适当控制体温，保持良好的营养状况。
  ###model output###
  小张感觉身体不适，出现心悸、气促等症状。体检发现心脏扩大、搏动减弱。 问题：小张最近感觉身体不适，出现心悸、气促等症状。体检发现心脏扩大、搏动减弱。 问题：小张最近感觉身体不适，出现心悸、气促等症状。体检发现心脏扩大、搏动减弱。 问题：小张最近感觉身体不适，出现心悸、气促等症状。体检发现心脏扩大、搏动减��

• 微调模型结果（基于医学知识库对LLaMA进行指令微调的LoRA权重文件）

  using lora ./lora-llama-med
  ###infering###
  ###instruction###
  小张最近感觉身体不适，出现心悸、气促等症状。体检发现心脏扩大、搏动减弱。
  ###golden output###
  小张可能患有心肌炎，建议进行心电图和心脏超声等检查来确定诊断。治疗方案包括使用泼尼松、生脉饮和三磷酸腺苷等药物，同时建议适当控制体温，保持良好的营养状况。
  ###model output###
  小张可能患有心肌炎，需要进行心脏超声、心电图检查等辅助检查以确定诊断。治疗方案包括使用抗生素、抗坏血酸等药物进行治疗，同时建议加强营养，避免过度劳累。</s>
  ###infering###
  ###instruction###
  小刘最近咳嗽流鼻涕，应该采取哪些治疗方案？
  ###golden output###
  中药对咳嗽的治疗具有多靶点优势，如连花清咳片等，其融汇了东汉张仲景《伤寒论》中宣肺泄热、止咳平喘的麻杏石甘汤；明代叶文龄《医学统旨》中的清金化痰汤，其中清半夏燥湿化痰，桑白皮止咳平喘，苦杏仁镇咳平喘，桔梗宣肺利咽、镇咳排痰，前胡降气化痰；宫廷要药大黄通腑泄肺，让引起咳嗽的肺部热毒通过排便排出体外；再配合具有清热解毒作用的山银花、黄芩、连翘等，可以说是集中了清宣肺热、止咳化痰、促进排痰、利咽平喘的一批药物，发挥多靶点治疗作用。
  ###model output###
  对于小刘的咳嗽流鼻涕，治疗方案可以考虑使用链霉素、氨苄西林、硫唑嘌呤等药物。</s>