慢性腰背痛的鉴别诊断是困难的，可以细致确定起病情况，疼痛的特征和精确的定位开始。疼痛可能为局部性(在病变部位感觉到且有压痛点)，如纤维肌痛症；或弥漫性，如原发性纤维肌痛症。疼痛也可以由深部组织引起，如腰椎慢性骨关节炎的腰痛；呈放射性，如坐骨神经痛；或牵涉性(由内脏或脊髓疾病引起，该脏器与感到疼痛的部位由同脊髓节段的神经支配)，如浆膜炎，肾盂肾炎，骨质疏松症，压迫性骨折或骨髓炎。

临床上还需对其病因进行鉴别诊断：

(1)先天性骨缺陷，退行性疾病或骨畸形可作X线检查，如摄取显示椎间小关节面的斜位片。

(2)椎间盘破裂，韧带扭伤和肌肉撕裂为突然发病，症状常在举重物后24小时内开始。特定部位局部压痛和肌肉痉挛是有意义的，提示为背部本身的病变而不是骨盆内或腹膜后疾病。CT扫描或MRI检查可提供有价值的纵轴空腔变形的图像。

(3)骨折与骨折脱位可通过病史，创伤的性质，X线检查，CT扫描，骨扫描(如99m锝焦磷酸盐标记)来排除。

(4)椎体后小关节的慢性关节炎通常与退行性椎间盘疾病有关。前者有骨关节炎的特殊临床表现与X线征象，后者有神经根激惹症状。过度伸展通常加重受累椎体后小关节的疼痛。

(5)较年轻的成人逐渐发生的下背部痛提示潜在的骨异常，如脊椎前移或脊椎关节病(如强直性脊椎炎或骶髂关节炎);青春期发病高度提示脊椎关节病。盆腔与腹膜后疾病有相应的症状，无腰部的局部体征。

(6)肿瘤与感染较难诊断，可类似破裂的椎间盘。占位性肿瘤常由CT，MRI或脊髓造影诊断。脑脊液检查不一定能鉴别肿瘤与椎间盘破裂，两者的脑脊液蛋白含量都可以升高，但此项检查在诊断脑脊膜炎和其他感染是必要的。

(7)纤维肌痛可引起慢性下背部疼痛和僵硬感，为其局限性(肌筋膜)或弥漫性(纤维肌痛)症状的一部分。