烧水壶煮奶底下焦了需要清理，可以按照以下步骤操作：

1. 准备工具和材料：醋、水、海绵刷或干净的布、小碗。

2. 在烧水壶中将醋和水按照1:1的比例混合倒入，注意液面接近烧水壶的底部。

3. 加热烧开水，让醋水充分浸透锅底焦化部分。

4. 关闭电源，让烧水壶自然冷却。

5. 用海绵刷或干净的布轻轻擦拭烧水壶底部，焦化的物质很容易被清除。

6. 如果仍有残留的焦化物质，可以尝试使用牙膏或肥皂水等清洁剂，但要注意力度，避免损坏烧水壶的表面。

7. 最后用清水冲洗干净，确保没有残留的清洁剂或化学物质。

完成以上步骤后，烧水壶应该就可以恢复如新了。如果仍有残留的痕迹或无法清除，建议寻求专业维修服务。清洁过程中请注意安全，避免使用过于暴力或用力过猛的方法，以免损坏烧水壶的表面或底部。