Amazon Bedrock 上如何修正评估偏差以提升模型表现

Property Finder 与 AWS 团队发现其评估集 96.8% 的标注直接来自现有模型预测而非人工核验，导致基准系统性偏向旧模型，阻碍了在 Amazon Bedrock 上换用更划算方案。团队只用专家独立标注的 356 张 UAE 图片重建多标签真值，并做 v0 到 v27 的进化式提示词优化，最终准确率提升且成本降低 86%。