文章：ORCA: Object Recognition and Comprehension for Archiving Marine Species
代码：https://orca.hkustvgd.com/
单位：香港中文大学
一、问题背景：海洋AI研究的两大“拦路虎”
用AI理解海洋生物，核心要解决“数据”和“任务”两大难题。
一方面，现有海洋数据集严重“偏科”：要么只覆盖几种到几十种海洋生物，地理范围局限；要么只聚焦鱼类等单一类群，缺乏对珊瑚、贝类、哺乳动物等多元物种的覆盖，更没有详细的文字描述支撑精细研究。
另一方面，AI任务设计跟不上科研需求：普通图像分类只能判断“有没有鱼”，却分不清具体种类；目标检测局限于固定类别，面对未知物种束手无策；图像描述模型只会说“一条大鱼”，没法精准捕捉生物的形态、颜色、行为等科研关键信息。这些问题导致AI在海洋生态监测、生物多样性保护等场景中难以发挥实际作用。
二、方法创新：ORCA数据集的三大核心突破
为解决上述痛点，研究团队打造了ORCA（海洋物种识别与理解归档数据集），带来三大颠覆性设计：
超全物种覆盖+双模态标注：包含14647张图片，覆盖478种海洋生物（对应670个常用名），从海星、珊瑚到鲨鱼、海獭应有尽有。每张图片都标注了生物位置框（42217个），还搭配了22321条经海洋生物学家验证的文字描述，既说清科学名，又详细记录形态、栖息地、行为等关键特征。
精细标注+错误样本保留：针对海洋生物形态特殊的特点，确保位置框完整覆盖透明鱼鳍、细长附肢等细节；文字描述不仅有准确内容，还特意保留了12431条错误描述（如颜色误判、物种混淆），帮AI更好地区分相似物种。
多任务支持+分层评估：不仅能支撑目标检测、图像描述、视觉定位三大核心任务，还设计了“类级、类内、类间”三种评估场景，专门测试AI在相似物种识别中的表现，贴合真实科研需求。
三、实验结果：18款顶尖AI模型的“海洋考试”成绩单
研究团队用18种当前最先进的AI模型在ORCA上做了全面测试，结果亮点十足：
目标检测：结合文字信息的开放词汇检测模型表现更优，其中DECOLA模型凭借语言引导策略，在相似物种识别中脱颖而出；单纯依赖视觉特征的模型，在区分近亲物种时容易“认错”。
图像描述：普通AI模型只会生成“一条鱼”这类笼统描述，而用ORCA微调后的MiniGPT-4，能精准说出“带绿粉光泽的鹦嘴鱼在礁石附近游动”，各项评估指标提升明显，最高涨幅超11个百分点。
视觉定位：基于详细文字描述，AI能精准找到对应生物位置，即使是没见过的物种，零样本场景下也有不错表现；经过ORCA微调后，模型定位准确率普遍提升10个百分点以上，最高可达88%。
四、优势与局限：ORCA的价值与未来方向
核心优势
填补领域空白：是首个同时具备“广物种覆盖、细粒度标注、多任务支持”的海洋数据集，解决了长期以来海洋AI缺乏优质数据的痛点。
科研实用性强：标注信息完全贴合海洋科研需求，文字描述包含专业术语和关键特征，能直接支撑生态监测、物种归档等实际工作。
推动技术升级：暴露了现有AI在专业领域的短板，为后续开发海洋专用AI模型提供了明确方向，微调效果证明了数据集的实用价值。
现存局限
目前ORCA覆盖的478种物种，相较于海洋中数百万种生物仍显不足；部分稀有物种的样本数量较少，可能影响AI对这类物种的识别效果。研究团队计划持续扩充数据集，纳入更多物种和样本。
五、一句话总结
ORCA数据集用“全物种覆盖+精细双模态标注+科研化任务设计”，为AI进军海洋研究搭建了首个全面基准，让机器从“看懂海洋生物”向“理解海洋科研需求”迈出关键一步，未来将有力支撑海洋生态保护、生物多样性监测等重要工作。
