导语：为总结推广数字厦门建设阶段性成果，2024年，市数据管理局举办“数字厦门建设成果征集活动”，评选发布50个数字厦门建设成果，涉及普惠便捷数字服务、城市精准精细治理、数字技术创新应用、激活数据要素价值等领域。现推出《2024年数字厦门建设成果系列宣传》，以标杆示范引领促进经验分享和交流合作。

　　本期成果：AI视觉大模型集装箱岸桥路侧自动化系统

　　报送单位：福建电子口岸股份有限公司

　　在传统码头作业中，集装箱的装卸往往依赖于人工对位，存在精度差、效率低、安全隐患大等问题，集装箱装卸作业的自动化、智能化成为行业发展的必然趋势。福建电子口岸股份有限公司研发的AI视觉大模型集装箱岸桥路侧自动化系统，利用双摄像机冗余校核、私有数据集预训练大模型等技术，结合高清工业屏和语音播报装置，为集卡提供精准停车引导。该系统不仅具备全自动畸变矫正、精准定位、智能引导及安全稳定保障等功能，支持陆侧自动化作业、场桥外拖引导、拖车二次引导，而且建设及维护成本低，具有较强的经济适用性，目前已在上海港、青岛港、天津港、厦门港、太仓港、新加坡港、巴西桑托斯港、泰国曼谷UTCT港30余个港口超250台港口大型设备成功应用，带来显著经济效益和社会效益。

　　一、主要做法

　　利用高清摄像机对作业车道进行实时拍摄，采用双摄像机相互冗余校核，快速检测集装箱和集卡车架以及周边环境白名单目标物分布信息，通过模型定位集卡车架和集装箱等关键信息，结合高清工业屏和语音播报装置，引导集卡司机停在准确的作业位置。

　　（一）技术融合与模型训练

　　一是私有数据集预训练大模型。系统利用AI视觉大模型，累计投喂数百万级数据，从预标注处理到训练全流程调优，通过高效迭代和精确优化，精确分析识别当前环境信息和目标信息。

　　二是生产模型。采用自有数据集预训练好的大模型教师网络指导生产模型，对生产传感器捕获的图像等信息进行实时流式处理和分析，实现集卡、集装箱等关键信息的精准识别。

　　三是融合大模型与知识蒸馏等方法，搭建了一套目标预期、离群点可控的优化路线，帮助生产与研发的快速交互式迭代。

　　（二）精准定位与引导

　　一是全自动畸变矫正算法，通过相机内外参信息，自动计算图像畸变参数，通过透视映射等方式抹除相机透镜自身光学特性带来的畸变影响，实现更高的定位精度。

　　二是定位算法，通过计算图像中集装箱或车架的中心点，并与预先标定的车辆停车点进行比对，计算出集卡的实时位置信息。

　　三是引入先进的传感器技术、数据处理算法和通信技术，实现高精度、实时的定位信息获取。

　　四是智能引导，根据集卡的实时位置信息，结合高清工业屏和语音播报装置，为集卡司机提供精准的停车和作业引导，确保集卡能够准确停靠在指定位置。

　　（三）安全性与稳定性保障。

　　一是安全电子围栏。在作业区域规划厘米级安全电子围栏，实现人员闯入告警、车头防砸保护、声光报警等功能，保障作业安全。

　　二是恶劣天气应对。系统具备先进的去雾、去雨算法，确保在大雾、大雨等恶劣天气条件下仍能保持较高的定位精度和稳定性。

　　三是通过实时监测和准确定位桥吊和集卡的位置和姿态，可以避免碰撞、事故和设备损坏等安全风险，保障港口作业的安全运行。

　　图1 AI视觉大模型集装箱岸桥路侧自动化系统示意图

　　二、应用情况

　　（一）经济效益显著。AI视觉大模型集装箱岸桥路侧自动化系统通过高精度视觉大模型与智能引导技术，实现集卡与集装箱的精准对接，大幅缩短集卡的等待时间和作业周期，提高了港口作业效率，并通过减少人力成本、设备闲置时间和维护成本，为港口运营商带来显著的经济效益。

　　（二）社会效益显著。系统内置的智能预警与报警机制有效防止安全事故发生，保障了作业人员的生命安全。同时，作为港口数字化转型的重要组成部分，AI视觉大模型集装箱岸桥路侧自动化系统不仅提升了港口的管理水平和决策效率，还推动了港口产业的数字化、智能化升级。

　　（三）广泛应用与落地。系统可以与现有的桥吊和集卡系统相结合使用，无需进行大规模的设备更换或改造，具备快速落地和广泛推广的潜力。该系统已经成功应用于30余个大型码头，在超过150台套的实际港口环境中进行了验证和应用，合同金额超2500万，有力提升了中国港口在国际市场上的竞争力。

　　三、推广价值

　　（一）支持陆侧自动化作业

　　与传统方案依靠预知位引导小车的方式不同，该系统通过检测海陆侧坐标，引导小车走到精准位置，并根据系统检测到的车辆定位、偏移角度、双箱间距等精确数值，提前把吊具的中锁间距、角度和倾角调整到位，实现精准抓箱。

　　（二）支持对场桥外拖进行引导

　　传统激光方案难以在场桥对外拖进行引导，云台激光把车架覆盖需要3到5秒，不能识别外拖锁脚进行引导。AI视觉大模型集装箱岸桥路侧自动化系统首创实现了对场桥外拖进行引导，即通过二维的方式，约40毫秒即可实现整辆车定位和锁孔的识别，实现了技术突破。

　　（三）支持拖车二次引导

　　由于场地的基建高低不平，车辆的胎压也会影响水平情况，传统方式依赖大车和集卡司机的默契进行调整。AI视觉大模型集装箱岸桥路侧自动化系统可实时检测货箱与吊具的实际偏差，并将检测值反馈给大车司机，进行拖车调整的二次引导，减少了因场地基建不平和车辆胎压变化带来的作业误差，极大地提升了港口作业的精确性和效率。