Skip to content
View original post on X: Dongxi NLPX· 50/100AI score50/100

DO-178C standards and the Boeing 737 MAX MCAS failure, through a coding agent lens

AISummary

The post uses the Boeing 737 MAX MCAS system to argue that aviation's DO-178C software certification would not stop a flawed design, because it verifies implementation rather than questioning the requirements.

It says MCAS relied on a single angle-of-attack sensor, and that false readings contributed to the Lion Air 610 and Ethiopian Airlines 302 crashes, which killed 346 people.

It then asks whether a coding agent that flags the single-sensor design would lead teams to re-evaluate it or simply approve the change.

Post on XView on X
Dongxi NLPVerified on X
@dongxi_nlp

航空业拥有世界上最严格的软件认证标准之一:DO-178C。

它根据软件故障可能造成的后果划分安全等级,并要求提供相应严格的验证证据。

每一项需求都必须能够追溯到代码和测试,测试必须充分覆盖程序的决策逻辑。对于安全关键软件,验证工作还必须由开发者之外的独立人员完成。

波音 737 MAX 的 MCAS 也经历了这套流程。

为了让安装了更大更靠前发动机的 737 MAX 保持与旧款 737 相似的操纵特性,波音引入了 MCAS。

这个系统仅依赖一个迎角传感器的数据,自动推动机头向下。开发过程中,MCAS 的控制能力被增强,但安全分析未能得到充分更新。

2018 年和 2019 年,错误的传感器读数触发了 MCAS,导致狮航 610 航班和埃塞俄比亚航空 302 航班相继坠毁,346 人遇难,而软件只是严格执行了它收到的指令。

现在,想象一下,如果当年的 MCAS 是由 Coding Agent 开发的。

一位工程师输入:“增强 MCAS 的控制权限,并允许它在低速状态下启动。”

十分钟后,修改完成。
需求文档更新了,测试用例重写了,代码覆盖率达到 100%。Agent 完美执行了任务,速度比任何人类工程师都快,交付结果也更加整洁规范。

但系统依然只依赖一个传感器,因为没有人要求 Agent 质疑这个设计。

当然,也有另一种可能。

Agent 主动发出警告:
“这个功能依赖单一传感器,没有交叉验证机制。请确认这是预期设计吗?”

接下来的问题是:团队真的会停下来重新评估设计,还是直接点击 Approve,继续推进?

Source: Dongxi NLP · x.comPublished · added here