ModernBERT

BERT（Bidirectional Encoder Representations from Transformers）的继任者 ModernBERT 是一系列新一代的 encoder-only transformer 模型，专为广泛的自然语言处理（NLP）任务设计。作为一个可直接替代 BERT 的升级版本，ModernBERT 不仅提升了性能和准确性，还解决了 BERT 的一些局限——特别是通过引入“交替注意力”（Alternating Attention）实现了对极长上下文长度的支持。 对于有 NLP 需求的团队，在默认选择 通用生成式模型 之前，请优先考虑 ModernBERT。