DETR作为Transformer在目标检测领域的开山之作，一经推出便引发了极大的轰动。该方法巧妙的利用Transformer进行特征提取与解码，同时通过匈牙利匹配方法完成预测框与真实框的匹配，避免了NMS等后处理过程。

随后DAB-DETR引入了动态锚框作为查询向量，从而对DETR中的100个查询向量进行了解释。之后Deformable-DETR针对Transformer中自注意力计算复杂度高的问题，提出可变形注意力计算，即通过可学习的选取少量向量进行注意力计算，大幅的降低了计算量。

DN-DETR认为匈牙利匹配的二义性是导致DETR训练收敛慢的原因，因此提出查询降噪机制，即利用先前DAB-DETR中将查询向量解释为锚框的原理，给查询向量添加一些噪声来辅助模型收敛，最终大幅提升了模型的训练速度。

DINO则是在DAB-DETR与DN-DETR的基础上进行进一步的融合与改进，是一种半里程碑式的方法。H-DETR为使模型获取更多的正样本特征，从而提升检测精度，因此提出混合匹配方法，在训练阶段，包含原始的匈牙利匹配分支与一个一对多的辅助匹配分支，而在推理阶段，则只有一个匈牙利匹配分支。

高效混合编码器：RT-DETR使用了一种高效的混合编码器，通过解耦尺度内交互和跨尺度融合来处理多尺度特征。这种独特的基于视觉Transformer的设计降低了计算成本，并允许实时物体检测。

IoU感知查询选择：RT-DETR通过利用IoU感知的查询选择改进了目标查询初始化。这使得模型能够聚焦于场景中最相关的目标，从而提高了检测精度。

自适应推理速度：RT-DETR支持通过使用不同的解码器层来灵活调整推理速度，而无需重新训练。这种适应性便于在各种实时目标检测场景中的实际应用。

1、将骨干网络的最后三个阶段的特征 {S3,S4,S5} 输入到编码器

2、混合编码器通过尺度内特征交互（AIFI）和跨尺度特征融合模块（CCFM）将多尺度特征转换为图像特征序列

3、IoU 感知的查询选择从编码器输出的特征序列中选择固定数量的特征作为解码器的初始目标查询

4、解码器通过辅助预测头迭代优化目标查询，生成边界框和置信度得分