Как научить камеру видеть быстрее и экономичнее экспресс
Умные камеры теперь могут анализировать видео без громоздких компьютеров — инженеры упаковали алгоритм распознавания прямо в миниатюрный чип. Камера работает как шустрый телескоп: не разглядывает всё подряд, а сразу наводится на важные объекты. Вместо того чтобы разбивать цветную картинку на слои (это медленно), она пропускает изображение через свёртку — это как провести по фото трафаретом, который мгновенно подсвечивает контуры. Такой трюк снижает энергопотребление втрое, жертвуя лишь 5% точности. Специальный процессор, заточенный под машинное зрение, обрабатывает 34 кадра в секунду — быстрее, чем человек моргает. При этом каждый кадр обходится в энергию, сравнимую с одиночным кликом мыши. Это открывает дорогу дронам, которые видят мир часами без подзарядки, и роботам, реагирующим мгновенно.
Оригинальная аннотация
как её написали авторы, на английском arXiv:2607.13106
Edge-based Artificial Intelligence (AI) acceleration has recently improved progress in real-time object detection. Object detection on edge devices requires a balance between accuracy, speed, and power efficiency. This paper proposes a customized Deep Learning Processor Unit (DPU)-aware architecture for attention-based YOLO variants deployed on AMD FPGAs. Specifically, we evaluate and benchmark YOLOv26 and YOLOv11, two modern attention-based YOLO variants, on the Xilinx ZCU104 across both standard and oriented object detection tasks. We replace unsupported activation functions, substitute split operations with 1x1 convolutions, and approximate the spatial attention mechanism in a DPU-compatible way. All models are then trained and evaluated across six benchmark datasets such as COCO, Pascal VOC, KITTI, DOTA, DIOR-R, and an in-house human presence dataset, and benchmarked across all eight DPU configurations (B512 to B4096) in terms of mAP, FPS, latency, power, and resource utilization. Notably, YOLOv26n and YOLOv26n-OBB deliver the highest end-to-end throughput at 34.05 and 29.55 FPS for standard and oriented detection, respectively, with an average of 5% absolute reduction in accuracy due to quantization while achieving up to approximately 3x lower power consumption compared with the state of the art.
Один кадр обрабатывается за 29 миллисекунд — это втрое быстрее, чем длится моргание (100–150 миллисекунд).
Словно миниатюрный Джарвис, этот чип распознаёт объекты в реальном времени, умещаясь в корпусе с почтовую марку и тратя энергии не больше, чем мигающая лампочка.