u-boot грузит uImage. uImage имеет код вначале, который распаковывает присоединенный к нему (uImage) зазипованый кернел. Куда выгрузит, оттуда и побежит. Я не знаю вопроса на всю глубину, но считаю, что как uImage создался и определяет с какого адреса будет бежать кернел. Единственное, что я здесь раскапывал и знаю точно это как сделать, чтобы бут лоадер подходил к твоему кернелу.
Когда новые девайсы создаешь это приходится делать.