Однако это, всё – таки была вершина. К концу 40х годов начинается спад. Ходжес, Кути Уильямс и Рекс Стюарт покидают оркестр, Нэнтон умирает, вводятся новые музыканты. Оркестр разрастается, и на каком то этапе в группу медных духовых входило шесть труб и четыре тромбона. Однако укрупненная оркестровая группа неизбежно становилась менее подвижной, менее приспособленной для выражения метроритмических тонкостей музыки, нежели малый состав. И теперь публика требует от оркестра ещё и вокалистов. Время инстументальной музыки медленно, но верно проходит.
Понять, принять и ощутить это удавалось далеко не всем. Профессиональные джазмены тогда говорили, что свинг – это то чувство, при отсутствии которого невозможно, да и не нужно играть джаз.
Свинговый стиль стал неотъемлемой частью моды 40-х, а костюм фасона «зут» - с высокой талией, широкими зауженными книзу брюками, длинным пиджаком с широкими лацканами и плечами – повлиял на покрой мужской одежды на целых десять лет. Носить «зут» значило быть не таким как все. Играть «свинг» означало полное неприятие ранее принятых всех норм и правил. Оркестру Эллингтона эта музыка нравилась, так как она давала ощущение свободы и полёта, а оркестр Дюка, особенно в годы расцвета, был скандально известен полным отсутствием дисциплины и в музыке, и в поведении. Его Музыканты постоянно опаздывали на репетиции и концерты, причем из принципиальных соображений, они являлись на концерты в нетрезвом состоянии, а нередко даже позволяли себе на сцене хулиганские выходки. И год за годом Дюк закрывал на это глаза, придерживаясь мнения, что любая дисциплина ограничивает свободу и непосредственность самовыражения, лишает исполнителя того, что жизненно необходимо музыке.
Шли годы. Оттачивался талант Дюка во многом не понятый нами даже сейчас. Загадка его кроется в особенностях личности Эллингтона. Он высекал свои творения не резцом подлинного таланта, как, например, Армстронг или Чарли Паркер. Его инструментом был его характер, и точное знание чего он хочет. Натура Дюка Эллингтона стала определяющим фактором его завоеваний. Будь он хоть в чем-то иным, иными были бы и его достижения, а возможно, их бы и вовсе не существовало. Он играл не на рояле, он играл на «оркестре». Эта сторона характера Эллингтона, потребность главенствовать над всеми, выражалась в ранние годы не столь ярко, как впоследствии. В молодости Дюк ещё не обладал необходимым авторитетом знаменитого музыканта. Но склонность к власти, безусловно, уже имелась и тогда. И мы вынуждены признать, что, как только ансамбль оказался в его руках, Дюк начал исподволь, но последовательно превращать его в свое детище
Его друг и соратник Грир говорил, что «он управлял нами железной рукой в норковой перчатке». Сам Дюк Эллингтон подтверждал эти характеристики. После его смерти его сын Мерсер обнаружил в больнице следующую записку: «Все нормально. Мне легко угодить. Нужно только, чтобы и дальше всё было, «по-моему».. Так оно и вышло…Послушайте как звучит оркестр Дюка в 40 годы . Композиция «Перетащите»