La vicenda del Palazzo, che aveva acquisito prestigio grazie alla famiglia Monti, continuò senza soste con il passaggio della proprietà nel 1783 agli Andreani, nella persona del conte Giovanni Paolo, imparentato con la famiglia Sormani attraverso la moglie Cecilia. Se Giovanni Pietro Paolo era un curioso soggetto, ancor più lo era il figlio, assai noto nella cerchia nobiliare milanese per le sue incredibili ascensioni in mongolfiera e la sua ammirazione sconfinata nei confronti dei fratelli Montgolfier.
È in questi anni che i saloni del Palazzo si arricchiscono di nuove decorazioni.
In alcune sale del primo piano ne sono visibili tracce e testimonianze, in particolare negli ambienti sul lato verso il giardino (oggi Centro Stendhaliano) dove si conservano stucchi della seconda metà del Settecento, riconducibili ad allievi di Giocondo Albertolli (1743-1849), fautore della riforma in senso neoclassico della decorazione d’interni milanese.
Gli stucchi erano stati attribuiti in precedenza, in maniera meno convincente, ad Agostino Gerli (1744-1821).
Purtroppo è andata distrutta sotto i bombardamenti della II guerra mondiale la grandiosa Sala da ballo, chiamata "la Galleria" (oggi sala di lettura detta Sala Massima), in cui si potevano ammirare gli affreschi di Biagio Bellotti (1714-1789), di cui resta al piano terra del Palazzo un affresco nella Sala Giuridica, e le "quadrature" di Antonio Agrati.
Il grande affresco della "Galleria" rappresentava il soggetto mitologico di Atena, raffigurata con ampio mantello e elmo, circondata dalle Muse.
Una particolarità di Palazzo Sormani, tale da farne un esempio quasi unico rispetto alle altre case nobili milanesi, è quella di avere non una, ma due facciate di notevole importanza.
Nel 1756 infatti la famiglia Monti impegnò un altro architetto per il rinnovamento della facciata verso il giardino, il piemontese Benedetto Alfieri (1699-1767), architetto del Re di Sardegna e ricordato dal poeta Vittorio Alfieri come suo semi-zio. Essa si distingue da quella sul Corso di Porta Vittoria per le sue forme classiciste.
Alfieri impostò il disegno del nuovo prospetto su una serrata scansione di lesene di ordine composito gigante, che con la loro accentuata verticalità conferiscono slancio a tutto il prospetto. La facciata è coronata da un'alta balaustrata decorata da sculture e da un fastigio centrale con orologio.
Le opere scultoree sono ascrivibili agli artisti della Fabbrica del Duomo, tra cui: Elia Vincenzo Buzzi (1708-1780), cui sono attribuite due statue di Apollo e Cerere sul parapetto superiore; Giuseppe Perego, autore del modello de “la Madonnina”, che scolpì il gruppo sormontato dall’aquila ad ali spiegate che orna l’orologio centrale; Carlo Maria Giudici, autore di due statue di Silvano e Dori e di una raffigurante l’allegoria della felicità, oggi conservata nel giardino.
La facciata alfieriana segna un passaggio d’epoca nel gusto in architettura, e come tale fu rinomata nella Milano del tempo e lodata dalla critica neoclassica.
In origine il giardino su cui prospetta la facciata seguiva il corso del Naviglio, giungendo a confinare col parco della Guastalla. Fu eseguito su progetto di Leopoldo Pollack (1751-1806), allievo del Piermarini e autore della Villa Reale, secondo i nuovi principi romantici del cosiddetto giardino all’inglese.
Sul prospetto laterale del palazzo, che si affaccia ora su via Francesco Sforza, è invece intervenuto il figlio dell’architetto, Giuseppe Pollack (1779-1857).
Solo un cinquantennio dopo l’avvento dei Sormani Andreani, il palazzo passò alla famiglia Verri, in seguito al matrimonio di Alessandro Sormani Andreani con Carolina Verri nel 1838. Gli stessi Verri che hanno dato i natali ai fratelli Alessandro (1741-1816) e Pietro (1728-1797), noti letterati del tempo, Carlo (1743-1823), senatore del Regno d’Italia, e Giovanni (1745-1818), cicisbeo di Giulia Beccaria.
Il Palazzo rimase noto per le feste memorabili, come il ballo del 18 gennaio 1875, al quale fu invitata tutta l'alta società milanese per inaugurare l'appartamento dei giovani sposi Pietro Romani e Luigia Brusca, ubicato al piano terra verso il giardino.
Oltre che per le feste, il Palazzo fu noto per la ricca biblioteca e le collezioni di opere d'arte (quadri, affreschi, arazzi) che erano state raccolte nei secoli dai Monti e poi dai successivi proprietari. Soprattutto la quadreria fu di grande rilievo, in modo particolare per il polittico Putti musicanti del Bramantino, il Ricevimento sulla piazzetta di San Marco e la Partenza dell'ambasciatore del Canaletto e una Vergine col Bambino di Mantegna.
Dal palazzo della famiglia Verri in Montenapoleone, oggi scomparso, proviene il celebre ciclo di 23 tele raffiguranti il mito di Orfeo, per lungo tempo attribuite al pittore genovese Giovanni Benedetto Castiglione detto il Grechetto (1609-1664).
Le tele, giunte a Palazzo Sormani intorno al 1880, furono collocate nell’attuale sala conferenze (che finì col chiamarsi comunemente “Sala del Grechetto”) all’inizio del Novecento grazie all’architetto Achille Majnoni (1855-1935). Si tratta di uno dei più straordinari cicli pittorici a soggetto naturalistico nella storia dell’arte europea del Seicento, una sorta di incredibile diorama botanico-zoologico destinato a illustrare specie animali e vegetali provenienti da tutto il mondo.
Se si eccettua il recupero del Ciclo di Orfeo, scarse sono le testimonianze di rilievo sulla storia ottocentesca del Palazzo, ma tra queste vale la pena di ricordare una curiosità, rappresentata da una sfera metallica rimasta incastrata nella strombatura di una finestra della cappella situata al piano terra nel corpo di fabbrica della facciata del Palazzo: si tratta di un proiettile d'artiglieria sparato a Porta Tosa durante le Cinque Giornate di Milano (1848), mentre la città insorgeva contro la dominazione austriaca.