Wręcz przeciwnie, nie popierał jakiegokolwiek programu politycznego i nie angażował się w pracę Partii Republikańskiej. W przeciwieństwie do swoich braci trzymał się od polityki z daleka. Nie miał też wysokiego mniemania o waszyngtońskich elitach. W prywatnych rozmowach porównywał je do prostytutek, szczerze gardząc socjetą amerykańskiej stolicy.
Poza tym Grant był człowiekiem do bólu zwyczajnym, który o rozwój swojej kariery nie dbał, podobnie jak o schludność swojego wyglądu. A był naprawdę wyjątkowym flejtuchem. Jego mundur generalski miał pełno zacieków i plam, nie mówiąc o dziurach wypalonych przez gorący popiół spadający z cygar. W kontaktach towarzyskich nie dbał o konwenanse i słynął z bardzo wulgarnego jak na owe czasy języka. Dzisiaj powiedzielibyśmy, że był człowiekiem „na luzie”, pragnącym po wojennym trudzie spokojnego życia. Te cechy, które były niezwykle przydatne w czasie wojny secesyjnej, stały się bardzo kłopotliwe w czasie prezydentury.