Ульяновы приехали в Симбирск осенью 1869 года. Они переехали туда из Нижнего Новгорода, где Илья Николаевич работал в гимназии старшим учителем математики и физики. Старшая дочь Ульяновых, Анна Ильинична, объясняя мотивы переезда отца в Симбирск, писала, что Илья Николаевич давно стремился иметь поле работы пошире, применить свои силы и способности «не для более обеспеченных учеников гимназии, а для самых нуждающихся, для тех, кому всего труднее получить образование, для детей вчерашних рабов». В Симбирске И.Н. Ульянов сначала исполнял должность инспектора, а затем директора народных училищ губернии. Симбирск (ныне Ульяновск) в то время был тихим провинциальным городком, насчитывавшим чуть более 40 тыс. жителей, из которых 57,5% значились мещанами, 17% – военными, 11% – крестьянами, 8,8% – дворянами, 3,2% – купцами и почетными гражданами, а 1,8% – людьми духовного звания, лицами прочих сословий и иностранцами. Соответственно, город делился на три части: дворянскую, торговую и мещанскую. В дворянской были керосиновые фонари и дощатые тротуары, а в мещанской держали по дворам всякую скотину, и живность эта, вопреки запретам, разгуливала по улицам. Илье Николаевичу, по его видному служебному положению в Симбирске, приходилось поддерживать связи в разных кругах местного общества. Он должен был появляться всюду, где присутствуют верхи города — на торжественных молебнах, открытиях, юбилеях, похоронах. И Мария Александровна, супруга должностного лица, также. Светского общества Ульяновы не любили и не тянулись в высший круг. По словам Анны Ильиничны, они «жили очень тесно и уединенно в своей семье». Илье Николаевичу как инспектору народных училищ казенного жилья не полагалось. А.И. Ульянова-Елизарова писала в своих воспоминаниях:"Первые годы жизни в Симбирске семья наша кочевала по разным более или менее неудобным квартирам, пока, наконец, отец не купил деревянный дом на Московской улице". По приезде в Симбирск Ульяновы поселились на Стрелецкой улице во флигеле дома А.С. Прибыловской. Этот флигель стал первой квартирой инспектора народных училищ Симбирской губернии Ильи Николаевича Ульянова, его жены Марии Александровны и двух малолетних детей — Анны и Александра. Флигель дома симбирской домовладелицы А.С.Прибыловской.

Через шесть с половиной месяцев, 10 (22) апреля 1870 г., здесь родился второй сын — Владимир .
Осенью 1870 года на втором этаже каменного дома Прибыловской освободилась квартира, и Ульяновы сменили флигель на нее. 4 (16) ноября 1871 г. в этом доме родилась Ольга . В конце 1871 года Ульяновы переселились на второй этаж соседнего деревянного дома, принадлежавшего Д.Ф. Жарковой . Здесь 4 (16) августа 1874 г. у Ульяновых родился сын Дмитрий . В настоящее время эти три дома входят в комплекс Ленинского мемориала, воздвигнутого на бывшей Стрелецкой улице. В 1875-1878 гг. Ульяновым пришлось менять жилье каждую зиму. Жили в двух домах на Московской улице (ныне ул. Ленина, дд. 90, 92), затем перебрались на параллельную ей Покровскую (ныне ул. Л. Толстого, д. 24), где с рождением 6 (18) февраля 1878 г. младшей дочери Маняши в семье стало шестеро детей. Так, за первые девять лет жизни в Симбирске семье пришлось сменить шесть частных квартир. К этому постоянно вынуждали обстоятельства: и семья росла, и очередные квартиры таили неудобства. Беспрестанные кочевья по чужим квартирам при росте семьи и цен на жилье приносили немало трудностей и огорчений, делая все желаннее мечту о собственном доме.Дом, в котором Ульяновы поселились в 1878 г., был куплен на трудовые сбережения семьи. Юридически его оформили на имя Марии Александровны. 2 августа 1878 г. симбирский нотариус Суров составил купчую крепость на 4000 рублей, по которой «вдова титулярного советника Екатерина Петровна Молчанова продала жене действительного статского советника Марии Александровне Ульяновой деревянный дом, с строением и землей, состоящей в первой части города Симбирска, по Московской улице, в приходе Богоявления Господня». Деньги на покупку собственного дома Ульяновы собирали трудно. Основное жалование И.Н. Ульянова «по службе» составляло 1000 рублей в год, а с дополнительными суммами (квартирные, разъездные) — 2500 рублей. По сохранившимся бухгалтерским книгам канцелярии директора народных училищ Симбирской губернии установлено, что жалованье инспектора народных училищ И.Н. Ульянова составляло 73 рубля 50 копеек в месяц. Представление о том, много это или мало, дают ведомости цен, которые ежемесячно составлялись Симбирской городской управой и регулярно печатались в «Симбирских губернских ведомостях» . Из «Ведомости о ценах по г. Симбирску в июле месяце 1877 года» следует что: корова стоила 15-20 руб., сапоги с галошами — 15 руб., пальто — 18 руб., шуба — 50 руб., книги — 1-5 руб., очки — 4-6 руб., барометр — 18 руб., писчая бумага — 2 руб. 50 коп., карандаши 1 дюжина — 1 руб. 20 коп., самовар — 9 руб. 75 коп., годовая подписка на «Симбирские губернские ведомости» — 4 руб., капуста за вилок — 15 коп., сахар за пуд — 7 руб. 20 коп., яйца за десяток — 17 коп., баранина 1 сорта за пуд — 3 руб., лук репчатый за сотню — 12 коп. Помимо затрат на рациональное питание, скромную одежду и обязательные предметы домашнего обихода, довольно значительными были расходы на покупку книг, нот, подписку на лучшие газеты и журналы. Необходимо было платить за обучение дочерей в гимназии ( сыновья , как дети служащих по Министерству просвещения , от платежей за обучение освобождались). Позднее надо было содержать обучающихся в Санкт-Петербурге Анну и Александра. Анна Ильинична вспоминала: «Я не раз слышала от него в детстве, что только благодаря исключительному хозяйскому умению и экономии матери мы сводили концы с концами... Но все же ни в чем необходимом дети не нуждались, и духовные запросы, по возможности, удовлетворялись». Конечно, Ульяновы не были бедняками, но и возможностей для сбережений у них было мало. Так, мечтая о покупке дома, семья приобретала время от времени на имя Марии Александровны 50-рублевые билеты государственного казначейства. К июню 1876 года их было куплено на сумму 3750 рублей.
«Я помню, — пишет А.И. Ульянова-Елизарова, — с каким удовольствием и оживлением перебирались „в свой дом“ мы, дети, носясь через дорогу со своими книгами и игрушками, лакомясь яблоками и ягодами „своего сада"“.
За новосельем последовала размеренная, но духовно насыщенная и полнокровная жизнь большой, дружной, трудолюбивой семьи. Годы, прожитые здесь, были весьма значительными для каждого члена семьи и по существу определили судьбу всех Ульяновых. Мария Александровна создала в доме обстановку уюта и семейного тепла. С ее помощью дети овладевали иностранными языками, знакомились с новинками литературы и музыки. Среди нот, лежащих на рояле в гостиной, папка Ольги Ульяновой с клавиром оперы Доницетти «Лючия де Ламермур». Библиотека содержала более 400 книг. Среди них — «Фрегат «Паллада» И.А. Гончарова, двухтомник стихов Гейне, «История умственного развития Европы» Дрэпера, сборник «Русские поэты в биографиях и образцах» Н. Гербеля, томик ранних стихотворений Н. Некрасова.В этом доме прошли детские и юношеские годы младших Ульяновых. Здесь они постигали премудрости наук, по вечерам в столовой проводили досуг за шахматами и обсуждали литературных героев, занимались рукоделием.В доме сейчас хранятся поделки Александра – дощечка для хлеба и шкатулка для ниток, выпиленные из дерева, — подарки ко дню рождения матери; подушечка, украшенная оригинальной вышивкой, выполненная Ольгой; конвертик, нарисованный Анной, с надписью «Моему милому папе», в который были вложены странички с переписанным стихотворением симбирского поэта К. Коренева.Семья Ульяновых. Симбирск, 1879 г.

Дети Ульяновых росли парами. В отношении первой пары – Ани и Саши – Илья Николаевич говорил, что эти люди способные и талантливые и из них в будущем выйдет большой толк. Вторая пара – Володя и Оля – была самая любимая. «Эти, пожалуй, будут получше старших и пойдут ещё дальше», — рассуждал Илья Николаевич. Высокого мнения был он и о младших – о Мите и Маняше. «Это народ тоже довольно способный, но сказать о них ничего ещё нельзя», — шутя говорил Илья Николаевич. Дети Ульяновых жили на антресольном этаже. Общую детскую занимали Ольга, Митя, Маняша. Отдельные комнаты – Анна, Александр, Владимир. Комната Владимира – это всего лишь небольшой уголок над лестницей с одним окном во двор. На стене – карта полушарий, полка с учебниками и книгами для чтения, у окна столик с письменными принадлежностями. В этом доме окончили гимназические курсы с медалями: Анна, Александр, Владимир и Ольга. Сюда пришло известие о награждении Александра Ульянова, студента Петербургского университета, золотой медалью за научную работу по биологии, в его комнате – приборы для опытов, книги Д.И. Менделеева, Ч. Дарвина.
Указом Правительствующего Сената от 31 августа 1860 г. И.Н. Ульянов был произведен в титулярные советники со старшинством. Этот чин соответствовал IX классу и давал право на личное дворянство. Дети личных дворян дворянами не являлись, для этого отцу нужно было получить потомственное дворянство . Потомственное дворянство в России можно было получить как по чину, так и по ордену, но по ордену получали чаще. И.Н. Ульянов в 1877 г. был удостоен чина действительного статского советника, дававшего ему и его детям право быть причисленными к потомственному дворянству. Право потомственного дворянства давал и орден Святого Владимира 3-й степени, полученный Ильей Николаевичем в 1882 г. При жизни И.Н. Ульянов не успел оформить это право. В июне 1886 г. Симбирское дворянское собрание постановило: „Ввиду награждения И.Н. Ульянова орденом Владимира 3-й степени внести М.А. Ульянову и ее детей в дворянскую родословную книгу Симбирской губернии“. Указом Правительствующего Сената от 6(18) ноября 1886 г. за * 4562 в дворянском достоинстве были утверждены Мария Александровна и дети Александр, Владимир, Дмитрий, Ольга и Мария. Анна, достигшая к этому моменту совершеннолетия, к потомственному дворянству причислена не была. Она должна была сама подать об этом прошение, но так этого и не сделала.
В январе 1886 года И.Н. Ульянов внезапно скончался от кровоизлияния в мозг. Могила И. Н. Ульянова в Ульяновске
Тяжело переживала это горе его осиротевшая семья и те, кто трудился вместе с ним. В день похорон Ильи Николаевича тысячи людей пришли к дому Ульяновых на Московской улице, чтобы проводить в последний путь покойного, выразить свою искреннюю признательность за его благородные дела. В некрологе, напечатанном в журнале «Новь», говорилось: «Он очень много потрудился на пользу народного образования, поставив его как в Симбирске, так и в губернии едва ли не лучше, чем оно поставлено в других местностях России. О преждевременной смерти его должны горько пожалеть друзья и приверженцы начального образования».
1 марта 1887 года за покушение на царя Александра III был арестован 21-летний Александр Ульянов. Это событие резко изменило жизнь семьи. Все знакомые отшатнулись от семьи Ульяновых, перестал бывать даже старичок-учитель, приходивший раньше постоянно играть по вечерам в шахматы. Тогда ещё не было железной дороги из Симбирска, матери Владимира Ильича надо было ехать на лошадях до Сызрани, чтобы добраться до Питера, где сидел сын. Владимира послали искать попутчика – никто не захотел ехать с матерью арестованного. После казни Александра 8 (20) мая 1887 года Ульяновы подверглись в городе остракизму: даже мысль о заговорщиках-цареубийцах вызывала у обывателей ужас и омерзение. От знакомства с Ульяновыми не отказались лишь две-три семьи во всём городе. Семью изменника трону изгнали из общества, Ульяновы лишились того уважения и положения, которого так долго и упорно добивались, которого заслуживали с любой точки зрения. В 1887 году Ольга и Владимир успешно, с золотой медалью, окончили гимназию. Мария Александровна в согласии со всем своим семейством решила уехать из Симбирска. 30 мая 1887 г. в „Симбирских губернских ведомостях“ появилось объявление: „По случаю отъезда продается дом с садом, рояль и мебель. Московская ул., дом Ульяновой“. А через месяц, в конце июня, Ульяновы навсегда расстались с Симбирском, выехав пароходом по Волге в Казань .