В старославянском и церковнославянских языках буква Ъ представляла собой сверхкраткий (редуцированный, почти неслышный) гласный звук примерно до середины XII века. В болгарском языке фонема, напротив, со временем превратилась в полноценный гласный звук. В большинстве случаев он звучит как краткое «ы», близко к безударному звуку в русском слове «табор». Во многих односложных и некоторых двусложных даже бывает ударной (ъ?гъл — угол). 

Несмотря на непроизносимость, буква Ъ помогала в старославянском тексте правильно разбивать слово на слоги, а строку — на слова, во времена, когда ещё не было пробелов. Слово могло оканчиваться на гласную, Й, Ь и Ъ, — и чаще всего ер встречался в конце слова. 

В XIX веке стал распространяться так называемый «звуковой метод» обучения грамоте, который не предполагал использования условных названий букв («аз», «буки», «веди»). С самого начала акцент делался не на названиях букв, а на произношении звуков. Стараниями реформатора образования барона Николая Корфа буква «ер» стала «твёрдым знаком», так она стала называется и в Толковом словаре Даля. 

До реформы правописания разделительный Ъ ставился не только перед буквами йотированных гласных, но и в некоторых других случаях (съэкономить, двухъаршинный). Он позволял различать на письме такие слова, как «подарочный» и «подъарочный» (под аркой). Но, как и сегодня, разделительный Ъ был нечаст, а вот не слишком нужный Ъ в конце слов занимал примерно 4 % объёма текста. По подсчётам писателя и филолога Льва Успенского, до реформы на него ежегодно уходило около 8,5 млн лишних страниц.

 Впервые вопрос об изменении орфографии поднимался в 1904 г. На суд Императорской академии наук был вынесен план по исключению лишних букв из русского алфавита. В 1911 г. особое совещание при Академии наук одобрило работы предварительной комиссии и вынесло по этому поводу резолюцию. Согласно плану реформы, Ъ на конце слов не должен был использоваться, сохранялась лишь слогоразделительная функция знака. 

После воплощения реформы в жизнь буква Ъ в качестве разделительного знака сохранилась. Однако для борьбы с издателями газет и журналов, не желавшими подчиняться распоряжениям советской власти, декретом Высшего совета народного хозяйства от 4 ноября 1918 г. литеры и матрицы буквы были изъяты из типографских касс, отчего и распространился в качестве разделительного знака апостроф (об’явление, под’езд). Такое написание стало восприниматься как часть реформы, хотя на самом деле оно являлось ошибочным. В 1928 г. Народный комиссариат просвещения признал несвойственным русской грамматике использование апострофа в середине слова вместо Ъ. Тем не менее, апостроф продолжал применяться вместо твёрдого знака до 60-х гг. В машинописи написание продержалось почти до 70-х. Для экономии числа клавиш дешёвые пишущие машинки делались без Ъ, и машинистки старой школы, конечно же, привыкли к апострофу. 

Со второй половины 80-х твёрдый знак стал распространяться на вывесках и товарных брендах. Остальные правила дореволюционной орфографии могут как применяться (очень часто с ошибками), так и не использоваться. Особенно увлечённые не обращают внимание и на наличие гласной буквы в конце слова (правда, в неславянских языках Ъ после гласных используется). В 2008 г., после демонстрации фильма «Адмиралъ», появилось несловарное слово «ерня» и глагол «е?рничать», образованные от «ер». Слово применяют к произведениям, сильно приукрашивающим дореволюционную действительность, для которых характерно употребление старой орфографии. Основанная в 1989 г. газета «Коммерсантъ» называет себя преемником газеты начала века, закрывшейся в 1917 г. 

Буква Ъ очень популярна в интернете, используется во многих мемах. Отдельно стоящая буква Ъ означает подлинность и каноничность чего-либо, соответствует слову «тру» (от английского true), часто пишущемуся как «труЪ»: Ъ-борщ, Ъ-вирус, Ъ-библиотека. Или просто: Ъ! Или: не Ъ.