Родился в Троицкосавске, пограничном городе с Монголией. С раннего возраста начал изучать разговорный бурятский и монгольский языки. В 1849 году окончил русско-монгольскую военную школу в Троицкосавске. Затем три года учился в училище китайского языка, осваивая маньчжурский и китайский языки.
В 1855 году устроился на работу в канцелярию кяхтинского градоначальника, продолжая обучение в училище. С того же года стал переводчиком по дипломатическим вопросам у губернатора Восточной Сибири Н. Н. Муравьева. Участвовал в амурских экспедициях и в переговорах, приведших к заключению Айгунского договора в 1858 году, за что получил орден Св. Анны III степени.
В 1859-1860 годах по поручению губернатора отправился в Пекин к графу Н. П. Игнатьеву, где участвовал в подготовке Пекинского договора 1860 года. За успешное разрешение амурского вопроса был награжден орденом Св. Владимира IV степени и пожизненной пенсией.
В 1861 году Я. П. Шишмарев стал участником открытия Генерального консульства России в Монголии, выполняя обязанности секретаря и переводчика полковника Константина Николаевича Боборыкина, первого консула в Урге. Постепенно он занимал различные должности: управляющего консульством, исполняющего обязанности консула и самого консула. С 4 февраля 1864 года он стал генеральным консулом.
Шишмарев проработал в Монголии в качестве консула и генерального консула целых 50 лет, что является редким случаем в российской дипломатии. За это время он зарекомендовал себя как профессионал, пользующийся высоким авторитетом как среди русской диаспоры Монголии, так и у местных властей. Он активно занимался развитием русско-монгольской торговли и защитой интересов российских купцов и граждан.
В 1864 году Шишмарев основал при консульстве школу переводчиков, обучавшую кадры с знаниями монгольского, маньчжурского и китайского языков. Он проявлял глубокий интерес к истории, экономике и культуре Монголии, стал блестящим знатоком страны, совершил несколько экспедиций по Монголии и поддерживал российские экспедиции в Центральную Азию. Его статьи, опубликованные в российских журналах, сохраняют научную ценность и по сей день.
Шишмарев решал множество практических вопросов, таких как строительство консульства и православной церкви, выделение земель для русских купцов и жителей, а также участвовал в разрешении торговых споров и судебных дел. В начале XX века он несколько раз пытался подать в отставку, но продолжал служить в Урге до 1911 года. С 1911 по 1915 год он консультировал Министерство иностранных дел России по сложным вопросам русско-монгольских отношений. Его подпись наряду с другими стоит под Айгунским договором.