Народився 2 жовтня 1842 р. у Празі, столиці Чехії, що входила тоді до Австрійської імперії у родині політичного діяча Йосифа Нємеца та відомої чеської письменниці Божени Нємцової.
Педагог, вчений-помолог та громадський діяч. З ранніх років мав хист до малювання і 1860 року вступив до Королівської Баварської Академії образотворчих мистецтв у Мюнхені, де студіював академічний живопис.
Після смерті матері, через фінансову скруту, закінчити повний курс академії не вдалося і Я.Й. Нємец із Німеччини переїхав до Одеси. За одною із версій, на території України його родині належав будинок, і Нємец мав на меті вступити в права власності. Саме у Одесі він склав іспит на звання вчителя та працював приватним вчителем малювання, підробляючи у фотомайстернях фотографом і ретушером. 1870 р. вступив на службу до Одеської суспільної Маріїнської гімназії на посаду вчителя чистописання, а згодом працював в Одеському реальному училищі.
Цьому періоду життя належать перші спроби пера Ярослава Нємеца. За методичний посібник, присвячений моделюванню з гіпсу, він був нагороджений орденом Св. Станіслава 3 ступеня та грошовою премією від дирекції училища у розмірі 200 руб. Протягом кількох років побачили світ роботи «Перспективне малювання геометричних форм» та «Школа елементарного малювання», за що 1881 року він отримав премію від Міністерства народної освіти в розмірі 300 руб. та пропозицію зайняти посаду інспектора Одеського реального училища. Згодом його було призначено виконувачем обов’язки директора цього ж училища. Він отримав ранг статського радника, а 1887 року за особливі заслуги та зразкову службу був нагороджений орденом св. Анни 3 ступеня.
У 1889 р. Ярослава Нємца переводять на посаду директора Рівненського реального училища. За зразковий прийом, влаштований імператору Олександру ІІІ, який перебував з візитом у Рівному, цар особисто нагородив директора училища іменним перстнем з діамантами. З цього моменту починається Вінницький період діяльності Ярослава Нємца, або як його тоді називали на російський кшталт – Павла Нємцова. Справа в тому, що на той час реальне училище знаходилося у Могилеві-Подільському і було прийняте рішення перевести його до Вінниці.
За дев’ять років директорства Я. Нємца до основного корпусу було добудовано ще одне крило з навчальними кімнатами, а на подвір’ї було зведено двоповерховий будинок для квартир адміністрації та викладачів. Училище мало фізичний, математичний кабінети, гімнастичну залу, столярну та слюсарну майстерні та власну домову церкву. Сам він продовжував викладати малювання та креслення, ініціював створення художньої студії. Спочатку курс викладання в училищі був розрахований на шість років, але за клопотаннями директора, вже після його смерті 1899 року, було відкрито ще додатковий сьомий клас, в якому учнів готували до вступу у вищі технічні навчальні заклади.
У свій вінницький період (1890–1898) життя Ярослав Нємец заклав дослідний сад у маєтку своєї дружини та показовий садок на землях реального училища. Там же він влаштував метеорологічну станцію. Шляхом щеплення Я. Нємец розводив у невеличких розсадниках нові сорти яблунь, груш, персиків, слив. Цей дослідний сад став свого роду дослідною станцією, де він вивчав до 700 сортів яблуні та груші й 300 сортів сливи, вишні та черешні, з яких біля 60 - американських. Проводив вивчення деяких сортів щодо подальшого їхнього промислового застосування, як на українських землях, так і в умовах північних широт.
Визнання Нємца, як вченого-помолога у фахових наукових колах відбулося після його участі у Міжнародній Виставці Плодівництва, що проходила у 1894 року у Санкт-Петербурзі. Його досягнення щодо акліматизації сортів плодових дерев були відзначені срібною медаллю. А правління Імператорського Російського Товариства Плодівництва, яке ініціювало виставку, додатково присудило диплом золотого зразка за нові сорти аґрусу, що виведені із насіння, а за ягідні вина — велику срібну медаль.
Усе життя він віддав Україні, а помер вдома, у Чехії. По дорозі зупинившись у Празі для побачення з близькими, він занедужав на запалення легенів і був госпіталізований до лікарні, де помер 18 листопада 1898 р. на 56 році життя. Все студентство та викладацький склад Помологічного інституту у Трої, що біля Праги, проводжало Ярослава Йосиповича Нємеца в його останній путь. Він був похований на Вишеградському кладовищі у склепі поряд зі своєю матір’ю.