Родился 19 декабря 1913 г. (1 января 1914 г.) в Казани. Первоначальное музыкальное образование получил в Казанском музыкальном техникуме. В 1939 г. окончил Московскую консерваторию, где учился у Б. Шехтера и Г. Литинского.
Яруллин писал музыку в разных жанрах — симфоническом, камерном (виолончельная соната, пьеса для скрипки, романсы на стихи А. С. Пушкина), песенном. Особое значение в его творческом развитии имели обработки татарских и башкирских народных песен.
В 1939 г. композитор начал работу над балетом «Шурале» (по мотивам татарских народных сказок и поэме Г. Тукая). Законченный в 1941 г., он стал первым татарским национальным балетом.
Его музыка органически связана с национальными истоками — разными жанрами татарского фольклора. Впервые балет «Шурале» был поставлен в Казани в 1945 г.
Яруллин погиб в сентябре 1943 г. на фронте под Курском.