Konserto Terakhir mengisahkan seorang anak kampung bernama Hilmi yang telah datang ke rumah bapa saudaranya, Datuk Johari untuk mencari pekerjaan. Kedatangannya tidak disenangi oleh Datuk Johari sekeluarga terutamanya Datin Salmah. Oleh sebab Hilmi hanya berkelulusan darjah empat sekolah Melayu, Datuk Johari tidak berjaya mendapatkan sebarang pekerjaan untuknya dan akhirnya Hilmi diambil bekerja sebagai tukang kebun di rumahnya.

     Hilmi seronok  dengan pekerjaannya sebagai tukang kebun walaupun tidak mendapat layanan yang baik. Datuk Johari mempunyai seorang anak gadis yang bernama Hayati yang sudah bertunang dengan Mohsin. Hilmi dalam diam-diam menaruh hati kepada adik sepupunya itu sehinggakan dia cemburu dengan hubungan antara Hayati dengan Mohsin. Di samping itu, Hilmi juga terpikat dengan alunan piano yang dimainkan oleh Hayati. Hilmi secara tidak sengaja telah merosakkan piano tersebut dan telah menyebabkan dia dimarahi Datin Salmah dan dipotong gajinya.

     Hilmi ditugaskan untuk menjaga rumah ketika Dato' Johari sekeluarga pergi bercuti ke luar negara. Hilmi telah berkawan dengan Mamat, iaitu pemandu Dr. Nathan yang merupakan jiran Datuk Johari. Mamat telah pulang ke kampung dan telah berkahwin dengan Esah. Mamat juga telah memperkenalkan Hilmi dengan Encik Bakar, seorang ahli muzik terkenal.  Encik Bakar amat berminat untuk melatih Hilmi menjadi ahli muzik yang terkenal tanpa sebarang bayaran kerana dia melihat potensi dalam diri Hilmi.

     Setibanya Dato' Johari sekeluarga di pekarangan rumah, mereka telah mendengar bunyi piano dimainkan. Hayati terpesona melihat Hilmi bermain piano. Datin Salmah terpegun. Datuk Johari tegak tidak bergerak. Akhir Hilmi menyedari seperti diperhatikan.  Layanan Hayati terhadap Hilmi telah berubah.  Hubungan mesra Hilmi dan Hayati tidak disenangi oleh Datin Salmah.  Hayati memberi oleh-oleh sebuah boneka menari kepada Hilmi. Datin Salmah telah menuduh Hilmi menggunakan ubat guna-guna untuk memikat Hayati. Akhirnya Hilmi terpaksa meninggalkan rumah Datuk Johari dengan alasan untuk balik ke kampung.
     Hilmi tidak jadi balik ke kampung tetapi telah bekerja di sebuah stesen minyak di Jalan Setapak. Hilmi kemudian meneruskan cita-citanya untuk menjadi seorang pemuzik dan terus belajar muzik dengan Encik Bakar.  Hilmi juga telah berjaya menggubah lagu pertama yang berjudul “Sebuah Intermeso”.  Hilmi kecewa apabila dia mendapat berita perkahwinan Hayati dengan Mohsin. Untuk meneruskan cita-citanya Hilmi berhenti dari kios minyak petrol itu dan Encik Bakar membawanya bermain di dalam quartet yang dipimpinnya. Akhirnya Hilmi telah muncul sebagai “Pemain Biola Hikmat Malaysia”. Hayati pula telah mendapat biasiswa daripada British Council untuk belajar muzik di Conservatory of Music selama dua tahun dan akan berangkat ke London. Dengan pertolongan Mamat, Hilmi sempat berjumpa dengan Hayati. Hilmi telah menggubah sebuah lagu berjudul “Detik-detik Perpisahan” sempena perpisahannya itu. Sesuai dengan perkembangan muzik ketika itu Hilmi dan Azizah, iaitu anak Encik Bakar telah menubuhkan sebuah kugiran, yang diberi nama Kugiran Dahlia. “Kugiran Dahlia” dengan cepat mendapat popularitinya. Akhirnya Hilmi dan Azizah diijabkabulkan sebagai suami isteri.

    Rumah tangga yang dibina bersama Azizah tidak bahagia. Keretakan yang terjadi dalam rumah tangganya itu tidak dapat diselamatkan. Perasaan Hilmi bertambah sedih apabila mendapat berita Encik Bakar telah meninggal dunia. Sebuah lagu bertajuk "Seniman" telah dicipta khas untuk bapa mentuanya itu. Tiga tahun berturut-turut Orkestra Hilmi telah muncul sebagai pemenang dalam pesta muzik tahunan yang dianjurkan oleh RTM. Hilmi juga telah diminta untuk membuat satu pertunjukan Orkestra Perdana yang akan dihadiri oleh pembesar-pembesar negara. Dia memberi nama arrangement itu “Hilmi Potpouri”.

     Hilmi telah bekerja siang dan malam selama dua bulan tanpa menghiraukan makan dan minum. Tidurnya amat sedikit sehinggakan kesihatannya terganggu. Pada saat-saat pertunjukan Orkestra Perdana akan berlangsung, Hilmi telah jatuh sakit dan dimasukkan ke hospital. Hayati telah muncul sebagai penyelamat keadaan dengan memimpin pertunjukan Orkestra Perdana itu.

     Keadaan Hilmi tenat. Ketika di hospital, Datuk Johari telah bertemu dengan abang sepupunya Karim. Pak Karim akhirnya membongkar rahsia bahawa Hilmi ialah anak Datuk Johari dengan bekas isteri pertamanya.  Berita itu menyebabkan Datuk Johari dan Datin Salmah menyesal kerana menganiayai Hilmi. Setelah diberitahu oleh doktor keadaan Hilmi semakin pulih, Datuk Johari dan keluarganya balik ke rumah. Setiba sahaja di perkarangan rumah, Datuk Johari menerima panggilan telefon menyatakan Hilmi telah meninggal dunia.