Pjotr Petrovitš Kontšalovski syntyi vuonna 1876 Slavjanskin kaupungissa Donetskin alueella. Hänen isänsä oli tunnettu kääntäjä ja kustantaja. Lapsuusvuodet taiteilija vietti perheen maatilalla Ivanovkassa. Erityisesti Pjotr oli kiinnostunut hevosista ja muistakin eläimistä. Koko elämänsä ajan Kontšalovskia viehätti luonto, maaseutu, metsästys ja puutarhanhoito. Tämä kiinnostus näkyy myös hänen taiteessaan.

Pjotr Kontšalovskin isä osallistui vallankumoukselliseen liikkeeseen ja hänet karkotettiin pois maatilaltaan. Samalla perheen oli muutettava Harkovaan. Siellä Kontšalovski aloitti taideopintonsa. Muutettuaan Moskovaan Kontšalovski jatkoi taideopintoja Stroganovin teknisen piirustuksen oppilaitoksessa. Tuohon aikaa taiteilija maalasi lähinnä muotokuvia. Isän kustannustoiminnan vuoksi perheessä kävi paljon vieraita, myös tuon ajan taiteilijoita kuten Vasili Surikov, Valentin Serov, Mihail Vrubel ja Konstantin Korovin. Erityisesti nuori taiteilija piti Konstantin Korovinin töistä. Korovinin suosituksesta Kontšalovski lähti opiskelemaan Pariisiin Julianin yksityiseen taideakatemiaan. Pariisissa Kontšalovski tutki ahkerasti Louvre-museon taideaarteita. Pietariin palattuaan hän jatkoi taideopintojaan Pietarin taideakatemiassa.

Vuonna 1902 Kontšalovski solmi avioliiton taiteilija Valeri Surikovin Olga-tyttären kanssa. Perheessä taide oli ensimmäisellä sijalla. Kontšalovski teki matkoja Siperiaan ja Pohjois-Venäjälle, missä hän kuvasi paikallisten kalastajien elämää. Sitten seurasi taiteilijan impressionistinen kausi. Vuosina 1907–1909 Kontšalovski teki matkoja Saksaan ja Ranskaan ja sai vaikutteita Paul Cezannelta ja Vincent van Goghilta. Espanjan matkan yhteydessä hän tutustui taiteilija Diego Velazquezin töihin ja espanjalaiseen elämäntapaan. Tuolta ajalta on peräisin hänen maalauksensa Härkätaistelu.
Vuonna 1910 Kontšalovski osallistui Moskovassa Mihail Larionovin järjestämään Ruutusotamies-ryhmän näyttelyyn. Näyttelyn ohjelmanjulistukseksi muodostui Ilja Maškovin teos Omakuva Pjotr Kontšalovskin kanssa. Taiteilijat on kuvattu sohvalla istuvina painijoina käsipunnukset ja viulu kädessään. Näyttely sai aikaan skandaaleita ja riitoja, mutta se aloitti uuden aikakauden Venäjän taidehistoriassa. Ruutusotamies-ryhmä hajosi vuonna1917.
Kesät Kontšalovski vietti Abramtsevossa, jossa hän maalasi Perhemuotokuvan vuonna 1911. Italian matkalta vuonna 1912 syntyi kiinnostus freskoihin ja monumentaalisiin maalauksiin. Kubismin vaikutus näkyy Kontšalovskin tuon ajan töissä.
Kontšalovski osallistui ensimmäiseen maailmansotaan ja muutti sen jälkeen perheineen Krimille. Maalaukset muuttuvat ilmaviksi, taiteilija pyrkii kuvaamaan väriä ja valoa.

Vuonna 1916 Tretjakovin galleria hankkii kokoelmiinsa taiteilijan tyttären Natalia Kontšalovskajan muotokuvan. Vallankumousvuosien vaikeiden vuosien jälkeen Kontšalovskin taiteessa korostuu luonnon merkitys. Luonnon tutkimiseen hänellä oli mahdollisuus Abramtsevossa. Erityisesti puut ovat Kontšalovskin maalausten aiheina. Vuonna 1922 Tretjakovin galleriassa Moskovassa järjestettiin Kontšalovskin ensimmäinen henkilökohtainen näyttely. Tämän jälkeen taiteilijan tyyli muuttui vielä kerran. Realismi valtasi alaa ja muotokuvat alkoivat taas kiinnostaa taiteilijaa. Hän on maalannut monien Venäjän kulttuurielämän merkkihenkilöiden muotokuvat. Näitä ovat esimerkiksi kirjailijat Mihail Lermontov, Aleksandr Puškin, Aleksei Tolstoi ja Samuil Maršak, säveltäjät Sergei Prokofjev ja Aram Hatšaturjan sekä teatterinjohtaja Vsevolod Meierhold.
Seuraavina vuosina taiteilijaa etsi edelleen omaa tyyliään. Hän kävi usein Novgorodissa, jossa kuvasi perinteistä arkkitehtuuria, kalastajia ja Novgorodin luontoa: Volhova-jokea ja Ilmen-järveä. Vapaa-ajanvietto Bugryn huvilassa Leningradin lähellä oli myös innoituksen lähteenä. Kontšalovski maalasi kesäisin kukkia ja talvisin talvimaisemia sekä metsästysaiheisia asetelmia. Hänelle myönnettiin akateemikon sekä Neuvostoliiton kansantaiteilijan arvo. Kontšalovski maalasi aktiivisesti elämänsä loppuun saakka. Hän kuoli Moskovassa vuonna 1956 ja hänet on haudattu Novidevitšin hautausmaalle.