2004ರ ಚುನಾವಣೆಯಲ್ಲಿ ವಿಧಾನಸಭೆಗೆ ಆಯ್ಕೆಯಾಗಿ ಪ್ರತಿಪಕ್ಷ ನಾಯಕರಾದರು. ನಂತರ 2008ರ ವಿಧಾನಸಭಾ ಚುನಾವಣೆಯಲ್ಲಿ ಯಡಿಯೂರಪ್ಪನವರು ಶಿಕಾರಿಪುರ ಕ್ಷೇತ್ರದಿಂದ ಸ್ಪರ್ಧಿಸಿ ಗೆಲುವು ಸಾಧಿಸಿದರು. ಕಾಂಗ್ರೆಸ್ ಮತ್ತು ಜೆಡಿಎಸ್ ಬೆಂಬಲದೊಂದಿಗೆ ಸಮಾಜವಾದಿ ಪಕ್ಷದಿಂದ ಸ್ಪರ್ಧಿಸಿದ್ದ ಮಾಜಿ ಮುಖ್ಯಮಂತ್ರಿ ಬಂಗಾರಪ್ಪನವರನ್ನು ಯಡಿಯೂರಪ್ಪನವರು 45,000ಕ್ಕೂ ಹೆಚ್ಚು ಮತಗಳ ಅಂತರದಿಂದ ಸೋಲಿಸಿದ್ದರು. ಪರಿಣಾಮ ದಕ್ಷಿಣ ಭಾರತದ ಮೊಟ್ಟ ಮೊದಲ ಬಿಜೆಪಿ ಸರಕಾರ ಕರ್ನಾಟಕದಲ್ಲಿ ರಚನೆಗೊಂಡಿತು.
ಅಕ್ರಮ ಗಣಿಗಾರಿಕೆಗೆ ಸಂಬಂಧಿಸಿ ಕರ್ನಾಟಕದ ಲೋಕಾಯುಕ್ತ ನೀಡಿದ ತನಿಖಾ ವರದಿಯಲ್ಲಿ ಯಡಿಯೂರಪ್ಪನವರ ಹೆಸರಿತ್ತು. ನಂತರ ಬಿಜೆಪಿ ಹೈಕಮಾಂಡ್ ಯಡಿಯೂರಪ್ಪನವರಿಗೆ ರಾಜಜೀನಾಮೆ ನೀಡಬೇಕೆಂದು ಸೂಚಿಸಿತ್ತು. ಜುಲೈ 31, 2011ರಂದು ಮುಖ್ಯಮಂತ್ರಿ ಸ್ಥಾನಕ್ಕೆ ಯಡಿಯೂರಪ್ಪನವರು ರಾಜೀನಾಮೆ ನೀಡಿದರು. ನಂತರ ನವೆಂಬರ್ 30, 2011ರಂದು ಶಾಸಕ ಸ್ಥಾನ ಮತ್ತು ಬಿಜೆಪಿಯ ಪ್ರಾಥಮಿಕ ಸದಸ್ಯತ್ವಕ್ಕೂ ಯಡಿಯೂರಪ್ಪ ರಾಜೀನಾಮೆ ನೀಡಿದರು.