자본시장연구원 Korea Capital Market Institute

Ⅰ. 서론

증권업은 2010년대 자본시장 환경의 변화와 산업 정책의 결과로 대형화와 수익구조의 변화가 빠르게 진행되었다.¹⁾ 지난 10년 사이 IPO, 국공채 및 회사채 발행, 구조화 금융, 부동산PF, 인수금융 등의 자금조달 부문이 성장하고 단기금융자산, 채권, ELS/DLS 등 금융상품에 대한 투자자 수요가 다양해진 영업 환경에서, 증권사들은 투자은행과 자기매매 부문을 크게 확장할 수 있었다. 여기에, 2010년대 초반 종투사 제도를 도입하고 자본규제를 개편한 금융당국의 산업 정책은 증권사의 대형화와 자본영업으로 전환하는 수익구조의 변화를 촉진하였다.

증권사의 자본영업은 자본시장 내 기업의 자금조달과 기관투자자의 투자를 원활하게 하는 중개업무이다. 즉 이들의 중개 비용은 유통시장뿐 아니라 발행시장의 성장에 미치는 영향이 클 수 있다. 이러한 이유로 자본시장 성장에 있어 증권사의 효율성이 더 중요해지고 있다. 정책당국의 대형화 정책은 대형화로 증권사의 평균 비용이 낮아졌는지를 통해 평가할 수 있다. 이에 본 연구는 증권사가 규모의 경제가 있는지를 분석하고 이를 바탕으로 증권사의 대형화 정책을 논의한다.

최근 증권업은 급변하는 사업 환경에 놓여 있다. 증권사들은 부동산PF 위험관리의 실패와 ELS/DLS 관련 투자자보호 이슈로 어려움을 겪고 있는 한편, 로보어드바이저와 AI와 같은 IT기술의 급격한 변화를 적절히 활용해야 하는 과제를 안고 있다. 이러한 변화에 대처하는 방안은 증권사의 새로운 사업 전략과 이를 뒷받침하는 효율적인 운영 체계가 될 수 있다. 본 연구는 후자에 초점을 두고 현재 증권사의 조직 운영, 자본과 전문인력 등의 투입 요소 활용이 효율적인지를 평가하고 그 중요성을 검토함으로써, 증권사가 새로운 환경 변화에 적절히 대응하는 데 필요한 전략을 논의한다.

본 연구는 증권사의 대형화와 효율성에 대한 평가를 통해 향후 바람직한 산업 정책과 증권사의 전략을 제시하는 것을 목표로 한다. 먼저, 2장에서는 최근 증권사의 수익구조 변화와 대형화의 특징을 살펴본다. 3장에서는 효율성 분석에 관한 문헌연구와 추정방법론을 설명하고, 규모의 경제와 각 증권사의 효율성에 대한 추정치 및 이들 효율성과 증권사의 특징 간 상관관계에 대한 실증분석 결과를 제시한다. 마지막으로 본 연구의 분석 결과를 바탕으로 향후 바람직한 정책당국의 산업 정책과 증권사들의 전략에 대해 논의한다.


Ⅱ. 최근 증권사 수익구조 변화와 대형화의 특징

1. 최근 증권사의 수익구조 변화와 현황

증권업의 수익구조는 2010년대 중반 이후 위탁매매 중심에서 탈피하는 모습을 보이는데, 그 배경에는 투자은행과 자기매매 부문의 가파른 성장이 있다(<그림 Ⅱ-1> 참조). 이를 구체적으로 살펴보면, 투자은행 수익은 2016년에서 2021년 사이 무려 4.5배, 2013년 대비해서는 무려 8배 증가하였다. 자기매매 순수익도 2010년대 초반 많아도 3조원 미만이었으나 2021년 7조원을 초과하였다. 자기매매 부문의 규모를 알 수 있는 다른 지표인 증권업 전체 자산 또한 2010년에 179조원에서 2023년 현재 664조원으로 3.7배 증가한 것으로 나타났다. 이와 같은 투자은행과 자기매매 부문의 성장은 증권사들이 부동산PF, 기업 대출, IPO 시장과 구조화 금융상품(ELS 등)을 확장하고 채권, RP, CP, 전단채 등의 위험자산에 대한 중개 기능을 한 단계 향상한 결과로 판단된다.
  위탁매매는 2010년에서 2019년까지 5조원 전후에서 정체된 모습을 보였으나 2020년 코로나 이후 개인투자자들의 주식시장 참여 확대와 이들의 해외 위탁매매 수요 증가에 반등하는 모습을 보인다. 이러한 위탁매매 시장은 증권업의 주요한 수익원으로 지속할 것으로 보이나 과열 경쟁과 낮은 수수료율로 인해 성장 잠재력에 있어서는 한계가 있다. 상품판매 및 자산관리 부문은 퇴직연금 시장의 성장에도 불구하고 ETF 성장에 따른 펀드 판매 수수료의 부진이나 자산관리 시장의 외연 확장이 이루어지지 못하면서 분석 기간 수익 규모가 정체되고 있다.

요컨대, 증권업의 수익구조 변화는 투자은행과 자기매매 등 자본 기반의 사업부문 확장과 기업재무 자문, 자산관리나 상품판매 등 전문인력을 활용하여 금융서비스를 제공하는 수수료 기반의 사업부문 정체로 특징지어진다. 특히 자본 기반의 사업 부문이 증가한 배경으로는 이러한 부문의 수요 확장과 더불어 자본규제 개편, 종투사 제도 등에 따른 증권사들의 자기자본 확충과 정부의 IB 활성화 정책 등을 들 수 있다.

2. 증권사 대형화의 추이와 특징

증권사의 대형화 또는 자기자본 증가는 자본영업의 수익 비중이 증가한 2010년대 중반 이후에 두드러진다. 구체적으로, 2010년과 2016년 사이에는 35.5조원에서 43.7조원으로 연 3.8%의 성장률에 그쳤지만, 2016년과 2022년(68.4조원) 사이에는 이전보다 2.5배 높은 연 9.4%의 성장률을 보였다.²⁾ 증권업의 자기자본 증가는 무엇보다 종투사 및 초대형IB 정책에 따른 증권사의 자기자본 확충에 기인한다. 2013년 종투사로 지정받으려는 5개 대형사가 2010~2011년에 유상증자를 통해 자기자본을 확충하였으며, 이들은 다시 2016년에 있었던 초대형IB로 지정받기 위해 2013~2015년에 걸쳐 자기자본을 확충하였다. 그리고 2016년 이후 현재까지 종투사로 지정받은 중대형 증권사들도 종투사 자본요건을 충족하기 위해 자기자본을 확충하였다.³⁾ 이러한 자기자본 확충의 모습에서 알 수 있듯이, 증권업의 대형화는 소수의 대형사만이 아니라 중대형사까지도 자기자본을 확충하는 방식으로 전개되었다.
  증권사 자기자본 순위를 기준으로 2010년 대비 2023년 자기자본 증가율을 보면, 상위 1~5위와 6~10위의 증권사, 즉 대형사와 중대형사가 2.3배로 다르지 않았다. 한편, 11~20위에 있는 증권사들이 1.5배, 21위 이하에 있는 증권사들이 1.4배의 자기자본 증가율을 보였다. 이처럼 중대형사뿐 아니라 중소형사의 자기자본이 증가한 결과를 보면, 자본확충을 유도하는 자본규제의 도입과 투자은행 및 자기매매 부문의 성장이 이들의 자기자본 증가에 영향을 주었을 것으로 생각된다.

우리나라 증권업의 대형화가 증권사 각각의 자기자본 확충으로 진행되면서 미국과 같은 소수 초대형 투자은행 중심의 시장구조로 재편되지는 않았다.⁴⁾ 즉 종투사 및 초대형IB 정책이 증권사의 자기자본 확충에 영향을 주었지만, 합병을 통한 초대형화를 끌어내지는 못했다.⁵⁾ 그 결과, 자기자본 기준 상위 5사 시장점유율 합인 CR5와 HHI 지수(Hirschman-Herfindahl Index)는 모두 2건의 합병이 있었던 2016년에 가장 높았으며, 이후 하락하여 현재는 2010년대 초중반과 다르지 않은 경쟁적인 시장구조를 보여주고 있다. 한편, 종투사의 수가 많이 증가한 결과로 이들 간 경쟁이 심화할 것으로 보인다.
  Ⅲ. 효율성 분석 모형과 실증분석 결과

1. 증권사의 대형화 평가를 위한 효율성 분석

가. 증권업의 효율성 평가 방법⁶⁾

우리나라 증권사는 대부분 종합증권업의 인가를 받아 위탁매매를 비롯한 투자은행, 자기매매, 상품판매와 자산관리 등의 여러 업무를 수행한다. 미국과 달리, 국내 증권사들은 특정 부문에 사업을 특화하는 경우가 거의 없어 증권사 간 수익구조의 차이가 크지 않다(장정모, 2018). 따라서 증권사 간 영업 전략의 가장 큰 차이는 자본력과 영업 규모가 될 수 있으며, 증권사 규모에 따라 영업 또는 비용상의 차이가 가능하다. 그리고 이러한 차이는 증권사의 비용함수와 이익함수를 통해 확인할 수 있다. 증권업의 비용 구조가 대규모 영업활동과 자본력을 보유한 증권사에 적합하다면 평균 비용은 자기자본과 영업활동이 증가할수록 낮아질 것이며, 이때 경제학에서는 규모의 경제가 존재한다고 일컫는다. 반대로 증권업의 비용 구조가 대규모의 자본력과 영업활동을 영위하는 증권사에 적합하지 않다면 자기자본과 영업활동을 축소함으로써 비용을 절감할 수 있다. 즉 비용함수의 모양에 따라 증권사 규모별 평균 비용이 달라질 수 있다. 따라서, 규모의 경제가 있는지를 알아보기 위해서는 여러 업무에 따른 산출량과 투입요소의 가격과 비용 간의 관계를 보여주는 비용함수의 추정이 필요하다. 즉 비용함수의 추정으로 각 증권사가 규모의 경제가 있는지를 확인할 수 있으며, 이를 바탕으로 증권사의 대형화에 따른 효율성을 평가할 수 있다.

규모의 경제 측정은 산출량과 자기자본의 증가에 비용이 어떠한 비율로 증가하는지를 나타내는 산출량에 대한 비용의 탄력도를 이용한다(Mester, 1996). 이러한 탄력도가 1보다 작으면 산출량과 자기자본이 증가한 비율보다 비용이 증가한 비율이 더 낮으므로 규모의 경제가 있다고 볼 수 있다. 반대로 탄력도가 1보다 크면 산출량과 자기자본의 증가보다 비용의 증가가 더 크므로 규모의 비경제가 있다고 볼 수 있다. 본 연구는 부록에서 제시한 비용함수 모형의 추정 계수를 이용하여 산출량에 대한 비용의 탄력도를 구하고, 이를 통해 규모의 경제를 평가한다. 또 산출량에 대한 비용의 탄력도를 규모의 경제 지표로 보고 이것이 1보다 작을 때 규모의 경제가 있다고 표현한다. 한편, 규모의 경제 지표는 각 증권사의 분기 자료로부터 추정하여 추출할 수 있어 증권사의 규모별 그룹이나 분석 기간으로 구분한 평균으로 분석한다.

다른 한편, 증권사들이 동일한 수익구조에서도 투입 요소의 배치와 조직 운영을 달리함으로써 비용과 이익을 더 줄이거나 더 늘릴 수 있다. 즉, 두 증권사가 비용함수와 이익함수, 자본력과 산출량, 투입 요소의 가격 등이 모두 같더라도 조직의 운영이나 관리 체계, 사업별 자본 투하, 점포망과 전문인력 등의 배치 등이 다르다면 그들의 운영 비용이나 영업 이익이 달라질 수 있다. 즉 자기자본이 같은 증권사가 유사한 영업을 영위하더라도 영업 전략이나 조직의 운영 체계 및 관리, 부서별 자본과 전문인력의 배치가 다를 수 있어 비용이나 이익의 차이가 적지 않을 수 있다. 문헌에서는 이러한 차이를 본 연구에서와 같이 비용효율성 또는 이익효율성이라고 지칭하기도 하고, 그 요인을 직접적으로 관찰할 수 없어 X-비효율성이라고 일컫기도 한다. 정리하면, 비용효율성은 비용함수 외의 증권사 요인에 의해 결정되는 효율성인 한편, 규모의 경제는 증권업의 비용함수 모양에 의해 결정되는 효율성인 것이다.

부록에서 제시한 모형에서 알 수 있듯이, X-비효율성은 비용함수나 이익함수가 예측하는 비용이나 이익보다 얼마만큼 더 높은 비용을 지출하고 있는지 더 낮은 이익을 내고 있는지를 추정하는 것이다. 증권사가 효율적이지 못하다면 비용함수에서 예측하는 것보다 더 비용을 지출하거나 이익함수에서 예측하는 것보다 더 적은 이익을 낼 것이다. 즉 모든 증권사는 정도가 다를 뿐 일정 부분 비효율적이라고 가정하고 추정모형에 비용함수와 이익함수 외에 각 증권사의 비효율성을 나타내는 변수를 더한다. 즉 추정 모형은 각 증권사가 비용함수에 비효율성을 나타내는 특정 값을 더한 비용을 지출하고 있으며 이익함수에 비효율성을 나타내는 특정 값을 뺀 이익을 내고 있다고 가정한다. 이러한 비효율성 값이 0인 경우 가장 효율적인 비용과 이익이 된다. 즉 가장 효율적인 비용과 이익은 비용함수와 이익함수로부터 예측되는 값인 반면, 각 증권사의 비용과 이익은 비용함수와 이익함수의 추정치에 비효율성을 나타내는 변수의 추정치를 더한다. 본고는 이러한 추정치를 이용하여 Battese and Coelli(1988)가 제안한 효율성 지표를 구축하였다. 이러한 비용효율성과 이익효율성 지표는 비효율성 추정치가 작아 0에 가까워지면 와 이 되어 1에 다가가고, 비효율성 추정치가 커지면 와 이 되어 0에 다가간다. 즉 비용효율성과 이익효율성 지표 추정치 모두 1에 가까울수록 효율적임을 의미한다.

나. 문헌연구

미국의 은행산업은 1994년 주(州) 간 은행업과 점포망 효율화에 관한 법률안(Riegle-Neal Interstate Banking and Branching Efficiency Act)의 시행을 기점으로 합병에 의한 산업구조 변화가 빠르게 진행되었다. 이러한 정책이 실행되기 전후로 학계에서는 효율성 분석을 기반으로 은행산업의 대형화를 평가하는 연구가 활발하게 이루어졌다.⁷⁾ 초기 연구들은 규모의 경제가 크지 않다는 결과를 내면서 당시 은행 간 합병과 대형화의 움직임을 잘 설명하지 못하였다. 그러나 이후 은행의 자기자본이나 위험 추구를 고려한 연구에서 대형 은행들도 규모의 경제가 있음이 밝혀지기 시작하였다(Berger and Mester, 1997; Hughes et al., 2001). 금융기관의 효율성 연구는 규모의 경제, 범위의 경제 외에도 투입요소의 배치와 운영에 관한 효율성을 분석하고 있다. 규모의 경제와 범위의 경제가 투입요소의 가격과 산출량에 대응하는 비용 또는 이익에 관한 함수를 추정하는 것이라면 투입요소의 배치와 운영에 관한 효율성은 실제 특정한 금융기관의 비용이나 이익이 그러한 함수가 예측하는 비용이나 이익에 얼마나 미치지 못하는지를 측정한다. 특히 Berger and Humphrey(1991)는 투입요소 배치에 의한 효율성의 차이가 규모의 경제보다 금융기관 경쟁력에 있어서 훨씬 중요하다고 주장하였다.

증권업은 양질의 자료를 구하기 어렵고 산출량도 정의하기 어려운 이유로 인해 효율성 연구가 은행산업과 같이 많지 않다(Beccalli, 2004). 몇몇 국내외 연구를 소개하면 다음과 같다. 미국 증권업의 효율성을 처음 분석한 Goldberg et al.(1991)은 소형 증권사에만 규모의 경제가 있다고 주장하였다. 이후 Beccalli(2004)와 Radić et al.(2012)이 유럽의 투자은행에 대해 효율성을 분석하고 있는데, 두 연구 모두 규모의 경제보다는 비용효율성에 초점을 두고 국가 간 투자은행의 효율성을 비교하고 있다. 우리나라는 증권업을 대상으로 규모의 경제와 범위의 경제를 추정하는 연구들이 있다(정운찬 외, 2000; 국찬표 외, 2007; 김자봉, 2012). 이러한 연구는 1990년에서 2000년대에 걸친 증권업에 대해 규모의 경제가 존재함을 제시하였으나, 비용효율성이나 이익효율성에 대해 분석하지 않으며 위탁매매 중심인 증권업을 대상으로 분석하고 있다. 이와 달리, 본 연구는 위탁매매 중심에서 탈피하고 있는 증권업에 초점을 두고 규모의 경제와 비용효율성과 이익효율성에 대한 분석을 시도한다.

2. 실증분석 결과 및 논의

가. 규모의 경제 분석 결과

2000년대 자본시장법이 제정될 당시 증권사의 대형화는 주요 산업 정책 중의 하나로 대두되었으며 자본시장 발전에 중요하다는 공감대가 있었다. 그러나 2008년 서브프라임 모기지 사태 등에 따른 글로벌 투자은행의 위기에 국내 자본시장이 위축되면서 증권사의 대형화는 진행되지 못하였다. 이에 금융당국은 증권업의 대형화가 필요하다는 인식하에 자본시장법을 제정한 이후에도 자본시장법의 개정, 종투사 제도, 자본규제 재편 등의 산업 정책을 펼쳤다. 증권업의 환경 변화도 있지만 이러한 정책으로 말미암아, 앞서 언급하였듯이 지난 10여 년 사이 9개 종투사의 등장과 2.5배에 달하는 자기자본 증가의 모습으로 증권사의 대형화가 진행될 수 있었다.⁸⁾ 이러한 점에서 증권사의 대형화가 이들의 효율성을 얼마나 향상하고 있는지 살펴보는 것은 금융당국의 산업 정책에 대한 평가에서나 향후 정책 방향에서 있어서 중요하다.

<그림 Ⅲ-1>은 자기자본 5천억 미만에서부터 3조원 이상까지 모든 증권사 규모별 그룹에 대해 규모의 경제가 있으며, 자기자본이 작은 증권사 그룹일수록 규모의 경제가 더 큰 특징을 보여주고 있다. 자기자본 5천억 미만인 증권사 그룹의 산출량에 대한 비용의 탄력도는 0.618이었는데, 이는 산출량과 자기자본이 1% 증가 시 비용이 0.618%만 증가하는 것으로 추가 산출량에 대해 이전보다 비용을 40% 낮출 수 있음을 의미한다. 이러한 규모의 경제 추정치로 볼 때, 중소형사들은 비용의 효율성을 위해 대형화하여 영업활동을 확대할 유인이 컸다고 판단된다. 이뿐만 아니라, 자기자본 3조원 이상인 대형사 그룹도 규모의 경제 지표가 평균 0.77로 나와 자기자본 증가와 영업활동의 확대를 통해 평균 비용을 크게 낮출 수 있는 것으로 나타났다. 이처럼 증권업이 분석 기간 전체에 대해 규모의 경제가 있음을 보여주는 결과는 대형화를 촉진하는 정책당국의 산업 정책이 증권업의 효율성을 높이는 방향으로 영향을 주었음을 시사한다.

사실 중소형사에서 규모의 경제가 더 크다는 결과는 이들이 자기자본의 확충을 통해 대형사보다 비용을 절감할 수 있었음을 함의한다. 이는 중소형사의 자기자본 확충이 대형사보다 미진했던 것과 상충한다. 중소형사가 대형사보다 자기자본 확충이 덜했던 이유는 다음의 두 가지로 설명해 볼 수 있다. 먼저, 모든 증권사가 규모의 경제가 있다는 점이다. 즉 증권사들은 모두 우하향하는 비용 구조로 되어 있어 대형사의 평균 비용이 중소형사보다 더 낮다. 중소형사가 자기자본 확충을 통해 비용을 절감할 수 있었더라도 여전히 대형사보다 비용 열위에 있게 된다. 따라서 중소형사는 나름의 사업전략 없이 자기자본을 적극 확충하기 어렵다. 또 다른 이유는 대형사의 자기자본 확충을 촉진할 수 있었던 종투사 제도가 이를 위해서는 대규모의 자기자본을 확충해야 하는 중소형사에까지 영향을 주기 어려웠기 때문으로 보인다.
  2017~2023년 기간 증권사 전체 규모의 경제 지표는 2010~2016년 기간보다 평균 0.17 만큼 낮아, 규모의 경제가 확대되었음을 보여준다. 자기자본 3조원 이상인 대형사 그룹은 평균 0.87에서 0.71로 하락함에 따라 영업활동을 확대할 때 규모의 경제로 기대할 수 있는 비용의 절감이 13%에서 29%로 커졌다. 이러한 결과는 대형사뿐 아니라 중소형사까지 모든 증권사 그룹에서 나타나고 있다. 이렇듯 규모의 경제가 2017년 이후 확대된 이유는 위탁매매보다 인력이나 점포망 등의 영업비용이 많이 필요하지 않은 영업활동인 ELS/DLS 관련한 헤지, CMA, RP 등의 자산운용과 투자은행 등의 영업활동이 증가했기 때문으로 보인다. 증권사들은 신NCR(영업용순자본비율) 방식의 자본규제로 인해 자기자본 증가 시 운용할 수 있는 위험자산의 규모를 더 키울 수 있었는데, 이 또한 자본확충을 통한 비용 절감 즉 규모의 경제를 확대한 요인으로 판단된다. 이러한 결과는 2013년 신NCR 방식으로의 자본규제 개편이 증권사 대형화의 효율성을 높이는 방향으로 영향을 주었음을 시사한다.

나. 비용효율성과 이익효율성에 관한 분석 결과

본 절에서는 증권사가 투입 요소를 적절히 배치하였는지에 따라 결정되는 비용효율성과 이익효율성을 평가한다. 이는 규모의 경제와 함께 증권사의 효율성을 결정하는 중요한 부분이다. 이러한 효율성은 증권사의 외형적인 특징뿐 아니라 인력 및 조직관리, 차별화된 사업구조와 전략, 기업 문화, CEO의 역량 등의 내부요인에 의해 결정된다. 비용효율성과 이익효율성 지표는 규모의 경제 지표와 같이 각 증권사의 분기 자료로 추정되므로 증권사별, 시기별 평균으로 비교한다.

<그림 Ⅲ-2>는 분석 기간 전체에 걸쳐 평균한 각 증권사의 비용효율성과 이익효율성의 히스토그램을 보여주고 있다. 비용효율성은 0.85 전후에 밀집하여 분포하고 있으며, 증권사 간 최대 차이는 0.21(최소: 0.70, 최대: 0.91)로 나왔다. 이익효율성은 0.37 전후에서 높은 빈도를 보였으나 비용효율성보다는 분산되어 있으며 증권사 간 최대 차이가 0.42(최소: 0.27, 최대: 0.69)로 비용효율성보다 2배 컸다. 이익효율성은 비용효율성보다 평균 0.4 정도 낮은데⁹⁾, 그 이유는 연도에 따라 급변하는 주식시장 환경에 증권사의 이익이 보유자산의 평가손익에 의해 영향을 크게 받기 때문으로 생각된다. 한편, <그림 Ⅲ-2>에서 제시된 이익효율성이 각 증권사의 14년 평균임을 고려하면 증권사 간 이익효율성의 차이가 장기간에 걸쳐 크다는 점을 알 수 있다. 그 이유는 증권사의 수익에 영향을 줄 수 있는 차별화된 사업 전략, 주요 고객군, 조직관리, 기업 문화, 시스템, CEO 등이 장기적인 요소에 해당하기 때문으로 판단된다.
  <표 Ⅲ-1>은 자기자본 규모로 구분한 증권사 그룹별 효율성 지표를 비교하고 있다. 비용효율성은 증권사 규모별 그룹에 따라 평균 0.817에서 0.851로, 큰 차이를 보이지 않았다. 자기자본 규모별로 살펴보면, 비용효율성이 가장 높았던 자기자본 3조원 이상과 비용효율성이 가장 낮았던 1~3조원의 증권사 그룹 간 차이가 0.034로 매우 작다. 한편 3조원 이상의 대형사 그룹 내 증권사들의 비용효율성은 0.827에서 0.859로 증권사 간 차이가 작았지만, 5천억원 미만인 소형사 그룹에서는 증권사 간 그 차이가 최대 0.212로 컸다. 그 이유는 소형사일수록 차별화된 전략이나 특정한 업무에 더 치중하면서 운영에 따른 비용효율성이 증권사 간 크게 달라질 수 있기 때문으로 보인다.
  이익효율성은 중소형사 그룹보다 중대형사 그룹에서 평균적으로 더 높았다. 자기자본 3조원 이상과 1~3조원 증권사 그룹의 이익효율성은 0.427과 0.451로 나와, 0.359와 0.348인 5천억원~1조원과 5천억원 미만의 증권사 그룹보다 높았다. 증권사 규모별 그룹 간 이익효율성의 차이는 최대 0.13이었지만, 동일 자기자본 증권사 그룹 내 개별 증권사 이익효율성의 차이는 0.21~0.38로 더 크게 나타났다. 즉 증권사 규모보다도 증권사의 개별 요인에 의한 이익효율성의 차이가 상대적으로 큰 것이다. 이는 이익효율성이 증권사 규모에 따른 영업 환경보다 증권사 자체의 차별화된 조직관리나 자본과 인력의 배치, 기업 문화, CEO의 역량 등 증권사의 고유한 정성적 특징에 의해 더 영향을 받고 있음을 의미한다.

마지막으로 증권사의 영업활동이 주식시장 상황에 민감하다는 점을 고려하여 비용효율성과 이익효율성의 연도별 현황을 살펴보았다. 분석 결과, 비용효율성은 연도에 따라 차이가 크지 않았다. 이는 증권사의 산출량이 주식시장 여건에 따라 변화하고 있지만 증권사들이 유연한 인력관리 등을 통해 비용효율성을 일정하게 유지하고 있음을 의미한다. 반면 이익효율성은 비용효율성보다도 연도에 따라 차이가 컸는데, 이는 주식시장 여건 변화에 증권사가 대처할 수 없는 수익의 변동분이 많이 발생하기 때문이다. 특히 주가나 금리가 급등하거나 급락하는 시기에 증권사는 보유한 주식 및 채권의 손익 평가로 상당한 이익을 얻거나 손실이 날 수 있는데, 이러한 점이 증권사 이익효율성의 연도별 차이를 크게 만들고 이들의 이익효율성을 전체적으로 낮추는 요인으로 보인다.
  다. 효율성과 증권사의 특징 간의 관계

본 절에서는 회귀분석을 이용하여 비용효율성과 이익효율성이 대형사, 은행계열 또는 종투사 여부와 위탁매매, 투자은행, 자기매매 비중 등의 수익구조에 따라 어떠한 차이가 있는지, 영업용순자본 대비 위험액을 나타내는 구NCR과 레버리지 비율, ROE와 어떠한 관계가 있는지를 분석한다. 회귀분석의 종속변수는 비용효율성과 이익효율성 지표로 설정하고, 설명변수로는 증권사의 특징을 보여주는 자기자본 로그값, 은행계열 여부, 종투사 여부, 수익구조(위탁매매 비중, IB 비중, 자기매매 비중), 자본규제를 구성하는 구NCR 로그값과 레버리지 비율 변수¹⁰⁾로 설정하였으며 이외 증권사와 분기별 더미 변수를 포함하였다.

분석 결과, 비용효율성은 자기자본이 큰 증권사, 은행계열인 증권사, 종투사가 아닌 일반증권사에서 더 높았다. 예를 들어, 두 증권사가 모두 종투사일 경우 자기자본이 큰 증권사일수록 비용효율성이 더 높고, 자기자본이 같다면 종투사인 증권사의 비용효율성이 더 낮다는 것을 의미한다. 종투사는 기업대출, 프라임브로커리지 등 일반증권사보다 다양한 사업 부문을 영위하면서 비용적으로 덜 효율적이었을 것으로 판단된다. 비용효율성은 위탁매매 비중과는 양(+)의 상관관계를 보였으나, 투자은행이나 자기매매 비중과는 상관관계가 나타나지 않았다. 이러한 결과는 증권사들이 오랫동안 위탁매매 영업을 주력으로 영위하였기에 다른 부문보다도 이 부문을 효율적으로 운영할 것이라는 점에서 타당해 보인다. 증권사들이 위험자산을 많이 운용할수록 위험관리의 어려움이 커져 비용효율성이 낮을 것으로 기대하였으나, 이러한 기대와 달리 비용효율성과 구NCR 간 상관관계는 나타나지 않았다. 레버리지 비율이 높은 증권사일수록 자기자본 대비 채권 등의 안전자산 비중이 높을 수 있어 비용적으로 효율적일 가능성이 높은데, 회귀분석 결과는 이러한 기대와 같이 양(+)의 상관관계를 보였다. 마지막으로, 회귀분석은 비용효율성이 좋은 증권사의 ROE가 그렇지 않은 증권사보다 평균적으로 더 높다는 결과를 제시하고 있다.
  이익효율성은 이익의 관점에서 증권사가 투입 요소를 효율적으로 활용하는지를 평가한 지표다. 따라서 회귀분석은 이익효율성이 높은 증권사의 특징을 제시한다. 분석 결과, 앞서 논의한 비용효율성이 높은 증권사와 이익효율성이 높은 증권사의 특징은 다소 달랐다. 대표적으로 증권사의 자기자본이 클수록 비용효율성은 높지만, 이익효율성은 낮은 것으로 나타났다. 이러한 결과는 증권사가 대형화될수록 수익 창출이 어렵고 이에 따라 효율성이 떨어짐을 의미한다. 생각건대, 소규모 시장에 국한된 중소형사의 영업활동 과정에서보다 대규모로 여러 사업을 영위하는 대형사의 영업활동 과정에서 수익을 최적화하는 투입 요소의 활용이 더 어려울 수 있다. 앞서 중대형사의 이익효율성이 중소형사보다 높다는 통계분석의 결과를 함께 고려하면, 이러한 분석 결과는 중대형사들이 대규모 영업을 영위하는 과정에서 효율적이었던 것이 아니라 증권사 개별적으로 효율적인 요인을 가지고 있었음을 시사한다. 은행계열 증권사도 비용효율성은 높았지만, 이익효율성은 낮았다. 은행계열 증권사들은 은행의 보수적인 기업 문화가 있어 독립계 증권사들보다 위험을 감내하려는 경향이 낮을 수 있고 이에 따라 높은 수익 창출에 적합한 자본과 인력 활용에 적극적이지 않을 수 있다고 판단된다. 종투사는 일반증권사보다 여러 다양한 사업을 수행하고 있어 투입 요소를 효율적으로 배치하기 어려울 수 있어 이익효율성이 낮을 것으로 기대했으나, 분석 결과 특별히 낮지도 높지도 않았다. 이익효율성은 자기매매 비중이 높은 증권사에서 높았으나, 위탁매매와 투자은행 수익 비중과는 무관하였다.

한편, 자본규제와 ROE의 추정 계수는 이익효율성과 비용효율성의 회귀분석에서 모두 같은 부호를 보이고 통계적 유의성도 유사하였다. 이익효율성은 비용효율성과 마찬가지로 증권사의 위험자산 운용 정도와 상관관계가 없었으나, 레버리지가 높은 증권사에서는 상대적으로 높은 것으로 나타났다. ROE와 이익효율성 간 양(+)의 상관관계를 보여 이익효율성이 좋았던 증권사의 ROE가 그렇지 않은 증권사보다 더 높음을 확인할 수 있었다. 이는 이익효율성과 비용효율성의 개선이 증권사의 ROE를 높이는 데 필수적인 전제조건임을 시사한다.

본 연구는 회귀분석에 증권사 더미 변수를 포함하여 증권사 각각의 내부요인이 효율성에 얼마만큼 중요한지 평가하였다. <표 Ⅲ-2>에서 제시하지는 않지만, 비용효율성과 이익효율성에 대한 증권사 더미 변수의 추정치 상당수가 1% 수준에서 통계적 유의성을 보였다. 증권사 더미 변수의 추정치는 증권사의 외형적인 특징 외의 관찰 불가능한 순수한 내부요인에 따른 증권사 효율성의 상대적인 척도를 의미한다. 비용효율성 회귀분석에서 36개 증권사 더미 변수 추정치의 최대 차이가 0.303이었다. 이익효율성 회귀분석에서는 그 차이가 최대 0.534로 나와, 증권사 간 차이가 비용효율성보다 컸던 앞서 통계분석 결과와 다르지 않았다. 이처럼 증권사의 외형적인 특징과 분기 더미 변수를 통제한 분석에서도 증권사 간 이익효율성의 차이가 크다는 결과는 증권사의 효율성에 있어 자본과 전문인력의 적절한 배치와 활용, 조직 문화, 내부 운영시스템 등이 중요함을 의미한다.


Ⅳ. 요약 및 시사점

본 연구는 확률적 프론티어 분석방법론을 이용하여 증권사의 규모의 경제, 비용효율성과 이익효율성을 평가하였다. 모든 증권사는 분석 기간 전체에 걸쳐 규모의 경제가 있는 것으로 나왔다. 특히 2010년대 후반에 규모의 경제가 더 컸는데, 그 이유는 2010년대 후반 성장한 자기매매 및 투자은행 부문의 경우 그 성장에 비례하여 전문인력과 백오피스 등과 관련한 운영 비용이 크게 요구되지 않기 때문이다. 신NCR 방식으로 개편된 자본규제도 대형사에 높은 자본 활용을 허용하기 때문에 증권사의 규모의 경제를 확대한 요인으로 보인다.

규모의 경제 분석 결과는 증권사의 대형화에 따른 비용 절감을 의미하므로 증권업뿐 아니라 자본시장의 효율성에도 긍정적인 영향을 주었음을 함의한다. 대형사의 규모의 경제는 이들이 현재보다 더 큰 초대형IB로 성장하더라도 평균 비용이 낮아질 가능성이 있음을 의미한다. 사실 정책당국은 이러한 대형화의 이점을 기대하고 초대형IB를 촉진하는 산업 정책을 펼친 것으로 생각된다. 다만, 미래에셋증권과 대우증권의 합병이나 KB투자증권과 현대증권의 합병이 있었던 2016년 이후, 증권사들은 합병이 아닌 자체의 자기자본 확충에 기대어 대형화를 진행하고 있다. 이에 따라 종투사 수만 빠르게 증가하고 있을 뿐, 정책당국이 기대한 초대형IB의 등장은 더디고 대형사의 해외 진출이 활발하지 못한 상황이다. 또한 이러한 대형화 방식은 대형사 간 자기자본 경쟁을 촉진하고 있어 증권업 전체로 볼 때 자본의 중복 투자로 나타날 수 있다. 문제는 이것이 대형사들의 경쟁 과열과 이에 따른 위험관리의 실패를 촉발할 수 있다는 점이다. 정책당국의 대형화 정책은 증권사의 대형화를 촉진하여 규모의 경제에 따른 효율성을 높이는 데 이바지했지만, 대형사와 중소형사 간 시장 분할, 대형사의 해외 진출 등이 가능한 효율적인 산업구조를 촉진하지 못하고 대형사 간 경쟁을 심화한 한계도 있어 보인다.

2010년대 자본영업의 성장을 주도한 부동산PF는 위험관리에 있어서, ELS 부문은 투자자보호에 있어서 최근 한계를 드러내고 있다. 이러한 시장 환경의 변화 속에서, 자본영업의 성장은 더디고 이에 따른 경쟁이 심화할 수 있다. 결국 증권사들은 자기자본을 기반으로 하는 자본영업의 이익 추구가 이전보다 어려워질 수 있다. 본 연구는 모든 증권사에 대해 우하향하는 비용함수의 추정 결과로부터 대형사의 평균 비용이 중소형사보다 더 낮음을 확인하였다. 즉 규모의 경제로 중소형사가 자기자본 증가 시에 비용을 많이 절감할 수 있더라도 대형사보다 높은 비용으로 영업할 가능성을 시사한다. 이를 고려하면, 향후 중소형사의 자본영업 수익성은 대형사보다도 더 어려워질 가능성이 있다. 따라서 중소형사는 자체의 자본영업 효율성을 면밀하게 검토하고 최적의 영업 전략과 규모를 모색해야 할 것이다.

비용효율성과 이익효율성은 자기자본, 은행계열 여부, 수익구조, 자본건전성, 종투사 지정과 같은 증권사의 외형적인 특징이 관련이 있지만, 이보다 증권사의 내부 효율성 요인에 의한 차이가 컸다. 즉 증권사의 효율성은 각 사업 부문에 자본과 인력의 최적 배치, 조직 문화, 우수한 CEO와 전문인력, IT 시스템 구축과 같은 내부요인이 중요하다. 높은 ROE의 증권사일수록 비용효율성도 이익효율성도 좋다는 분석 결과를 고려하면, 증권사는 미래의 사업전략과 함께 내부 효율성을 높이는 방안을 준비해야 한다.

증권사의 IT 투자와 전문인력의 확충은 새로운 시장 개척을 촉진하고 증권사의 내부 효율성을 향상하는 중요한 요소일 수 있다. 예를 들어, 증권사가 최근 급속히 발전하는 IT를 잘 활용한다면 고비용 구조로 인해 아직 확장하지 못한 자산관리나 기업 재무자문 등의 시장을 개척해 볼 수 있다. 증권업의 전문인력 투자는 단기적으로 수익을 크게 창출하지 못하고 상당한 비용이 요구되지만, 장기적으로 볼 때 증권사의 전문화와 특화, 평판, 고수익 사업 부문을 개척하는 데 필수적이다. 특히 우수한 전문인력은 증권사 수익 창출의 촉매제로서 이익효율성을 향상할 수 있다. 적극적인 IT의 활용과 우수한 전문인력의 투자는 현재 자본영업에 맞춰진 투입 요소의 배치와 운영을 새롭게 바꾸어 증권사의 새로운 사업 부문 개척을 촉진할 것으로 생각한다. 그리고 이러한 증권사의 변화와 혁신은 결과적으로 자본시장의 효율성과 발전을 이끄는 중요한 요체가 될 것으로 기대한다.

---

1) 이석훈(2023), 이효섭(2023), 장정모(2018)
2) 이 시기 증권사의 수가 35~37개로, 증권사의 신규 진입에 따른 자기자본 증가는 미미하다.
3) 2013년 종투사로 지정된 증권사는 대우증권, 한국투자증권, NH투자증권, 현대증권, 삼성증권이었으며, 2016년 11월부터 2024년 6월 현재까지 미래에셋증권, 하나금융, 신한금투, 메리츠증권, 키움증권이 종투사로 추가 지정되었다.
4) 미국의 브로커딜러 수는 3,000개를 넘지만, 은행지주회사에 속한 5개 투자은행(골드만삭스, 모건스탠리, JP모건, Citi, BoA)만이 bulge bracket으로서 증권업 전 부문에서 압도하는 수익을 보일 뿐, 그 외 브로커딜러들은 대규모 자본력 없이 특화된 부문에 집중하고 있다.
5) 증권사 간 합병은 2016년 2건(대우증권과 미래에셋증권, KB투자와 현대증권)이 전부였다.
6) 부록에서는 본 절의 효율성 평가방법론에 관한 분석 모형과 효율성의 추정 방법론, 변수 설정 등을 구체적으로 다루었다.
7) Akhavein, et al.(1997), Berger and Mester(2003), Berger et al.(1999), Humphrey and Pulley(1997)
8) 미국의 금융당국은 1990년대 은행의 진입과 점포망 규제 완화, GLB법의 제정으로 은행 간 합병 물결과 대형화, 이종의 금융업 간 합병과 진출 등을 촉진하여 금융산업의 대형화와 경쟁 구조를 크게 변화시켰다.
9) Radić et al.(2012)에서는 비용효율성이 0.6, 이익효율성이 0.5~0.6으로 나왔다.
10) 설명변수들은 Berger and Mester(1997)와 Radić et al.(2012)를 참고하여 선정하였다.
11) 증권회사의 비효율의 정도가 0에서부터 무한대까지의 구간에서 절반 정규분포를 따른다는 것을 의미한다.
12) 이윤함수에 대한 추정 모형은 비용함수와달리  대신 를 가정한다. 따라서 이윤에 대한 비효율 지표는 이 된다.


참고문헌

국찬표·정영식·지홍민, 2007, 국내 증권산업의 규모 및 범위의 경제에 관한 연구, 『금융연구』 12(4), 1-42.
김자봉, 2012, 증권사의 규모의 경제 및 사업구조 추이와 시사점, 한국금융연구원, 『주간금융브리프』 21(32), 10-11.
이석훈, 2023, 종투사와 초대형IB의 현황과 과제, 예금보험공사, 『금융리스크리뷰』 여름호.
이효섭, 2023, 『종투사 10년 평가 및 한국형 IB의 발전전략』, 자본시장연구원 이슈보고서 23-14호.
장정모, 2018, 국내 증권사의 대형화에 따른 변화와 시사점, 자본시장연구원 『자본시장포커스』 2018-19호.
정운찬·함시창·정지만·김규한, 2000, 우리나라 증권산업의 효율성 분석: Fourier Flexible 비용함수의 분석을 중심으로, 『금융연구』 5(1), 145-185.
Akhavein, J.D., Berger, A.N., and Humphrey, D.B., 1997, The effects of megamergers on efficiency and prices: Evidence from a bank profit function, Review of Industrial Organization 12, 95-139.
Battese, G.E., and Coelli, T.J., 1988, Prediction of firm-level technical efficiencies with a generalized frontier production function and panel data, Journal of Econometrics 38(3), 387-399.
Beccalli, E., 2004, Cross-country comparisons of efficiency: evidence from the UK and Italian investment firms, Journal of Banking and Finance 28(6), 1363–1383.
Berger, A.N., Hunter, W.C., and Timme, S.G., 1993, The efficiency of financial institutions: A review and preview of research past, present and future, Journal of Banking and Finance 17(2-3), 221-249.
Berger, A.N., and Humphrey, D.B., 1991, The dominance of inefficiencies over scale and product mix economies in banking, Journal of Monetary Economics 28(1), 117-148.
Berger, A.N., Demsetz, R.S., and Strahan, P.E., 1999, The consolidation of the financial services industry: Causes, consequences, and implications for the future, Journal of banking and finance 23(2-4), 135-194.
Berger, A.N., and Mester, L.J., 1997, Inside the black box: what explains differences in the efficiencies of financial institutions?, Journal of Banking and Finance 21(7), 895-947.
Berger, A.N., and Mester, L.J., 2003, Explaining the dramatic changes in performance of US banks: technological change, deregulation, and dynamic changes in competition, Journal of Financial Intermediation 12(1), 57-95.
Goldberg, L.G., Hanweck, G.A., Keenan, M., and Young, A., 1991, Economies of scale and scope in the securities industry, Journal of Banking and Finance 15(1), 91-107.
Hughes, J.P., and Mester, L.J., 1993, A quality and risk-adjusted cost function for banks: Evidence on the “too-big-to-fail” doctrine, Journal of productivity analysis 4(3), 293-315.
Hughes, J.P., Mester, L.J., and Moon, C.G., 2001, Are scale economies in banking elusive or illusive?: Evidence obtained by incorporating capital structure and risk-taking into models of bank production, Journal of Banking and Finance 25(12), 2169-2208.
Humphrey, D.B., and Pulley, L.B., 1997, Banks' responses to deregulation: Profits, technology, and efficiency, Journal of Money, Credit, and Banking 73-93.
Kumbhakar, S.C., and Horncastle, A.P., 2015, A practitioner's guide to stochastic frontier analysis using Stata, Cambridge University Press.
Mester, L.J., 1996, A study of bank efficiency taking into account risk-preferences, Journal of Banking and Finance 20(6), 1025-1045.
Radić, N., Fiordelisi, F., and Girardone, C., 2012, Efficiency and risk-taking in pre-crisis investment banks, Journal of Financial Services Research 41, 81-101.
Ray, S.C., Chambers, R.G., and Kumbhakar, S. (Eds.), 2022, Handbook of production economics, Springer.


<부 록>

본 연구는 확률적 프론티어 접근방법(Stochastic Frontier Approach)을 이용하여 규모의 경제, 비용효율성과 이익효율성을 추정한다. 효율성을 추정하는 방법론은 대표적으로 DEA(Data Envelopment Analysis), DFA(Distribution-Free Approach), TFA(Thick Frontier Approach) 등을 들 수 있는데, 그중에서 확률적 프론티어 접근방법론이 가장 널리 이용되고 있다. 본 연구는 비용과 이윤함수의 추정을 위해 트랜스로그(translog) 함수 형태를 적용하고 효율성의 지표에 대해서는 절반-정규분포(half-normal distribution)¹¹⁾를 가정한 확률적 프론티어 접근 방법론(Mester, 1996)을 채택하였다. 추정 모형은 다음과 같다.
  여기서, 추정 모형식은 다음의 조건을 충족하도록 한다: (대칭성),  (일차동차성).

추정 모형의 종속변수는 각 분기의 증권사 비용 또는 이윤을 넣고 설명변수는 산출량, 투입 요소, 자기자본, 해당 분기, 절반-정규분포를 따르는 효율성 지표로 구성하고, 오차항은 와 독립적이라고 가정한다. 분석에서는 2010년 1분기부터 2023년 4분기까지 외국계를 제외한 국내 38개 증권사의 재무제표를 이용한다. 증권사의 산출량과 투입 요소의 가격 변수는 유럽의 투자은행을 분석한 Radić et al.(2012)과 Beccalli(2004)를 따른다. 증권사의 비용과 이익 변수는 각각 판매관리비와 법인세비용차감전계속사업손익을 이용하였다. 투입 요소인 노동의 가격은 임직원 1인당 평균 임금을 이용하였고 자본의 가격은 인건비를 제외한 판매관리비를 고정자산으로 나누어 구하였다. Mester(1996)와 Radić et al.(2012) 등에서와 같이 증권사의 자기자본을 준 투입 요소로 모형에 포함하였다. 분석은 산출량을 총 운용자산, 위탁매매 수익, 그 외 순영업수익(자기매매, IB, 자산관리 등) 3개로 가정한 모형을 이용하였다. 전체 기간과 함께 2010년~2016년과 2017년~2023년을 기간으로 규모의 경제를 구하여 기간에 따른 차이를 살펴보았다.

본 연구는 위 모형의 추정 계수를 이용하여 각 증권사의 규모의 경제와 효율성 값을 아래와 같이 구한다. 규모의 경제는 산출량과 자기자본의 증가에 비용이 어떠한 비율로 증가하는지를 나타내는 탄력도 지표를 이용한다(Mester, 1996). 이러한 탄력도가 1보다 크면 규모의 비경제를, 1보다 작으면 규모의 경제를 의미하며, 1이면 비용함수가 CRS(Constant Return to Scale)임을 의미한다. 이를테면, 탄력도가 0.8이면 산출량과 자기자본이 2배로 증가 시에 비용이 1.8배 증가하는 것으로, 추가적인 자본 투입과 산출량 생산에 대해 증권사는 비용을 20% 절감할 수 있음을 의미한다.



본 연구가 이용하는 증권사의 효율성은 Battese and Coelli(1988) 방식을 따라 아래와 같이 와 의 분포(평균과 분산), 잔차항을 이용하여 구한다. Battese and Coelli(1988) 방식을 이용한 효율성은 해당 증권사의 추정된 비용과 가장 효율적인 비용 간의 비율인 을 의미한다.¹²⁾ 이러한 효율성 추정치는 가장 효율적인 일 때 1이 되며 가장 비효율적인 일 때 0이 되어 0에서 1까지의 값을 보인다.