2025년 상반기, IT 기업 시장 이야기

Azure Open AI 챗봇 아키텍쳐

기업시장 상황

3월인데 아직 올해 매출계획을 못세운 회사들이 많다.

B2B분야는 낙수로 돌아가는데 돈 나올 곳이 없다는 뜻.

(※ 낙수를 안할 수 없냐는 질문은 여기선 스킵)

 

낙수의 맨 꼭대기에는 정부와 대기업이 있다.

즉, 정부와 대기업이 돈을 쓰면, 협력업체들이 일해주고 돈을 받아 직원 월급을 주는 구조다.

미래 투자를 목적으로 하기 때문에 트렌드와 정책이 중요하다.

그런데 철지난 이념타령 때문에 이 낙수가 다 끊겨 버렸다.

 

미디어가 AI 로 분위기를 띄우고 있지만, 

보급기술로 패키징하기 어려워 기업시장이 반응하고 있지 않다.

즉, 기업용 제품을 만들기 어렵다는 뜻.

 

요란하기만 할 뿐 아직 돈은 안된다.

돈 만드는 방법을 못찾았다.

 

B2C를 하려면 오픈 AI 처럼 해야 하는데 네이버, 삼성도 따라하기 힘들다.

국내 시장은 작고, 글로벌 시장에서 경쟁하긴 어렵다.

투자금액을 회수하기 어려운 거다.

 

결국 B2C 보다는 B2B에 써야 한다는 이야기인데, 그러려면 두가지가 필요하다.

 

- 설치형일 것 : 그래야 기업이 관리하니까.

- 커스터마이징 할 수 있을 것 : 그래야 기업 ERP랑 붙일 수 있으니까.

 

소스를 변경할 수 있는 "오픈소스"가 필수다.

연동 가능한 "오픈 API"가 필수다.

 

ollama 는 설치형이라서 우선 합격.

그런데, 모델을 뜯어고치려니 어렵다.

모델 자체를 만드는 건 능력이 안되고...

DeepSeek 가 나왔지만 중국거라 눈치를 좀 봐야 한다.

 

Agent로 코딩은 가능하다.

하지만, GPU 서버 여러 대가 필요하다.

설치형으로 쓰려면 기업들이 GPU 서버를 꽤 사야 한다.

 

국민은행, 신한은행, 삼성, LG 등 대기업들은 살 것 같다.

중견기업들은 어렵겠다.

돈이 많이 드니까...

 

ITO 시장

요약하자면, 현재로선 인프라는 부족하고 앞으로 어떻게 해야할지도 모른다.

변화들이 있지만, 속시원한 건 없다.

 

이 시장을 열려면 대기업을 테스트베드로 삼아서,

중소기업들이 구매 가능한 기업형 제품이 만들어져야 한다.

그러면 SI 기업들이 보급형 기술로 구석구석 기업들에게 전파한다.

 

음, 시간이 많이 걸릴 거 같다.

기술의 발전속도가 아니라, 기업의 속도 때문이다.

기업의 의사결정 속도는 꽤 느리다.

4-5년은 기다려야 할 거 같다.

AI를 붐업되더라도 ITO 시장까지 오려면 시간이 꽤 걸릴 것 같다.

작은 기업은 그냥 ChatGPT로 만족해야 할 것 같다.

 

스타트업은 잘 될까?

스타트업에게는 두가지 옵션이 있다.

제품을 만들던지 서비스를 만들던지.

 

제품 만드는 길은 막혀 있다.

GPU도 없으니 실험하고 싶은 가설이 있어도 만들어볼 수 없다.

 

서비스는 가능성이 조금 열려 있다.

Open AI 나, Cloude AI 같은 걸 연동하면 된다.

그런데, 널리 쓰는 기업형 제품을 만들긴 힘들다.

 

내 제품을 만들려면 데이터가 독특해야 하는데,

Open AI 에 학습시키는 순간 데이터의 독점력은 사라지는 거다.

 

더구나 내 데이터가 Open AI 보다 낫다고도 할 수 없다.

즉, 생각보다 기회가 없다.

 

틈새는 언제나 있고 예외기업도 있을거다.

그러나 산업의 큰 흐름을 뒤집기엔 힘들 것 같다.

 

Edge AI

Edge AI 시장

기존 차들이 도로를 돌아다니며, 정보를 수집한다.

도로 상황을 알 수 있다.

유달리 느려졌다면 사고가 났을 수도 있다.

이런 건 AI가 판단할 수 있다.

 

AI 는 계속 데이터를 수집한다.

"스카이넷"이 될 때까지.

 

AI 센터가 만들어지면 트래픽이 드나드는 쪽에 일거리가 생길 수도 있겠다.

그러나 이거 역시 시장이 만들어지려면 시간이 오래 걸릴 것 같다.

 

...

경제가 어렵다.

이런 시기를 잘 견뎌야 한다.

아, 그래서 뭘 해야 할까?

모르겠다.

다만, 헤매면 안된다.

사줄 사람의 니즈를 파악해야 한다.

기업이 작다면 시장을 보고 움직이자.

 

끝.