고객 현장에 가장 가까운 AI Core 2파트
Cultures
AI Core 2파트는 제논 프로젝트지원그룹에 속한 조직으로, 고객의 업무 환경에 적합한 AI 에이전트를 설계하고 실제 시스템에 적용하는 일을 합니다. 여러 고객 프로젝트가 일관된 품질로 AI를 적용할 수 있도록 제안 단계의 기술 검토부터 아키텍처 설계, 성능 개선과 장애 해결까지 지원하며, 한 프로젝트에서 얻은 경험을 다른 프로젝트와 제품으로 확산시키는 역할도 담당합니다. B2C 에이전트 서비스인 제나(GenA)의 에이전트 개발을 하는 파트이기도 하죠. 파트가 하는 일과 함께 일할 동료에 대해 AI Core 2 파트장님께 여쭤보았습니다!
AI Core 2파트는 고객의 업무 환경에 적합한 AI 에이전트를 설계하고 실제 시스템에 적용하는 조직으로, 저는 고객 프로젝트의 기술 방향과 에이전트 아키텍처를 설계하고 프로젝트가 안정적으로 수행될 수 있도록 지원하는 역할을 담당하고 있습니다. 또한 파트원들의 프로젝트 배치와 성장을 지원하고, 여러 프로젝트에서 축적한 경험과 기술을 조직의 공통 역량으로 발전시키는 일도 함께하고 있습니다.
제품을 만드는 조직은 여러 고객이 반복적으로 사용할 수 있는 공통 기능과 플랫폼을 개발합니다. 제품의 완성도, 재사용성, 안정성, 확장성이 주요 관심사입니다.
프로젝트를 수행하는 조직은 고객사의 요구사항과 일정에 맞춰 프로젝트를 수행합니다. 고객과 소통하고 요구사항을 구체화하며 시스템 구축을 수행하는 것이 중심 역할입니다. 이때 제품을 활용해 해소할 수 있는 요구사항과 고객 레거시 연동 같은 현장 대응을 구분하고, 제품 조직과 소통하기도 합니다.
AI Core 2파트와 같은 프로젝트 지원 조직은 프로젝트 수행 조직과 협업하면서 AI 분야의 전문성이 필요한 부분을 지원합니다. 제안 단계에서 기술 검토, 수행 초기 단계에서 모델과 에이전트 아키텍처 설계, 개발 단계에서 성능 개선과 장애 해결, 그리고 프로젝트 전 과정에 걸쳐 공통 기술이나 다른 프로젝트의 사례 전파 등을 담당합니다.
다시 정리하면 이렇습니다. 제품 조직은 여러 고객이 사용할 수 있는 공통적인 것을 만듭니다. 프로젝트 수행 조직은 특정 고객의 문제를 처음부터 끝까지 해결합니다. AI Core 2파트는 여러 고객 프로젝트가 일관된 품질로 AI 기술을 제대로 적용하고 성공할 수 있도록 전문 역량을 제공합니다.
그래서 AI Core 2파트는 단순히 요청받은 개발 업무를 대신 수행하는 조직이라기보다, 프로젝트 팀이 혼자 해결하기 어려운 AI 문제를 함께 풀고 한 프로젝트에서 얻은 경험을 다른 프로젝트와 제품에도 확산시키는 조직이라고 생각합니다.
현재 팀에서는 다양한 기업 고객의 업무 문제를 분석하고, AI 에이전트를 활용한 해결 방향을 제안하는 역할을 담당하고 있습니다. 이와 함께 B2C 에이전트 서비스인 제나(GenA)에 적용되는 다양한 에이전트를 개발하고 있으며, 기술 구현에 그치지 않고 실제 사용자에게 어떤 가치를 제공할 수 있을지 검증하면서 서비스의 사업화까지 업무 영역을 확장하고 있습니다.
제논과는 올해로 6년째 함께하고 있습니다. 합류 당시 AI 컨설팅을 주로 수행하던 마인즈앤컴퍼니에서 데이터 사이언티스트로 커리어를 시작했고, 다양한 고객의 데이터와 비즈니스 문제를 분석하며 AI를 실제 업무에 적용하는 경험을 쌓았습니다. 이후 회사가 제논으로 성장하는 과정에서 역할도 AI 엔지니어로 확장되었고, 고객 현장에서 작동하는 AI를 만든다는 방향에 공감해 지금까지 인연을 이어오고 있습니다.
정해진 솔루션을 일방적으로 제안하는 것이 아니라, 먼저 고객의 현재 문제와 업무를 이해한 뒤 그에 가장 적합한 해결책을 함께 만들어간다는 점이 매력적이었습니다. 다양한 업권의 업무 프로세스와 데이터를 접하면서 매번 새로운 문제를 이해할 수 있고, 그에 맞춰 여러 기술 스택과 AI 적용 방식을 직접 시도해볼 수 있다는 점이 엔지니어로서 흥미롭고 성장 가능성이 큰 환경이라고 생각했습니다.
세 가지가 중요하다고 생각합니다.
첫째, AI가 고객의 기존 업무 워크플로우에 자연스럽게 녹아들어야 합니다. 사용자가 별도의 도구를 열어 새로운 절차를 거쳐야 하는 방식보다는, 실제로 사용하는 시스템과 데이터, 승인 절차 안에서 AI가 필요한 역할을 수행해야 합니다. 기술적으로 인상적인 기능이라도 업무 흐름을 끊거나 추가 작업을 요구한다면 현장에서는 사용하기 어렵습니다.
둘째, 변화에 쉽게 대응할 수 있어야 합니다. 현장의 업무 규칙과 정책, 데이터 구조는 계속 바뀌기 때문에 에이전트의 로직이 특정 시점의 요구사항에 고정되어 있으면 금방 쓸모를 잃게 됩니다. 업무 규칙, 프롬프트, 도구 연동, 워크플로우를 쉽게 수정하고 검증할 수 있는 구조가 필요합니다. 개발자가 매번 시스템 전체를 다시 만드는 것이 아니라, 변경된 업무에 맞춰 안전하고 빠르게 업데이트할 수 있어야 합니다.
셋째, 정확도 외의 운영 품질도 함께 확보해야 합니다. 실제 서비스에서는 답변의 정확성뿐 아니라 응답 시간, 동시 요청을 처리할 수 있는 부하 대응 능력, 비용, 장애 발생 시 복구 방식, 보안과 권한 관리도 중요합니다. 특히 AI의 결과가 항상 동일하지 않을 수 있기 때문에 품질을 지속적으로 측정하고, 문제가 발생했을 때 원인을 추적할 수 있는 모니터링 체계와 사람의 검토 또는 예외 처리 절차도 필요합니다.
결론적으로 시연은 AI가 한 번 잘 작동하는지를 보여주는 것으로 충분하지만, 현장에서 살아남으려면 변화하는 업무와 운영 환경 속에서 반복적으로 신뢰받을 수 있는지를 증명해야 합니다.
AI 엔지니어는 개발 단계에서 에이전트를 구현하는 역할에만 머무르지 않고, 적용 방법을 제안하는 단계부터 분석과 설계, 개발, 테스트, 안정화까지 프로젝트 전 주기에 참여합니다.
먼저 제안 단계에서는 고객의 업무와 현재 겪고 있는 문제를 파악하고, 어떤 업무에 AI 에이전트를 적용하는 것이 효과적인지 판단합니다. 이때 중요한 것은 모든 문제를 AI로 해결하려는 것이 아니라, 기존 시스템이나 규칙 기반 자동화로 해결할 부분과 AI가 담당할 부분을 구분하는 것입니다.
분석 단계에서는 실제 사용자의 업무 흐름과 데이터, 연동 시스템, 권한 및 보안 조건을 구체적으로 확인합니다. 정확도나 답변 품질뿐 아니라 응답 시간, 처리량, 비용 같은 운영 요구사항을 정의합니다. AI의 판단이 불확실하거나 실패했을 때 사람이 검토할 기준과 예외 처리 방식도 이 단계에서 함께 분석합니다.
설계 단계에서는 에이전트가 어떤 순서로 판단하고 어떤 도구와 데이터를 사용할지 구체화합니다. 모델과 검색 방식, 프롬프트, 에이전트 로직, 외부 시스템 연동 구조를 설계하며, 향후 고객의 업무가 변경되더라도 관련 로직을 쉽게 수정할 수 있도록 모듈화를 고려합니다. 동시에 평가 방법, 모니터링, 보안, 장애 대응 방안도 함께 설계합니다.
개발 단계에서는 설계한 에이전트와 연동 기능을 구현하고, 실제 고객 데이터와 업무 시나리오를 활용해 반복적으로 품질을 개선합니다. 모델의 답변을 조정하는 데 그치지 않고, 데이터 처리와 검색, 도구 호출, 권한 확인, 결과 전달까지 전체 업무 흐름이 정상적으로 이어지도록 구현합니다.
테스트 단계에서는 정답률이나 답변 품질뿐 아니라 잘못된 답변, 도구 호출 실패, 권한이 없는 요청, 예상하지 못한 입력 같은 예외 상황을 검증합니다. 응답 시간, 동시 사용자와 대량 요청에 대한 부하, 비용, 보안 등 실제 운영 환경에서 필요한 조건도 함께 확인합니다. 사용자가 직접 참여하는 Closed Beta Test를 통해 현업의 업무 기준을 충족하는지도 평가합니다.
마지막 안정화 단계에서는 운영 과정에서 발생하는 품질 저하와 장애를 추적하고 개선합니다. 로그와 평가 지표를 통해 실패 원인을 분석하며 에이전트 로직을 신속하게 수정합니다. 이후 고객 또는 운영 조직이 지속적으로 관리할 수 있도록 운영 기준과 변경 방법도 함께 정리합니다.
결국 AI 엔지니어의 역할은 에이전트를 한 번 구현하는 것이 아니라, 고객의 문제를 AI에 적합한 형태로 정의하고 실제 업무에 연결한 뒤 운영 환경에서 계속 사용할 수 있는 시스템을 만드는 것이라고 생각합니다.
고객 프로젝트에서 만나는 협업 대상은 매우 다양합니다. AI 조직이나 IT 조직처럼 기술적 배경을 가진 고객도 있지만, 실제 업무를 담당하는 현업 조직과 직접 소통하는 경우도 많습니다. 이 과정에서 각 조직이 사용하는 언어와 관점의 차이가 생깁니다.
현업 담당자는 자신의 업무와 불편함을 가장 잘 알고 있지만, 이를 시스템 요구사항이나 AI가 해결할 수 있는 문제의 형태로 표현하는 데 어려움을 겪을 수 있습니다. 예를 들어 "이 업무를 자동화하고 싶다"거나 "AI가 알아서 판단해 주면 좋겠다"는 요구가 있더라도, 실제로 어떤 데이터를 활용하고 어떤 기준으로 판단해야 하는지, 어느 수준의 응답 시간이나 오류까지 허용할 수 있는지는 추가적인 대화를 통해 구체화해야 합니다.
반대로 IT 조직은 시스템 구조와 구현 조건을 잘 이해하지만, 현업의 업무 맥락이나 예외 상황, 암묵적인 판단 기준을 충분히 알지 못할 수 있습니다. 기술적으로는 올바르게 구현됐더라도 실제 사용자의 업무 방식과 맞지 않으면 현장에서 활용되기 어렵습니다.
이때 AI 엔지니어는 양쪽의 언어를 연결하는 통역자 역할을 합니다. 현업이 설명하는 문제를 기술적으로 구현 가능한 요구사항으로 바꾸고, 개발 과정에서 발생하는 기술적 선택과 제약을 다시 비즈니스 관점의 영향으로 설명해야 합니다.
특히 기술적 배경이 없는 현업 고객에게는 최신 AI 기술을 나열하는 것보다, 현재 기술로 가능한 것과 어려운 것을 구분해 이해하기 쉽게 전달하는 것이 중요합니다. 특정 기술을 도입했을 때 업무 시간이 얼마나 줄어드는지, 사용자가 어떤 부분을 계속 확인해야 하는지, 오류가 발생하면 업무에 어떤 영향을 주는지를 설명해야 합니다. 현재 해결하기 어려운 부분도 불가능하다고 끝내기보다는 그 원인이 무엇인지, 어떤 데이터나 기술이 발전하면 해결 가능성이 높아지는지, 그전까지는 어떤 방식으로 보완할 수 있는지를 함께 제시해야 합니다.
결국 좋은 통역은 기술 용어를 쉽게 바꾸어 말하는 것만을 의미하지 않습니다. 기술적 가능성과 한계를 비용, 생산성, 위험, 운영 방식 같은 비즈니스 영향으로 변환해 고객이 합리적인 의사결정을 내릴 수 있도록 돕는 일입니다. 그래서 AI 엔지니어에게는 기술 역량뿐 아니라 고객의 업무를 빠르게 이해하고 비즈니스 가치를 기준으로 소통하는 역량이 중요하다고 생각합니다.
가장 까다로운 프로젝트는 특정 도메인 자체가 어려웠다기보다, 생성형 AI의 유연성과 고객의 기존 시스템이 요구하는 통제 수준을 동시에 만족시켜야 했던 사례였습니다.
저희 주 고객층인 금융 업권은 중요한 업무 데이터를 레거시 시스템에서 관리하고 있고, 이런 데이터에 대한 보안과 접근 권한 기준도 엄격합니다. 현업에서는 자연어로 다양한 업무를 처리하기를 원하지만, IT 조직에서는 AI가 코어 시스템을 직접 호출하거나 데이터를 임의로 변경하는 것에 대한 우려가 큽니다. 또한 레거시 시스템의 인터페이스가 AI 에이전트의 자유로운 도구 호출을 전제로 설계된 것이 아니어서, 연동 안정성과 응답 속도도 중요한 문제입니다.
저희는 AI가 모든 판단과 실행을 담당하도록 설계하지 않고 업무를 단계별로 분리합니다. AI는 사용자의 의도를 파악하고 필요한 정보를 정리하되, 실제 조회나 변경은 권한과 입력값을 검증한 별도의 연동 계층을 통해서만 수행하도록 하죠. 특히 중요한 변경 업무는 기존 승인 절차나 사람의 확인을 거치도록 해, AI의 비결정성이 핵심 시스템의 위험으로 이어지지 않게 했습니다.
현업, IT, 보안 조직이 중요하게 보는 기준이 서로 달랐기 때문에 이를 공통된 시나리오로 구체화하는 과정도 중요했습니다. 현업의 요구는 실제 업무 시간과 편의성 관점에서, IT와 보안의 요구는 권한과 추적 가능성, 장애 영향도 관점에서 봅니다. 이후 정상 상황뿐 아니라 잘못된 입력, 권한 부족, 연동 실패, 응답 지연 같은 예외 상황까지 테스트가 필요합니다.
이 경험을 통해 레거시 연동에서 가장 어려운 점은 단순히 API를 연결하는 것이 아니라는 것을 배웠습니다. AI가 할 수 있는 일과 반드시 통제되어야 하는 일을 구분하고, 여러 조직이 받아들일 수 있는 운영 구조를 만드는 것이 핵심이었습니다.
고객 프로젝트가 시작되면 AI PM을 중심으로 각 조직의 역할과 의사결정 구조를 먼저 정리합니다. AI PM은 고객 요구사항과 전체 일정을 조율하고, AI Engineer는 AI 서비스 기획과 에이전트 설계 및 개발을 담당합니다. 솔루션개발그룹은 실제 운영 환경에 맞는 솔루션 구축과 납품을 책임지며, FDE파트는 고객의 레거시 시스템 및 데이터와의 연동을 담당합니다. 정기적인 회의와 설계 문서를 통해 각 영역의 진행 상황과 제약사항을 공유하고, 변경 사항이 전체 구조와 일정에 미치는 영향을 함께 검토합니다.
10. 고객이 다음 프로젝트도 함께하자고 할 때가 있죠. 그런 순간이 어떤 의미로 남았나요?
가장 성장했다고 느끼면서 동시에 뿌듯한 순간은, 프로젝트를 마친 고객이 저희를 신뢰하고 다음 프로젝트도 함께하자고 제안해 주실 때입니다. 삼성화재 일반보험 업무혁신 프로젝트가 대표적인 사례로, 2024년 첫 사업을 시작한 뒤 신뢰를 쌓으며 2025년을 거쳐 올해 2.0 사업까지 협업을 진행했습니다.
이 과정에서 주어진 기능을 개발하는 것을 넘어 고객의 업무와 고민을 이해하고, 장기적인 관점에서 함께 해결책을 만들어가는 방법을 배웠습니다. 일회성 공급사가 아니라 고객이 믿고 다시 찾는 AX 파트너로 함께 성장하고 있다는 점에서 제 성장도 가장 분명하게 느끼고 있습니다.
11. 합류하고 나서 초기를 어떻게 보내게 될지 궁금해요. 온보딩은 어떻게 이뤄지나요? 또 어떤 분이 이 파트와 잘 맞을까요?
온보딩은 회사·솔루션 이해, 온보딩 프로젝트 수행 순으로 진행됩니다. 첫 1주일 동안 제논의 문화, 일하는 방식, 주요 솔루션 및 기존 고객 프로젝트 사례를 이해합니다. 이후 본사에서 실제와 유사한 과제로 에이전트를 설계·구현하며 개발 환경, 협업 방식, 테스트 및 배포 절차를 익히는 온보딩 프로젝트를 거쳐 프로젝트에 합류합니다.
프로젝트 합류 후 역할은 경험 수준에 따라 달라집니다. 주니어 AI 엔지니어는 문서 전처리, 도구 개발, 프롬프트 튜닝 등 구체적 기능 개발과 최적화부터 시작해, 고객 도메인과 레거시 시스템을 이해하며 데이터·연동·운영 환경을 고려하는 엔지니어로 성장합니다. 시니어 AI 엔지니어는 전체 아키텍처를 설계하고 고객 요구사항을 기술 설계로 구체화하며, 개발 기준을 정해 주니어를 지원하고 향후 기술적 완성도를 책임지는 PL로 성장하게 됩니다.
그러다보니 고객 문제를 깊이 이해하는 능력, 소통·조율 역량, 구현을 위한 개발 역량을 고르게 갖춘 분이 잘 맞을 것이라 생각합니다. 고객과 소통하며 가능한 것과 어려운 것을 명확히 설명하고 책임감 있게 결과를 완성하는 태도, 새로운 산업을 빠르게 학습하며 정답이 없는 문제를 함께 구체화하는 과정을 즐기는 분에게 적합합니다.
