건설 현장에서 스마트폰을 꺼내 화면을 조작하는 일은 생각보다 쉽지 않습니다. 양손은 공구와 자재로 가득하고, 안전장갑을 낀 손가락은 터치를 제대로 인식하지 못합니다. 지하나 터널, 콘크리트 구조물 내부에서는 통신마저 불안정해집니다.
인터넷에 연결된 AI가 아무리 발전해도, 정작 기록이 가장 필요한 현장에서 사용할 수 없다면 실질적인 도움이 되기 어렵습니다.
(주)디지털프레소는 이러한 현장의 한계를 해결하기 위한 국가 연구개발 과제에 선정되어 연구하고 있습니다.
중소벤처기업부가 지원하는 2026년도 창업성장기술개발사업(디딤돌) 전략기술 R&D를 통해, 인터넷이 끊긴 환경에서도 스마트폰 안에서 동작하는 음성 기반 현장 기록 기술을 개발합니다.
이번 글에서는 이 기술이 왜 필요한지, 기존 생성형 AI와 무엇이 다른지, 실제 현장에서는 어떻게 활용될 수 있는지 살펴봅니다.
현장이 앱을 사용하지 못하는 진짜 이유
기존 현장 업무 시스템은 모바일 앱이든 웹이든, 작업자가 직접 화면을 조작한다는 전제 위에 만들어져 있지만, 실제 현장에서는 이 전제가 성립하지 않는 경우가 많습니다.
작업 중에는 양손이 도구와 자재로 점유되고, 보호장갑 때문에 스마트폰 터치가 원활하지 않습니다. 지하·터널·구조물 내부에서는 통신이 불안정하거나 완전히 끊기기도 합니다.
결국 현장 기록은 뒤로 미뤄집니다. “사무실에 돌아가서 정리해야지”라고 생각하는 순간, 사진을 찍은 맥락은 흐려지고 점검 내용은 기억에 의존하게 됩니다. 보고도 자연스럽게 늦어집니다.
이렇게 누락되거나 부정확해진 기록은 이후 품질과 안전을 증명해야 하는 시점에 다시 문제가 됩니다. 정작 근거가 필요한 순간, 활용할 수 있는 기록이 충분히 남아 있지 않기 때문입니다.
디지털 전환이 현장에서 멈추는 지점
건설 산업의 디지털 전환은 오랫동안 ‘더 좋은 앱을 만드는 문제’로 여겨졌습니다.
하지만 현장에서 앱을 사용하기 어려운 이유는 기능이 부족해서가 아니라, 손이 자유롭지 않고 통신이 연결되지 않기 때문인 경우가 많습니다. 문제가 소프트웨어의 완성도가 아니라 입력 방식과 연결 환경에 있다면, 해법도 그 지점에서 출발해야 합니다.
“터널 3구간 숏크리트 타설면 사진 찍고 점검 기록 남겨줘.”
이번 과제에서 개발하는 기술은 작업자가 평소처럼 말한 문장을 이해하고, 그에 맞는 앱 기능을 직접 실행하는 방식입니다.
예를 들어 작업자가 "터널 3구간 숏크리트 타설면 사진 찍고 점검 기록 남겨줘"라고 말하면 카메라가 실행되고, 촬영한 사진과 점검 내용이 해당 구간과 공정에 자동으로 연결됩니다.
기존에는 작업자가 직접 화면을 열고 메뉴를 찾은 뒤, 항목을 선택하고 내용을 입력해 저장해야 했지만, 앞으로는 이러한 여러 단계를 한 번의 음성 명령으로 처리할 수 있습니다.
적용 대상은 촬영, 기록, 점검, 보고, 법령 조회, 매뉴얼 검색 등 현장에서 반복되는 40종 이상의 업무이며, 모든 처리는 인터넷 연결 없이 스마트폰 안에서 이루어집니다. 작업자가 말한 내용과 현장 데이터가 외부 서버로 전송되지 않는다는 의미이기도 합니다.
인터넷이 없어도 동작합니다
ChatGPT나 Claude 같은 생성형 AI 서비스는 사용자가 입력한 내용을 외부 서버로 보내 처리하고, 그 결과를 다시 전달하는 구조입니다. 즉, 성능이 뛰어나더라도 인터넷 연결이 끊기면 사용할 수 없는데, 현장 기록과 점검이 특히 중요한 장소가 통신이 자주 끊기는 지하, 터널, 구조물 내부라는 점입니다.
따라서, 이번 기술은 AI 모델을 스마트폰 기기 안에 탑재하여 통신 상태와 관계없이 음성 명령을 해석하고 필요한 기능을 실행할 수 있도록 설계합니다.
답변이 아니라 실제 업무를 실행합니다
기존 생성형 AI와 음성 기록 앱은 사용자의 말을 텍스트로 변환하거나, 요청에 맞는 답변을 생성하는 데 초점이 맞춰져 있습니다. 이후 생성된 내용을 어느 현장의 어떤 항목에 등록할지는 여전히 사용자가 직접 처리해야 합니다.
반면 이번 기술은 음성을 이해하는 데서 그치지 않고, 사용자의 의도에 맞는 앱 기능을 직접 실행합니다. 예를 들어 “3층 배관 사진 찍고 점검 기록 남겨줘”라고 말하면 카메라가 실행되고, 촬영한 사진과 점검 내용이 해당 작업 항목에 저장됩니다.
즉, 사용자의 말이 단순한 텍스트가 아니라 실제 현장 업무로 이어지는 구조입니다.
건설 현장의 표현을 이해합니다
건설 현장에서는 일상적인 표현과 함께 시공 전문용어, 약어, 공종별 현장 용어가 다양하게 사용됩니다. 여기에 작업자의 억양과 지역별 사투리까지 더해지면, 범용 음성 AI가 발화의 의미를 정확하게 파악하기 어려울 수 있습니다.
이번 과제에서는 실제 건설 현장에서 사용되는 한국어 발화를 중심으로 AI를 학습합니다. 먼저 시공 전문용어와 현장 표현에 대한 인식 성능을 높이고, 이후 지역별 억양과 사투리까지 학습 범위를 단계적으로 확대할 계획입니다.
현장 데이터가 외부로 나가지 않습니다
음성 명령을 해석하고 처리하는 모든 과정이 기기 안에서 이루어지기 때문에, 민감한 현장 정보가 외부 서버로 전송되지 않습니다.
도면과 설비 정보, 현장 상황처럼 보안이 중요한 데이터를 다루는 공공 인프라 및 보안 현장에서는 이러한 처리 방식이 기술 도입을 결정하는 핵심 조건이 될 수 있습니다. 별도의 AI 서버를 구축하거나 운영할 필요가 없어, 데이터 보안뿐 아니라 운영 비용 측면에서도 이점이 있습니다.
별도의 전용 장비가 필요하지 않습니다
음성으로 업무를 처리할 수 있는 전용 웨어러블 기기도 이미 상용화돼 있습니다. 다만 일부 제품은 한국어 음성 처리를 외부 서버에 의존하고, 기기당 가격이 3,000달러를 넘는 등 현장 전체에 도입하기에는 비용 부담이 큽니다.
이번 기술은 작업자가 기존에 사용하던 스마트폰에서 바로 활용할 수 있도록 개발됩니다. 별도의 장비를 구매하지 않아도 되며, 익숙한 업무 환경을 유지하면서 음성 기반 기능을 적용할 수 있다는 점이 특징입니다.
핵심 차이
생성형 AI 서비스: 인터넷 연결을 기반으로 작동하며, 주로 텍스트 형태의 답변을 제공
해외 현장관리 서비스: 통신이 불안정하거나 끊기면 주요 AI 기능 사용이 제한됨
음성 기록·받아쓰기 앱: 음성을 텍스트로 변환하지만, 기록의 분류와 저장은 사용자가 직접 처리
전용 웨어러블 기기: 별도 장비 구매가 필요하며, 한국어 음성 처리와 도입 비용 측면에서 부담 발생
디지털프레소 개발 기술: 한국어 음성을 스마트폰 안에서 처리하고, 사용자의 의도에 맞는 현장 업무까지 실행
이번 기술의 핵심은 한국어 음성 인식, 기기 내 처리, 자유로운 음성 명령, 현장 업무 실행을 하나의 구조로 구현하는 데 있습니다. 자체 조사 범위에서는 이 네 가지 조건을 모두 충족하는 현장 특화 기술 사례를 확인하기 어려웠습니다.
시공 관리와 안전 점검
이 기술은 현장에서 매일 반복되는 기록 업무에 우선 적용할 수 있습니다. 시공 관리와 유지보수, 안전 점검, 공공시설 운영, 전력·설비 관리 등이 대표적인 활용 분야입니다.
사다리 위나 배전반 앞처럼 양손을 사용하기 어렵거나 방호 장비를 착용한 상황에서도, 음성만으로 사진과 점검 결과를 기록할 수 있습니다. 이를 통해 작업 흐름을 방해하지 않으면서 현장에서 누락되기 쉬운 기록을 보다 정확하고 체계적으로 남길 수 있습니다.
준공 이후의 시설 점검과 보수
시공 단계뿐 아니라 준공 이후의 시설 유지관리에도 활용할 수 있습니다.
건축물과 설비는 준공 후 오랜 기간 사용되며, 그 과정에서 정기적인 점검과 보수가 지속적으로 이루어집니다. 배관 밸브 앞이나 옥상 설비처럼 손을 자유롭게 사용하기 어려운 환경에서도, 음성 명령만으로 점검 결과와 조치 내용을 간편하게 기록할 수 있습니다.
전력·공공·시설 관리 분야로 확장
기술의 구조는 특정 공종이나 산업에 한정되지 않습니다. 음성으로 실행할 업무와 명령 체계를 분야별로 구성하면 다양한 산업 환경에 적용할 수 있습니다.
건설 현장의 시공 용어와 업무를 시작으로 전력, 공공 인프라, 시설 관리 등 인접 분야까지 확장할 수 있으며, 향후 언어와 업무 체계를 현지 환경에 맞게 적용하면 해외 인프라 유지보수 현장에서도 활용할 수 있습니다.
손을 자유롭게 사용할 수 없는 모든 작업 환경
이 기술이 해결하려는 핵심 조건은 건설업 자체보다 작업 중 손을 자유롭게 사용할 수 없는 환경 전반을 대상으로 합니다.
용접이나 정밀 작업, 방호복 착용 등 양손이 작업에 사용되고 통신까지 제한되는 환경에서도 같은 기술 구조를 적용할 수 있습니다. 향후 스마트글래스와 헬멧형 웨어러블 기기에서도 활용할 수 있도록 확장 가능성을 고려해 개발하고 있습니다.
스마트폰 안에 들어가는 작은 AI
AI를 스마트폰 안에서 구동하려면 제한된 메모리와 연산 성능에 맞게 모델을 경량화해야 합니다. 이번 과제에서는 스마트폰에서도 작동할 수 있도록 설계된 소형 언어 모델인 SLM(Small Language Model)을 활용합니다.
다만 모델의 크기를 줄이는 것만으로 현장에서 바로 사용할 수 있는 것은 아닙니다. 경량화 과정에서 명령 해석의 정확도가 낮아질 수 있으며, 기기에 맞게 충분히 최적화하지 않으면 응답이 지연되거나 사용자의 의도와 다른 기능을 실행할 가능성도 있습니다.
따라서 이번 과제의 핵심은 단순히 작은 AI를 구현하는 데 있지 않습니다. 제한된 스마트폰 환경에서도 사용자의 음성 명령을 빠르고 정확하게 이해하고, 적절한 현장 업무로 연결하는 것이 목표입니다.
과제가 설정한 개발 목표
공개된 경량 모델을 실기기에 적용한 자체 측정 결과를 기준으로 다음과 같은 상대적 개선을 목표로 합니다.
음성 명령이 끝난 뒤 기능이 실행되기까지 걸리는 시간 약 70% 단축
사용자가 말한 의도대로 기능이 실행되는 정확도 약 30% 향상
앱이 즉시 처리할 수 있는 구조화된 데이터 출력
스마트폰의 일상적인 사용에 지장을 주지 않는 수준으로 메모리 점유 최소화
이번 연구는 새로운 기술을 별도의 제품으로 개발하는 데 그치지 않습니다. 디지털프레소의 현장 관리 플랫폼 RenameDP에 음성 기반 입력 방식을 결합해, 실제 업무에서 활용할 수 있는 기능으로 구현하는 것이 목표입니다.
RenameDP는 종합건설 및 전기시공 현장에서 발생하는 기록을 체계적으로 축적하고, 필요한 문서로 자동 정리하는 플랫폼입니다. 촬영한 사진에는 위치와 시간 정보가 자동으로 연결되며, AI가 사진을 분석해 시공기록을 작성합니다. 현장별 소통 내용은 작업일보로 정리되고, 위험성평가와 TBM 기록도 이력 및 증빙자료로 관리할 수 있습니다.
이번 과제에서 다루는 40종 이상의 업무 역시 가상의 시나리오가 아니라 RenameDP의 실제 기능과 현장 업무 흐름을 바탕으로 선정했습니다.
기존 RenameDP가 현장 기록을 남기고 관리하는 플랫폼이라면, 이번 연구는 여기에 손을 사용하지 않고도 기록과 업무를 수행할 수 있는 방식을 더하는 과정입니다. 작업자가 장갑을 벗거나 여러 화면을 조작하지 않아도 음성만으로 필요한 기능을 실행할 수 있도록 해, 현장과 디지털 시스템 사이에 남아 있는 입력 장벽을 낮추고자 합니다. 이 과정에서 스마트 글래스 등 웨어러블 장비가 사진·음성 데이터 수집에 사용됩니다.
개발된 기술은 별도의 제품으로 분리하지 않고 RenameDP의 기능으로 적용할 계획입니다. 연구개발 이후에도 실제 현장에서 지속적으로 활용하며 성능과 사용성을 검증해 나갈 예정입니다.
디지털프레소 관계자는 "현장에서 기록이 밀리는 이유는 작업자가 소홀해서가 아니라, 장갑을 벗고 화면을 여러 번 조작해야만 기록이 남는 구조 때문"이라며 "인터넷이 끊긴 곳에서도 스마트폰 안에서 음성만으로 촬영과 점검 기록이 끝나도록 만드는 것이 이번 과제의 목표"라고 말했습니다.
장갑을 벗어야 조작할 수 있는 앱이나 인터넷에 연결돼야 작동하는 AI는 현장에서 활용하는 데 분명한 한계가 있습니다.
기기 안에서 동작하는 AI는 이러한 한계를 해결하기 위한 하나의 방법입니다. 통신이 끊긴 상황에서도 사용할 수 있고, 음성과 현장 데이터를 외부 서버로 전송하지 않아 보안이 중요한 환경에도 적용할 수 있습니다.
다만 제한된 기기 성능 안에서 빠른 처리 속도와 높은 정확도를 동시에 확보하는 일은 쉽지 않습니다. 본문에 제시한 수치 역시 현재 달성한 성과가 아니라, 과제 종료 시점까지 검증해야 할 연구개발 목표입니다.
디지털프레소 관계자는 "이번 과제에서 검증한 기술을 별도 제품이 아니라 RenameDP의 기능으로 적용할 계획"이라며 "궁극적으로는 작업자가 기록을 남기기 위해 하던 일을 멈추지 않아도 되는 현장을 만들어가겠다"고 말했습니다.
본 콘텐츠는 (주)디지털프레소가 제작했습니다.
본문에 제시된 개선 수치는 공개된 경량 AI 모델을 실기기에 적용해 자체 측정한 결과를 기준으로 설정한 상대적 향상 목표이며, 과제 종료 시점의 달성 목표입니다.
