“Microsoft AI Co-Innovation Lab KOBEとの共創により、業務上取り扱う多様な専門文書に対応した高精度なOCRの仕組みを構築し、複雑な文書情報を知識資産として活用しやすい形に整える前処理を実現することができました。
信頼できる知識を適切に活用することは、医療機関の皆様への価値提供はもちろん、その先にある患者さんの健康、そして医療の質と効率化の向上につながる重要な取り組みであると考えています。
Microsoft AI Co-Innovation Lab KOBEとともに、その実現を目指して開発に取り組み、最後まで粘り強くご伴走いただきました。
今後も「ヘルスケアの進化をデザインする。」という使命のもと、医療のさらなる発展に貢献してまいります。 ”
シスメックス株式会社は、長期ビジョン「より良いヘルスケアジャーニーを、ともに。」のもと、世界の医療課題の解決に取り組むグローバルヘルスケア企業です。血液や尿などを採取して調べる検体検査分野を中心に事業を展開し、細胞・タンパク質・遺伝子を測定する技術プラットフォームを活用した検査・診断技術の研究開発に取り組んでいます。現在、190以上の国や地域で臨床検査機器、診断薬、関連ソフトウェアを提供しています。
本プロジェクトでは、ヘルスケア領域に関する専門的な情報・知見をより有効に活用できるよう、業務上取り扱う多様な専門文書を対象に、専門的な表記や複雑な文書構造を保持したまま情報を抽出できる高精度なOCRの仕組みを構築し、後続の検索・活用に適した構造化データへ変換することで、信頼性の高い知識資産化を支える前処理の高度化に取り組みました。
今後は実運用を通じて検証と改善を重ね、さらなる精度向上を目指してまいります。
Co-Innovation Challenge
シスメックスでは、事業特性上、国内外のヘルスケア領域に関する多様な専門文書を日常的に取り扱っております。
これらの文書に含まれる情報の確認や整理は、これまで人手による作業が中心でしたが、近年では、Power Platformを活用した業務効率化にも取り組んできました。
一方、ヘルスケア領域の専門文書には、数式や上付き文字（¹²など）やギリシャ文字（αなど）の特殊文字が含まれるほか、図表や縦書き・横書きが混在する複雑なレイアウト、専門性の高い医療用語や技術用語が含まれます。そのため、こうした専門文書を信頼性の高い情報として活用するためには、文字情報に加え、文書構造や専門的な表記を高精度に保持するとともに、文書品質と業務効率を両立できる仕組みが必要でした。
その一例として、検体検査（ヘマトロジー・尿検査・血液凝固検査・免疫検査）や、メディカルロボット事業（手術支援ロボット「hinotori™ サージカルロボットシステム」）に関する技術文書が挙げられます。
これらの文書には、分野ごとに異なる多様な情報や複雑な文書構造が含まれています。こうした専門文書に対応し、知識資産化を支える「高精度なOCRの仕組み」を構築することが、今回の文書処理の高度化の主要なテーマでした。
Onboarding : 共創デザインセッション
プロトタイプ開発に着手する前段階として、特定された課題分析と技術検証を行い、最適なアプローチを模索するオンボーディングを実施しました。
まずシスメックスでは、既存の文書処理フローを対象に、構造化や抽出精度に課題のある文書パターンの洗い出しを実施しました。その結果、一般的な文書では十分な成果が得られている一方で、専門文書特有の表記や複雑な文書構造に対して、さらなる精度向上の余地が確認されました。
そこで両社は、従来のOCR技術をどのように高度化すべきかを議論し、複雑な医療文書を対象とした新たなアプローチの検討を開始しました。Microsoft AI Co-Innovation Labでは複数の技術オプションの検証を実施し、その過程でMicrosoft Foundryのフロンティアモデルの一つであり、 OCR領域に特化したモデルを有する「Mistral」がシスメックスのユースケースに適していることを確認しました。
Mistral OCRは、日本語と英語が混在する文書に対する高い多言語理解能力に加え、見出し階層や表構造、箇条書きなどの文書構造を意味的に解釈する能力を備えています。また、専門文書に含まれる特殊な表記の保持にも優れており、一般的なOCRが「文字を読み取る」ことを目的とするのに対して、文書全体を理解しながら構造化データとして出力できる点が大きな特徴です。さらに、高品質な出力と効率的な推論性能を両立しながら、Azure環境上で既存のインフラとセキュアに統合できることも評価ポイントとなりました。
アーキテクチャ図
こうした技術的な検証結果を踏まえ、両社は複数回にわたるTech Callおよびアーキテクチャレビューを実施しました。既存のPower Platformベースの業務フローを維持しながら、Microsoft Foundry上のMistral OCRの組み込み方法、後続処理の受け渡し方法、翻訳プロセスや文書管理フローとの連携について、共同でシステムデザインを行いました。
約2か月にわたる検証と共創設計を通じて、Mistral OCRによる課題解決の方向性が見え始めたことから、両社はその有効性を実環境で検証するため、Microsoft AI Co-Innovation Lab KOBEにおいて5日間のプロトタイプ開発スプリントを実施することを決定しました。
In the Lab：スプリント開発
5日間のプロトタイプ開発では、シスメックスが既に運用しているPower Platformベースの文書処理フローと連携し、ヘルスケア領域の専門文書を対象とした次世代の文書処理の仕組みの開発および技術検証を実施しました。
既存環境では、Power Platformを活用した文書処理フローが運用されていました。そこで本プロジェクトでは、Microsoft Foundryで利用可能な「Mistral OCR」を活用し、インテリジェントな文書理解機能を組み込むことで、より高度な文書構造認識と情報抽出を実現できるかを検証しました。
プロトタイプ開発では、まずPower PlatformからAzure Functions経由でMicrosoft Foundry上のMistral OCRを呼び出す仕組みを構築し、対象ファイルに対するOCR処理の自動化を実装しました。さらに、抽出されたテキストやレイアウト情報を後続の業務プロセスで活用できるよう、構造化データへ変換する処理を実装し、既存の業務フローへ組み込める仕組みを整備しました。
文書の見出し階層や段落構造を保持した状態で、文字情報を抽出
また、OCR結果と実際の文書を比較しながら精度検証を行い、従来方式で課題となっていた文字認識の崩れや文書構造の欠落を改善しました。特に、専門文書に含まれる複雑な図表、キャプション、多段構成のレイアウトについては、単なる文字抽出ではなく文書構造を保持したまま情報を取得できるよう検証を重ねました。
さらに、画像領域に対する意味理解機能の適用も試行し、図表や画像に対する説明情報（キャプション）を付与する拡張機能を実装しました。
文字情報だけでなく、図表・画像の内容と意味を構造化データとして抽出
翻訳プロセスについても並行して評価を実施し、ヘルスケア領域の専門文書を対象に、大規模言語モデル（LLM）を活用した翻訳品質の検証を行いました。これにより、OCRから翻訳、文書管理までを連携させた将来的な運用に向けた技術的な課題と改善ポイントを整理しました。
さらに、本プロジェクトでは処理精度だけでなく運用性も重視し、Power Platformとの連携方法やAzure Functions上での実装、将来的な機能拡張に向けた方向性についても検証しました。
その結果、既存の業務フローを維持したまま、複雑な専門文書に対するOCR精度および文書構造理解を向上できる可能性を確認するとともに、知識資産化を支える仕組みの高度化に向けた技術的な方向性を明確にすることができました。一部機能には改善の余地があり、今後も継続的な検証と改善を重ね、精度向上を目指していきます。
Beyond Technology
本プロジェクトを通じて、シスメックスは、多様な専門文書を信頼性の高い知識資産として活用するための大きな一歩を踏み出しました。
ヘルスケア領域の専門文書は、医療の発展や業務を支える重要な情報資産です。こうした文書を適切に活用するには、含まれる情報を正確に保持し、活用可能な形へ整えることが重要であり、その品質が後続の情報活用にも影響します。そこで、本プロジェクトでは、単なるOCR精度の向上にとどまらず、「医療を支える情報と知識を正確に継承・活用する仕組み」の構築を目的に据えました。 専門文書に含まれる多様な情報や複雑な文書構造を高精度に処理することで、信頼性の高い知識活用を支える環境づくりを推進しました。
低画質文書においても、従来OCRと比較して大幅な精度向上を実現
また、本プロジェクトは、単なる技術検証にとどまらず、シスメックスと神戸ラボによる共創そのものを意味しています。シスメックスの医療・検査分野に関するドメイン知識と、MicrosoftのAI・クラウド技術を組み合わせることで、多様な専門文書に対応する高度なOCRの仕組みのプロトタイプを短期間で開発しました。
技術面では、シスメックスが専門文書の特性を踏まえて設計した分析方法をシステム設計に反映し、AIによる文書構造理解の精度向上を確認しました。これにより、文書を単にデジタル化する段階から、含まれる情報や知見を組織の知識資産として活用しやすい形へ整備するための道筋を得ることができました。
開発体制面では、Power Platform中心のノーコード開発に加え、Microsoft Foundry、Visual Studio Code、Azure Functionsを活用したプロコード開発にも取り組みました。さらに、複数のAI技術を組み合わせることで、単一モデルでは対応が難しい課題への対処可能性を検証しました。これにより、医療に求められる高い精度と信頼性を備えた文書処理の仕組みの実現に向け、実装方針を具体化できました。
以上の成果を踏まえ、本プロジェクトは、信頼できる情報と知識をより良い医療の未来につなぐための重要な第一歩となりました。
今後もシスメックスとMicrosoftは、AIとデジタル技術を活用し、ヘルスケア領域における情報と知識の価値を最大限に引き出すことで、医療従事者の皆様や患者さんに新たな価値を届ける取り組みを推進していきます。
※hinotori™は、株式会社メディカロイドの登録商標です。シスメックスは、メディカロイドの手術支援ロボットhinotori™のグローバル総代理店として国内外での販売を実施しています。